🤖 AI

IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation

O artigo apresenta o IMMACULATE, um framework prático de auditoria para modelos de linguagem de grande escala que detecta desvios motivados por ganhos econômicos, como substituição de modelos e cobrança excessiva de tokens, utilizando computação verificável para garantir a integridade sem exigir hardware confiável ou acesso aos detalhes internos do modelo, mantendo uma sobrecarga de throughput inferior a 1%.

Autores originais: Yanpei Guo, Wenjie Qu, Linyu Wu, Shengfang Zhai, Lionel Z. Wang, Ming Xu, Yue Liu, Binhang Yuan, Dawn Song, Jiaheng Zhang

Publicado 2026-02-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yanpei Guo, Wenjie Qu, Linyu Wu, Shengfang Zhai, Lionel Z. Wang, Ming Xu, Yue Liu, Binhang Yuan, Dawn Song, Jiaheng Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você contrata um chef de cozinha famoso para preparar um jantar especial. Você paga pelo "Menu Premium", que promete ingredientes de primeira linha e técnicas complexas. Mas, como você não pode entrar na cozinha (o sistema é uma "caixa preta"), você precisa confiar que o chef realmente usou o salmão fresco e não trocou por um peixe mais barato, ou que não cortou a quantidade de ingredientes para economizar.

No mundo da Inteligência Artificial, isso é exatamente o problema com os grandes modelos de linguagem (LLMs) que as empresas vendem via internet. Elas dizem: "Usamos o modelo mais inteligente e preciso". Mas, na verdade, elas podem estar usando um modelo mais simples, mais rápido e mais barato para economizar dinheiro, ou cobrando por mais "palavras" (tokens) do que realmente usaram.

O artigo "IMMACULATE" apresenta uma solução brilhante e prática para esse problema, sem precisar invadir a cozinha do chef.

A Ideia Central: O "Inspetor de Voo"

Em vez de verificar cada pedido que o cliente faz (o que seria impossível e caro), o IMMACULATE funciona como um inspetor de voo que faz uma amostragem aleatória.

A Amostra Aleatória: O sistema envia alguns pedidos "escondidos" que parecem ser de clientes normais.
O Desafio: Quando o servidor responde, o inspetor diz: "Espere, eu sou o auditor. Prove que você fez exatamente o que disse que fez para este pedido específico."
A Prova Matemática: O servidor precisa gerar uma prova criptográfica (um tipo de certificado digital) que diz: "Eu usei o modelo completo e preciso, e aqui está a evidência matemática."

Se o servidor estiver trapaceando (usando um modelo barato), ele não conseguirá gerar essa prova corretamente, ou a prova mostrará que algo está errado.

O Grande Truque: A "Distância dos Logits" (LDD)

Aqui está a parte mais criativa e difícil de explicar, mas vamos usar uma analogia: A Impressão Digital do Sabor.

Os modelos de IA não são máquinas perfeitas e previsíveis como calculadoras. Eles têm pequenas variações naturais (ruído) dependendo de como o computador processa os números. Tentar provar que o resultado é exatamente igual ao original é impossível.

O IMMACULATE usa uma métrica chamada Distribuição de Distância de Logits (LDD).

Imagine que o modelo correto é uma receita perfeita.
O modelo trapaceiro (ou mais barato) é uma versão adulterada.

Mesmo que o resultado final (o prato servido) pareça parecido, a "distância" entre o que o modelo deveria ter pensado (os "logits", que são as probabilidades internas) e o que ele realmente pensou, cria um padrão.

Se o servidor estiver usando o modelo correto, as variações serão pequenas e aleatórias (como um leve tremor de mão ao cortar cebola).
Se o servidor estiver usando um modelo substituto ou muito simplificado, a "distância" será enorme e seguirá um padrão estranho (como se o chef tivesse usado uma faca de plástico em vez de aço).

O sistema mede essa "distância" estatisticamente. Se a distância for muito grande, o sistema sabe: "Algo está errado, o servidor não está usando o modelo premium."

Por que isso é genial?

Não precisa de hardware especial: Muitas soluções anteriores exigiam chips de segurança caros e específicos (como os da NVIDIA). O IMMACULATE funciona em qualquer computador comum.
É barato: Como só verifica uma pequena fração dos pedidos (talvez 1 em 10.000), o custo extra para a empresa é quase zero (menos de 1% de lentidão).
É seguro: Mesmo que a empresa tente enganar, a probabilidade de ela conseguir trapacear em todos os pedidos auditados sem ser pega é estatisticamente impossível.

Resumo da Ópera

O IMMACULATE é como um sistema de auditoria que diz: "Não confiamos em você, mas confiamos na matemática."

Ele permite que os usuários verifiquem se estão recebendo o serviço de alta qualidade que pagaram, sem precisar ver o código secreto da empresa. Se a empresa tentar economizar cortando cantos (usando modelos fracos ou cobrando a mais), o sistema pega a "impressão digital" da fraude e expõe o erro, garantindo que o mercado de Inteligência Artificial seja justo e transparente.

É uma ferramenta que transforma a confiança cega em verificação matemática, protegendo o bolso do consumidor e a integridade da tecnologia.

1. O Problema: Assimetria de Confiança em APIs de LLM

Os Grandes Modelos de Linguagem (LLMs) comerciais são frequentemente implantados como serviços de API "caixa-preta". Isso cria uma assimetria fundamental de confiança:

Falta de Visibilidade: Os usuários não têm acesso aos modelos internos, parâmetros ou estados de execução, tornando impossível auditar se o provedor está executando a inferência conforme prometido.
Incentivos Econômicos para Desvios: Provedores podem ter incentivos para desviar silenciosamente do protocolo anunciado para reduzir custos ou aumentar a faturação. Exemplos incluem:
- Substituição de Modelos: Usar um modelo menor ou destilado em vez do modelo anunciado.
- Quantização Agressiva: Executar o modelo com precisão numérica inferior (ex: FP8 em vez de BF16) para economizar recursos.
- Sobrefaturamento de Tokens: Relatar um número de tokens maior que o real (especialmente em cargas de trabalho de raciocínio onde tokens intermediários são ocultos).
Limitações das Soluções Atuais:
- Ambientes de Execução Confiáveis (TEEs): Oferecem garantias fortes, mas dependem de hardware específico (ex: GPUs NVIDIA), são caros e não são agnósticos à infraestrutura.
- Provas Criptográficas (ZKPs): Geralmente limitadas a aritmética inteira (ineficiente em GPUs modernas) e geram sobrecarga computacional massiva.

2. Metodologia: IMMACULATE

O IMMACULATE propõe um framework de auditoria prática que não requer acesso ao modelo interno nem hardware confiável, baseando-se em comutação verificável e auditoria probabilística.

A. Auditoria Probabilística (Randomized Auditing)

Em vez de verificar cada requisição (o que seria proibitivamente caro), o auditor seleciona aleatoriamente uma pequena fração das requisições para auditar.

Lógica Econômica: Um provedor racional só se beneficia de desvios se ocorrerem em uma fração não desprezível das requisições.
Eficiência: Se um servidor desvia em $\alpha$ fração das requisições, o auditor pode detectar isso com alta probabilidade auditando apenas um subconjunto pequeno e aleatório. Isso dilui o custo criptográfico sobre bilhões de inferências diárias.

B. Distribuição de Distância de Logits (LDD - Logit Distance Distribution)

O maior desafio técnico é a não-determinismo numérico em hardware moderno (GPUs), que impede a reprodução exata (bit-a-bit) de uma execução. O IMMACULATE contorna isso não tentando provar a exatidão absoluta, mas sim a fidelidade de aproximação.

Modelo Híbrido: O sistema abstrai a inferência do LLM como um processo híbrido contínuo-discreto.
Compromisso de Logits: O servidor compromete criptograficamente os logits (vetores de decisão) gerados em cada passo discreto (ex: seleção de token).
Métrica LDD: O auditor verifica a distância entre os logits comprometidos pelo servidor ( $\ell_i$ $ℓ_{i}$ ) e os logits calculados por uma execução de referência de precisão total ( $\ell^*_i$ $ℓ_{i}^{*}$ ).
- Execução Benigna: A distância segue uma distribuição estável e previsível (ruído numérico).
- Comportamento Malicioso: Substituição de modelos ou quantização agressiva introduzem viés sistemático ou variância aumentada, criando "caudas" significativas na distribuição de distância.

C. Fluxo de Execução

Configuração: O proprietário do modelo publica um compromisso criptográfico do modelo de referência.
Inferência: O servidor executa a inferência, registra os logits e envia a resposta junto com um compromisso desses logits.
Auditoria: O auditor envia requisições aleatórias, revela sua identidade e solicita uma prova.
Prova Verificável (VC): O servidor gera uma prova de que os logits comprometidos foram usados corretamente para derivar as decisões discretas e que a distribuição de distância (LDD) entre os logits reais e os de referência está dentro dos limites aceitáveis.

3. Contribuições Principais

Framework Prático de Auditoria: O primeiro framework que fornece garantias fortes de integridade para LLMs em caixas-preta sem depender de TEEs baseados em GPU.
Métrica LDD: Introdução da Logit Distance Distribution como uma métrica de fidelidade que permite verificação sob não-determinismo numérico, distinguindo ruído benigno de desvios maliciosos estruturados.
Eficiência e Compatibilidade: Demonstração de que o sistema é compatível com infraestruturas de inferência existentes (como vLLM) e introduz uma sobrecarga mínima.

4. Resultados Experimentais

Os experimentos foram realizados em modelos densos (LLaMA3-70B, Qwen3-32B) e MoE (Qwen3-30B-A3B, DeepSeek-V2-Lite).

Capacidade de Detecção:
- O LDD distingue claramente execuções benignas (BF16) de ataques de quantização (FP8) e substituição de modelos.
- Substituição de Modelos: Taxas de detecção por requisição superiores a 40-95%.
- Quantização Agressiva: Taxas de detecção por requisição entre 1.3% e 10%. Embora pareça baixo por requisição, é suficiente para auditoria probabilística eficaz.
Garantias de Completude e Sonoridade:
- Com uma taxa de falsos positivos estimada em $< 10^{-5}$ (usando Teoria de Valores Extremos), a probabilidade de rejeitar um servidor honesto é insignificante.
- Para um servidor desonesto ( $\alpha = 0.1$ ), a probabilidade de detecção em um período de um mês torna-se esmagadora.
Sobrecarga de Desempenho:
- A sobrecarga de throughput para servidores benignos é inferior a 1% (ex: 0.3% a 1.0% dependendo do modelo).
- Isso é possível porque a verificação criptográfica (VC) é executada apenas em uma fração minúscula das requisições, enquanto o custo de registro de logits é negligenciável (~1KB por token).

5. Significado e Impacto

O IMMACULATE representa um avanço significativo na governança de serviços de IA:

Transparência Econômica: Permite que usuários e reguladores verifiquem se estão pagando pelo modelo e precisão prometidos, combatendo fraudes sutis como a substituição de modelos ou sobrefaturamento.
Viabilidade Prática: Ao eliminar a dependência de hardware confiável (TEE) e a necessidade de aritmética inteira estrita, o framework torna a auditoria de LLMs economicamente viável para provedores em escala.
Confiança em Infraestrutura Crítica: Estabelece as bases para uma nova classe de frameworks de auditoria, essenciais à medida que LLMs se tornam infraestrutura crítica para agentes autônomos e aplicações empresariais.

Em resumo, o IMMACULATE transforma a auditoria de LLMs de um problema de "confiança cega" para um processo verificável e matematicamente garantido, equilibrando segurança, privacidade e eficiência.