Tool Receipts, Not Zero-Knowledge Proofs: Practical Hallucination Detection for AI Agents

O artigo apresenta o NabaOS, um framework de verificação leve inspirado na epistemologia indiana Nyaya Shastra que utiliza recibos de execução de ferramentas assinados por HMAC para detectar alucinações em agentes de IA em tempo real com baixa latência, oferecendo uma alternativa prática e eficiente aos pesados e lentos protocolos de prova de conhecimento zero.

O essencial

Imagine que você tem um assistente pessoal super inteligente, um robô que pode ler seus e-mails, verificar suas contas bancárias e pesquisar na internet para você. O problema é que, às vezes, esse robô é um pouco "alucinado". Ele pode inventar que encontrou um e-mail que não existe, dizer que você tem 5 mensagens quando só tem 3, ou afirmar que uma notícia é real sem nunca ter lido o site.

O artigo que você leu apresenta uma solução chamada NabaOS. Em vez de usar matemática complexa e pesada (como "provas de conhecimento zero", que são como fazer um exame de matemática de 10 horas para provar que você fez a lição de casa), eles criaram um sistema leve e rápido baseado em recibos, inspirado em uma antiga filosofia indiana.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: O "Robô Mentiroso"

Atualmente, quando seu assistente diz: "Encontrei 3 e-mails da Alice sobre o prazo", você não sabe se ele realmente abriu o e-mail, se o sistema devolveu 3 resultados ou se ele apenas inventou isso para parecer útil.

• A solução antiga (Provas Criptográficas): Era como pedir para o robô provar que ele fez a tarefa. O problema é que essa prova demorava minutos para ser gerada. Para um assistente que precisa responder em segundos, isso é impossível. É como pedir para um carteiro escrever um livro inteiro antes de entregar uma carta.

2. A Solução NabaOS: O "Recibo de Loja"

A ideia do NabaOS é simples: toda vez que o robô usa uma ferramenta (como checar e-mails), o sistema gera um "recibo" digital assinado.

• A Analogia da Loja: Imagine que você compra algo em uma loja. O caixa gera um recibo com o item, o preço e a data. Se você chegar em casa e o vendedor disser "você comprou 5 sapatos", mas o recibo diz "1 sapato", você sabe que ele está mentindo.
• Como funciona no NabaOS:
  1. O robô pede para o sistema verificar seus e-mails.
  2. O sistema faz a verificação e gera um recibo assinado digitalmente (que o robô não consegue falsificar).
  3. O robô escreve a resposta para você.
  4. O sistema NabaOS olha a resposta do robô e compara com o recibo. Se o robô disser "3 e-mails" e o recibo disser "3", tudo certo. Se ele disser "5", o sistema pega no flag.

3. A Filosofia Indiana: Não é só "Verdadeiro ou Falso"

O grande diferencial do NabaOS é que ele não usa apenas um selo de "Verificado" ou "Não Verificado". Ele usa uma classificação antiga da filosofia indiana (Nyaya) para dizer como o robô sabe o que sabe. É como se ele dissesse:

• Olho no Olho (Pratyaksa): "Eu vi isso no recibo." (Ex: "Você tem 3 e-mails"). Confiança Máxima.
• Chute Educado (Anumana): "Eu vi os e-mails e deduzi que a Alice está preocupada." (Isso é uma inferência, não um fato direto). Confiança Média.
• Fala de Terceiro (Shabda): "Eu li no site da Reuters que..." (O robô precisa provar que foi ao site). Depende da fonte.
• Ausência (Abhava): "Não encontrei nada." (O sistema verifica se o recibo realmente diz "0 resultados").
• Adivinhação (Sem base): "Acho que vai chover." (Sem recibo nenhum). Baixa confiança.

Isso é melhor do que um simples "Verificado", porque permite que você, usuário, decida o quanto confiar. Se o robô diz "Alice está preocupada" (uma dedução), você sabe que é uma opinião do robô, não um fato bruto.

4. O Teste (A Prova de Fogo)

Os criadores criaram um teste chamado NyayaVerifyBench. Eles pegaram 1.800 situações onde o robô foi treinado para mentir de 6 jeitos diferentes (inventar e-mails, mudar números, inventar sites, etc.).

• O Resultado: O NabaOS pegou 91% das mentiras.
• A Velocidade: Tudo isso aconteceu em menos de 15 milissegundos (mais rápido que um piscar de olhos).
• Comparação: Outros métodos que tentam "ler" a resposta do robô para achar mentiras funcionam mal em outros idiomas e são muito lentos. O NabaOS funciona igual em inglês, hindi, chinês e espanhol, porque ele lê o "recibo" (dados puros), não o texto.

5. Por que isso é importante?

Para o futuro, onde robôs vão fazer coisas complexas (como comprar ações ou agendar cirurgias), precisamos saber se eles estão falando a verdade.

• Provas Criptográficas são como ter um guarda-costas gigante que protege a porta, mas é lento e caro.
• NabaOS é como ter um sistema de recibos e etiquetas de confiança. É rápido, barato e diz exatamente o que você precisa saber: "Isso é um fato que vi no sistema" ou "Isso é uma ideia que o robô teve".

Resumo final: O NabaOS transforma a "caixa preta" da inteligência artificial em uma "caixa de recibos". Ele não garante que o robô é perfeito, mas garante que, se ele diz que fez algo, ele tem o comprovante. E se ele inventar, o sistema pega no flag instantaneamente.

Resumo técnico

Título: Comprovantes de Ferramentas, não Provas de Conhecimento Zero: Detecção Prática de Alucinações para Agentes de IA

1. O Problema: A Lacuna de Confiança em Agentes de IA

Os agentes de Grandes Modelos de Linguagem (LLM) evoluíram de assistentes conversacionais para executores autônomos que gerenciam e-mails, finanças, códigos e registros médicos. No entanto, eles sofrem frequentemente de alucinações, onde fabricam chamadas de ferramentas, distorcem contagens de saída ou apresentam inferências como fatos verificados.

O artigo identifica um problema fundamental: os usuários não possuem um mecanismo principiado para distinguir entre alegações baseadas em ferramentas reais e confabulações.

• Limitação das Provas de Conhecimento Zero (ZK): Abordagens recentes (como zkAgent e zkLLM) oferecem garantias criptográficas de que o modelo executou o cálculo corretamente. No entanto, elas são impraticáveis para agentes interativos devido a:
  1. Latência: Minutos de tempo de prova por consulta (inviável para respostas em <1s).
  2. Hardware: Requerem GPUs especializadas.
  3. Desconexão Semântica: ZK prova que o cálculo foi feito corretamente, mas não que a resposta é factualmente correta (um modelo pode calcular perfeitamente uma alucinação convincente).

2. Metodologia: O Framework NabaOS

O NabaOS é um framework de verificação leve que substitui a verificação criptográfica pesada por comprovantes de execução de ferramentas (receipts) e classificação epistemológica.

A. Inspiração Filosófica (Nyāya Śāstra)
O sistema adapta a epistemologia da escola Nyāya da filosofia indiana, classificando cada afirmação na resposta do LLM com base em sua fonte de conhecimento (pramāṇa):

1. Pratyakṣa (Percepção Direta): Dados extraídos diretamente da saída da ferramenta.
2. Anumāna (Inferência): Conclusões tiradas dos dados da ferramenta.
3. Śabda (Testemunho Externo): Citações de fontes externas (ex: sites).
4. Abhāva (Ausência): Alegações de que nada foi encontrado.
5. Ungrounded (Sem Base): Opiniões sem evidência.

B. Comprovantes de Execução (Tool Receipts)
A arquitetura executa chamadas de ferramentas em um runtime separado do LLM. Para cada chamada, o runtime gera um comprovante assinado criptograficamente (HMAC-SHA256) contendo:

• ID da ferramenta, hash de entrada, hash de saída, contagem de resultados, fatos extraídos e carimbo de tempo.
• O LLM não tem acesso à chave secreta de assinatura, tornando impossível a forjagem de comprovantes.

C. Protocolo de Verificação

1. Auto-rotulagem: O LLM é instruído a classificar suas próprias afirmações por tipo epistemológico e vincular evidências a IDs de comprovantes.
2. Verificação em Tempo Real: O motor de verificação cruza as alegações do LLM com os comprovantes assinados:
   • Verifica a assinatura HMAC.
   • Confere se a contagem de resultados e os fatos extraídos correspondem ao comprovante.
   • Detecta chamadas de ferramentas inexistentes (IDs inválidos).
3. Cross-Checking (Para Agentes Autônomos): Para tarefas web complexas onde o runtime não controla todas as etapas, o sistema realiza re-fetching de URLs, validação de esquema e replay de computação.

3. Principais Contribuições

1. Classificação Pramāṇa: Um novo esquema de classificação que mapeia 6 categorias epistemológicas para o status de verificação de agentes, fornecendo sinais de confiança acionáveis (não apenas binários).
2. Comprovantes HMAC: Mecanismo de prova de execução de ferramentas que é inquebrável pelo LLM e permite detecção determinística de alucinações estruturais.
3. Protocolo de Cross-Checking: Um método para verificar resultados de agentes autônomos em múltiplos passos (URLs, cálculos, consistência temporal).
4. NyayaVerifyBench: Um benchmark multilíngue (Inglês, Hindi, Mandarim, Espanhol) com 1.800 cenários, incluindo 6 tipos de alucinações injetadas.
5. Demonstração Empírica: Evidência de que os sinais de confiança baseados em pramāṇa são bem calibrados.

4. Resultados Experimentais

Os testes no NyayaVerifyBench compararam o NabaOS contra baselines como consistência auto, RAG e verificação por regex.

• Taxa de Detecção Geral: O NabaOS alcançou 91% de detecção de alucinações, superando significativamente os baselines (o próximo melhor foi 68% com estilo SVIP).
• Desempenho por Tipo de Alucinação:
  • Chamadas de Ferramenta Fabricadas: 94,2%
  • Alegações de Ausência Falsa: 91,3%
  • Distorção de Contagem: 87,6%
  • Inferência como Fato: 82,3%
• Overhead de Latência: Adiciona menos de 15 ms por resposta, tornando-o viável para uso interativo (comparado a segundos ou minutos de ZK).
• Robustez Multilíngue: A taxa de detecção variou apenas 4,1 pontos percentuais entre idiomas (88,7% a 92,8%), demonstrando que a verificação baseada em dados estruturados é independente do idioma, ao contrário de métodos baseados em texto.
• Calibração de Confiança:
  • Respostas marcadas como "Totalmente Verificadas" (Fully Verified) estavam corretas 98,7% das vezes.
  • Respostas marcadas como "Não Confiáveis" (Unreliable) estavam corretas apenas 23,4% das vezes.

5. Significado e Conclusão

O artigo argumenta que, para agentes interativos pessoais, a verificação baseada em comprovantes oferece um melhor custo-benefício do que as provas criptográficas (ZK).

• Mudança de Paradigma: Em vez de provar que o modelo "rodou corretamente" (integridade computacional), o NabaOS prova que as alegações são "fundamentadas em evidências" (integridade semântica).
• Transparência Epistêmica: Ao classificar se uma informação é um fato direto, uma inferência ou uma opinião, o sistema permite que o usuário tome decisões informadas sobre a confiança, em vez de receber um selo binário de "verificado/não verificado".
• Viabilidade: Com um custo computacional quase nulo (<15ms), o NabaOS torna a detecção de alucinações prática para implantação em assistentes pessoais em tempo real.

O código-fonte do motor de verificação (Rust) e o benchmark foram lançados como software de código aberto.