Tool Receipts, Not Zero-Knowledge Proofs: Practical Hallucination Detection for AI Agents

El artículo presenta NabaOS, un marco de verificación ligero inspirado en la epistemología india que utiliza recibos de ejecución de herramientas firmados criptográficamente para detectar alucinaciones en agentes de IA en tiempo real, ofreciendo un equilibrio superior entre cobertura, latencia y costo en comparación con los métodos de prueba de conocimiento cero.

Lo esencial

Imagina que tienes un asistente personal muy inteligente, como un mayordomo digital, que puede hacer cosas por ti: revisar tu correo, buscar precios de acciones o agendar reuniones. El problema es que a veces, este mayordomo es un poco "soñador": inventa cosas que no pasaron, exagera números o dice que vio algo que en realidad no existió. A esto los expertos le llaman alucinación.

Este paper presenta una solución llamada NabaOS. En lugar de usar matemáticas complejas y lentas (como los "candados mágicos" o pruebas de conocimiento cero que usan los criptógrafos), NabaOS usa una idea antigua de la filosofía india llamada Nyaya (que significa "lógica" o "razón") combinada con una técnica moderna de "recibos firmados".

Aquí te lo explico con una analogía sencilla:

1. El Problema: El Mayordomo Mentiroso

Imagina que le pides a tu mayordomo: "¿Cuántos correos me envió Ana?".
Él te responde: "Te envió 5 correos urgentes sobre el proyecto".
Pero, ¿cómo sabes que es verdad?

• ¿Realmente revisó tu bandeja de entrada?
• ¿Realmente contó 5, o se le ocurrió decir 5 porque sonaba mejor?
• ¿O quizás Ana solo envió 2 y él inventó los otros 3?

Hasta ahora, no había una forma rápida y barata de verificarlo. Las soluciones existentes eran como pedirle al mayordomo que hiciera un examen de matemáticas de nivel doctoral para demostrar que no mintió; tardaba horas y costaba una fortuna.

2. La Solución: El "Recibo Firmado" (La Taza de Café)

NabaOS cambia las reglas del juego. Imagina que cada vez que el mayordomo usa una herramienta (como revisar el correo), el sistema le entrega automáticamente un recibo de café firmado con un sello mágico.

• El proceso: Cuando el mayordomo le pide al sistema que revise el correo, el sistema lo hace, cuenta los correos reales (digamos, 2), y genera un papelito que dice: "Se revisó el correo. Hay 2 mensajes. Firmado por el Sistema".
• La firma: Este papelito tiene un código secreto (una firma digital) que el mayordomo no puede falsificar. Si intenta inventar un recibo que diga "5 correos", el sistema verá que la firma no coincide y dirá: "¡Ese recibo es falso!".
• La velocidad: Generar y verificar este recibo tarda menos de un parpadeo (15 milisegundos).

3. La Magia de la Filosofía India: Clasificar la Verdad

Aquí es donde entra la parte creativa. En lugar de decir simplemente "Verdad" o "Mentira", NabaOS clasifica la respuesta del mayordomo según cómo sabe lo que dice, usando categorías antiguas:

1. Lo que vio con sus propios ojos (Pratyaks.a): El mayordomo dice: "Hay 2 correos". Esto es un hecho directo. El sistema verifica el recibo y dice: "100% Verificado".
2. Lo que dedujo (Anumana): El mayordomo dice: "Ana parece preocupada por el proyecto". Esto no está escrito en el recibo, es una deducción del mayordomo basándose en los correos. El sistema dice: "Deducción (Puede ser cierto, pero es tu opinión)".
3. Lo que no encontró (Abhava): El mayordomo dice: "No hay correos de Juan". El sistema verifica el recibo y ve que la lista estaba vacía. Dice: "Verificado: No hay nada".
4. Lo que inventó (Sin base): El mayordomo dice: "Juan me llamó por teléfono". Pero el sistema nunca vio un recibo de llamada telefónica. El sistema grita: ¡ALERTA! Esto no tiene fundamento.

4. ¿Por qué es mejor que las otras soluciones?

• Rapidez: Las otras soluciones (como las pruebas criptográficas) son como pedirle al mayordomo que construya una casa de ladrillos para probar que sabe contar. Tardan minutos. NabaOS es como pedirle que muestre el ticket de compra. Tarda milisegundos.
• Utilidad: No solo te dice si mintió, te dice en qué nivel de confianza puedes creerle. Si dice "Ana está preocupada" (una deducción), tú decides si confiar en esa interpretación. Si dice "Hay 2 correos" (un hecho), sabes que es 100% real.

5. El Escenario de "Agentes Profundos"

A veces, el mayordomo hace cosas muy complejas, como navegar por internet por su cuenta. En esos casos, NabaOS usa un método de "doble chequeo": si el mayordomo dice "Leí esto en la página de noticias X", el sistema va rápidamente a la página X por su cuenta para ver si existe y si dice lo mismo. Es como si tú mismo revisaras el periódico antes de creerle a tu mayordomo.

En Resumen

NabaOS es como ponerle un sistema de recibo fiscal a las acciones de la Inteligencia Artificial.

• Si la IA dice que hizo algo, debe mostrar el recibo firmado.
• Si el recibo no existe, ¡es una mentira!
• Si el recibo existe pero la IA sacó conclusiones extrañas, el sistema te avisa: "Ojo, esto es una deducción, no un hecho".

Esto hace que los asistentes de IA sean mucho más honestos y transparentes, sin hacerlos lentos ni costosos, permitiéndote confiar en ellos con los ojos abiertos.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Tool Receipts, Not Zero-Knowledge Proofs: Practical Hallucination Detection for AI Agents" (Recibos de Herramientas, no Pruebas de Conocimiento Cero: Detección Práctica de Alucinaciones para Agentes de IA), traducido y adaptado al español.

---

Resumen Técnico: NabaOS

1. El Problema: La Brecha de Confianza en los Agentes de IA

Los agentes de Modelos de Lenguaje Grande (LLM) que ejecutan tareas mediante llamadas a herramientas (APIs, bases de datos, navegadores) sufren frecuentemente de alucinaciones. Estos errores incluyen:

• Fabricar la ejecución de herramientas que nunca se llamaron.
• Mencionar incorrectamente la cantidad de resultados devueltos.
• Presentar inferencias o opiniones como hechos verificados directamente por la herramienta.

El problema central es que los usuarios no tienen un mecanismo principista para distinguir entre afirmaciones basadas en evidencia real y confabulaciones.

Limitaciones de las soluciones actuales (Pruebas de Conocimiento Cero - ZK):
Aunque enfoques recientes como zkLLM o zkAgent ofrecen garantías criptográficas sobre la integridad computacional (que el modelo ejecutó el código correctamente), presentan tres limitaciones fatales para agentes interactivos:

1. Latencia: Requieren minutos por consulta, lo cual es inviable para respuestas en tiempo real (<1 segundo).
2. Hardware: Necesitan infraestructura de GPU especializada, costosa y no disponible en dispositivos de borde.
3. Desajuste Semántico: Las pruebas ZK verifican que el cálculo fue correcto, pero no que la salida sea factualmente verdadera. Un modelo puede calcular perfectamente una alucinación coherente y pasar la verificación ZK.

2. Metodología: NabaOS y la Epistemología Nyāya

El autor propone NabaOS, un marco de verificación ligero inspirado en la escuela filosófica india Nyāya Śāstra (Sutra de Nyāya), que clasifica las fuentes de conocimiento (pramāṇa).

A. Clasificación Epistémica (Pramāṇa)
En lugar de una verificación binaria (Verificado/No verificado), NabaOS clasifica cada afirmación del agente según su fuente de conocimiento:

1. Pratyakṣa (Percepción directa): Hechos extraídos directamente de la salida de una herramienta.
2. Anumāna (Inferencia): Conclusiones derivadas de los datos de la herramienta (ej. "Alice parece preocupada" basado en el contenido de sus correos).
3. Śabda (Testimonio externo): Información citada de fuentes externas (webs, noticias).
4. Abhāva (Ausencia): Afirmaciones de que no se encontraron resultados.
5. Ungrounded (Sin fundamento): Opiniones o conocimientos paramétricos sin evidencia de herramienta.

B. Recibos de Ejecución de Herramientas (Tool Receipts)
El núcleo técnico es la generación de recibos firmados criptográficamente para cada llamada a herramienta:

• Mecanismo: El runtime del agente (no el LLM) ejecuta la herramienta y genera un recibo firmado con HMAC-SHA256.
• Contenido del recibo: ID único, nombre de la herramienta, hash de entrada, hash de salida, conteo de resultados, hechos extraídos (key-value pairs) y firma.
• Propiedades:
  • Inforgeabilidad: El LLM no tiene la clave secreta, por lo que no puede falsificar un recibo.
  • Detección de alteraciones: Cualquier cambio en los datos invalida la firma.
  • Completitud: Se genera un recibo por cada llamada, permitiendo detectar llamadas omitidas o inventadas.

C. Protocolo de Verificación

1. El usuario hace una solicitud.
2. El runtime ejecuta herramientas y genera recibos firmados.
3. El LLM recibe los datos de la herramienta y una instrucción para auto-etiquetar sus afirmaciones con su tipo pramāṇa y el ID del recibo correspondiente.
4. El motor de verificación cruza las afirmaciones del LLM con los recibos:
   • Verifica la firma HMAC.
   • Compara conteos y hechos extraídos.
   • Para Abhāva, verifica que el conteo sea 0.
   • Para Śabda, realiza re-fetching independiente de URLs (en agentes autónomos).
5. Se devuelve al usuario la respuesta con indicadores de confianza (Ej. "Totalmente Verificado", "Mayormente Verificado", "No Confiable").

D. Verificación Cruzada para Agentes Autónomos
Para agentes que realizan tareas web complejas donde el runtime no controla cada paso interno, NabaOS emplea un protocolo de verificación cruzada: validación de esquemas, re-fetching de URLs, replay de cálculos deterministas y consistencia temporal.

3. Contribuciones Clave

1. Clasificación Pramāṇa: Un marco para mapear fuentes de conocimiento filosóficas a estados de verificación de agentes de IA.
2. Recibos HMAC: Pruebas de ejecución de herramientas inalterables que permiten la detección determinista de alucinaciones estructurales.
3. Protocolo de Verificación Cruzada: Mecanismos para validar resultados de agentes autónomos sin recibos internos.
4. NyayaVerifyBench: Un nuevo benchmark multilingüe con 1,800 escenarios (4 idiomas) e inyección de 6 tipos de alucinaciones.
5. Señales de Confianza Calibradas: Demostración empírica de que los niveles de confianza derivados de la clasificación epistémica son precisos y accionables.

4. Resultados Experimentales

Evaluado en NyayaVerifyBench frente a baselines como consistencia propia, RAG y verificación por regex:

• Precisión de Detección: NabaOS detecta el 91.3% de las alucinaciones en general.
  • Llamadas a herramientas fabricadas: 94.2%.
  • Errores de conteo: 87.6%.
  • Afirmaciones de ausencia falsa: 91.3%.
  • Fabricación de fuentes: 78.4%.
• Rendimiento: Sobrecarga de verificación de <15 ms por respuesta (comparado con segundos o minutos de ZK).
• Costo: Costo monetario adicional de $0 (no requiere GPU especializada ni llamadas LLM adicionales para verificación).
• Multilingüismo: El rendimiento se mantiene estable en Inglés, Hindi, Chino y Español (variación <4.1%), superando a métodos basados en texto que degradan en idiomas no ingleses.
• Calibración de Confianza:
  • Respuestas marcadas como "Totalmente Verificadas" son correctas en un 98.7% de los casos.
  • Respuestas "No Confiables" tienen una tasa de acierto de solo 23.4%.

5. Significado e Impacto

El trabajo de NabaOS representa un cambio de paradigma en la verificación de IA:

• De lo Computacional a lo Semántico: Mientras las pruebas ZK aseguran que el "motor" funcionó bien, NabaOS asegura que el "combustible" (los datos) es real. Para agentes interactivos, la veracidad semántica es más crítica que la integridad computacional.
• Transparencia Epistémica: En lugar de dar un sello binario, el sistema informa al usuario cómo sabe el agente lo que dice (¿lo vio directamente o lo inferió?). Esto permite al usuario aplicar su propio juicio contextual.
• Viabilidad Práctica: Al ser extremadamente ligero (<15 ms) y no requerir hardware especial, NabaOS hace posible la implementación de verificación robusta en agentes personales interactivos, algo que las soluciones criptográficas actuales no pueden ofrecer.

Limitaciones: El sistema depende de la cooperación del LLM para el auto-etiquetado (aunque la detección de llamadas falsas es independiente de esto) y no verifica la veracidad de los datos que devuelven las herramientas en sí (si la herramienta está corrupta, el recibo será válido pero los datos incorrectos).

En conclusión, NabaOS propone que la verificación basada en recibos es la solución óptima para la detección de alucinaciones en agentes de IA, equilibrando seguridad, costo y latencia mediante una ingeniería inspirada en la lógica clásica.