Tool Receipts, Not Zero-Knowledge Proofs: Practical Hallucination Detection for AI Agents

Le papier propose NabaOS, un cadre de vérification léger inspiré de l'épistémologie indienne qui utilise des reçus de signature HMAC pour détecter les hallucinations des agents IA en temps réel avec une faible latence, offrant un compromis coût-efficacité supérieur aux preuves à connaissance nulle.

L'essentiel

🕵️‍♂️ Le Problème : Quand l'IA raconte des histoires

Imaginez que vous avez un assistant personnel très intelligent, capable de faire des tâches pour vous : vérifier vos emails, consulter votre compte bancaire ou chercher des infos sur le web.

Le problème, c'est que cet assistant a parfois tendance à rêver éveillé. Au lieu de vous dire la vérité, il peut :

• Inventer qu'il a consulté un outil qu'il n'a jamais ouvert.
• Dire qu'il a trouvé 3 emails alors qu'il n'y en avait que 1.
• Présenter une supposition comme un fait absolu.

C'est ce qu'on appelle une hallucination. Pour l'utilisateur, c'est comme si l'assistant mentait, mais sans qu'on puisse le prouver facilement.

🛑 Pourquoi les solutions actuelles ne fonctionnent pas

Les chercheurs ont essayé de résoudre ce problème avec des preuves à divulgation nulle de connaissance (Zero-Knowledge Proofs).

• L'analogie : C'est comme demander à l'assistant de faire un examen de mathématiques très difficile sous surveillance pour prouver qu'il a bien calculé.
• Le hic : C'est trop lent (ça prend des minutes) et ça demande des ordinateurs ultra-puissants. Pour un assistant qui doit répondre en une seconde, c'est impossible. De plus, cela prouve juste qu'il a calculé correctement, pas qu'il a dit la vérité. Il peut très bien calculer parfaitement un mensonge.

💡 La Solution : NabaOS et le "Reçu de Caisse"

L'équipe derrière NabaOS a eu une idée géniale : au lieu de faire un examen de mathématiques, pourquoi ne pas demander un reçu de caisse pour chaque action ?

Ils s'inspirent d'une vieille philosophie indienne (Nyāya) qui classe les connaissances selon leur source. Imaginez que chaque fois que l'assistant utilise un outil (comme un moteur de recherche ou un logiciel de banque), le système génère automatiquement un reçu numérique signé (comme un ticket de caisse sécurisé).

Ce reçu contient :

1. Ce qui a été demandé.
2. Ce qui a été trouvé (le nombre de résultats, les faits exacts).
3. Une signature secrète que l'assistant ne peut pas contrefaire.

🏷️ Comment ça marche en pratique ?

Voici le processus, expliqué avec une analogie de chef de cuisine :

1. La Commande : Vous demandez : "Quels emails j'ai reçus d'Alice ?"
2. La Cuisine (L'Assistant) : L'assistant va chercher les emails. Le système génère un reçu : "Reçu #123 : 3 emails trouvés, expéditeurs : Alice, Bob, Charlie."
3. Le Rapport : L'assistant vous répond : "J'ai trouvé 3 emails d'Alice."
4. Le Contrôleur (NabaOS) : Avant de vous donner la réponse, un petit contrôleur vérifie le reçu.
   • Cas 1 (Vrai) : Le reçu dit 3 emails. L'assistant dit 3 emails. ✅ C'est validé.
   • Cas 2 (Mensonge) : L'assistant dit "J'ai trouvé 5 emails". Le reçu dit 3. ❌ Alerte ! Mensonge détecté.
   • Cas 3 (Invention) : L'assistant dit "J'ai consulté le dossier 'Banque'". Le système vérifie : "Aucun reçu pour la banque n'existe". ❌ Alerte ! Action jamais faite.

🧠 La Magie : Les 5 Types de "Confiance"

Au lieu de dire simplement "Vrai" ou "Faux", NabaOS utilise la philosophie indienne pour donner un niveau de confiance nuancé, comme des feux de circulation :

1. 🟢 Vu de mes yeux (Pratyakṣa) : "Alice a envoyé 3 emails." → C'est un fait direct du reçu. Confiance maximale.
2. 🟡 Mon déduction (Anumāna) : "Alice semble stressée." → L'assistant a lu les emails et devine qu'elle est stressée. Ce n'est pas un fait brut, c'est une opinion basée sur des faits. Confiance moyenne.
3. 🔵 Témoignage (Śabda) : "Selon Reuters, le marché va monter." → L'assistant a bien consulté Reuters (reçu vérifié). Confiance dépendante de la source.
4. ⚫ Absence (Abhāva) : "Aucun email trouvé." → Le reçu confirme qu'il y a bien eu une recherche et qu'elle est vide. Vérifié.
5. 🔴 Sans fondement (Ungrounded) : "Je pense que demain il va pleuvoir." → Pas de reçu, pas de preuve. Méfiance.

📊 Les Résultats : Rapide et Efficace

Les tests montrent que ce système est incroyable :

• Vitesse : Il vérifie tout en moins de 15 millisecondes (plus rapide que votre clignement d'œil).
• Efficacité : Il attrape 94% des mensonges sur les outils utilisés et 91% des erreurs de comptage.
• Coût : C'est gratuit et ne demande pas de super-ordinateur.

🎯 En résumé

Imaginez que NabaOS est un système de "reçus de caisse" pour l'intelligence artificielle.

Au lieu de faire confiance aveuglément à l'assistant ou de le faire passer des heures à faire des calculs complexes, on lui demande simplement de montrer son ticket de caisse pour chaque action. Si le ticket correspond à ce qu'il dit, c'est bon. S'il invente un ticket, on le repère tout de suite.

C'est une façon simple, rapide et intelligente de redonner aux utilisateurs le contrôle et la confiance dans leurs assistants numériques, en leur disant non seulement ce que l'IA dit, mais comment elle le sait.

Résumé technique

Voici un résumé technique détaillé de l'article "Tool Receipts, Not Zero-Knowledge Proofs: Practical Hallucination Detection for AI Agents", présentant le framework NabaOS.

1. Le Problème : Le Fossé de Confiance dans les Agents IA

Les agents basés sur les grands modèles de langage (LLM) exécutent désormais des tâches autonomes complexes (gestion d'e-mails, finances, déploiements de code). Cependant, ils souffrent d'un problème majeur de hallucination :

• Ils peuvent fabriquer des exécutions d'outils qui n'ont jamais eu lieu.
• Ils peuvent mal rapporter le nombre de résultats ou présenter des inférences comme des faits vérifiés.
• Les utilisateurs ne disposent d'aucun mécanisme fiable pour distinguer les affirmations ancrées dans la réalité de celles qui sont inventées.

Les approches existantes, comme les Preuves à Divulgation Nulle de Connaissance (ZK Proofs), offrent des garanties cryptographiques sur l'intégrité du calcul (le modèle a bien tourné), mais elles échouent sur l'intégrité sémantique (l'output est-il factuellement correct ?). De plus, elles sont trop lentes (minutes par requête) et gourmandes en matériel (GPU spécialisés) pour des agents interactifs nécessitant des réponses en temps réel.

2. Méthodologie : NabaOS et la Vérification Épistémique

L'article propose NabaOS, un framework de vérification léger inspiré de l'épistémologie indienne du Nyāya Śāstra. Au lieu de prouver que le calcul est correct, NabaOS vérifie si les affirmations de l'agent sont ancrées dans des preuves d'exécution d'outils.

A. Classification Épistémique (Pramāṇa)

Chaque affirmation dans la réponse de l'agent est classée selon sa source de connaissance (pramāṇa) :

1. Pratyakṣa (Perception directe) : Résultat direct d'un outil (ex: "Alice a envoyé 3 e-mails").
2. Anumāna (Inférence) : Déduction basée sur les données de l'outil (ex: "Alice semble inquiète").
3. Śabda (Témoignage externe) : Information provenant d'une source citée (ex: "Selon Reuters...").
4. Abhāva (Absence) : Affirmation qu'aucun résultat n'a été trouvé.
5. Ungrounded (Non fondé) : Opinion sans preuve.

Contrairement à une validation binaire (vrai/faux), cette classification fournit à l'utilisateur des signaux de confiance nuancés sur la nature de la connaissance.

B. Reçus d'Exécution d'Outils (Tool Receipts)

Le cœur technique du système repose sur la génération de reçus signés HMAC pour chaque appel d'outil :

• Architecture : L'exécution de l'outil est gérée par un runtime séparé du LLM. Le runtime exécute l'outil, génère un reçu cryptographique, et passe le résultat au LLM.
• Structure du reçu : Il contient un ID unique, le nom de l'outil, les hachages des entrées/sorties, le nombre de résultats, des faits extraits et une signature HMAC.
• Propriétés :
  • Incontournable : Le LLM ne possède pas la clé de signature et ne peut pas forger un reçu.
  • Détection de falsification : Toute modification des données invalide la signature.
  • Complétude : Le système détecte les appels d'outils manquants ou inventés.

C. Protocole de Vérification

1. Le LLM génère une réponse avec des métadonnées d'auto-étiquetage (il identifie lui-même le type pramāṇa de chaque affirmation et l'ID du reçu associé).
2. Le moteur de vérification compare ces affirmations aux reçus stockés localement.
3. Pour les agents autonomes profonds (sans contrôle direct du runtime), un protocole de vérification croisée (re-fetching d'URL, replay de calculs) est utilisé.

3. Contributions Clés

1. Classification Pramāṇa : Une taxonomie de six catégories épistémiques appliquée aux sorties d'agents LLM pour une vérification contextuelle.
2. Reçus HMAC : Un mécanisme de preuve d'exécution d'outil infalsifiable permettant une détection déterministe des hallucinations structurelles.
3. Protocole de Vérification Croisée : Une méthode pour valider les résultats d'agents autonomes via des appels réseau et des replays indépendants.
4. NyayaVerifyBench : Un nouveau benchmark multilingue (4 langues) contenant 1 800 scénarios avec six types d'hallucinations injectées.
5. Calibration de la Confiance : Une démonstration empirique que les niveaux de confiance dérivés de la classification sont bien calibrés (ex: les réponses "Fully Verified" sont correctes à 98,7 %).

4. Résultats Expérimentaux

Les tests sur NyayaVerifyBench montrent la supériorité de NabaOS par rapport aux méthodes de base (auto-cohérence, RAG, regex, classifieurs SVIP) :

• Taux de Détection : NabaOS détecte 91 % des hallucinations au total, contre 68 % pour le meilleur classifieur (SVIP) et 45 % pour l'auto-cohérence.
  • Appels d'outils fabriqués : 94,2 %
  • Mauvais comptes : 87,6 %
  • Absences fausses : 91,3 %
• Faux Positifs (FPR) : Seulement 4 % sur les scénarios propres, contre 18 % pour le RAG et 12 % pour l'auto-cohérence.
• Latence : Surcharge de < 15 ms par réponse, rendant le système utilisable en temps réel (contre plusieurs secondes ou minutes pour les ZK-proofs).
• Indépendance Linguistique : La performance reste stable entre l'anglais, l'hindi, le mandarin et l'espagnol (variations < 4,1 points), car la vérification repose sur des données structurées (hachages, comptes) et non sur le texte.
• Calibration : Les réponses marquées "Fully Verified" sont correctes à 98,7 %, tandis que les réponses "Unreliable" ne sont correctes qu'à 23,4 %.

5. Signification et Conclusion

L'article démontre que pour les agents interactifs personnels, la vérification par reçus est bien plus pratique et efficace que les preuves cryptographiques lourdes (ZK).

• Changement de paradigme : Au lieu de se demander "Le modèle a-t-il bien tourné ?", NabaOS répond "Les affirmations sont-elles soutenues par des preuves d'exécution ?".
• Transparence Épistémique : En distinguant l'observation directe de l'inférence, le système ne supprime pas les inférences utiles mais les étiquette correctement, permettant à l'utilisateur d'ajuster son niveau de confiance.
• Faisabilité : Avec une surcharge négligeable et une architecture légère, NabaOS rend la détection d'hallucinations viable pour un déploiement grand public, comblant le fossé de confiance entre les utilisateurs et les agents IA autonomes.

En résumé, NabaOS propose une approche pragmatique et économiquement viable pour garantir la fiabilité des agents IA, en s'appuyant sur des preuves d'exécution cryptographiques et une classification philosophique rigoureuse des sources de connaissance.