Evidence-Grounded Verified Agentic Reasoning: A Path Toward Eliminating LLM Hallucination in Empirical Inference via Tool-Attested Kernel Proofs
Le document présente EG-VAR, une architecture de raisonnement agentique basée sur Lean 4 qui élimine les hallucinations des LLM dans l'inférence empirique en garantissant que tous les résultats vérifiés sont structurellement dérivés d'appels d'outils attestés et de preuves vérifiées par le noyau, tout en auditant explicitement ou en s'abstenant de toute affirmation non étayée.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez un assistant robotique super intelligent et bavard (un LLM) qui adore raconter des histoires sur le monde. Le problème ? Parfois, ce robot devient si confiant dans ses propres souvenirs qu'il invente des faits ou ignore les preuves réelles qui sont juste devant lui. C'est comme un étudiant qui, lorsqu'on lui demande de vérifier un problème de mathématiques par rapport au manuel, se contente d'écrire la réponse qu'il pense être la bonne parce qu'il s'en souvient d'un rêve, même si le manuel dit autre chose.
Pendant longtemps, les gens ont essayé de réparer cela en donnant au robot une « boîte à outils » de sources externes, comme une calculatrice ou une base de données. Mais l'article soutient que donner simplement une boîte à outils au robot ne suffit pas. Le robot pourrait encore ignorer la boîte à outils, ou il pourrait utiliser les chiffres de la boîte à outils mais ensuite détourner la logique pour l'adapter à sa propre histoire. C'est comme donner à un chef un ingrédient frais et vérifié, mais le laisser cuisiner comme bon lui semble ; le plat final peut tout de même être un désastre.
La Grande Idée : L'usine de « Revendications Vérifiées »
Les auteurs, dirigés par Junyu Ren, ont construit un nouveau système appelé EG-VAR (Evidence-Grounded Verified Agentic Reasoning). Voyez cela non pas comme un robot qui répond simplement à des questions, mais comme une usine de haute sécurité dotée d'un inspecteur très strict et au regard fixe.
Voici comment fonctionne l'usine, étape par étape :
- La Couche d'Outils (Le Coursier de Confiance) : D'abord, une machine déterministe, ennuyeuse et de confiance (pas le robot bavard) va à la source — comme un tableur ou une base de données — et récupère les chiffres bruts. Elle appose sur ces chiffres un sceau « Vérifié ». C'est le seul moyen d'introduire des données réelles dans l'usine.
- Le Formalisateur (Le Traducteur) : On demande ensuite au robot bavard (le LLM) de traduire la question humaine en un langage mathématique strict appelé Lean 4. C'est comme demander au robot d'écrire un contrat juridique ou une preuve mathématique plutôt qu'un paragraphe.
- Le Noyau (L'Inspecteur au Regard Fixe) : C'est la partie la plus importante. Un petit programme informatique super strict (le noyau Lean) agit comme l'inspecteur. Il vérifie le « contrat » du robot ligne par ligne.
- La Règle d'Or : L'inspecteur a une règle qui stipule : « Vous ne pouvez pas prétendre qu'un fait est VÉRIFIÉ à moins de pouvoir pointer un chiffre estampillé et scellé provenant du Coursier de Confiance. »
- Si le robot essaie d'inventer un chiffre, ou s'il essaie d'utiliser un chiffre mais connecte mal la logique, l'inspecteur rejette l'ensemble.
- Le Résultat :
- Si la preuve passe, l'usine imprime une réponse VÉRIFIÉE. Cette réponse est accompagnée d'une « piste d'audit rejouable », ce qui signifie que n'importe qui peut relancer les calculs plus tard et voir exactement comment la réponse a été construite à partir des données d'origine.
- Si la preuve échoue, l'usine ne devine pas. Elle dit S'ABSTENIR (ce qui signifie « je ne sais pas » ou « je ne peux pas prouver ceci »). C'est un « je renonce » honnête plutôt qu'un mensonge assuré.
Ce que l'article a réellement trouvé
Les auteurs ont testé ce système sur un ensemble spécifique de 120 questions concernant des tableaux (feuilles de calcul).
- Le Score « Parfait » : Lorsque les questions étaient claires et que le robot recevait les bons outils, EG-VAR a obtenu 120 questions sur 120 correctes. C'était une précision de 100 %.
- La Compétition : D'autres systèmes qui utilisaient les mêmes outils mais ne possédaient pas l'inspecteur strict n'ont obtenu que 114 questions sur 120 de bonnes (95 %). Ils commettaient encore des erreurs.
- Le Test « Contrefactuel » : C'était le véritable test de résistance. Les auteurs ont pris des tableaux et ont secrètement modifié les chiffres pour contredire ce que le robot « savait » de son entraînement (comme changer la population d'un pays pour un nombre minuscule).
- Sans l'inspecteur strict, le robot ignorait les nouveaux chiffres et s'en tenait à ses anciens souvenirs 80 % à 90 % du temps.
- Avec EG-VAR, le système est resté 100 % fidèle aux nouveaux chiffres modifiés. Peu importait la force de la mémoire de l'ancien robot ; l'inspecteur le forçait à utiliser les nouvelles données.
Ce que l'article écarte (Les Zones d'Interdiction)
L'article est très clair sur ce que ce système n'est pas et ce qu'il ne peut pas faire :
- Ce n'est pas un remède miracle pour toutes les hallucinations. L'article stipule explicitement que le robot peut encore commettre des erreurs lors de la traduction de la question humaine en langage mathématique. Si le robot comprend mal la question et écrit le mauvais problème mathématique, l'inspecteur vérifiera parfaitement ce problème mathématique, mais la réponse sera quand même fausse pour la question d'origine.
- Dans leurs tests, cette « erreur de traduction » est survenue environ 3,3 % du temps avec un modèle et 1,7 % avec un modèle plus puissant.
- Cela ne corrige pas les mauvaises données. Si le tableur d'origine contient un mensonge, le système vérifiera fidèlement ce mensonge. Le système garantit que la réponse provient de la source, pas que la source est vraie.
- Ce n'est pas un système de « peut-être ». L'article s'oppose aux systèmes qui donnent un « score de confiance » (comme « je suis sûr à 80 % »). Au lieu de cela, EG-VAR utilise une porte stricte « Oui/Non ». Soit vous avez une preuve vérifiée, soit vous avez un honnête « je m'abstiens ».
À quel point sont-ils sûrs ?
Les auteurs sont très confiants quant à la sécurité structurelle de leur système. Ils ont mathématiquement prouvé (Théorèmes 3.1 et 3.2) que :
- Aucune réponse VÉRIFIÉE ne peut jamais apparaître sans un appel d'outil estampillé pour l'appuyer.
- Chaque étape de la logique dans une réponse VÉRIFIÉE a été vérifiée par le noyau et est mathématiquement valide.
Cependant, concernant l'exactitude de la traduction du langage humain par le robot, ils sont plus prudents. Ils ont mesuré les taux d'erreur (3,3 % et 1,7 %) dans leurs tests spécifiques et suggèrent que ces chiffres pourraient s'améliorer si l'on entraînait davantage le robot à traduire correctement les questions. Mais le « plancher de sécurité » — la garantie que le système ne mentira pas silencieusement — est intégré dans l'architecture, et non simplement dans le cerveau du robot.
L'essentiel
EG-VAR est comme une usine qui refuse d'expédier un produit à moins de pouvoir montrer un reçu pour chaque pièce utilisée. Si le robot essaie de faire passer une fausse pièce, l'usine arrête la chaîne et dit : « Non, nous ne pouvons pas expédier cela. » Cela transforme le problème des « robots menteurs » en un problème de « reçus manquants », ce qui est beaucoup plus facile à détecter et à corriger. Bien qu'il ne résolve pas tous les problèmes (le robot peut toujours mal comprendre la commande), il garantit que lorsque l'usine dit « Vérifié », cela signifie réellement « Vérifié ».
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.