🤖 AI

Theoria: Rewrite-Acceptability Verification over Informal Reasoning States

L'article présente Theoria, une architecture de vérification qui améliore la fiabilité des réponses de l'IA en réécrivant les solutions sous forme de transitions d'état typées et auditables avec des justifications explicites, surpassant ainsi les juges LLM holistiques dans la détection de prémisses cachées et de citations fabriquées tout en maintenant une précision élevée sur des problèmes de niveau expert.

Auteurs originaux : Ben Slivinski, Michael Saldivar

Publié 2026-07-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ben Slivinski, Michael Saldivar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez un architecte brillant mais parfois trop sûr de lui pour concevoir un pont. Vous ne voulez pas seulement le plan final ; vous avez besoin de savoir pourquoi chaque poutre est placée là où elle se trouve. Si l'architecte dit : « Cette poutre va ici parce qu'elle semble bien placée », vous ne pouvez pas faire confiance au pont. Mais s'il dit : « Cette poutre va ici à cause de la Loi X, et voici le calcul qui le prouve », alors vous pouvez vérifier les calculs.

C'est le problème que Theoria résout pour l'Intelligence Artificielle.

Le Problème : Deux manières défaillantes de faire confiance à l'IA

Actuellement, nous avons deux manières principales de vérifier si la réponse d'une IA est bonne, et les deux présentent des lacunes :

L'approche du « Mathématicien » (Assistants de preuve formelle) : C'est comme engager un robot qui ne parle qu'un code mathématique strict et incassable. C'est parfait, mais il ne peut comprendre que les problèmes qui ont déjà été traduits dans ce code. La plupart des problèmes du monde réel (comme les arguments juridiques ou les théories scientifiques) sont désordonnés et informels, donc le robot ne peut pas les lire.
L'approche du « Sentiment Intuitif » (Juges scalaires) : C'est comme demander à un humain de lire l'essai d'une IA et de lui donner une note de 1 à 10. Cela couvre beaucoup de terrain, mais le score est une boîte noire. Vous ne savez pas pourquoi elle a obtenu un 7. A-t-elle omis une hypothèse cachée ? A-t-elle inventé une citation ? Vous obtenez simplement un chiffre, et vous ne pouvez pas l'auditer plus tard.

La Solution : Le Détective de la « Réécriture d'État »

Theoria introduit une troisième voie. Au lieu de demander à l'IA d'écrire un long essai ou de tout traduire en code mathématique, Theoria force l'IA à réécrire sa réponse sous la forme d'un journal de changement d'état étape par étape.

C'est comme un fichier de sauvegarde de jeu vidéo ou un système de contrôle de version (comme Git) pour le raisonnement.

La Configuration : L'IA commence avec un « État 0 » (l'énoncé du problème).
Le Mouvement : Pour arriver à la réponse, l'IA doit effectuer un mouvement vers l'« État 1 », puis l'« État 2 », et ainsi de suite.
La Règle : Pour chaque mouvement, l'IA doit fournir un ticket (une justification). Ce ticket ne peut être que de trois types :
1. Une Citation : « J'utilise le Théorème X. »
2. Un Calcul : « J'ai fait le calcul : 2+2=4. »
3. Un Fait Donné : « Le problème m'a indiqué cela. »

Le Tour de Magie : « Complétude du Changement »

Voici la recette secrète. Theoria impose une règle stricte : Chaque changement entre l'État A et l'État B doit être expliqué par le ticket.

Si l'IA tente d'introduire une hypothèse cachée (comme « Supposons que le pont soit fait d'or ») sans ticket, le système la rattrape. Le « changement » (l'ajout de l'hypothèse de l'or) apparaît dans le journal, mais le ticket (la justification) ne le couvre pas. Le système hurle : « Attendez ! Vous avez modifié l'état, mais vous ne nous avez pas montré le reçu ! »

Cela force l'IA à être honnête. Elle ne peut pas cacher un mensonge dans un long paragraphe de texte ; elle doit montrer le moment exact où le mensonge est entré dans la conversation.

Comment cela fonctionne en pratique

Le Solveur : Une IA tente de résoudre un problème.
Le Formalisateur : Une seconde IA réécrit cette solution sous la forme du « Journal de changement d'état » décrit ci-dessus. Si le solveur a fait un saut logique, le formalisateur doit l'inscrire comme une étape spécifique.
Les Juges : Des IA auditeurs spécialisées vérifient chaque étape.
- Un « Juge de Mathématiques » vérifie les calculs.
- Un « Juge de Citations » vérifie si le théorème référencé existe réellement et s'il s'applique.
- Un « Juge de Faits » vérifie si le fait figurait bien dans le problème d'origine.
Le Verdict : Si chaque étape possède un ticket valide, la réponse est Certifiée. Si même une seule étape manque d'un ticket ou possède un ticket erroné, la réponse est Déclinée.

Ce que l'article a révélé

Les auteurs ont testé cela sur des problèmes difficiles (comme ceux que l'on trouve dans les examens d'experts) et ont constaté :

Haute Confiance : Quand Theoria dit qu'une réponse est correcte, elle l'est 91,4 % du temps.
Meilleure détection des mensonges sournois : Quand l'IA tente de cacher une prémisse (une hypothèse cachée) ou d'inventer une citation, Theoria la détecte 90,6 % du temps. Un juge standard basé sur le « sentiment intuitif » ne la détecte que 62,5 % du temps.
Pas magique sur les erreurs de calcul : Si l'IA fait simplement une erreur de calcul élémentaire (comme dire que 2+2=5), Theoria et le juge standard la détectent à peu près autant de fois. L'avantage spécial de Theoria concerne spécifiquement la détection de la logique cachée et des sources fictives.
Complémentarité : Theoria et les juges standards échouent sur des problèmes différents. Si vous utilisez les deux, vous pouvez détecter presque toutes les erreurs.

L'Essentiel

Theoria ne cherche pas à rendre l'IA plus intelligente ; elle cherche à rendre son raisonnement auditable.

Elle transforme un essai vague et peu fiable en un registre transparent de changements. Elle ne promet pas que toutes les réponses seront correctes (elle décline environ 43 % des réponses car elle ne peut pas les vérifier), mais pour les réponses qu'elle approuve, vous pouvez consulter le reçu, vérifier les calculs et savoir exactement pourquoi il est sûr de lui faire confiance.

Dans un monde où l'IA pourrait halluciner des faits, Theoria est le système qui dit : « Montrez-moi le reçu pour chaque étape, ou je ne validerai pas le tout. »

Résumé Technique : Theoria – Vérification de la l'acceptabilité de la réécriture sur des états de raisonnement informels

1. Énoncé du Problème

Le document traite du « problème de la confiance » dans le raisonnement de l'IA : distinguer quand une réponse générée par une IA doit susciter une confiance justifiée, particulièrement dans les domaines critiques pour la sécurité (sciences, droit, finance, médecine). Les approches actuelles font face à une dichotomie :

Les assistants de preuve formels (ex. Lean, Coq) : Offrent une certitude mathématique mais ne parviennent pas à couvrir la plupart des distributions de problèmes en raison du coût élevé et de la fragilité sémantique de l'auto-formalisation des exigences informelles en langage naturel.
Les juges LLM scalaires : Offrent une large couverture mais produisent des scores opaques qui ne peuvent être audités, héritent des problèmes de cohérence des LLM et échouent à identifier pourquoi une preuve est défectueuse (ex. : prémisses cachées, citations fabriquées).

Le défi central est de vérifier le raisonnement informel sans exiger une formalisation complète, tout en garantissant que les erreurs — spécifiquement les hypothèses non énoncées et les sauts logiques — soient visibles et auditables.

2. Méthodologie : L'architecture Theoria

Theoria introduit une architecture de vérification qui réécrit la réponse en langage naturel d'un solveur en un témoin de preuve (proof witness) : une séquence de transitions d'états typés.

2.1 Le cadrage de la réécriture

Au lieu de traiter une preuve comme un bloc de prose, Theoria la décompose en une trajectoire d'états $(S_0, S_1, \dots, S_n)$ .

État ( $S_i$ ) : Une liste ordonnée de chaînes de caractères représentant les faits établis et l'objectif actuel.
Transition : Une étape de $S_{i-1}$ $S_{i - 1}$ vers $S_i$ $S_{i}$ est autorisée par un type de justification spécifique :
1. Citation : Un théorème, une définition ou une règle d'inférence.
2. Calcul : Manipulation arithmétique ou symbolique.
3. Donné par le problème : Faits explicitement énoncés dans le texte du problème.
L'invariant de complétude du changement : Toute différence sémantique entre $S_{i-1}$ et $S_i$ doit être justifiée par la justification énoncée. Si une prémisse est nécessaire pour dériver le nouvel état mais n'est pas présente dans l'état précédent ou dans la justification, cela constitue une mutation non autorisée.

2.2 Pipeline de vérification

Le système opère en boucle : Résoudre $\to$ Formaliser $\to$ Juger $\to$ Filtrer $\to$ Réparer.

Solveur : Propose une solution en langage naturel (augmentée par des outils, ex. recherche web).
Formalisateur : Réécrit la solution en un témoin de transition d'état. Il impose que les prémisses doivent être explicites avant d'être utilisées.
Jugement spécialisé parallèle :
- Juges de calcul : Re-calculent les étapes à partir de zéro.
- Juges de citation : Vérifient l'existence et l'applicabilité des théorèmes cités par rapport au différentiel (diff) de l'état.
- Juges des données du problème : Vérifient les faits par rapport au texte original.
- Juge de l'état initial : Audite $S_0$ pour s'assurer qu'aucune prémisse injustifiée n'est introduite au départ.
- Tous les juges sont incités de manière adversaire à trouver des erreurs plutôt qu'à confirmer la plausibilité.
Filtre de pédanterie : Distingue les erreurs substantielles de la trop grande rigueur concernant la notation informelle ou la compression.
Élévation de convention (Convention Lift) : Permet au système d'accepter une étape si une convention de domaine standard et citable résout un rejet, à condition que l'hypothèse soit explicitement enregistrée.
Certifier ou Décliner : Le système produit une décision binaire. Si toutes les étapes passent (ou sont résolues via l'élévation de convention), la réponse est Certifiée. Si une étape échoue et ne peut être réparée dans les limites imparties, la réponse est Déclinée.

3. Principales Contributions

La contribution primaire du papier n'est pas l'utilisation de plusieurs modèles ou la vérification par étape (qui sont communes), mais le format de témoin spécifique et ses garanties théoriques :

Garantie d'exposition (Proposition 4.4) : L'invariant de complétude du changement convertit les prémisses cachées (écarts de raisonnement globaux) en mutations locales et observables non autorisées. Une prémisse cachée doit soit apparaître comme un nouvel élément dans l'état (déclenchant un contrôle de licence) soit violer l'invariant. Cela force les erreurs à la surface où elles peuvent être détectées par des juges locaux.
Prédictions de classes d'erreurs (Proposition 4.5) : Le format prédit que les avantages de vérification se concentreront sur :
- Prémisses cachées : Exposées comme des mutations non autorisées.
- Citations fabriquées : Exposées car la preuve est explicitement typée et vérifiée par rapport au différentiel.
- Aucun avantage : Les erreurs arithmétiques et les mauvaises applications de théorèmes (où le théorème existe mais est mal appliqué) ne reçoivent aucun avantage structurel d'exposition par rapport à la prose, car l'erreur est sémantique plutôt que structurelle.
Décomposition de l'échec : Le papier distingue entre un Échec d'Exposition (le format cache l'erreur) et un Échec de Juge (le juge manque une erreur exposée). Theoria vise à minimiser le premier, laissant le second à être traité empiriquement.

4. Résultats Empiriques

L'évaluation a été menée sur HLE-Verified Gold (185 problèmes d'experts) et GPQA Diamond (65 problèmes scientifiques de niveau doctorat).

4.1 Performance sur HLE-Verified Gold

Précision Certifiée : 91,4 % (96/105 corrects) avec un IC de Wilson à 95 % de [84,5 %, 95,4 %].
Couverture : 56,8 % (105/185 problèmes certifiés).
Asymétrie : Les réponses déclinées étaient environ 5,0 $\times$ plus susceptibles d'être fausses que les réponses certifiées (taux d'erreur de 42,5 % contre 8,6 %).
Comparaison au Solveur seul : Un solveur augmenté par le web a atteint 83,8 % de précision à 100 % de couverture. Le pipeline de Theoria a filtré une partie significative des erreurs, réduisant le taux d'erreur dans le compartiment certifié à 8,6 %.
Comparaison aux Juges Holistiques : Les juges LLM holistiques (attribuant un score de confiance unique) ont atteint une précision comparable (92,4–93,3 %) à couverture égale. Cependant, ils ont échoué sur des problèmes différents (indice de Jaccard 0,14–0,36), indiquant une couverture d'erreurs complémentaire.

4.2 Robustesse Adversaire

Sur un benchmark de 95 preuves empoisonnées (injection de types d'erreurs spécifiques) :

Détection Globale : Theoria a capturé 94,7 % (90/95) contre 83,2 % (79/95) pour le jugement holistique ( $p = 0,0017$ ).
Spécificités des classes d'erreurs :
- Prémisses cachées : Theoria 90,6 % contre Holistique 62,5 % (écart de 28 points de pourcentage).
- Citations fabriquées : Theoria 100 % contre Holistique 90 %.
- Erreurs arithmétiques/Mauvaises applications de théorèmes : La performance était identique (~95 % et ~93 % respectivement), confirmant la prédiction théorique que le format n'offre aucun avantage structurel pour ces types d'erreurs.

4.3 Hors Distribution (GPQA Diamond)

Précision Certifiée : 97,1 % (33/34).
Couverture : 52,3 %.
La haute précision sur un benchmark différent suggère que la frontière « certifier ou décliner » est pilotée par la formalisabilité du raisonnement plutôt que par un étalonnage spécifique au benchmark.

4.4 Potentiel d'Ensemble

Parce que Theoria et les juges holistiques échouent sur des ensembles de problèmes disjoints, les stratégies d'ensemble (ex. vote majoritaire) ont atteint 93,6 % de précision à 58,9 % de couverture, surpassant toute méthode individuelle.

5. Signification et Revendications

Le papier affirme que Theoria fournit un mécanisme de surveillance évolutive (scalable oversight) qui comble le fossé entre la sortie brute d'un LLM et la vérification formelle.

Auditabilité : Contrairement aux scores scalaires, Theoria produit une trace de preuve lisible par l'humain où chaque étape peut être contestée de manière indépendante.
Avantage Structurel : Le système ne repose pas sur la reconstruction d'une preuve à partir de la prose par le juge. Au contraire, il réduit la tâche de vérification à une question locale : « Cette justification autorise-t-elle ce changement d'état spécifique ? »
Complémentarité : Le papier soutient que Theoria n'est pas un remplacement pour les juges holistiques mais une approche complémentaire. Le faible chevauchement de Jaccard dans les erreurs suggère que la combinaison d'architectures de vérification structurellement différentes produit une plus grande fiabilité.
Limites : Les auteurs reconnaissent que Theoria ne peut pas détecter les erreurs qui ne produisent aucune mutation d'état observable (ex. subtiles interprétations erronées de l'énoncé du problème dans $S_0$ ) et qu'il dépend actuellement de juges LLM plutôt que de backends formels (comme Lean ou des solveurs SMT), bien qu'il soit conçu pour être compatible avec eux.

En résumé, Theoria démontre qu'en imposant un invariant de complétude du changement sur le raisonnement informel, il est possible de faire émerger les hypothèses cachées et les preuves fabriquées que l'évaluation holistique standard manque, fournissant ainsi une limite rigoureuse et auditable pour la confiance dans le raisonnement généré par l'IA.