🤖 AI

Faithful Autoformalization via Roundtrip Verification and Repair

Cet article propose un cadre de vérification aller-retour qui garantit une traduction fidèle du langage naturel vers le formel en traduisant itérativement en arrière vers le langage naturel, en vérifiant l'équivalence logique et en appliquant des réparations ciblées guidées par le diagnostic pour corriger les erreurs sans nécessiter d'annotations de vérité terrain.

Auteurs originaux : Daneshvar Amrollahi, Jerry Lopez, Clark Barrett

Publié 2026-05-12

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Daneshvar Amrollahi, Jerry Lopez, Clark Barrett

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de traduire une règle juridique complexe de l'anglais vers un langage strict, lisible par ordinateur (comme un code secret). Vous demandez à une IA ultra-intelligente d'effectuer cette traduction. Mais comment savoir si l'IA n'a pas accidentellement modifié le sens de la règle pendant la traduction ?

Ce document propose un système astucieux de « vérification de traduction » qui ne nécessite pas d'expert humain pour détenir la clé de réponse. Au lieu de cela, il utilise une méthode de Vérification par Aller-Retour.

Voici comment cela fonctionne, en utilisant une analogie simple :

Le jeu de l'« Aller-Retour »

Imaginez le processus comme un jeu de « Téléphone arabe », mais avec une twist :

L'Aller (Traduction) : Vous donnez à l'IA une règle en langage naturel (par exemple : « Aucune voiture de plus de 3 tonnes ne peut entrer dans le parc »). L'IA traduit cela en un code logique strict (Étape 1).
Le Retour (Traduction inverse) : L'IA prend ce code logique et le traduit à nouveau en anglais ordinaire (Étape 2).
Le Re-Aller (Re-traduction) : L'IA prend cette nouvelle phrase en anglais et la re-traduit en code logique à nouveau (Étape 3).

La Vérification : Le système compare maintenant le Premier Code (de l'étape 1) avec le Deuxième Code (de l'étape 3).

S'ils correspondent parfaitement : L'IA a probablement bien saisi le sens. C'est une traduction « fidèle ».
S'ils ne correspondent pas : Quelque chose s'est mal passé. Le sens a dérivé quelque part le long du chemin.

Le « Médecin » et le « Scalpel »

Lorsque les deux codes ne correspondent pas, une approche naïve consisterait simplement à dire à l'IA : « Réessaie depuis le début ! » et à espérer le meilleur. Ce document soutient que c'est du gaspillage.

Au lieu de cela, ils utilisent un système de Diagnostic et Réparation :

Le Médecin (Diagnostic) : Un « juge » IA spécial examine les quatre pièces du puzzle (Texte original, Premier Code, Texte traduit à l'envers, Deuxième Code) pour déterminer exactement quelle étape a brisé le sens. A-t-il raté la première traduction ? A-t-il mal compris la traduction inverse ?
Le Scalpel (Réparation ciblée) : Une fois que le médecin a identifié l'étape spécifique brisée, le système ne répare que cette partie. Il ne jette pas tout le travail ; il effectue simplement une chirurgie sur l'étape défectueuse et relance le reste de la chaîne.

Le Test du Monde Réel

Les chercheurs ont testé cela sur deux ensembles de lois du Texas :

Lois sur le trafic : Règles concernant la conduite, les limites de vitesse et les bus scolaires.
Lois sur la faune : Règles concernant la chasse, la pêche et les animaux protégés.

Ils ont utilisé deux modèles d'IA puissants différents (Claude et GPT) pour voir si ce système fonctionnait.

Résultats Clés (Le « Et alors ? »)

La Vérification Fonctionne : Lorsque le système indique que les deux codes correspondent (Équivalence Formelle), c'est un signal très fort que le sens n'a pas dérivé. Lorsque les codes ne correspondent pas, le sens est presque certainement erroné.
Corriger la Bonne Chose Compte : La méthode la plus réussie n'était pas simplement de « réessayer ». C'était d'utiliser le « Médecin » pour trouver l'étape spécifique brisée et d'utiliser le « Scalpel » pour réparer uniquement cette étape.
Le Goulot d'Étranglement : Le système fonctionne mieux lorsque le « Médecin » (l'étape de diagnostic) est fiable.
- Lorsqu'ils ont utilisé le modèle Claude pour agir comme médecin, le système était rapide et précis.
- Lorsqu'ils ont utilisé le modèle GPT comme médecin, il continuait à blâmer la première étape pour chaque erreur, même lorsque ce n'était pas la faute de la première étape. Cela rendait le système lent et inefficace.
- La Solution : Ils ont découvert que si ils gardaient GPT pour le travail lourd (traduction) mais remplaçaient Claude uniquement pour agir comme médecin, le système redevenait rapide et précis.

La Conclusion

Ce document montre que vous pouvez vérifier si une IA traduit fidèlement des règles complexes sans avoir besoin d'un humain pour vérifier chaque réponse. En traduisant dans les deux sens et en réparant uniquement les maillons brisés spécifiques de la chaîne, vous pouvez obtenir des résultats beaucoup plus fiables.

Note Importante : Les auteurs avertissent explicitement que même avec ce système, la sortie ne doit pas être utilisée pour des tâches critiques pour la sécurité (comme la conduite autonome ou les dispositifs médicaux) sans qu'un expert humain ne l'examine d'abord. C'est un excellent outil pour vérifier la cohérence, mais pas une garantie magique de vérité absolue.

Résumé technique : Autoformalisation fidèle par vérification et réparation en boucle de retour

Énoncé du problème
L'article comble une lacune critique dans l'autoformalisation : l'absence d'une méthode fiable pour vérifier si un grand modèle de langage (LLM) a fidèlement capturé le sens sémantique d'une phrase en langage naturel lors de sa traduction en une représentation formelle vérifiable par machine. Les méthodes d'évaluation existantes reposent sur la validité syntaxique ou la réussite de tâches en aval, qui ne testent pas directement la fidélité sémantique. De plus, lorsque des erreurs surviennent, les stratégies de réparation actuelles se limitent à une régénération de bout en bout, sans capacité à diagnostiquer où dans le pipeline de traduction le sens a été perdu. Ceci est particulièrement difficile dans des domaines comme le droit législatif, où des formalisations de référence (ground-truth) sont indisponibles.

Méthodologie
Les auteurs proposent un cadre de vérification en boucle de retour et de réparation ciblée fonctionnant sans annotations de référence. Le mécanisme central implique un pipeline de traduction en trois étapes :

T1 (Autoformalisation) : Traduit l'entrée en langage naturel $x$ en une expression formelle $y_{orig}$ dans un formalisme cible $\Sigma$ .
T2 (Retraduction) : Traduit $y_{orig}$ de nouveau en langage naturel $x'$ .
T3 (Reformalisation) : Traduit $x'$ de nouveau en une expression formelle $y_{rt}$ .

Vérification : Le système vérifie l'équivalence logique entre la formalisation initiale ( $y_{orig}$ ) et la formalisation en boucle de retour ( $y_{rt}$ ) à l'aide d'un outil formel (spécifiquement un solveur SMT dans les expériences). Si $y_{orig} \equiv_\Sigma y_{rt}$ , le pipeline est considéré comme auto-cohérent.

Diagnostic et réparation : Lorsque l'équivalence échoue, le cadre emploie une procédure de diagnostic par étape. Un juge LLM examine les artefacts ( $x, y_{orig}, x', y_{rt}$ ) pour identifier la première étape où une dérive sémantique s'est produite (Étape 1, 2 ou 3). Crucialement, le diagnostic est « ciblé », ce qui signifie que l'explication est contrainte aux artefacts pertinents uniquement pour cette étape spécifique.

Réparation ciblée : Au lieu de régénérer l'intégralité du pipeline, un opérateur de réparation ciblé ( $R_i$ ) corrige uniquement l'étape défaillante identifiée. Les étapes en aval sont ensuite régénérées pour maintenir la cohérence du pipeline.
Boucle itérative : Ce processus se répète jusqu'à un budget fixe ( $K=3$ ) jusqu'à ce que l'équivalence soit atteinte ou que le budget soit épuisé.

Signal sémantique auxiliaire : Pour évaluer la qualité sémantique des formalisations indépendamment de la boucle de réparation, les auteurs utilisent un modèle bidirectionnel d'inférence en langage naturel (NLI). Cela sert de diagnostic a posteriori pour mesurer la « dérive » (par exemple, contradictions ou non-pertinence) entre le texte original et le texte reconstruit, distinguant les règles qui sont formellement cohérentes mais sémantiquement dérivées.

Contributions clés

Cadre de vérification en boucle de retour : Une méthode pour signaler la fidélité de l'autoformalisation sans formalisations de référence, applicable à tout formalisme admettant une vérification d'équivalence (par exemple, SMT, vérificateurs de types).
Réparation ciblée guidée par le diagnostic : Une procédure qui localise les erreurs à des étapes spécifiques de traduction, permettant des corrections ciblées plutôt qu'une régénération coûteuse de l'intégralité du pipeline.
Analyse empirique des goulots d'étranglement : Une étude menée sur deux domaines législatifs (Code des transports du Texas et Code des parcs et de la faune du Texas) et deux familles de modèles (Claude Opus 4.6 et GPT-5.2) identifiant l'étape de diagnostic comme le principal goulot d'étranglement pour la réparation ciblée, plutôt que le pipeline ou les opérateurs de réparation eux-mêmes.

Résultats
Le cadre a été évalué sur 150 règles de circulation et 77 règles relatives à la faune.

Efficacité de la réparation : La réparation ciblée guidée par le diagnostic a atteint les taux d'équivalence vérifiée les plus élevés au coût le plus faible lorsque la fonction de diagnostic était fiable.
Dépendance au modèle : Avec Claude exécutant le pipeline et le diagnostic, la réparation ciblée surpassait les lignes de base (aucune réparation, sélection aléatoire d'étape, régénération complète). Cependant, avec GPT, l'étape de diagnostic était peu fiable (fortement biaisée vers la culpabilisation de l'Étape 1), ce qui a fait que la réparation ciblée sous-performait et devenait plus coûteuse que la régénération complète.
Intervention inter-modèles : Remplacer uniquement l'étape de diagnostic de GPT par Claude (tout en conservant GPT pour le pipeline et la réparation) a restauré l'efficacité et l'efficacité de la réparation ciblée, prouvant que la fonction de diagnostic est la variable critique.
Prédiction de la fidélité : L'équivalence formelle est un prédicteur fort de la fidélité sémantique. Les règles ayant passé le test d'équivalence (UNSAT) ont montré une dérive NLI de 1,4 à 2,5 fois moindre que celles ayant échoué (SAT). Cependant, l'équivalence formelle est nécessaire mais non suffisante ; environ 16 % des règles formellement équivalentes présentaient toujours une dérive sémantique.

Signification et affirmations
L'article affirme que l'équivalence formelle sert de signal pratique, sans référence de vérité, pour la fidélité sémantique en autoformalisation. Il démontre que la réparation ciblée, pilotée par un diagnostic précis au niveau des étapes, est une stratégie plus rentable et efficace que la régénération complète. Les auteurs soulignent que la fiabilité de la fonction de diagnostic est le facteur déterminant pour le succès de cette approche.

Le travail est modeste dans son ampleur, notant que le cadre est heuristique et ne garantit pas la correction par rapport à l'intention originale en langage naturel (car le pipeline pourrait se stabiliser à un point fixe sémantiquement différent). Les auteurs déclarent explicitement que le système n'est pas adapté aux applications critiques pour la sécurité sans examen indépendant par un expert et que l'évaluation actuelle est limitée aux textes législatifs en anglais, nécessitant d'autres études pour d'autres genres comme le code ou les textes scientifiques.