💻 computer science

Reducing Hallucinations in LLM-Generated Code via Semantic Triangulation

Ce papier présente la triangulation sémantique, un cadre théorique qui réduit les hallucinations dans le code généré par les LLM en vérifiant la cohérence entre des solutions à un problème original et à une variante dissociative, améliorant ainsi significativement la sélection de programmes corrects par rapport aux méthodes existantes.

Auteurs originaux : Yihan Dai, Sijie Liang, Haotian Xu, Peichu Xie, Sergey Mechtaev

Publié 2026-03-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yihan Dai, Sijie Liang, Haotian Xu, Peichu Xie, Sergey Mechtaev

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous demandez à un groupe d'assistants très intelligents, mais parfois un peu rêveurs (ce sont les Modèles de Langage, ou LLM), de rédiger un code informatique pour vous. Le problème ? Parfois, ces assistants inventent des solutions qui semblent plausibles mais qui sont en réalité fausses. C'est ce qu'on appelle une hallucination.

Dans le monde du code, si vous demandez à 10 assistants de résoudre le même problème, ils vont souvent tous faire la même erreur en même temps. C'est comme si 10 suspects avaient répété ensemble le même faux alibi. Si vous leur demandez : « Qui est innocent ? » et que vous choisissez celui que la majorité soutient (la méthode classique), vous allez choisir le menteur, car tout le monde ment de la même façon !

Les chercheurs de cet article (de l'Université de Pékin et d'autres) ont inventé une méthode géniale pour démasquer ces menteurs. Ils l'appellent la Triangulation Sémantique.

Voici comment ça marche, avec une analogie simple :

1. Le Problème : Le Faux Alibi Collectif

Imaginez que vous êtes un détective. Vous avez un suspect (le code généré) qui dit : « J'ai volé le gâteau à 14h ».

L'ancienne méthode (Vote majoritaire) : Vous interrogez 10 autres témoins (d'autres codes générés). Ils disent tous : « Oui, il était là à 14h ! ». Vous pensez donc qu'il est innocent.
La réalité : Ces témoins sont aussi des assistants IA. Ils ont tous « halluciné » la même histoire. Ils se sont tous trompés de la même manière. Votre vote majoritaire ne fait que renforcer le mensonge.

2. La Solution : La Triangulation (Le Détective Astucieux)

Au lieu de demander aux témoins de répéter la même histoire, le détective astucieux (notre outil just-tri-it) change radicalement l'angle d'attaque. Il ne demande pas « Qu'avez-vous fait à 14h ? ». Il pose une question totalement différente, mais liée : « Si vous aviez volé le gâteau, quel serait le poids exact du gâteau une fois mangé ? » ou « Pouvez-vous dessiner le chemin que vous avez emprunté pour revenir en arrière ? ».

C'est ce qu'ils appellent une transformation dissociative.

Pour résoudre le problème original, l'IA doit utiliser une certaine logique (comme un imprimeur).
Pour résoudre le problème inversé (le nouveau), elle doit utiliser une logique totalement différente (comme un scanner ou un détective).

3. Pourquoi ça marche ?

Si l'IA a vraiment compris la vérité (le code est correct) :

Elle réussira le premier problème.
Elle réussira aussi le deuxième problème (l'inverse), car la vérité est cohérente.
Les deux réponses s'aligneront parfaitement.

Si l'IA a menti (hallucination) :

Elle a inventé une histoire pour le premier problème.
Mais quand on lui demande de faire l'inverse, son cerveau « rêveur » va essayer d'inventer une nouvelle histoire qui ne colle pas avec la première.
Résultat : Les deux réponses ne s'alignent pas. Le mensonge est démasqué !

Les 3 Astuces du Détective (Méthodes concrètes)

L'article propose trois façons de poser ces questions inversées :

L'Inversion (Le Miroir) : Au lieu de demander « Comment transformer A en B ? », on demande « Comment transformer B pour retrouver A ? ». C'est comme demander à un cuisinier de vous dire comment il a fait un gâteau, puis de lui demander de reconstruire les ingrédients à partir du gâteau fini.
L'Énumération (La Liste Complète) : Au lieu de demander « Un seul gâteau possible », on demande « Donnez-moi TOUS les gâteaux possibles ». C'est plus difficile, mais si l'IA réussit à lister tout, c'est qu'elle comprend vraiment la recette.
La Décomposition (Le Puzzle) : On coupe le problème en petits morceaux. Si l'IA réussit chaque petit morceau, elle a de grandes chances d'avoir réussi le grand puzzle.

Le Résultat Magique

En testant cette méthode sur des milliers de problèmes de programmation difficiles, les chercheurs ont découvert que :

Ils réussissent à trouver le bon code même quand l'IA a très peu de chances de le trouver au premier coup (parfois moins de 7 % de chances !).
Ils sont beaucoup plus fiables que les méthodes actuelles qui utilisent des tests générés par l'IA (car ces tests sont souvent aussi faux que le code !).
L'outil sait aussi dire « Je ne sais pas » (abstention) quand il n'est pas sûr, évitant ainsi de donner un code dangereux.

En Résumé

Imaginez que vous ne faites plus confiance à un seul témoin, ni même à un groupe de témoins qui se copient. Vous leur posez une question piège, dans un sens différent. Si leur histoire tient la route dans les deux sens, c'est qu'ils disent la vérité. Sinon, c'est qu'ils rêvent.

C'est une méthode mathématiquement prouvée pour transformer les « rêves » des IA en code fiable, en utilisant la logique de la triangulation : si deux chemins différents mènent au même point, c'est que vous êtes sur la bonne voie.

1. Problématique

Les modèles de langage (LLM) sont capables de générer du code exécutable à partir de descriptions en langage naturel, mais cette capacité s'accompagne d'un problème majeur : les hallucinations. Les programmes générés contiennent souvent des bugs ou des vulnérabilités, exacerbés par la tendance croissante au "vibe coding" (codage basé sur l'intuition sans revue approfondie).

Les approches existantes pour vérifier la correction du code reposent sur des proxies générés par le même LLM (comme des tests unitaires ou des spécifications formalisées automatiquement). Cependant, ces méthodes souffrent d'un défaut fondamental :

Corrélation des erreurs : Puisque le LLM génère à la fois le code et le proxy de vérification, il est susceptible de faire les mêmes erreurs dans les deux. Un proxy biaisé peut valider un code erroné, créant une "fausse preuve" de justesse.
Limites du vote majoritaire (Plurality Voting) : Sélectionner le code le plus fréquent parmi plusieurs échantillons échoue lorsque les erreurs sont corrélées (le modèle répète la même erreur dominante) ou lorsque le problème est imprécis (inexact), c'est-à-dire qu'il admet plusieurs solutions correctes non équivalentes.

2. Méthodologie : La Triangulation Sémantique

Les auteurs proposent un cadre théorique et pratique appelé Triangulation Sémantique. L'idée centrale est de transformer le problème original en une variante dissociative (requérant un algorithme fondamentalement différent) et de vérifier la cohérence entre les solutions des deux problèmes.

Principes Théoriques

Le cadre repose sur deux propriétés mathématiques essentielles pour qu'une transformation soit efficace :

Induction de bijection (Bijection-inducing) : La transformation doit établir une correspondance un-à-un entre les classes d'équivalence des programmes (corrects et erronés). Cela garantit que des erreurs différentes dans le problème original se traduisent par des erreurs différentes dans le problème transformé, rendant peu probable qu'elles coïncident par hasard.
Couplage de la correction (Correctness-coupling) : La transformation doit préserver la correction. Une solution correcte du problème original doit correspondre à une solution correcte du problème transformé.

Mécanisme de Fonctionnement

Le processus, implémenté dans l'outil just-tri-it, suit ces étapes :

Transformation Dissociative : Le problème original $d$ $d$ est transformé en un problème $d'$ $d^{'}$ via des techniques comme :
- Inversion de problème : Transformer une fonction de génération (ex: "imprimer une chaîne") en une fonction d'analyse (ex: "parser une chaîne").
- Énumération de réponses : Transformer un problème de décision ou de génération unique en un problème listant toutes les solutions valides.
- Décomposition : Traiter les problèmes de flux (stream) élément par élément.
Échantillonnage Indépendant : Le LLM génère des solutions pour $d$ et des solutions pour $d'$ .
Vérification d'Accord (Hyperpropriétés) : On vérifie si une solution $p$ de $d$ et une solution $q$ de $d'$ sont cohérentes via une relation $\phi$ . Si elles s'accordent, cela sert de témoin de plausibilité indépendant, augmentant la confiance que $p$ est correct.

Gestion des Problèmes Imprécis (Inexact)

Pour les problèmes admettant plusieurs solutions valides (où le vote majoritaire échoue), la méthode utilise une cascade de triangulation :

Elle génère d'abord un énumérateur (qui liste toutes les solutions valides).
Elle triangule cet énumérateur avec une inverse partielle à valeurs d'ensemble (qui liste tous les inputs menant à un output donné).
Enfin, elle vérifie si la solution candidate du problème original est incluse dans l'ensemble validé par l'énumérateur.

3. Contributions Clés

Cadre Théorique Fondé : Introduction de la "Triangulation Sémantique" comme méthode pour décorréler les erreurs des LLM. Les auteurs prouvent mathématiquement (sous des hypothèses de "perroquets stochastiques" et d'erreurs corrélées) que cette méthode augmente strictement la probabilité d'identifier un code correct par rapport au vote majoritaire.
Implémentation Pratique (just-tri-it) : Développement d'un outil qui automatise ces transformations (inversion, énumération) et les vérifications via des hyperpropriétés.
Preuves Mécanisées : Toutes les méthodes proposées sont prouvées correctes dans le langage de preuve Lean, garantissant que les transformations respectent les propriétés de bijection et de couplage.
Gestion des Problèmes Inexacts : C'est la première méthode capable de gérer de manière cohérente les problèmes admettant plusieurs solutions valides non équivalentes, un défi majeur pour les approches précédentes.

4. Résultats Expérimentaux

L'outil a été évalué sur les benchmarks LiveCodeBench (175 problèmes récents) et CodeElo-Inexact (31 problèmes imprécis), en utilisant trois modèles de pointe : GPT-4o, DeepSeek-V3 et Gemini 2.5 Flash.

Amélioration de la Confiance : La triangulation augmente la probabilité de sélectionner un programme correct de 24 % par rapport aux meilleures méthodes de base (génération de tests, métamorphisme, spécifications Hoare auto-formalisées).
Performance en Sélection/Abstention : Dans les scénarios où le système doit choisir de ne pas répondre (abstention) s'il n'est pas sûr, just-tri-it obtient un score F1 d'abstention 26 % supérieur aux baselines.
Robustesse aux Faibles Probabilités : Contrairement aux méthodes qui ne sélectionnent que les solutions à haute probabilité (ex: > 0.5), la triangulation permet de sélectionner avec fiabilité des solutions correctes même lorsque leur probabilité d'échantillonnage est très faible (jusqu'à 0.07).
Supériorité sur les Problèmes Imprécis : Sur CodeElo, la méthode surpasse le vote majoritaire et les autres approches, qui échouent souvent à cause de la diversité des solutions correctes.
Coût : La méthode augmente le temps d'exécution d'environ 2,5x et la consommation de tokens de 4,9x par rapport au vote majoritaire, mais reste compétitive par rapport aux méthodes de spécification formelle.

5. Signification et Impact

Ce travail représente une avancée significative dans la fiabilité du code généré par l'IA :

Changement de Paradigme : Il déplace la vérification de la simple cohérence interne (code vs tests générés par le même modèle) vers une cohérence structurelle externe (code vs problème inverse/dissociatif).
Preuve Théorique de l'Inefficacité des Méthodes Actuelles : L'article démontre formellement pourquoi les spécifications Hoare auto-générées échouent souvent (absence de bijection entre classes d'erreurs de code et erreurs de spécification).
Applicabilité : La méthode fonctionne comme une boîte noire, ne nécessitant pas de modifier le modèle LLM, ce qui la rend applicable à n'importe quel générateur de code.
Futur : Elle ouvre la voie à des mécanismes de consensus robustes pour des tâches de programmation complexes, difficiles et multi-solutions, là où les approches actuelles échouent.

En résumé, la Triangulation Sémantique offre une solution théoriquement fondée et pratiquement efficace pour détecter et filtrer les hallucinations des LLM en exploitant la diversité algorithmique requise pour résoudre des problèmes inverses ou transformés.