💬 NLP

TRACE: Trajectory Correction from Cross-layer Evidence for Hallucination Reduction

TRACE est un algorithme d'inférence déterministe et sans entraînement qui réduit les hallucinations dans les grands modèles de langage en sélectionnant dynamiquement la couche optimale et l'opérateur de correction (tel que l'inversion scalaire ou la récupération d'état antérieur) sur la base de la trajectoire de candidats croisée interne de chaque entrée, permettant ainsi des gains significatifs de précision sur 15 modèles sans nécessiter de données externes ni de fine-tuning.

Auteurs originaux : Tej Sanibh Ranade

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tej Sanibh Ranade

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Grand Modèle de Langage (LLM) comme une immense usine à plusieurs étages où un produit (une réponse) est assemblé couche par couche. Au rez-de-chaussée, les matières premières entrent. À mesure qu'elles montent à travers les étages (couches), elles sont traitées, raffinées et emballées. Enfin, tout en haut, au dernier étage, le produit fini est expédié.

Le problème, comme l'explique l'article, est que parfois l'usine commet une erreur juste au quai d'expédition. Les ouvriers du dernier étage peuvent se confondre, se laisser distraire ou être sous pression, et ils expédient une « hallucination » (une réponse confiante mais erronée), même si la vérité était clairement visible et correcte aux étages inférieurs.

Les tentatives précédentes pour résoudre ce problème ressemblaient à l'utilisation d'un outil unique et rigide pour chaque problème :

L'approche « Volant de direction » : Tenter de forcer l'usine à tourner à gauche ou à droite selon une règle fixe.
L'approche « Consultant externe » : Faire appel à des experts extérieurs (systèmes de récupération) pour vérifier le travail.
L'approche « Comparer et Contraster » : Se contenter de regarder le dernier étage et de dire : « Cela ne semble pas correct, essayons l'étage du dessous. »

L'article soutient que ces méthodes sont trop rigides. Parfois, la vérité est cachée profondément au milieu ; parfois, elle se trouve dès le début ; parfois, l'usine livre une bataille entre trois idées fausses différentes, et non pas seulement deux. Un outil unique ne peut pas résoudre tous ces scénarios différents.

La Solution : TRACE (L'Inspecteur Intelligent de l'Usine)

Les auteurs présentent TRACE, une nouvelle méthode qui agit comme un inspecteur intelligent et adaptatif qui parcourt l'usine pendant que le produit est en cours de fabrication. Au lieu d'utiliser une règle fixe, TRACE examine le « parcours » de la réponse alors qu'elle se déplace du rez-de-chaussée vers le sommet.

Voici comment TRACE fonctionne, en utilisant des analogies simples :

1. La « Carte du Parcours » (Trajectoire des candidats inter-couches)

Alors que l'usine traite une question, TRACE ne regarde pas seulement la réponse finale. Il crée une « Carte du Parcours » pour chaque réponse possible. Il se demande : « L'usine a-t-elle préféré la vérité au rez-de-chaussée ? A-t-elle hésité au milieu ? A-t-elle soudainement basculé vers un mensonge au sommet ? »

2. Deux Types de Problèmes, Deux Types de Solutions

TRACE analyse la Carte du Parcours pour déterminer quel type de problème l'usine rencontre, puis choisit le bon outil :

Scénario A : Le Problème « Esprit à Voie Unique » (Régime Scalaire)
- La Situation : L'usine livre essentiellement une bataille entre deux options : Vérité vs Mensonge. Toute l'usine est d'accord sur la vérité pendant la majeure partie du parcours, mais le dernier étage se confond et bascule vers le mensonge.
- La Solution : TRACE agit comme un Potentiomètre de Volume. Il augmente simplement le volume du signal « Vérité » et baisse celui du signal « Mensonge ». C'est une correction simple et unidirectionnelle.
- Sous-variation : Si l'usine est tellement confuse au sommet que le Potentiomètre de Volume ne fonctionne pas, TRACE agit comme une Machine à Remonter le Temps. Il dit : « Le dernier étage est cassé ; expédions le produit exactement tel qu'il était lorsqu'il a quitté le premier étage, car c'était la version la plus honnête. »
Scénario B : Le Problème « Chaos au Milieu » (Régime Multidirectionnel)
- La Situation : L'usine est en désordre. Trois ou quatre idées fausses différentes se battent entre elles, et la vérité se cache à un étage intermédiaire spécifique, mais le dernier étage choisit le mauvais gagnant. Un simple « Potentiomètre de Volume » ne peut pas résoudre cela car le problème est trop complexe.
- La Solution : TRACE agit comme un Projecteur. Il scanne la carte du parcours, trouve l'étage spécifique où le candidat « Vérité » était le plus fort et le plus clair (la « Couche Décisive »), et dit : « Ignorez le dernier étage. Expédiez le produit exactement tel qu'il apparaissait sur cet étage spécifique. »

3. Le « Plan de l'Usine » (Invariant du Modèle)

Pour savoir quel outil utiliser pour le problème « Esprit à Voie Unique », TRACE lit le Plan de l'usine (les poids du modèle) une fois avant de commencer.

Si le plan montre que le dernier étage est généralement fiable, TRACE utilise le Potentiomètre de Volume.
Si le plan montre que le dernier étage a tendance à s'éloigner de la vérité, TRACE utilise la Machine à Remonter le Temps pour revenir au début.

Pourquoi Cela Compte (Les Résultats)

L'article a testé cet « Inspecteur Intelligent » sur 15 modèles d'IA différents (du plus petit au plus énorme) à travers 3 tests de vérification des faits différents.

Aucun Entraînement Nécessaire : TRACE n'a pas besoin de réapprendre à l'IA. Il fonctionne instantanément pendant la génération de la réponse.
Aucune Donnée Externe : Il n'a pas besoin de chercher sur Internet pour trouver des réponses. Il utilise la mémoire interne de l'IA.
Succès Universel : Il a amélioré la précision de chaque modèle testé. Il n'y a eu aucun cas où il a empiré les choses.
Gains Importants : En moyenne, il a augmenté la précision factuelle d'environ 12 points (un bond énorme dans ce domaine), certains modèles affichant des améliorations proches de 47 points.

La Contrainte (Limites)

L'article est honnête sur les compromis :

Vitesse : Parce que TRACE doit examiner chaque étage de l'usine pour construire la « Carte du Parcours », il faut environ 2 à 3 fois plus de temps pour générer une réponse que pour une IA standard.
Portée : Il fonctionne actuellement mieux sur des questions courtes de type choix multiples (comme « X est-il vrai ou faux ? »). Il n'a pas encore été testé sur la rédaction de longs récits ou de conseils médicaux complexes.

Résumé

Pensez à TRACE comme à un détective qui ne regarde pas seulement la scène de crime (la réponse finale) mais enquête sur l'ensemble de la chronologie des événements. Il détermine où l'erreur s'est produite et comment la corriger, en utilisant une stratégie différente pour une simple erreur d'inattention par rapport à un imbroglio complexe. Il prouve que l'IA connaît déjà la vérité au fond d'elle-même ; elle a juste besoin d'un moyen intelligent d'écouter la bonne partie de son propre cerveau au bon moment.

Résumé Technique : TRACE (Correction de Trajectoire à partir de Preuves Inter-couches pour la Réduction des Hallucinations)

1. Énoncé du Problème

Malgré les progrès en matière d'échelle et d'alignement post-entraînement, les grands modèles de langage (LLM) continuent de produire des erreurs factuelles confiantes, ou hallucinations. Les stratégies de correction existantes relèvent généralement de trois catégories :

Preuves Externes : Génération augmentée par la récupération (RAG) et systèmes de vérification s'appuyant sur des données externes.
Pilotage des Activations : Méthodes comme l'Intervention au Moment de l'Inférence (ITI) qui orientent les activations le long de directions fixes de « véracité ».
Contraste de Couches : Stratégies de décodage (par exemple, DoLa, SLED) qui contrastent ou agrègent les signaux des couches intermédiaires par rapport à la couche finale.

L'article soutient que ces approches sont structurellement incomplètes car elles supposent une relation uniforme entre la profondeur de la couche et la véracité. L'observation empirique suggère que les couches intermédiaires ne sont ni uniformément plus véridiques, ni uniformément moins fiables que les couches finales. Au contraire, l'évolution du soutien des candidats à travers la profondeur du réseau varie considérablement :

Corrigible Tardivement : Le soutien véridique est présent en interne mais supprimé par les couches finales.
Fiable Tôt : Le soutien véridique est le plus fort dans les premières couches mais s'érode dans les couches ultérieures.
Multi-directionnel : Plusieurs candidats en concurrence restent actifs à travers la profondeur, nécessitant des corrections non scalaires.

Les interventions fixes actuelles échouent car elles ne peuvent pas s'adapter à ces « trajectoires de candidats » variables. Une méthode supposant une correction scalaire signée unique est insuffisante pour les cas où la concurrence est véritablement multi-directionnelle.

2. Méthodologie : TRACE

TRACE est un algorithme déterministe, sans entraînement, exécuté au moment de l'inférence, qui corrige les hallucinations en dérivant l'opérateur de correction approprié directement à partir de la trajectoire interne inter-couches des candidats du modèle. Il ne nécessite ni étiquettes, ni récupération, ni pré-entraînement, ni fine-tuning, ni calibration par modèle.

Composants Principaux

La méthode repose sur deux grandeurs structurelles :

Côté Élément : Trajectoire Inter-couches des Candidats $S(x)$ :
- Construite en lisant le flux résiduel à chaque couche à travers la tête de sortie du modèle (construction de lentille de logit).
- Représente l'évolution des log-probabilités normalisées en longueur pour un ensemble de complétions candidates à travers la profondeur.
- À partir de cela, la Dimension Effective de la Trajectoire ( $d_{eff}$ ) est calculée. Cette métrique (le ratio de participation des valeurs propres de la matrice de Gram de la trajectoire) détermine si la concurrence des candidats est effectivement unidimensionnelle (rang-1) ou multidimensionnelle.
Côté Modèle : Invariant Uniquement sur les Poids $I(M)$ :
- Un rapport sans dimension calculé une fois à partir des tenseurs de poids du modèle (spécifiquement les statistiques de norme de ligne des projections clés/valeurs précoces/moyennes par rapport aux projections de sortie tardives et à la norme finale).
- $I(M)$ caractérise si l'architecture du modèle tend à amplifier les preuves des couches tardives ou à dériver des états fiables précoces.

Régimes de Correction et Opérateurs

Basé sur $d_{eff}$ et $I(M)$ , TRACE sélectionne dynamiquement l'un des trois opérateurs de correction :

Régime Multi-directionnel ( $d_{eff} > \tau_{dim}$ ) :
- Condition : La concurrence des candidats s'étend sur plusieurs directions indépendantes (rang > 1). Les mélanges scalaires sont mathématiquement insuffisants pour corriger ces cas.
- Opérateur : Correction dans l'Espace des Candidats. TRACE identifie la couche $\ell^*$ avec le classement des candidats le plus net (maximisant la marge entre les deux premiers par rapport à l'entropie) et utilise la distribution complète des log-probabilités de cette couche comme correction.
- Porte (Gating) : Cette substitution n'est appliquée que si la couche sélectionnée est nettement plus tranchante que la couche finale et que la couche finale est suffisamment incertaine.
Régime Scalaire ( $d_{eff} \le \tau_{dim}$ ) :
- Condition : La concurrence s'effondre en un axe signé unique. La correction se réduit à un mélange scalaire du score de la couche finale $b(x)$ et d'un score dérivé de la trajectoire $t(x)$ .
- Sous-branchement via $I(M)$ :
  - Mélange Signé ( $I(M) > \tau_I$ ) : Si les couches tardives du modèle sont fiables, TRACE calcule une seconde vue $t(x)$ en relisant la trajectoire pour la cohérence inter-profondeur (pente, saut, courbure du soutien des tokens). Il mélange ensuite $b(x)$ et $t(x)$ avec un scalaire signé $\lambda$ déterminé par le fait que la trajectoire renforce ou contredit la base.
  - Récupération de l'État le plus Précoce ( $I(M) \le \tau_I$ ) : Si les couches tardives du modèle sont peu fiables (propres à la dérive), TRACE ignore le résumé de la trajectoire et revient au score de la couche la plus précoce $s_0(x)$ , mais uniquement si la confiance de la couche finale est faible (en dessous d'un plancher naturel).

Flux de l'Algorithme

Calculer $S(x)$ et $b(x)$ à partir d'un seul passage avant conditionné par un candidat.
Calculer $d_{eff}(x)$ .
Si Multi-directionnel : Sélectionner la couche décisive $\ell^*$ , extraire sa distribution, et appliquer les portes. Si les portes passent, retourner l'argmax de la couche décisive ; sinon, retourner l'argmax de base.
Si Scalaire : Calculer $I(M)$ $I (M)$ .
- Si $I(M)$ est élevé : Calculer $t(x)$ , déterminer le signe du mélange, et retourner l'argmax mélangé.
- Si $I(M)$ est faible : Vérifier la confiance de la couche finale ; si faible, retourner l'argmax de la couche la plus précoce ; sinon, retourner la base.

3. Contributions Clés

Formulation au Niveau de la Trajectoire : Identifie la trajectoire inter-couches des candidats comme l'objet principal pour la correction au moment de l'inférence, remplaçant les couches de sonde fixes et les directions de pilotage fixes.
Théorie Structurelle de la Correction : Prouve que les régimes de correction sont distincts : les trajectoires de rang un admettent une correction scalaire, tandis que les trajectoires multi-directionnelles nécessitent une classe d'opérateurs dans l'espace des candidats.
Algorithme Universel (TRACE) : Incarne cette théorie dans un algorithme déterministe, sans entraînement, qui induit son opérateur de correction à partir de la structure de la trajectoire et des poids du modèle.
Évaluation Complète : Démontre qu'un seul jeu d'hyperparamètres figé améliore la factualité sur 15 modèles, 8 familles et 3 benchmarks sans régressions.

4. Résultats Expérimentaux

La méthode a été évaluée sur TruthfulQA, HaluEval-QA et HaluEval-Sum à travers 15 modèles pré-entraînés (incluant LLaMA, Gemma, Qwen, GPT-OSS, Mixtral, Phi, Ministral et DeepSeek).

Performance : TRACE a amélioré chaque cellule d'évaluation (45 combinaisons totales de modèle et benchmark).
- Gain Moyen : +12,26 points MC1 et +8,65 points de style MC2.
- Gain Maximum : +47,20 points MC1 et +43,38 points de style MC2 (observé sur Gemma-3-1B).
- Régressions : 0/45.
Robustesse : La méthode a utilisé un seul jeu d'hyperparamètres figé $\Theta$ pour tous les modèles, sans ajustement par modèle.
Surcharge : Le coût en temps réel augmente d'un facteur de 1,33x à 3,42x (moyenne 2,27x) par rapport à un passage conditionné par un candidat de base, principalement dû à la lecture supplémentaire par couche.

5. Importance et Revendications

L'article revendique que le calcul avant des LLM pré-entraînés contient suffisamment de preuves structurées pour soutenir un seul algorithme universel de réduction des hallucinations, à condition que l'intervention soit induite par la trajectoire elle-même plutôt que imposée par des heuristiques fixes.

Nécessité Structurelle : Le travail démontre qu'une stratégie de correction uniquement scalaire est mathématiquement incomplète pour les espaces de candidats multi-directionnels, nécessitant la branche d'espace de candidats de TRACE.
Adaptation au Modèle : L'utilisation de l'invariant uniquement sur les poids $I(M)$ permet à l'algorithme de s'adapter aux différences architecturales (par exemple, si un modèle dérive ou amplifie les couches tardives) sans réentraînement.
Limites : Les auteurs reconnaissent que TRACE est actuellement limité à l'anglais, à la factualité restreinte aux candidats (protocoles MC1/MC2). Il agit sur des passages avant complets plutôt que sur une génération itérative de longue forme et ne traite pas les causes de l'hallucination au moment de l'entraînement. Il introduit également une latence d'inférence due à la lecture supplémentaire.

L'article conclut que l'échec des méthodes fixes précédentes n'est pas un problème de réglage mais un décalage entre la classe de correction et la structure de la trajectoire. TRACE résout cela en inférant le régime de correction correct à partir des données elles-mêmes.