Harnessing Reasoning Trajectories for Hallucination Detection via Answer-agreement Representation Shaping

Résumé technique : Exploitation des trajectoires de raisonnement pour la détection d'hallucinations via la mise en forme des représentations d'accord de réponse

Énoncé du problème
Les modèles de raisonnement de grande envergure (LRM) génèrent de longues traces de raisonnement cohérentes avant de produire une réponse finale. Bien que ces traces offrent des signaux riches, elles obscurcissent souvent la détection des hallucinations au niveau de la réponse. Sonder directement les états cachés le long de la trace complète ou utiliser le texte de la trace pour la détection est fragile ; les détecteurs ont tendance à surajuster à des motifs stylistiques superficiels du processus de raisonnement plutôt qu'à capturer la validité de la réponse finale. De plus, les méthodes existantes reposent souvent sur un échantillonnage coûteux au moment du test (par exemple, générer plusieurs réponses pour mesurer la cohérence) ou nécessitent des annotations humaines pour entraîner des classificateurs. Le défi central consiste à distiller un signal stable, centré sur la réponse, à partir de la trajectoire de raisonnement, qui soit robuste aux variations de forme de surface et indicatif du risque d'hallucination, sans engendrer de coûts d'inférence élevés.

Méthodologie : Mise en forme des représentations d'accord de réponse (ARS)
Les auteurs proposent ARS, un cadre qui apprend des représentations de réponse adaptées à la détection et conditionnées par la trace, en codant explicitement la stabilité de la réponse via des interventions latentes. La méthode opère en deux étapes principales :

1. Intervention latente pour des réponses contrefactuelles :
   Au lieu de perturber le texte de la trace de raisonnement (ce qui peut rompre la cohérence ou introduire des indices artificiels), ARS intervient directement dans l'état latent du modèle. Plus précisément, elle cible l'embedding de la frontière de la trace ($h$), défini comme l'état caché du dernier token de la trajectoire de raisonnement à l'avant-dernière couche du LRM.

   • De petits vecteurs de perturbation ($\delta$) sont échantillonnés à partir d'une distribution (par exemple, une gaussienne isotrope) et ajoutés à $h$ pour créer un état modifié $\tilde{h} = h + \delta$.
   • Le modèle poursuit le décodage à partir de $\tilde{h}$ pour générer une réponse contrefactuelle ($\tilde{a}$).
   • Ce processus est répété $M$ fois pour générer un ensemble de réponses contrefactuelles.

2. Mise en forme des représentations d'accord de réponse :
   Le cadre construit des paires d'entraînement basées sur l'accord entre la réponse originale ($a$) et les réponses contrefactuelles ($\tilde{a}$).

   • Paires positives : Réponses contrefactuelles qui s'accordent avec la réponse originale ($Agr(a, \tilde{a}) = 1$).
   • Paires négatives : Réponses contrefactuelles qui ne s'accordent pas avec la réponse originale ($Agr(a, \tilde{a}) = 0$).
   • Une fonction de mappage légère $g_\phi$ est entraînée pour transformer les embeddings de réponse standards ($u$) en embeddings mis en forme ($z$). L'objectif est une perte de contraste qui rapproche les embeddings concordants de l'ancre et éloigne les embeddings discordants.
   • Crucialement, les paramètres de base du LRM ($\theta$) restent figés ; seule la tête légère $g_\phi$ est entraînée. Ce processus ne nécessite aucune étiquette d'hallucination de vérité terrain, reposant uniquement sur la cohérence interne des propres générations du modèle.

Contributions clés

• Premier cadre de mise en forme de trace : ARS est présenté comme le premier cadre à utiliser de manière principée les trajectoires de raisonnement pour façonner les représentations de réponse en vue de la détection d'hallucinations dans les LRM, en utilisant des perturbations latentes à la frontière de la trace pour induire des réponses contrefactuelles.
• Objectif piloté par l'accord : L'article introduit un objectif qui organise les embeddings de réponse en fonction de savoir si de petits changements internes préservent la réponse, évitant ainsi de dépendre de perturbations de texte fragiles ou d'annotations humaines.
• Analyse théorique et empirique : Les auteurs fournissent une proposition théorique (Proposition 4.2) reliant la probabilité de séparation par accord des embeddings mis en forme à la borne supérieure de l'erreur de détection d'hallucination. Empiriquement, ils démontrent que la stabilité de la réponse (mesurée par la cohérence contrefactuelle) est prédictive de la véracité.

Résultats
Des expériences ont été menées sur quatre jeux de données (TruthfulQA, TriviaQA, GSM8K, MATH-500) en utilisant plusieurs familles de LRM (Qwen3-8B/14B, variantes DeepSeek-R1-Distill).

• Gains de performance : ARS surpasse constamment des bases solides, notamment les méthodes basées sur l'incertitude (Perplexité, Entropie sémantique), les méthodes basées sur la cohérence (Similarité lexicale, SelfCKGPT) et les détecteurs spécifiques aux LRM (RHD, RACE, G-Detector).
  • Sur TruthfulQA avec Qwen3-8B, ARS a atteint un AUROC de 86,64 % (en utilisant CCS comme détecteur en aval), une amélioration substantielle par rapport à la base d'embedding LRM standard (66,85 %) et à d'autres méthodes de l'état de l'art (par exemple, TSV à 77,08 %).
  • Des gains similaires ont été observés sur tous les jeux de données et toutes les tailles de modèles, avec des améliorations allant de 10 % à 20 % par rapport aux embeddings standards.
• Généralisabilité : Les représentations mises en forme se transfèrent efficacement entre les jeux de données (par exemple, entraînement sur GSM8K et test sur TriviaQA) et s'adaptent aux modèles plus grands (14 milliards de paramètres).
• Efficacité : Contrairement aux bases basées sur l'échantillonnage qui nécessitent plusieurs passages avant au moment de l'inférence, ARS ne requiert qu'une seule génération au moment du test. La surcharge d'entraînement est minimale (par exemple, ~649 secondes pour le jeu de données d'entraînement TruthfulQA).

Signification et affirmations
L'article affirme que ARS répond à une défaillance critique de fiabilité dans les LRM où des traces de raisonnement fluides peuvent masquer des erreurs factuelles. En façonnant les représentations pour refléter la stabilité de la réponse sous des perturbations latentes, ARS expose les états internes « fragiles » associés aux hallucinations. Les auteurs soulignent que ARS est un composant de détection plutôt qu'une garantie de véracité, destiné à être couplé à d'autres mesures de sécurité. Le travail apporte des éclairages sur la géométrie de l'hallucination dans les modèles de raisonnement, suggérant que les réponses hallucinées résident souvent dans des régions de l'espace latent à faibles marges de stabilité, qui peuvent être efficacement exposées par la mise en forme de l'accord de réponse sans supervision humaine.