Pre-Generation Hallucination Detection in Large Language Models via Soft-Target Attention Probing

Résumé Technique : Détection de l'Hallucination Pré-Génération par Sondage d'Attention à Cibles Douces (Soft-Target Attention Probing)

Énoncé du Problème
Les grands modèles de langage (LLM) génèrent fréquemment des réponses confiantes mais factuellement incorrectes, un phénomène connu sous le nom d'hallucination. Bien que des méthodes de détection post-génération existent (par exemple, via l'entropie sémantique ou l'auto-cohérence), elles supportent le coût computationnel complet du décodage. La détection pré-génération offre une alternative légère en estimant le risque d'hallucination à partir des représentations d'entrée avant la génération de tout jeton (token), permettant des interventions précoces telles que l'abstention, l'augmentation par la récupération (retrieval augmentation) ou le routage de modèle.

Cependant, les approches de pré-génération existantes sont confrontées à un défi statistique fondamental : elles formulent généralement la détection comme un problème de classification binaire utilisant une réponse unique décodée de manière gloutonne (greedy) comme étiquette de vérité terrain. Les auteurs soutiennent que cela est statistiquement mal posé car la correction d'une réponse pré-génération est une variable aléatoire reflétant la distribution de sortie stochastique du modèle. Une étiquette binaire dérivée d'un échantillon unique est un proxy bruité de la véritable probabilité d'erreur du modèle, introduisant un bruit d'étiquette irréductible et un biais potentiel (par exemple, sous-estimer le risque lorsqu'un modèle assigne une probabilité élevée à une réponse correcte mais distribue la masse de probabilité sur de nombreuses réponses incorrectes).

Méthodologie
Le papier reformule la détection d'hallucination pré-génération comme un problème d'estimation de risque plutôt que de classification binaire. L'objectif est de prédire la probabilité que le modèle produise une réponse incorrecte pour un prompt donné sous sa propre distribution d'échantillonnage.

1. Supervision par Cibles Douces (Soft-Target Supervision) :
   Au lieu d'étiquettes binaires, les auteurs proposent d'entraîner des sondes (probes) sur des cibles douces dérivées du taux d'erreur empirique des réponses. Pour chaque prompt, $N$ réponses sont échantillonnées de manière stochastique à partir du modèle à une température $\tau = 1$ (la distribution de base du modèle). La cible douce est la fraction de ces $N$ échantillons qui sont factuellement incorrects.

   • Garantie Théorique : Les auteurs prouvent que ce taux d'erreur empirique est l'Estimateur Non Biaisé de Variance Minimale Unique (UMVUE) de la probabilité d'erreur par prompt du modèle sous sa distribution d'échantillonnage. Cette formulation minimise le bruit d'étiquette et fournit un signal de difficulté cohérent.
   • Bénéfice Statistique : L'utilisation de cibles douces réduit la variance du gradient stochastique, conduisant à une convergence plus rapide de l'optimisation par rapport aux étiquettes binaires.

2. Sondage d'Attention (Attention Probing) :
   L'étude adapte le sondage d'attention (développé à l'origine pour la détection post-génération) au contexte de la pré-génération. Contrairement au sondage linéaire, qui agrège uniformément les états cachés (par exemple, le pooling moyen), le sondage d'attention utilise un vecteur de requête apprenable pour pondérer sélectivement les états cachés par jeton provenant du prompt d'entrée. Cela permet au détecteur de se concentrer sur les positions spécifiques du prompt les plus informatives pour le risque d'hallucination.

   • La sonde est appliquée aux états cachés de n'importe quelle couche $l$ du transformer.
   • Une tête de régression logistique projette la représentation agrégée vers un score de risque.

Contributions Clés

• Recadrage en Estimation de Risque : Le papier établit que la détection d'hallucination pré-génération est fondamentalement un problème d'estimation de distribution. Il introduit la supervision par cibles douces basée sur les taux d'erreur empiriques, prouvant théoriquement son optimalité en tant qu'estimateur non biaisé et de variance minimale.
• Analyse de l'Architecture et des Couches : Une comparaison systématique révèle que le sondage d'attention surpasse systématiquement le sondage linéaire uniforme dans le cadre de la pré-génération, particulièrement sur des tâches avec des structures de prompts variables. De plus, l'analyse par couche démontre que les couches intermédiaires portent systématiquement les signaux d'hallucination les plus forts, suggérant que des estimations de risque fiables peuvent être obtenues sans compléter la passe avant (forward pass) jusqu'à la dernière couche.
• Validation Empirique : L'approche est évaluée sur trois benchmarks de questions-réponses (SQuAD, Natural Questions, HotpotQA) et cinq modèles ajustés par instructions (familles Qwen, LLaMA, Gemma, tous avec moins de 9 milliards de paramètres).

Résultats

• Supériorité des Cibles Douces : Sur tous les modèles et jeux de données évalués, le sondage d'attention entraîné avec des cibles douces surpasse systématiquement son homologue à cibles binaires. Les gains sont plus prononcés sur les tâches ouvertes (ex: Natural Questions, HotpotQA), où l'information distributionnelle capturée par les cibles douces est la plus précieuse.
• Attention vs Sondage Linéaire : Le sondage d'attention surpasse significativement le sondage linéaire (jusqu'à 23,1 points de ROC-AUC dans certains cas) dans le cadre de la pré-génération. Cependant, cet avantage diminue sur les tâches hautement contraintes à jeton unique (ex: questions à choix multiples ou booléennes), où le pooling moyen suffit.
• Performance Pré- vs Post-Génération : Sur les tâches à réponses courtes et structurées (comme SQuAD), les sondes de pré-génération approchent les performances des méthodes post-génération, avec des différences moyennes de seulement 0,07 % en ROC-AUC. À mesure que la longueur de la réponse et la complexité du raisonnement augmentent (ex: HotpotQA), l'écart se creuse en faveur des méthodes post-génération, car l'incertitude dépend davantage du processus de génération lui-même.
• Efficacité : En détectant le risque dans les couches intermédiaires, la méthode peut économiser des coûts de calcul importants (jusqu'à 54 % d'économies de GFLOPs par rapport aux passes avant complètes) tout en permettant une intervention précoce.

Signification et Revendications
Le papier affirme que la détection d'hallucination pré-génération est une stratégie viable et efficace, à condition qu'elle soit formulée comme une estimation de risque plutôt que comme une classification binaire. La contribution principale est la démonstration que la supervision par cibles douces fournit un signal d'entraînement plus principiel et plus efficace que les étiquettes binaires gloutonne, alignant la tâche de détection sur la nature stochastique de la génération des LLM.

Les auteurs soulignent que leurs conclusions soutiennent un régime opérationnel pratique : pour les tâches avec des réponses courtes et structurées, des estimations de risque d'hallucination fiables peuvent être obtenues avant la génération et au cours de la passe avant (en utilisant les couches intermédiaires), permettant des interventions à faible coût comme l'abstention ou l'augmentation par la récupération. Ils reconnaissent des limites, notant que la méthode est moins efficace pour les tâches de raisonnement multi-étapes à long contexte, où l'incertitude est intrinsèquement liée au processus de génération, et que l'approche nécessite un accès "boîte blanche" aux activations du modèle. Le travail ne prétend pas remplacer les détecteurs post-génération, mais plutôt les compléter par un signal plus précoce et moins coûteux.