Résumé technique : Le D-Score pour la détection des hallucinations

Énoncé du problème

Les grands modèles de langage (LLM) génèrent fréquemment des textes fluides contenant des affirmations qui sont fausses, non étayées par des preuves ou incohérentes avec les connaissances internes du modèle, un phénomène connu sous le nom d'hallucination. Les méthodes de détection actuelles reposent souvent sur des ressources externes (systèmes basés sur la recherche/retrieval) ou sur des passages de génération multiples (méthodes basées sur la cohérence), ce qui augmente les coûts d'inférence et la complexité. Il existe un besoin pour des mécanismes de détection qui opèrent directement sur les états internes d'un modèle lors d'une passe directe unique (single forward pass), sans nécessiter de vérificateurs externes ou d'échantillonnages répétés.

Méthodologie : Le D-Score

Le papier introduit le D-Score, une statistique spectrale dérivée de la géométrie des activations cachées au sein d'un modèle transformer. L'intuition centrale est qu'un texte bien étayé induit une trajectoire cachée cohérente concentrée le long de quelques directions dominantes. À l'inverse, lorsqu'un modèle traite un texte contenant une affirmation non étayée qui entre en conflit avec ses connaissances internes, la représentation cachée peut encoder à la fois le contenu affirmé et des traces de contre-preuves, d'incertitude ou de manque de support. Ce conflit provoque l'étalement de la trajectoire cachée sur des directions singulières supplémentaires, augmentant ainsi la dimensionnalité « effective » de la matrice d'activation.

Formulation mathématique

Étant donné un modèle $m$ fixe, une couche $j$ spécifique, et un texte d'entrée $\mathbf{x} = (x_1, \dots, x_T)$, la méthode construit une matrice d'activation cachée $H^{(j)}(\mathbf{x}; m) \in \mathbb{R}^{d \times T}$, où les colonnes représentent les états cachés des tokens à la couche $j$.

Soient $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0$ les valeurs singulières non nulles de $H^{(j)}(\mathbf{x}; m)$. Le D-Score est défini comme le rang numérique relatif de cette matrice :
$$D^{(j)}_{\tau}(\mathbf{x}; m) = \max \{ n \le r : \frac{\sigma_1(H)}{\sigma_n(H)} \le \tau \}$$
où $\tau > 1$ est un paramètre de tolérance. Le score compte combien de directions singulières restent significatives par rapport à la valeur singulière principale $\sigma_1$.

Règle de détection

Le détecteur classifie une entrée comme hallucinée si le D-Score dépasse un niveau de décision calibré $\bar{D}$ :
$$\hat{Y}(\mathbf{x}) = 1 \quad \text{si} \quad D_{\tau}(\mathbf{x}) > \bar{D}$$
Cette approche ne nécessite qu'une seule passe directe et le calcul des principales valeurs singulières (jusqu'à ce qu'elles tombent sous le seuil relatif), ce qui peut être estimé efficacement via des méthodes itératives comme la méthode de la puissance sur la matrice de Gram $H^\top H$, évitant ainsi le coût d'une SVD complète pour des modèles à haute dimension.

Justification théorique

Le papier définit l'hallucination interne au modèle comme une affirmation non étayée à laquelle le modèle assigne une faible croyance de vérité interne. Il postule que de telles affirmations introduisent des « directions de conflit » dans l'espace des états cachés. Une proposition théorique démontre que si le contenu non étayé introduit $q$ directions suffisamment fortes orthogonales à la représentation cohérente, le D-Score augmente d'au moins $q$. Ainsi, un D-Score élevé sert de proxy pour la présence de ces directions de conflit.

Contributions clés

1. Introduction du D-Score : Une statistique spectrale simple représentant le rang numérique relatif de la matrice d'activation cachée, conçue pour mesurer l'étalement de la trajectoire de l'état caché.
2. Définition opérationnelle : Une définition formelle de l'hallucination interne au modèle basée sur des affirmations non étayées avec une faible croyance de vérité interne, distinguant ces cas des erreurs que le modèle ne peut pas détecter de lui-même.
3. Argument géométrique : Une justification théorique montrant que les textes hallucinés peuvent augmenter le D-Score en étalant la trajectoire cachée à travers des directions de conflit supplémentaires (incertitude, contre-preuves).
4. Évaluation empirique : Une évaluation complète démontrant que le D-Score est un signal fort pour la détection d'hallucinations à travers plusieurs modèles et jeux de données.

Résultats expérimentaux

Le D-Score a été évalué sur deux benchmarks : FAVA-Annotation (erreurs factuelles dans la génération en domaine ouvert) et RAGTruth (hallucinations dans la génération augmentée par recherche/RAG). Les expériences ont été menées sur trois modèles en accès ouvert : Llama-2-7B, Llama-3-8B, et Vicuna-7B.

• Performance : Le D-Score a systématiquement surpassé les baselines de l'état de l'art, incluant le Hidden Score (une méthode spectrale antérieure), les scores basés sur la perplexité et les métriques basées sur l'entropie.
  • Sur FAVA-Annotation, le D-Score a obtenu l'AUROC le plus élevé sur tous les modèles (ex: 66,98 % pour Llama-3-8B contre 57,10 % pour Hidden Score).
  • Sur RAGTruth, le D-Score a maintenu une performance robuste (ex: 61,53 % d'AUROC pour Llama-3-8B), tandis que la performance de Hidden Score a chuté de manière significative sur Vicuna-7B (proche du hasard), alors que le D-Score est resté efficace (60,20 %).
• Corrélation avec la capacité du modèle : L'écart de performance entre le D-Score et les baselines est plus prononcé dans les modèles les plus capables (ex: Llama-3-8B), suggérant que la méthode capture efficacement les hallucinations que le modèle reconnaîtrait comme non factuelles.
• Analyse de sous-ensemble : Lorsqu'il a été évalué sur un sous-ensemble de données où l'auto-évaluation explicite du modèle s'alignait avec les annotations humaines (filtrant les cas où le modèle ne parvenait pas à reconnaître ses propres erreurs), le D-Score a obtenu des scores d'AUROC encore plus élevés (jusqu'à 72,51 % sur Llama-3-8B), confirmant que la méthode repose sur la représentation interne de l'erreur par le modèle.

Signification et affirmations

Le papier affirme que le D-Score fournit un signal fort dans l'état caché pour la détection d'hallucinations qui opère sous des contraintes d'efficacité strictes :

• Efficacité en passe unique : Il ne nécessite qu'une seule passe directe à travers le modèle.
• Aucune dépendance externe : Il ne nécessite pas de recherche externe, de vérificateurs externes ou d'un second modèle.
• Pas de générations multiples : Contra à les méthodes basées sur la cohérence, il ne nécessite pas l'échantillonnage de sorties multiples.

Les auteurs positionnent le D-Score non pas comme une caractérisation universelle de la vérité, mais comme un score de risque calibré. Il est particulièrement efficace pour détecter les « hallucinations internes au modèle » — des erreurs où le modèle possède les informations nécessaires pour reconnaître l'incohérence mais échoue à la supprimer dans la sortie finale. La méthode souligne que la topologie de la trajectoire de l'état caché (spécifiquement l'étalement des valeurs singulières) contient des informations diagnostiques sur la confiance du modèle et la présence de signaux internes conflictuels.

Limites

Les auteurs reconnaissent plusieurs limites :

• Exigence de boîte blanche (White-Box) : La méthode nécessite l'accès aux activations cachées, ce qui la rend inapplicable aux modèles fermés à moins qu'un tel accès ne soit fourni.
• Visibilité interne : Elle ne peut détecter que les hallucinations qui laissent une trace dans l'état interne du modèle ; si le modèle manque de la connaissance interne pour reconnaître une erreur, le D-Score pourrait ne pas la signaler.
• Confusion de complexité : Des D-Scores élevés peuvent également résulter de textes longs, diversifiés ou sémantiquement complexes, nécessant un calibrage minutieux.
• Sensibilité aux paramètres : Bien que robuste, la méthode dépend du choix de la couche, du paramètre de tolérance $\tau$ et du seuil de décision $\bar{D}$.