Résumé Technique : Détection Efficace des Hallucinations pour les LLM via des Têtes d'Attention Sensibles à l'Incertitude

Problématique

Les grands modèles de langage (LLM) sont sujets aux « hallucinations », ou inexactitudes factuelles, malgré leur fluidité. Bien que la quantification de l'incertitude (UQ) offre une voie pour atténuer ce problème en exploitant la confiance interne du modèle, les méthodes existantes font face à des compromis importants. Les scores basés sur l'information (par exemple, l'entropie des jetons) sont efficaces sur le plan computationnel mais sont souvent moins performants sur la génération de textes longs. Les méthodes basées sur l'échantillonnage offrent une précision plus élevée mais entraînent un surcoût de calcul prohibitif dû aux passages d'inférence répétés. Les approches supervisées produisent des scores précis mais nécessitent des annotations coûteuses et spécifiques à chaque tâche, et peinent à se généraliser à travers différents domaines ou à des données hors distribution. Par conséquent, il existe un manque de méthode d'UQ polyvalente, efficace et non supervisée capable de détecter les hallucinations en temps réel dans les LLM "white-box".

Méthodologie : RAUQ

Les auteurs proposent RAUQ (Recurrent Attention-based Uncertainty Quantification), un cadre non supervisé qui identifie les hallucinations en analysant des motifs spécifiques dans les mécanismes d'attention des transformeurs. La méthode opère en un seul passage direct (forward pass), ne nécessitant ni échantillonnage supplémentaire ni modèles auxiliaires.

Observations Fondamentales

À travers une analyse mécaniste des cartes d'attention (spécifiquement dans des modèles comme Llama-3.1 8B), les auteurs ont observé que lorsqu'un LLM génère un jeton factuellement incorrect, certaines têtes d'attention « sensibles à l'incertitude » présentent une chute systématique du poids d'attention vers le jeton immédiatement précédent. En revanche, pour les jetons corrects, ces têtes maintiennent une attention élevée vers le jeton précédent, reflétant une continuité syntaxique et sémantique locale. Ce signal est distinct à un petit sous-ensemble de têtes ; faire la moyenne de toutes les têtes occulte ce motif.

Composants Algorithmiques

RAUQ intègre trois composants clés :

1. Sélection de Têtes Sensibles à l'Incertitude :
   Pour chaque couche $l$, la méthode sélectionne automatiquement la tête d'attention $h_l$ qui maximise le poids d'attention moyen vers le jeton précédent à travers la séquence générée :
   $$h_l(y) = \arg \max_{h=1...H} \frac{1}{N-1} \sum_{i=2}^{N} a_{i,i-1}^{l,h}$$
   Cette sélection est effectuée dynamiquement sans supervision.

2. Propagation Récurrente de la Confiance :
   Pour tenir compte des dépendances conditionnelles dans la génération autorégressive, RAUQ calcule un score de confiance par jeton $c_l(y_i)$ pour chaque jeton $i$ dans la couche $l$. Ce score combine de manière récursive la probabilité conditionnelle du jeton $s_i$ (ou le signal basé sur l'entropie pour les modèles ajustés par instructions) avec la confiance du jeton précédent, pondérée par l'activation de la tête d'attention sélectionnée :
   $$c_l(y_i) = \begin{cases} s_1 & \text{si } i=1 \\ \alpha s_i + (1-\alpha) a_{i,i-1}^{l, h_l} c_l(y_{i-1}) & \text{si } i > 1 \end{cases}$$
   Ici, $\alpha$ est un hyperparamètre équilibrant la contribution de la probabilité immédiate du jeton par rapport à la confiance propagée modulée par l'attention.

3. Agrégation :
   Les scores par jeton sont agrégés en un score d'incertitude par couche $u_l(y)$ en utilisant la moyenne des logarithmes (similaire à la perplexité) :
   $$u_l(y) = -\frac{1}{N} \sum_{i=1}^{N} \log c_l(y_i)$$
   Le score d'incertitude final de la séquence $u(y)$ est dérivé en prenant le maximum des scores à travers un sous-ensemble de couches intermédiaires, fournissant une estimation de la borne supérieure de l'incertitude.

Principales Contributions

• Insight Mécaniste : Le papier identifie et analyse des têtes d'attention « sensibles à l'incertitude », démontnant qu'une chute de l'attention vers le jeton précédent dans des têtes spécifiques est fortement corrélée aux occurrences d'hallucinations.
• Cadre RAUQ : Introduction d'une méthode d'UQ non supervisée, prête à l'emploi (plug-and-play), qui convertit les poids d'attention bruts et les probabilités de jetons en scores d'incertitude fiables. Elle ne nécessite aucune étiquette spécifique à la tâche, aucun réglage d'hyperparamètres pour des modèles spécifiques, et ajoute moins de 1 % de surcharge de calcul.
• Évaluation Complète : Expérimentations approfondies sur 12 jeux de données (couvrant la QA, la résumé et la traduction) et 9 LLM différents (incluant des variantes de Llama, Qwen, Gemma et Falcon de tailles diverses).

Résultats Expérimentaux

RAUQ a été évalué par rapport à 15 bases de référence diverses, incluant des méthodes basées sur l'échantillonnage (ex: Entropie Sémantique), des méthodes basées sur l'attention (ex: Focus, Attention Score) et des régresseurs supervisés. La métrique principale était le Ratio de Rejet de Prédiction (PRR), qui mesure la qualité moyenne des réponses conservées lorsque les prédictions les plus incertaines sont rejetées.

• Performance : RAUQ a systématiquement surpassé les meilleures méthodes de référence sur toutes les tâches et tous les modèles. Par exemple, dans les tâches de traduction avec Gemma-2 9B, il a dépassé la deuxième meilleure méthode par une marge significative (0,051 PRR). Il a obtenu la meilleure ou la deuxième meilleure performance moyenne sur l'ensemble des tâches et des modèles.
• Généralisation : La méthode a démontré une forte robustesse à travers différentes tailles de modèles (de 360M à 70B paramètres) et architectures (incluant les modèles Mixture-of-Experts). Elle a également maintenu des performances élevées dans des scénarios hors domaine où les méthodes supervisées ont échoué.
• Efficacité : Contrairement aux méthodes basées sur l'échantillonnage qui entraînent un surcoût de calcul de 400 à 800 %, RAUQ n'a ajouté que 0,3 % de surcharge (moins de 1 %) au temps d'inférence, ce qui le rend adapté aux applications en temps réel.
• Études d'Ablation : Les expérimentations ont confirmé que la sélection de têtes spécifiques plutôt que la moyenne de toutes les têtes est cruciale. De plus, la propagation récurrente de la confiance s'est révélée essentielle, car la suppression de celle-ci ou de la composante d'attention dégradait considérablement les performances.

Signification et Revendications

Les auteurs positionnent RAUQ comme une solution légère et prête à l'emploi pour la détection des hallucinations en temps réel dans les LLM "white-box". Sa signification réside dans sa capacité à combler le fossé entre l'efficacité computationnelle et la précision de la détection sans dépendre de bases de connaissances externes ou d'un échantillonnage coûteux.

Le papier affirme que RAUQ permet le déploiement de mécanismes d'UQ robustes directement dans les systèmes existants de type "LLM-as-a-service". Bien que les auteurs reconnaissent que RAUQ est un complément, et non un remplacement, de la vérification externe et de la supervision humaine (particulièrement dans les domaines critiques pour la sécurité), ils affirment qu'il représente une étape significative vers une utilisation plus fiable et responsable des LLM. Sa capacité à se généraliser à travers les tâches et les tailles de modèles sans supervision répond à une limitation critique de la recherche actuelle en UQ.