Résumé technique : La dispersion de l'activation sépare la familiarité de l'entité de la fiabilité factuelle

Énoncé du problème

Les grands modèles de langage (LLM) hallucinent fréquemment lorsqu'ils sont interrogés sur des entités qu'ils n'ont pas rencontrées lors de leur pré-entraînement. Bien que les études mécanistes suggèrent que la récupération de connaissances implique des motifs d'activation localisés et que l'hallucination implique des motifs délocalisés, il reste non testé si la dispersion statistique, non supervisée et sur un seul passage direct (single-forward-pass) des activations internes peut détecter la familiarité d'une entité avant la génération de tout jeton de réponse. De plus, il n'est pas clair si ce « signal de familiarité » interne est corrélé à la fiabilité factuelle comportementale du modèle (c'est-à-dire si le modèle répond effectivement correctement sur les entités connues).

Cette étude aborde ces lacunes en utilisant la famille de modèles Bielik (modèles de la famille Bielik, ajustés par instruction, de 1,5B à 11 milliards de paramètres). Elle examine si la dispersion de l'activation peut distinguer les entités connues, réelles mais obscures, et fabriquées, et si ce signal suit la capacité du modèle à répondre correctement.

Méthodologie

Jeu de données et conception expérimentale

Les auteurs ont construit un jeu de données à travers quatre domaines d'entités : athlètes, villes, écrivains et musiciens. Chaque domaine contient 126 entités divisées en trois conditions (42 par condition) :

1. Connue : Entités célèbres (ex. : Robert Lewandowski).
2. Inconnue-Réelle : Entités réelles mais obscures (ex. : athlètes de ligues inférieures) que le modèle est probablement incapable de décrire.
3. Fabriquée : Noms morphologiquement plausibles mais inventés (ex. : « Roman Lewandowicz »).

Les prompts étaient des questions d'une seule phrase (« Qui est {entité} ? » ou « Qu'est-ce que {entité} ? »). Le domaine des athlètes a servi de banc d'essai principal pour l'analyse comportementale, tandis que les trois autres domaines ont été utilisés pour tester la généralisation.

Extraction de signal et métriques

Pour chaque prompt, un seul passage direct a été effectué. L'étude s'est concentrée sur les activations post-SwิGLU MLP au niveau du point du prompt (le dernier jeton du prompt, après que l'entité a été traitée).

• Métriques de dispersion (non supervisées) :
  • Ratio de participation inverse (IPR) : Mesure la concentration de l'activation (IPR élevé = localisé).
  • Entropie spectrale : Mesure l'entropie de la distribution normalisée de l'activation (entropie faible = localisé).
  • Prétraitement : Les activations ont été winsorisées au 99e quantile pour éviter que des valeurs aberrantes massives ne dominent les statistiques.
• Borne supérieure supervisée : Une sonde de régression logistique avec régularisation $\ell_2$ entraînée sur les états cachés pour déterminer le signal maximal linéairement décodable.
• Baselines :
  • Nombre de jetons (Token Count) : Une baseline lexicale basée sur la longueur de l'entité.
  • Entropie sémantique : Une baseline multi-échantillons (5 échantillons + clustering LLM) mesurant la cohérence de la réponse.
  • Entropie du premier jeton (First-Token Entropy) : Baseline d'entropie côté sortie.

Cadre d'évaluation

• Nulles sensibles à la sélection : Pour éviter le surapprentissage lié à la sélection des couches, les auteurs ont utilisé des tests de permutation (10 000 permutations) où les étiquettes étaient mélangées et le meilleur niveau/métrique était re-sélectionné pour chaque permutation. Le 95e percentile de ces maxima nuls a servi de plancher de performance.
• Validation par échantillon tenu à l'écart (Held-Out) : Les couches ont été sélectionnées sur la moitié des données et évaluées sur l'autre moitié.
• Audit comportemental : Pour le domaine des athlètes, un juge LLM (Claude Opus 4.8) a noté les réponses pour la justesse factuelle selon des rubriques strictes et souples. Un audit séparé (Claude Haiku 4.5) a compté les refus et les réponses hésitantes (hedged).

Contributions clés

1. Détection de la familiarité non supervisée : L'étude démontre que des statistiques de dispersion simples et à forme fermée (IPR et entropie spectrale) calculées sur un seul passage direct peuvent séparer les entités connues des entités fabriquées avec une AUROC de 0,94–1,00 à travers toutes les échelles de modèles (1,5B–11B). Ce signal dépasse les planchers de permutation sensibles à la sélection (~0,70–0,74) et survit à la sélection de couches tenue à l'écart.
2. Généralisation à travers les domaines : Le détecteur se généralise aux athlètes, villes, écrivains et musiciens. Le transfert de sonde cross-domaine produit des AUROC hors-diagonale moyens de 0,92–0,99. Les baisses de performance observées lors du transfert vers le domaine des « villes » ont été montrées comme étant causées par des différences de templates de prompts (« Qu'est-ce que » vs « Qui est »), et non par le type d'entité, via un contre-factuel de template apparié.
3. Dissociation des courbes de mise à l'échelle (Scaling) : Le papier identifie deux comportements de mise à l'échelle distincts :
   • Familiarité représentationnelle : La capacité à distinguer les entités connues des inconnues est déjà au plafond (AUROC > 0,94) à la plus petite échelle (1,5B) et ne s'améliore pas significativement avec l'échelle.
   • Fiabilité comportementale : La capacité à répondre correctement sur des entités connues suit une courbe de croissance marquée. Pour les athlètes connus, les réponses entièrement correctes sous un juge strict sont passées de 0/42 (1,5B) à 19/42 (11B).
4. Résultat négatif sur la fiabilité factuelle : Au sein du groupe des entités connues, les métriques de dispersion échouent à distinguer les réponses correctes des hallucinations (AUROC ~0,68–0,82, souvent indiscernables des baselines). Le signal détecte la familiarité, pas la vérité.
5. Complémentarité avec l'entropie sémantique : Bien que la dispersion en un seul passage surpasse l'entropie sémantique sur le contraste « connu vs fabriqué » (0,94+ vs 0,71–0,83), l'entropie sémantique surpasse la dispersion sur le contraste « correct vs hallucination » (jusqu'à 0,87). Les deux métriques consomment des informations différentes (familiarité côté prompt vs cohérence côté génération).
6. Le fossé de l'abstention : Malgré la possession d'un signal interne quasi parfait de l'inconnu à toutes les échelles, les modèles refusent presque jamais de répondre. Dans 2 520 réponses d'athlètes échantillonnées, il n'y a eu que 2 refus et 1 réponse hésitante (99,88 % d'assertions directes). Ce fossé existe même à 11B, où le signal de familiarité est lisible.

Résultats

• Séparabilité : La meilleure métrique de dispersion non supervisée a atteint des AUROC de 0,936 (1,5B) à 0,984 (4,5B) pour le contraste connu vs fabriqué chez les athlètes. La sonde supervisée a atteint 0,99–1,00, indiquant que l'information est présente dans les activations.
• Contrastes de contrôle :
  • Connu vs Inconnu-Réel : La dispersion a atteint 0,97–1,00, prouvant que le signal suit la familiarité plutôt que la simple « bizarrerie » des chaînes fabriquées.
  • Inconnu-Réel vs Fabriqué : La dispersion a atteint 0,70–0,82, suggérant une composante résiduelle lexicale ou de plausibilité dans les chaînes fabriquées, mais cela reste bien en dessous du signal principal.
• Structure de profondeur : Le signal de familiarité est présent dès les couches précoces-moyennes (profondeur relative ~0,2) et persiste à travers le réseau. L'entropie spectrale montre une « bande de connaissance » constante à la profondeur relative [0,48, 0,77] à travers les modèles.
• Diffusité de l'attention : Le signal n'est pas porté par un petit ensemble fixe de têtes d'attention. L'analyse par tête montre que le signal de familiarité est diffus, avec seulement 1 à 2 têtes partagées parmi les 20 meilleures têtes de tous les quatre domaines.
• Mise à l'échelle comportementale : La correction sur les entités connues s'est améliorée de manière monotone avec l'échelle (0 → 2 → 10 → 19 corrects selon des critères stricts).
• Comportement de refus : Les modèles refusent rarement. Seul le modèle 11B a refusé deux fois ; les modèles 1,5B et 4,5B n'ont jamais refusé, malgré le fait qu'ils possèdent le même signal de familiarité interne.

Signification et affirmations

Le papier affirme que la familiarité de l'entité et la fiabilité factuelle sont des phénomènes distincts évoluant sur des courbes de mise à l'échelle différentes.

• La familiarité est une propriété à faible capacité : Les petits modèles (1,5B) possèdent déjà une représentation interne lisible de ce qu'ils connaissent et ne connaissent pas. C'est une « ombre volumétrique grossière » des circuits de reconnaissance d'entités trouvés dans les études mécanistes.
• La fiabilité est une propriété à haute capacité : La capacité à récupérer des faits sans hallucination nécessite beaucoup plus de paramètres et de répétition de données.
• Le fossé d'alignement : La découverte la plus significative est le régime de quasi-absence de refus. Les modèles possèdent un signal interne « parfait » indiquant qu'ils ne connaissent pas une entité, pourtant ils n'agissent presque jamais en conséquence sur le plan comportemental. Les auteurs soutiennent qu'il s'agit d'un fossé d'alignement/de réglage (tuning) plutôt que d'un fossé de capacité, car des modèles plus grands (et d'autres familles comme Gemma-4) peuvent être induits à refuser dans des conditions similaires.

Le papier conclut que, bien que la dispersion de l'activation fournisse une porte d'entrée peu coûteuse et sans étiquette pour détecter les entités inconnues (utile pour le routage vers la recherche ou l'abstention), elle ne peut pas être utilisée comme un détecteur d'hallucination pour le contenu concernant des entités familières. L'état interne dit au modèle « Je ne connais pas cette entité », mais il ne lui dit pas « Je suis sur le point de mentir à propos de cette entité connue ».