Do LLMs Really Know What They Don't Know? Internal States Mainly Reflect Knowledge Recall Rather Than Truthfulness

Cette étude démontre que les états internes des grands modèles de langage reflètent principalement le rappel de connaissances paramétriques plutôt que la véracité des réponses, ce qui rend les méthodes de détection standard inefficaces pour les hallucinations basées sur des associations spurious (AHs) qui partagent des géométries d'états cachés similaires aux faits, contrairement aux hallucinations sans association (UHs) qui présentent des représentations distinctes.

L'essentiel

Voici une explication simple de cette recherche, imagée avec des analogies de la vie quotidienne.

🧠 Le Mythe du "Savoir qu'on ne sait pas"

Imaginez que vous interrogez un grand savant (une Intelligence Artificielle, ou IA) sur des faits. Parfois, il répond avec certitude, mais il se trompe (c'est une hallucination).

Jusqu'à présent, les chercheurs pensaient que l'IA avait un "sixième sens" interne. Ils croyaient que lorsque l'IA inventait quelque chose, son cerveau interne (ses états cachés) changeait de couleur, comme un feu tricolore passant du vert (vrai) au rouge (faux), lui permettant de dire : "Attends, je ne suis pas sûr !"

Cette nouvelle étude dit : "Non, ce n'est pas vrai."

L'IA ne sait pas vraiment si elle dit la vérité ou non. Ce qu'elle "sait" vraiment, c'est si elle se souvient d'une information ou si elle devine sans base.

---

🎭 Les Deux Types d'Inventions (Hallucinations)

Pour comprendre, imaginons que l'IA est un acteur qui joue une pièce de théâtre. Il y a deux façons dont il peut se tromper :

1. L'Invention "Sans Racines" (Hallucinations Non Associées)

C'est comme si l'acteur, face à un public, inventait soudainement un personnage qui n'existe pas dans le script.

• Exemple : On lui demande "Qui est le père de Brenda Johnston ?" (une personne obscure). Il ne connaît pas la réponse. Il panique et invente "Paul".
• Le signal interne : Ici, le cerveau de l'IA est vide sur ce sujet. C'est comme un silence assourdissant ou une zone de brouillard.
• Le résultat : Les détecteurs peuvent facilement repérer cette erreur. C'est comme voir un acteur qui a oublié son texte et qui regarde le public avec un air perdu.

2. L'Invention "Basée sur des Clichés" (Hallucinations Associées)

C'est le cas le plus dangereux. L'acteur connaît bien le script, mais il se fie à des stéréotypes ou à des associations rapides.

• Exemple : On lui demande "Où est né Barack Obama ?" (La vraie réponse : Honolulu). Mais dans sa mémoire, "Obama" est souvent associé à "Chicago" (sa ville politique). Il répond donc "Chicago" avec une confiance absolue.
• Le signal interne : C'est là que ça se corse. Le cerveau de l'IA fonctionne exactement comme s'il disait la vérité ! Il active les mêmes zones, avec la même force, car il utilise une "raccourci statistique" (Obama = Chicago).
• Le résultat : Pour les détecteurs, c'est indistinguable d'une réponse vraie. C'est comme un acteur qui joue parfaitement son rôle, mais qui a mal compris la scène. Il est si convaincant que personne ne voit l'erreur.

---

🔍 Pourquoi les Détecteurs Actuels Échouent

Les chercheurs ont analysé le "cerveau" de l'IA (ses couches internes) et ont découvert une vérité décevante :

• Ce que les détecteurs voient : Ils voient si l'IA est en mode "Rappel de mémoire" ou en mode "Invention au hasard".
• Ce qu'ils ne voient pas : Ils ne voient pas si ce rappel de mémoire est vrai ou faux.

L'analogie du GPS :
Imaginez un GPS qui vous donne un itinéraire.

• Si le GPS ne trouve pas la route, il vous dit "Je ne sais pas" (C'est une hallucination non associée, facile à détecter).
• Mais si le GPS se trompe de ville parce qu'il a confondu deux noms similaires (ex: il vous envoie à "Paris, Texas" au lieu de "Paris, France"), il vous guide avec la même confiance et les mêmes signaux verts que s'il avait raison.
• Le problème : Le GPS ne sait pas qu'il se trompe, car il suit ses propres cartes (ses données d'entraînement) avec une logique interne parfaite, même si le résultat est faux.

---

💡 Les Conséquences pour l'Avenir

Cette étude nous apprend trois choses importantes :

1. On ne peut pas se fier aveuglément aux signaux internes : On ne peut pas simplement regarder "l'excitation" du cerveau de l'IA pour savoir si elle ment. Si elle ment en utilisant un raccourci logique (comme l'exemple d'Obama), elle semble aussi "vraie" que la réalité.
2. Il faut des vérificateurs externes : Puisque l'IA ne peut pas se juger elle-même sur la vérité, il faut lui donner un "livre de référence" ou un humain pour vérifier les faits, surtout pour les sujets populaires où ces erreurs sont fréquentes.
3. Le danger des sujets populaires : Les erreurs les plus insidieuses sont celles qui concernent des sujets connus (comme les célébrités), car l'IA utilise ses associations fortes pour inventer des faits plausibles mais faux.

En résumé : L'IA est un excellent acteur qui sait parfaitement jouer un rôle, mais elle ne sait pas toujours si le scénario qu'elle joue est la réalité. Elle sait quand elle ne connaît pas la réponse (elle panique), mais elle ne sait pas quand elle se trompe en ayant l'air très sûre d'elle.

Résumé technique

Voici un résumé technique détaillé de l'article "Do LLMs Really Know What They Don't Know? Internal States Mainly Reflect Knowledge Recall Rather Than Truthfulness" (Les LLMs savent-ils vraiment ce qu'ils ne savent pas ? Les états internes reflètent principalement la récupération de connaissances plutôt que la véracité).

1. Le Problème : La Limitation des Méthodes de Détection Actuelles

Les modèles de langage (LLM) sont connus pour produire des hallucinations (sorties plausibles mais factuellement incorrectes). La recherche récente suggère que les états internes des LLM (comme les flux résiduels, les poids d'attention ou les logits) contiennent des signaux permettant de distinguer les réponses factuelles des hallucinations, suggérant que les modèles "savent ce qu'ils ne savent pas".

Cependant, les auteurs de cet article remettent en cause cette hypothèse. Ils soutiennent que les hallucinations ne proviennent pas toutes d'un manque de connaissances. Certaines émergent lorsque le modèle exploite des associations statistiques spuriaires ou des raccourcis appris lors de l'entraînement. Le problème central est que les signaux internes actuels pourraient refléter le processus de récupération de connaissances paramétriques (comment le modèle utilise ses poids) plutôt que la véracité de la sortie elle-même. Si une hallucination est générée via le même mécanisme interne qu'une réponse factuelle, les méthodes de détection basées sur les états internes échouent.

2. Méthodologie

Pour vérifier cette hypothèse, les auteurs ont développé une approche structurée combinant analyse mécaniste et interventions causales.

A. Taxonomie des Hallucinations

Au lieu de classer les sorties uniquement par exactitude factuelle, ils introduisent une taxonomie basée sur la relation entre la sortie et l'entité sujet (via une intervention causale) :

1. Associations Factuelles (FA - Factual Associations) : Réponses correctes basées sur des connaissances paramétriques fiables.
2. Hallucinations Associées (AH - Associated Hallucinations) : Réponses incorrectes générées en exploitant de fortes associations statistiques apprises (spuriaires) impliquant l'entité sujet.
3. Hallucinations Non Associées (UH - Unassociated Hallucinations) : Réponses incorrectes générées sans forte reliance sur les représentations de l'entité sujet (souvent dues à un manque total de connaissances).

B. Intervention Causale et Analyse Mécaniste

Les auteurs utilisent des techniques d'interprétabilité mécaniste (inspirées de Geva et al., 2023) pour tracer le flux d'information à travers les couches du modèle (LLaMA-3-8B et Mistral-7B) :

• Intervention sur les représentations du sujet : Modification (patching) des états cachés des tokens du sujet.
• Blocage du flux d'attention : Masquage de l'attention des tokens du sujet vers le dernier token (position de prédiction).
• Intervention sur le dernier token : Modification des états cachés du token de sortie.

Ils mesurent l'impact de ces interventions sur la distribution de sortie en utilisant la divergence de Jensen-Shannon (JS). Une forte divergence indique que le composant est crucial pour la prédiction.

C. Évaluation de la Détection et du Tuning de Refus

• Détection : Entraînement de classificateurs (probes) sur les états internes (sujet, attention, dernier token) et comparaison avec des méthodes "boîte noire" (probabilités, popularité du sujet).
• Refusal Tuning : Fine-tuning des modèles pour apprendre à refuser de répondre spécifiquement aux AH ou aux UH, tout en conservant les réponses factuelles (FA).

3. Résultats Clés

A. Similarité Géométrique entre FA et AH

L'analyse révèle que les Hallucinations Associées (AH) et les Associations Factuelles (FA) partagent des processus internes et des géométries d'états cachés presque identiques :

• Flux d'information : Les deux catégories montrent un fort enrichissement des représentations du sujet dans les premières couches et un flux d'attention robuste du sujet vers le token de sortie dans les couches intermédiaires.
• Normes et Similarité Cosine : Les normes des représentations du sujet et la similarité cosine des derniers tokens sont très similaires pour les FA et les AH, contrairement aux UH qui présentent des normes plus faibles et une géométrie plus distincte.
• Conclusion : Le modèle utilise le même mécanisme de "rappel" pour une vérité factuelle et pour une hallucination basée sur une association statistique forte (ex: "Obama" + "Chicago" est vrai pour l'école, mais faux pour la naissance, pourtant le mécanisme interne est le même).

B. Échec des Méthodes de Détection sur les AH

Les méthodes de détection basées sur les états internes (probes) et les méthodes boîte noire (probabilités, popularité) échouent à distinguer les AH des FA :

• Performance (AUROC) : Pour les AH, l'AUC est proche du hasard (0.48 – 0.69), tandis que pour les UH, elle est très élevée (0.86 – 0.93).
• Cause : Les signaux internes indiquent que le modèle "rappelle" une connaissance, pas que cette connaissance est vraie. Comme les AH sont basées sur des rappels de connaissances (même si erronés), elles sont indétectables par ces signaux.

C. Limites du Refusal Tuning

L'entraînement pour apprendre au modèle à refuser de répondre (Refusal Tuning) montre des résultats contrastés :

• UH : Le modèle apprend facilement à refuser les UH (82% de taux de refus) car leurs représentations forment un cluster distinct.
• AH : Le modèle peine à apprendre à refuser les AH (33% de taux de refus) car leurs représentations se superposent fortement à celles des réponses factuelles. Le modèle ne peut pas distinguer géométriquement une "bonne" réponse d'une "mauvaise" réponse basée sur la même association.

4. Contributions Principales

1. Nouvelle Taxonomie : Distinction cruciale entre les hallucinations "Associées" (basées sur des raccourcis statistiques appris) et "Non Associées" (basées sur l'ignorance).
2. Preuve Mécaniste : Démonstration que les états internes des LLM codent le processus de récupération de connaissances (reliance sur les paramètres) plutôt que la véracité de la sortie.
3. Limites des Détections Actuelles : Preuve empirique que les méthodes de détection actuelles sont inefficaces pour les hallucinations les plus dangereuses (les AH), car elles sont mécanistiquement indiscernables des faits.
4. Implications pour le Tuning : Mise en évidence de la difficulté à entraîner des modèles à refuser les hallucinations basées sur des associations, en raison du chevauchement géométrique avec les faits.

5. Signification et Implications

Ce travail remet en cause l'idée que les LLM possèdent une "conscience de soi" fiable concernant leurs limites de connaissances.

• Pour la Détection : Il est insuffisant de se fier uniquement aux états internes pour détecter les hallucinations, surtout dans les domaines où les modèles ont beaucoup de données d'entraînement (sujets populaires), car c'est là que les AH sont les plus fréquentes.
• Pour la Sécurité : Les méthodes de "Refusal Tuning" ne sont pas une solution universelle. Elles fonctionnent bien pour les cas de manque de connaissances (UH) mais échouent là où le modèle est le plus confiant (AH), créant un risque de sur-confiance.
• Futur de la Recherche : Les auteurs suggèrent que la détection fiable nécessite l'intégration de mécanismes externes (fact-checking, RAG) plutôt que de compter sur l'auto-évaluation interne du modèle. De plus, les évaluations futures doivent séparer les performances de détection pour les AH et les UH.

En résumé, les LLMs ne "savent" pas ce qu'ils ne savent pas de manière fiable ; ils savent seulement comment ils récupèrent des informations. Si cette récupération est basée sur une association statistique erronée mais forte, le modèle la traitera avec la même certitude interne que la vérité.