💬 NLP

Hallucination as Commitment Failure: Larger LLMs Misfire Despite Knowing the Answer

Ce papier remet en cause l'idée que les hallucinations proviennent uniquement d'un manque de connaissances, révélant que les grands LLMs adaptés par instruction hallucinent souvent parce qu'ils échouent à s'engager sur un concept correct déjà présent dans leur distribution de probabilité, dispersant au contraire la masse de probabilité sur des alternatives en raison d'un mécanisme d'affinement dépendant de l'échelle qui génère à la fois de l'utilité et des erreurs confiantes.

Auteurs originaux : Jewon Yeom, Jaewon Sok, Heejun Kim, Seonghyeon Park, Jeongjae Park, Taesup Kim

Publié 2026-05-22

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jewon Yeom, Jaewon Sok, Heejun Kim, Seonghyeon Park, Jeongjae Park, Taesup Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Principale : Ce n'est pas une question de « ne pas savoir »

La plupart des gens pensent que les hallucinations de l'IA (quand une IA invente des choses) se produisent parce que l'IA ne sait tout simplement pas la réponse. L'idée est : Si l'IA connaît le fait, elle dit la vérité. Si elle ne le connaît pas, elle devine.

Ce papier soutient que c'est faux.

Les chercheurs ont découvert que souvent, l'IA connaît la réponse. Elle possède l'information correcte « dans sa tête » au moment même où elle commence à parler. Cependant, elle choisit tout de même de dire la mauvaise chose. Ils appellent cela un « échec de l'engagement ».

L'Analogie : Le Chef Nervous

Imaginez un chef très talentueux (l'IA) à qui l'on demande : « Quelle est la capitale de la France ? »

L'Ancienne Théorie : Si le chef ne connaît pas la réponse, il devine « Londres ». S'il la connaît, il dit « Paris ».
La Nouvelle Théorie (Ce Papier) : Le chef sait que la réponse est Paris. En fait, il pense à « Paris » si intensément que son cerveau bourdonne du mot. Mais, parce qu'il pense à « Paris » de tant de façons différentes à la fois (par exemple, « Paris », « paris », « la ville lumière », « la capitale de la France »), son cerveau se confond.
- Il a un fort sentiment pour « Paris », mais il est réparti sur toutes ces différentes phrases.
- En même temps, il a une pensée très précise et concentrée sur « Londres » (peut-être parce qu'il a vu une photo du Big Ben plus tôt).
- Même si le sentiment « Paris » est globalement plus fort, la pensée « Londres » est si précise et concentrée qu'elle gagne la course vers sa bouche. Il lance « Londres » avec assurance, même s'il savait que c'était Paris.

Comment Ils Ont Découvert Cela

Les chercheurs ont examiné comment les modèles d'IA « pensent » avant de parler. Ils se sont concentrés sur le tout premier mot généré par l'IA (l'étape de « l'engagement »).

Ils ont introduit une nouvelle façon de mesurer ce que l'IA sait, appelée Masse de Probabilité Sémantique.

Ancienne Méthode : L'IA a-t-elle choisi le mot exactement correct ? (Par exemple, a-t-elle dit « Paris » ?)
Nouvelle Méthode : L'IA avait-elle un fort sentiment concernant le concept de Paris, même s'il était réparti entre « Paris », « paris » et « la ville lumière » ?

Les Résultats :

Ils ont testé de nombreux modèles d'IA (du plus petit au plus énorme).
Ils ont découvert que 16 % à 47 % du temps où l'IA commettait une erreur, elle avait en réalité un fort « sentiment » pour la bonne réponse.
La Surprise : Plus le modèle d'IA était grand, plus cela se produisait souvent. Les modèles plus grands ne savaient pas seulement plus ; ils commettaient davantage de ces types spécifiques d'erreurs où ils connaissaient la réponse mais la donnaient tout de même incorrectement.

Pourquoi Cela Se Produit-il ? (L'Effet de « Raffinement »)

Le papier suggère que le Réglage par Instruction (l'entraînement de l'IA à être utile et à suivre les règles) modifie la façon dont l'IA pense.

Imaginez le cerveau de l'IA comme un paysage de collines et de vallées.

Avant l'Entraînement : Les collines sont plates et floues. L'IA est incertaine.
Après l'Entraînement : L'IA devient très décidée. Elle transforme ses pensées en pics nets et hauts.
- Lorsque l'IA a raison, le pic pour la bonne réponse est si haut et net qu'il gagne facilement.
- Mais, parfois l'IA se confond. La réponse « correcte » est divisée en plusieurs petites collines plates (car elle pense à « Paris », « paris », « France », etc.). Pendant ce temps, la réponse « incorrecte » est un seul pic unique, incroyablement net et haut.
- Le processus de prise de décision de l'IA est comme une boule roulant sur une colline. Elle roule toujours vers le point le plus net. Même si le côté « correct » a plus de « surface de colline » au total, le côté « incorrect » a le sommet le plus net, donc la boule roule là-bas.

Les Deux Types d'Erreurs

Les chercheurs ont identifié deux façons dont cet « échec de l'engagement » se produit :

Le Mauvais Premier Mot : L'IA commence la phrase avec le mauvais mot immédiatement (par exemple, dire « Moscou » au lieu de « Paris »), même si elle avait un fort sentiment pour Paris.
Le Mauvais Chemin : L'IA commence avec le bon mot (par exemple, « Paris ») mais dévie immédiatement dans les mots suivants, transformant « Paris » en une histoire sur une autre ville.

La « Taxe d'Alignement »

Le papier conclut que ceci est un effet secondaire de rendre les modèles d'IA « utiles ».

Pour rendre une IA confiante et rapide, nous l'entraînons à être très décidée (pics nets).
Cela fonctionne très bien lorsque l'IA a raison.
Mais lorsque l'IA est légèrement confuse, cette même « détermination » la rend confiante et erronée. Elle n'hésite pas à choisir la mauvaise réponse car son cerveau est si bon pour choisir l'option « la plus nette », même si cette option est incorrecte.

Résumé

Les hallucinations ne sont pas toujours de l'ignorance. Parfois, l'IA connaît la réponse mais échoue à « s'engager » envers elle.
Les modèles plus grands ne sont pas parfaits. À mesure que les modèles grandissent, ils deviennent meilleurs pour être décidés, ce qui, ironiquement, les rend plus sujets à être confiants et erronés.
Le problème est la distribution. L'IA étale trop finement sa « connaissance » de la bonne réponse sur de nombreuses variations, tandis que la mauvaise réponse concentre tout son focus en un seul point net. L'IA choisit le point net, pas la bonne réponse.

Le papier suggère que pour résoudre ce problème, nous pourrions devoir apprendre à l'IA à regarder le « concept entier » (toutes les façons de dire « Paris ») plutôt que de simplement choisir le mot unique le plus net.

Résumé Technique : Hallucination comme Échec d'Engagement

Énoncé du Problème

Les grands modèles de langage (LLM) produisent fréquemment des sorties fluides mais factuellement incorrectes, connues sous le nom d'hallucinations. Une hypothèse prédominante dans le domaine postule que l'hallucination est une conséquence directe d'un manque de connaissances : le modèle hallucine uniquement lorsque la réponse correcte est absente de sa distribution au moment de la génération. Des travaux récents ont identifié des « tokens critiques » ou « tokens de bifurcation » où l'entropie explose, suggérant que les hallucinations sont décidées à des étapes spécifiques de la trajectoire de génération. Cependant, les méthodes de détection basées sur l'incertitude existantes (par exemple, l'entropie sémantique) échouent souvent à identifier les « hallucinations confiantes » — des cas où le modèle émet une réponse erronée avec une haute confiance, malgré la possession des connaissances correctes.

Ce papier remet en cause l'hypothèse selon laquelle l'hallucination implique un manque de connaissances. Il se demande : Au moment où un modèle s'engage sur une réponse, possède-t-il le concept correct dans sa distribution de probabilité, même s'il émet un token erroné ?

Méthodologie

Concept et Masse de Probabilité Sémantique ( $P_{mass}$ )

Les auteurs introduisent une notion sémantique de disponibilité de la réponse. Au lieu d'analyser des tokens individuels, ils définissent un concept $c$ comme une classe d'équivalence de complétions de tokens désignant la même réponse (par exemple, « Saint Basil's Cathedral », « St. Basil's », « Cathédrale de... »).
Ils définissent la masse de probabilité sémantique par étape comme suit :
$P_{mass}(t; c) = \sum_{v \in S_c} P_\theta(v \mid Q, y_{<t})$
où $S_c$ est l'ensemble des IDs de premiers tokens correspondant aux formes de surface du concept $c$ . Cette métrique agrège la masse de probabilité attribuée à tous les alias valides de la réponse correcte à une étape de génération spécifique.

Configuration Expérimentale

Modèles : L'étude couvre 18 modèles des familles Qwen (0,8B à 72B) et Llama (1B à 70B), incluant les variantes Instruct (ajustées par instruction) et Base.
Ensembles de données : QA de forme courte (TriviaQA, NQ-Open) et QA à choix multiples (MMLU, ARC-Challenge).
Étape d'Engagement ( $t_c$ ) : Dans le cadre du QA de forme courte ajusté par instruction, l'étape d'engagement est fixée à $t=1$ (le premier token généré). Pour la génération de forme longue, $t_c$ est identifié comme l'étape où l'entité de réponse est émise.
Définition de l'Échec d'Engagement : Un échantillon halluciné est classé comme un échec d'engagement si $P_{mass}(t_c; c^*) \geq 0,2$ , où $c^*$ est le concept de vérité terrain. Cela indique que le modèle a attribué une masse de probabilité substantielle au concept correct mais a tout de même émis une réponse finale erronée.

Dimensions d'Analyse

Taux d'Échec d'Engagement (CF%) : La proportion d'hallucinations qui sont des échecs d'engagement.
Décomposition : Séparation des échecs en Échecs de Sélection du Premier Token (token greedy $\notin S_{c^*}$ ) et Divergences Multi-Tokens (token greedy $\in S_{c^*}$ mais les tokens subséquents divergent).
Analyse Distributionnelle : Comparaison de la distribution de probabilité des échecs d'engagement avec des échantillons corrects appariés (échantillons avec une $P_{mass}$ similaire mais une sortie correcte).
Ajustement par Instruction vs Échelle : Isolement des effets de la taille du modèle par rapport à l'ajustement par instruction en comparant les modèles Instruct et Base.

Résultats Clés

1. Les Échecs d'Engagement sont Prévalents et Dépendants de l'Échelle

Pour tous les modèles ajustés par instruction, 16 % à 47 % des hallucinations sont des échecs d'engagement. Crucialement, ce taux augmente de manière monotone avec l'échelle du modèle.

Qwen Instruct : Le CF% passe de 16 % (0,8B) à 41 % (72B).
Llama Instruct : Le CF% passe de 16 % (1B) à 47 % (70B).
Cette découverte contredit l'intuition selon laquelle les modèles plus grands « savent simplement plus » et hallucinent moins ; au contraire, les modèles plus grands hallucinent plus souvent malgré la présence du concept correct dans leur distribution.

2. Le Mécanisme : Affinement Induit par l'Instruction

Le papier identifie l'ajustement par instruction comme le principal moteur de ce phénomène, et non l'échelle seule.

Modèles Base : Présentent des probabilités de tokens erronés plates (~0,30) à travers les échelles et des taux d'échec d'engagement plus faibles.
Modèles Instruct : Présentent un affinement monotone. La probabilité du token greedy erroné dans les échecs de sélection augmente avec l'échelle (par exemple, Qwen Instruct : 0,31 à 0,8B $\to$ 0,57 à 72B).
Déplacement Distributionnel : Dans les échecs d'engagement, la masse du concept correct est souvent fragmentée sur plusieurs tokens alias (par exemple, « Saint », « St », « C »), empêchant tout alias unique de gagner l'argmax contre le token dominant d'un concept concurrent. Dans les modèles Instruct plus grands, cette fragmentation s'effondre (la masse se concentre sur un alias), mais le token du concept erroné devient encore plus affiné, conduisant à des échecs de type « attracteur erroné ».

3. Preuves Multi-Tokens et États Cachés

Divergences Multi-Tokens : Dans les grands modèles Instruct (70B+), lorsque le premier token correspond à un alias correct, l'entropie du deuxième token ( $H_{t=2}$ ) chute à près de zéro (0,05–0,10). Le modèle s'engage immédiatement sur une phrase multi-tokens spécifique, même si cette phrase conduit à une entité erronée (par exemple, « George Washington Carver » au lieu de « George Washington »).
États Cachés : Les états cachés pré-génération à $t=1$ contiennent des informations prédictives sur la correction. Les modèles Instruct montrent un AUROC plus élevé dans les sondes d'états cachés par rapport aux modèles Base, et ce signal est « préchargé » (plus fort à $t=1$ ).
Mappage de Sortie : L'écart entre les modèles Instruct et Base est plus important dans la détection au niveau de la sortie (AUROC +0,29) que dans les sondes d'états cachés (+0,08), suggérant que l'ajustement par instruction amplifie le signal lors de la projection vers le vocabulaire de sortie.

4. Les Deux Visages de l'Échec d'Engagement

Le papier distingue deux modes d'échec structurels :

Piloté par la Fragmentation : (Courant dans les modèles plus petits/Base) La masse correcte est divisée entre les alias ; aucun token unique ne gagne.
Piloté par l'Attracteur Erroné : (Courant dans les grands modèles Instruct) La masse correcte s'est effondrée sur un seul alias, mais le token d'un concept erroné est encore plus affiné ( $P_{greedy} > P_{mass}(c^*)$ ).

Signification et Revendications

Le papier reformule l'hallucination confiante non pas comme un lapsus momentané ou un manque de connaissances, mais comme une conséquence structurelle de la façon dont la masse de probabilité est façonnée à l'étape d'engagement.

Mécanisme Unifié : Le même affinement induit par l'instruction qui produit une correction confiante (lorsque le concept engagé est correct) produit également une mauvaise sélection confiante (lorsque le concept engagé est erroné).
Taxe d'Alignement : Ce phénomène est situé comme un visage de la plus large « taxe d'alignement », où l'alignement (ajustement par instruction) améliore l'utilité et la fluidité mais dégrade l'étalonnage et provoque un effondrement de mode, conduisant à des erreurs trop confiantes.
Limites de la Détection d'Incertitude : Les résultats expliquent pourquoi les métriques d'incertitude standard (comme l'entropie des tokens ou l'entropie sémantique) échouent à signaler les hallucinations confiantes : le modèle possède le concept correct (haute $P_{mass}$ ), mais la distribution est façonnée de telle sorte que le token erroné gagne l'argmax.
Sonde Analytique : Les auteurs proposent $P_{mass}$ comme une sonde analytique pour comprendre le comportement du modèle, notant qu'elle n'est pas un détecteur déployable (car elle nécessite des alias de vérité terrain) mais révèle que « connaître la réponse » et « émettre la réponse » sont des événements distincts dans le processus de génération.

Le papier conclut que les modèles plus grands ne savent pas simplement plus ; ils déclenchent plus souvent à tort ce qu'ils savent, poussés par une disposition à l'affinement qui rend le modèle décisif à la fois dans les engagements corrects et incorrects.