From Architecture to Output: Structural Origins of Hallucination in Large Language Models and the Amplifying Role of Data
Cet article soutient que les hallucinations dans les grands modèles de langage sont des conséquences structurelles de trois décisions architecturales fondamentales — l'auto-attention, l'estimation du maximum de vraisemblance et le décodage autorégressif — qui créent un système de défaillance composé que les pathologies des jeux de données amplifient plutôt qu'elles n'en sont l'origine, nécessitant ainsi un passage d'une classification basée sur le résultat à des stratégies de diagnostic et d'atténuation spécifiques aux mécanismes.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'idée principale : Ce n'est pas la donnée, c'est la machine
Imaginez que vous avez un robot qui écrit des histoires. Parfois, ce robot écrit une histoire qui semble parfaite, qui coule de source et qui semble très assurée — mais elle est complètement inventée. Nous appelons cela une « hallucination ».
La plupart des gens pensent que le robot ment parce qu'on lui a donné de mauvais livres ou de mauvaises données provenant d'Internet. Ce papier soutient que c'est faux. Le papier affirme que même si vous donniez au robot la bibliothèque parfaite au monde, il mentirait quand même.
Pourquoi ? Parce que la structure du cerveau du robot (son architecture) est construite d'une manière qui rend le mensonge inévitable. Les auteurs identent trois « défauts de conception » spécifiques dans la manière dont ces modèles d'IA sont construits, qui travaillent ensemble pour créer ces mensonges assurés.
Les trois « défauts de conception » (Le système de défaillance composée)
Le papier dit que le robot a trois habitudes spécifiques qui causent ses hallucinations. Voyez-les comme trois engrenages dans une machine qui, lorsqu'ils tournent ensemble, produisent une histoire fausse.
1. Le « chercheur de motifs » (Auto-attention / Self-Attention)
Le défaut : Le robot ne comprend pas réellement le sens ; il ne comprend que la fréquence.
L'analogie : Imaginez une personne qui a lu des millions de livres mais qui n'est jamais sortie de chez elle. Elle sait que « Sylhet » et « Thé » apparaissent l'un à côté de l'autre dans presque chaque phrase qu'elle a lue.
- Comment ça marche : Si vous demandez : « De quoi Sylhet est-il célèbre ? », le robot voit le motif fort : Sylhet + Thé. Il affirme avec assurance : « Sylhet est célèbre pour son thé. »
- L'hallucination : Mais et si vous demandiez : « Quelle est la capitale du Bangladesh ? » Le robot pourrait encore saisir le motif « Sylhet » parce que ces mots apparaissent souvent ensemble dans ses données d'entraînement, même s'ils n'ont aucun sens dans ce nouveau contexte.
- La thèse du papier : Le robot confond la proximité statistique (des mots qui traînent ensemble) avec la vérité sémantique (ce qui est réellement vrai). Il ne vérifie pas les faits ; il vérifie simplement si les mots vont habituellement ensemble.
2. Le « concours de popularité » (Estimation du maximum de vraisemblance / Maximum Likelihood Estimation)
Le défaut : Le robot est entraîné pour deviner le mot suivant le plus probable, et non le mot suivant le plus vrai.
L'analogie : Imaginez un jeu télévisé où l'animateur pose une question, et le prix est décerné à celui qui devine la réponse qui apparaît le plus souvent dans l'esprit du public, peu importe si elle est vraie ou non.
- Comment ça marche : Si 90 % d'Internet dit que « La foudre ne frappe jamais deux fois au même endroit » (un mythe), et seulement 10 % disent qu'elle le fait, le robot apprend que le mythe est la réponse « correcte » parce qu'il est plus populaire.
- L'hallucination : Le robot ne cherche pas à être véridique ; il cherche à être fluide. On récompense le robot pour qu'il ressemble au texte moyen d'un humain, même si ce texte est plein de mensonges. Le papier note que les modèles plus grands deviennent en fait pires pour dire la vérité car ils deviennent meilleurs pour mémoriser les mensonges présents dans les données.
3. La « rue à sens unique » (Décodage autorégressif / Autoregressive Decoding)
Le défaut : Une fois que le robot a écrit un mot, il ne peut jamais revenir en arrière.
L'analogie : Imaginez un train qui pose ses propres rails au fur et à mesure qu'il avance. Si l'ingénieur commet une petite erreur et pose la voie légèrement sur la gauche, le train doit continuer vers la gauche. Il ne peut pas revenir en arrière pour corriger la première erreur.
- Comment ça marche : Le robot écrit un mot à la fois. S'il commet une petite erreur sur le premier mot (à cause du défaut n°1 ou n°2), ce mot erroné devient la « vérité » pour le mot suivant.
- L'hallucination : Le robot ne réalise pas qu'il a fait une erreur. Il construit simplement le reste de la phrase sur ce point de départ erroné. Le résultat est une histoire qui semble parfaitement logique et fluide, mais qui est bâtie sur un fondement de mensonges. C'est ce qu'on appelle une « défaillance en cascade ».
Le rôle des mauvaises données (L'amplificateur)
Le papier admet que les mauvaises données (comme les faits rares de la « longue traîne » ou le contenu biaisé d'Internet) aggravent les choses. Mais il soutient que les mauvaises données ne sont qu'un amplificateur, et non la cause.
- L'analogie : Considérez les trois défauts de conception comme une forêt sèche. Les mauvaises données ne sont qu'une étincelle.
- Si la forêt est humide (données parfaites), une étincelle pourrait ne pas déclencher d'incendie.
- Mais si la forêt est sèche (défauts architecturaux), même une minuscule étincelle (une petite erreur de donnée) provoquera un incendie massif (une hallucination).
- Le point du papier : On ne peut pas éteindre l'incendie simplement en supprimant l'étincelle. Il faut réparer la sécheresse de la forêt (l'architecture). Les données ne créent pas l'hallucination ; la conception de la machine exploite les données pour la créer.
Pourquoi les listes de contrôle actuelles échouent
Le papier critique les méthodes actuelles d'étude des hallucinations. Les chercheurs classent généralement les mensonges selon ce que le mensonge représente (par exemple, « Cela contredit l'entrée » ou « Cela a inventé un fait »).
La critique du papier : C'est comme un médecin qui dirait : « Le patient a de la fièvre », sans vérifier si la fièvre est causée par la grippe, une infection ou un thermostat cassé.
- La solution : Les auteurs proposent une nouvelle façon de classifier les hallucinations. Au lieu de regarder simplement le résultat, nous devons regarder le mécanisme.
- Le robot a-t-il menti parce qu'il a confondu des motifs de mots ? (Auto-attention)
- A-t-il menti parce qu'il a suivi un mythe populaire ? (Objectif MLE)
- A-t-il menti parce qu'il n'a pas pu corriger une petite erreur précoce ? (Cascade autorégressive)
Résumé
Ce papier soutient que les grands modèles de langage (LLM) hallucinent non pas parce qu'ils sont « stupides » ou qu'ils ont de « mauvaises données », mais parce qu'ils sont construits sur trois décisions architecturales spécifiques :
- Ils apprennent des motifs, pas la vérité.
- Ils sont récompensés pour la popularité, pas l'exactitude.
- Ils sont coincés sur un chemin à sens unique où ils ne peuvent pas corriger leurs propres erreurs.
Tant que nous ne réparons pas ces trois engrenages structurels, les robots continueront d'écrire des histoires fluides, assurées et factuellement fausses.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.