🤖 machine learning

Reliability Scales Inversely: Bigger Models Compound Mistakes Faster via a Hidden Auto-Regressive Risk Regime

Cet article révèle qu'à mesure que les modèles de langage passent à l'échelle, ils entrent de plus en plus dans un « régime de risque autorégressif » auto-entretenu où des erreurs de jetons à faible probabilité déclenchent des hallucinations confiantes et en effet de boule de neige qui persistent plus longtemps que les propres signaux d'incertitude du modèle ne peuvent les détecter, causant finalement les modèles plus larges à amplifier les erreurs plus rapidement malgré le gain de capacités générales.

Auteurs originaux : Kushal Chakrabarti

Publié 2026-07-22

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kushal Chakrabarti

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Paradoxe de l'IA : Pourquoi plus grand n'est pas toujours mieux

Imaginez que vous appreniez à un robot à raconter des histoires. Dans le monde de l'intelligence artificielle, une croyance de longue date veut que si l'on donne simplement au robot plus de puissance cérébrale, plus de livres à lire et plus de temps pour étudier, il finira par devenir parfait. Cette idée est appelée « mise à l'échelle » (scaling) : plus le modèle est grand, plus il devient intelligent. Mais il y a un piège. Lorsque ces robots écrivent de longues histoires, ils ne font pas que s'améliorer ; ils deviennent parfois pires pour rester véridiques au fil du récit. Ils peuvent commencer par un fait parfait, puis inventer accidentellement un mensonge, et parce qu'ils sont si convaincus de ce mensonge, ils construisent le reste de l'histoire par-dessus, créant ainsi une boule de neige de non-sens.

Pour comprendre pourquoi cela arrive, nous devons examiner comment ces robots « réfléchissent ». Ils ne connaissent pas les faits comme nous ; ils prédisent le mot suivant dans une phrase en se basant sur des motifs qu'ils ont vus auparavant. Les scientifiques ont découvert que lorsqu'un robot commet une erreur, ce n'est pas toujours parce qu'il ne connaît pas la réponse. Parfois, il connaît la réponse mais se trompe de toute façon en devinant. Une fois qu'il a fait cette mauvaise supposition, il la traite comme un fait pour la phrase suivante. C'est ce qu'on appelle l'« auto-régression » : le robot réinjecte sa propre production dans lui-même. La grande question que se posent les chercheurs est la suivante : pourquoi cette création d'erreurs s'aggrave-t-elle à mesure que les robots deviennent plus grands, et pourquoi les robots ne parviennent-ils même pas à voir qu'ils mentent ?

La grande découverte de l'article : La boule de neige invisible

Cet article, écrit par Kushal Chakrabarti, renverse la façon dont nous percevons la fiabilité de l'IA. La conclusion principale est un peu contre-intuitive : À mesure que les modèles d'IA grandissent, ils ne deviennent pas seulement plus intelligents ; ils deviennent aussi plus performants pour commettre des erreurs qui se cumulent plus rapidement.

Considérez un modèle d'IA comme un étudiant passant un examen long et composé de plusieurs parties.

L'ancienne idée : La théorie de l'« écart de connaissances » dit que si un étudiant répond mal à une question, c'est parce qu'il n'a pas assez étudié. La solution ? Donnez-lui une plus grande bibliothèque (plus de données) et un plus gros cerveau (plus de paramètres).
La nouvelle découverte : Cet article soutient que pour les étudiants très intelligents (les grands modèles), le problème n'est pas qu'ils ne connaissent pas les faits. C'est qu'une fois qu'ils font une petite supposition confiante qui s'avère fausse, ils se retrouvent coincés dans un « régime de risque ». Ils s'engagent dans cette mauvaise supposition, et parce qu'ils sont si sûrs d'eux, ils ne réalisent pas qu'ils ont tort. Ils utilisent ensuite cette mauvaise supposition pour répondre à la question suivante, ce qui mène à une autre erreur, et ainsi de suite. Plus l'étudiant est grand, plus la boule de neige de mensonges grandit vite.

Le « Risque » que l'on ne peut pas ressentir

Pour expliquer cela, les auteurs utilisent une astuce mathématique ingénieuse pour diviser l'« incertitude » de l'IA en deux parties :

Incertitude ressentie : C'est la nervosité que l'IA ressent. Si elle devine, elle est agitée. Si elle est sûre d'elle, elle est calme.
Risque d'engagement : C'est le danger caché. C'est l'écart entre ce que l'IA pense être vrai et ce qu'un « oracle super-intelligent » (un modèle de référence parfait) sait être vrai.

Voici la partie effrayante : L'IA ne peut ressentir que sa propre nervosité. Elle ne peut pas ressentir le « Risque d'engagement ».

Imaginez que vous marchez sur un pont.

L'incertitude ressentie est la sensation de tremblement dans vos genoux.
Le Risque d'engagement est la distance réelle entre le pont et le sol.

Lorsque l'IA commet une erreur (une « fabrication »), ses « genoux » (l'incertitude ressentie) cessent de trembler presque immédiatement. Elle se sent calme et confiante à nouveau. Mais le pont est toujours loin du sol ! Le « Risque d'engagement » reste élevé pendant longtemps. Parce que l'IA se sent calme, elle ne sait pas qu'elle est toujours en danger. Elle continue de marcher avec assurance, droit vers le vide, créant une chaîne de mensonges.

L'effet « Boule de neige »

L'article montre que ce n'est pas seulement une erreur ponctuelle. Une fois que l'IA commence à mentir, elle rend la probabilité de mentir à nouveau dans la phrase suivante 1,08 à 1,71 fois plus élevée.

Petits modèles : Ils commettent des erreurs, mais ils ne les enchaînent pas toujours parfaitement.
Grands modèles : Ils sont si doués pour prédire le mot suivant qu'une fois qu'ils ont choisi une mauvaise voie, ils s'y verrouillent avec une confiance extrême. Ils ne font pas qu'une seule erreur ; ils créent une chaîne d'erreurs.

Les auteurs ont découvert qu'à mesure que les modèles augmentent en taille (scale up), l'« écart de connaissances » (ce qu'ils ne savent pas) diminue d'environ 6 fois. Mais la « dégradation des connaissances » (la vitesse à laquelle ils s'effondrent une fois qu'ils commencent à mentir) s'aggrave de 11 à 39 fois. En d'autres termes, les grands modèles sont meilleurs pour bien commencer une histoire, mais ils sont terribles pour la terminer sans inventer de non-sens.

Pourquoi l'IA ne peut-elle pas se surveiller elle-même ?

Vous pourriez demander : « Pourquoi l'IA ne vérifie-t-elle pas son propre travail ? » L'article révèle un angle mort. La plupart des outils actuels qui tentent de détecter les mensonges de l'IA examinent à quel point l'IA est « nerveuse » (son incertitude ressentie).

Le problème : Quand l'IA commence un mensonge, elle est nerveuse pendant une fraction de seconde, puis elle se détend. Les outils de détection voient cette relaxation et pensent : « Oh, elle est calme, donc elle doit dire la vérité ! »
La réalité : L'IA est calme, mais elle est toujours dans la « zone de danger » (risque élevé). Les outils manquent le mensonge car ils cherchent la nervosité, et non le risque caché. L'article montre que ces détecteurs s'activent 30 % moins souvent sur la branche risquée où les mensonges se produisent, même si cette branche contient près de 4 fois plus de fabrications que l'erreur initiale.

La « Solution Magique » (Et ce qu'elle prouve)

Pour prouver que ce « risque caché » est le véritable coupable, les auteurs ont lancé une simulation. Ils ont pris un modèle sur le point de commettre une erreur et l'ont artificiellement forcé à être moins « risqué » sans changer ce qu'il pensait être vrai.

Le résultat : Lorsqu'ils ont éliminé ce risque caché, le nombre de mensonges a chuté de 35 % à 74 % sur différents types de modèles.
Ce que cela signifie : Cela prouve que le problème n'est pas que l'IA ne connaît pas les faits. C'est que l'IA se retrouve coincée dans un état où elle est confiante mais dans l'erreur, et cet état provoque l'accumulation des erreurs.

À retenir

Cet article suggère que simplement agrandir les modèles d'IA ne résoudra pas leur problème de mensonge. En fait, les plus grands modèles pourraient être plus enclins à ces mensonges en « boule de neige » parce qu'ils deviennent confiants trop rapidement. La solution n'est pas seulement d'avoir plus de données ; c'est de trouver un moyen de détecter ce « Risque d'engagement » caché avant que l'IA ne se verrouille dans un mensonge. Tant que nous ne pourrons pas voir que le pont est loin du sol, même l'IA la plus intelligente pourrait marcher avec assurance droit dans le vide.

Résumé Technique : La fiabilité décroît de manière inverse

Énoncé du Problème

La vision prédominante de l'hallucination dans les grands modèles de langage (LLM) traite celle-ci comme un « déficit de connaissances » — un manque d'information que le passage à l'échelle, la récupération ou l'ajout de données peuvent combler. Cet article conteste cette interprétation, arguant que si le passage à l'échelle améliore les connaissances initiales (réduisant le « déficit de connaissances »), il érode simultanément la fiabilité en amplifiant un mode de défaillance distinct : le risque autorégressif.

Le problème central est qu'à mesure que les modèles passent à l'échelle, ils ne deviennent pas simplement plus précis ; ils deviennent plus sujets à un type spécifique d'erreur composée. Lorsqu'un modèle s'engage sur un jeton (token) de faible probabilité et non soutenu (une fabrication), il conditionne les générations suivantes sur cette erreur. Ce processus convertit la variance d'échantillonnage transitoire en un biais persistant. Crucialement, ce mode de défaillance est structurellement invisible pour les mécanismes d'auto-surveillance du modèle, qui reposent sur la distribution de probabilité interne du modèle ( $p_M$ ) plutôt que sur un oracle externe.

Méthodologie

Les auteurs introduisent un cadre théorique basé sur une variable de désaccord ( $\delta$ ) définie comme le rapport de log-vraisemblance entre la distribution du modèle ( $p_M$ ) et un oracle plus puissant de la même famille ( $p_O$ ) :
$\delta_t(x) = \log p_M(x | y_{<t}) - \log p_O(x | y_{<t})$

Le second moment de cette variable, $E[\delta^2]$ , est décomposé en deux composantes distinctes :

Biais ( $Bias^2$ ) : Le carré de la moyenne, $KL(p_M \| p_O)^2$ , représentant l'écart systématique entre le modèle et l'oracle.
Risque ( $Var[\delta]$ ) : La variance du désaccord, représentant l'étalement de la manière dont l'oracle pondère les candidats considérés par le modèle.

L'article utilise trois approches expérimentales principales à travers plusieurs familles de modèles (Qwen3, OLMo-3, Llama-3) et échelles (de 0,6B à 32B) :

Analyse de mise à l'échelle (Scaling Analysis) : Mesure du « déficit de connaissances » (taux d'hallucination initial) par rapport à la « dégradation des connaissances » (le taux d'augmentation des hallucinations sur la longueur d'une réponse) en utilisant les benchmarks FActScore et LongFact++.
Dynamiques d'apparition (Onset Dynamics) : Analyse du comportement temporel de $\delta$ , de ses moments et de l'incertitude ressentie par le modèle ( $H(p_M)$ ) immédiatement après l'apparition d'une fabrication.
Intervention Causale (In Silico Knockout) : Implémentation d'un mécanisme de « contraction du risque ». Aux étapes où le modèle diverge de l'oracle, la distribution du jeton suivant du modèle est modifiée pour réduire la variance de $\delta$ tout en préservant strictement la moyenne (divergence KL). Cela isole l'effet causal du risque par rapport au biais.

Contributions Clés

1. La Décomposition de l'Erreur

L'article établit que l'hallucination n'est pas uniquement une fonction du déficit de connaissances (biais). Il identifie le Risque ( $Var[\delta]$ ) comme un terme d'erreur dominant et distinct. Alors que le passage à l'échelle réduit le biais (le modèle se rapproche de l'oracle en moyenne), il ne parvient pas à réduire le risque (l'étalement du désaccord), qui devient en réalité une part plus importante de l'erreur totale à mesure que les modèles croissent.

2. L'Asymétrie de Persistance

Une découverte critique est la divergence entre « l'incertitude ressentie » et le « risque référencé par l'oracle » après une fabrication :

Incertitude Ressentie ( $H(p_M)$ ) : L'incertitude interne du modèle grimpe au moment de la fabrication mais se relâche rapidement (en environ 0,3 jeton) à mesure que la génération devient fluide.
Risque Référencé par l'Oracle ( $Var[\delta]$ ) : Le risque associé à l'erreur commise persiste pendant une période nettement plus longue (3,5 à 5,0 jetons).
Cela crée un régime « confiant mais précaire » où le modèle se sent certain mais est statistiquement divergent de la vérité, un état que les détecteurs d'auto-surveillance ne peuvent détecter car ils ne lisent que $H(p_M)$ .

3. Conversion Autorégressive et Effet Boule de Neige

L'article démontre que l'autorégression agit comme une machine qui convertit ce risque persistant en un biais fixe. Une fois qu'un modèle échantillonne un jeton non soutenu, le risque s'effondre en un écart fixe qui est hérité par tous les jetons suivants. Cela conduit à une erreur composée : le risque relatif d'une fabrication ultérieure augmente de manière monotone avec l'échelle (de 1,08× à 1,71×), ce qui signifie que les modèles plus grands sont plus susceptibles d'enchaîner les hallucinations.

4. Aveuglement Structurel de l'Auto-surveillance

Les détecteurs basés uniquement sur la distribution du modèle ( $p_M$ ), tels que l'Entropie Sémantique ou SelfCheckGPT, sont structurellement aveugles à ce régime de risque. L'article montre que ces détecteurs s'activent nettement moins (environ 30 % de moins) sur les jetons de « pont » entre les fabrications, bien que ces jetons portent près de 4 fois plus d'hallucinations que les jetons d'apparition. Les détecteurs manquent la branche « précaire » car l'incertitude interne du modèle s'est déjà relâchée.

Résultats Clés

Passage à l'échelle inverse de la fiabilité : À travers les familles de modèles, le passage à l'échelle réduit le déficit de connaissances initial de 5,7 à 7,0×, mais augmente la dégradation des connaissances (le taux d'accumulation d'erreurs) de 11 à 39×. La capacité et la fiabilité sont montrées comme étant des axes de mise à l'échelle distincts.
Dominance du Risque : À mesure que les modèles passent à l'échelle, la part de l'erreur attribuée au risque (variance) augmente de 31 % à 49 % de l'erreur quadratique totale. La queue de la distribution du désaccord devient également plus lourde (le kurtosis excessif passe de 8,9 à 33,0).
Réduction Causale des Hallucinations : En appliquant l'intervention de contraction du risque (réduisant la variance tout en maintenant le biais constant), les auteurs ont réduit de manière causale les hallucinations vérifiées sur le web de 35 à 74 % à travers trois familles de modèles. Cela confirme que la quantité qui compose l'erreur est la variance, et non la connaissance.
Échec des Détecteurs : Les détecteurs d'entropie sémantique se sont révélés nettement moins sensibles au régime de « pont » (l'état entre les fabrications) par rapport à l'apparition, avec une signification statistique ( $p < 10^{-16}$ ).

Signification et Revendications

L'article prétend redéfinir la compréhension de l'hallucination des LLM, passant d'un déficit de connaissance statique à un régime de risque dynamique et auto-perpétué. Sa principale importance réside dans :

Causalité Mécaniste : Fournir la première preuve causale, sur politique (on-policy), que la contraction de la variance de l'écart modèle-oracle (sans changer la moyenne) réduit directement l'hallucination, prouvant que le « risque » est le moteur des erreurs composées.
Les Limites du Passage à l'Échelle : Démontrer que le simple passage à l'échelle des modèles ne résout pas la fiabilité ; en fait, les modèles plus grands peuvent être plus susceptibles à certains types d'erreurs composées en raison de l'affinement de la queue de risque.
L'Angle Mort : Souligner que les techniques actuelles d'auto-surveillance sont fondamentalement limitées car elles ne peuvent pas « voir » le terme de risque ( $Var[\delta]$ ]), qui est précisément le mécanisme pilotant les fabrications en aval.

Les auteurs concluent que la fiabilité est un axe de mise à l'échelle séparé qui nécessite de nouvelles interventions ciblant la variance de l'engagement du modèle, plutôt que de simplement améliorer la connaissance moyenne ou de compter sur l'incertitude auto-rapportée. Le mode de défaillance dominant est décrit comme « invisible pour le modèle lui-même », nécessitant des signaux externes ou « boîte blanche » pour une atténuation efficace.