💬 NLP

Information-Theoretic Limits of Reliability and Scaling in Language Models

Cet article remet en question l'hypothèse selon laquelle une fiabilité parfaite est réalisable par le seul passage à l'échelle en établissant un cadre informationnel qui définit des plafonds de fiabilité inhérents basés sur l'ambiguïté des tâches et les dépendances inter-jetons, dérivant ainsi une loi d'échelle unifiée qui identifie le goulot d'étranglement entre les données d'entraînement et la capacité du modèle tout en expliquant des phénomènes tels que l'augmentation de la récupération et l'oubli catastrophique.

Auteurs originaux : Subhabrata Majumdar

Publié 2026-07-17

📖 10 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Subhabrata Majumdar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à raconter une histoire, à résoudre un problème de mathématiques ou à écrire un poème. Vous pourriez penser que si vous donnez simplement au robot plus de puissance cérébrale (plus de puces informatiques) et que vous le nourrissez avec plus de livres (plus de données), il finira par devenir parfait en tout. Cette idée a été le moteur de la croissance rapide de l'intelligence artificielle. Mais et s'il y avait un plafond caché ? Et si certaines tâches étaient simplement impossibles à réussir à 100 %, peu importe l'intelligence du robot ? Ce document explore cette question en utilisant une branche de la science appelée la théorie de l'information. Considérez la théorie de l'information comme l'étude de la quantité de « surprise » ou d'« incertitude » contenue dans un message. Si vous demandez à un robot « Quel est 2+2 ? », il n'y a aucune surprise ; la réponse est toujours 4. Mais si vous lui demandez « Écris un poème sur un nuage triste », il y a une énorme surprise car il n'y a pas de réponse unique correcte. Les auteurs se demandent : quelle quantité de cette surprise un robot peut-il réellement résoudre, et où frappe-t-il un mur ?

Le document soutient que la croyance populaire — selon laquelle des modèles plus grands finiront par atteindre une fiabilité parfaite sur n'importe quelle tâche — est mathématiquement fausse. Les auteurs montrent que chaque tâche possède un « plafond de fiabilité », une limite dure sur la précision qu'un modèle peut jamais atteindre. Cette limite ne dépend pas de la taille du modèle ; elle dépend de la nature de la tâche elle-même. Pour un problème de mathématiques, le plafond est le ciel (une précision de 100 % est possible). Pour l'écriture créative, le plafond est beaucoup plus bas car la « bonne » réponse dépend de sentiments subjectifs et de contextes culturels qu'aucun robot ne peut véritablement connaître. Le document prouve que vous ne pouvez pas dépasser ce plafond par la simple montée en échelle.

De plus, les auteurs ont découvert que la manière dont ces modèles génèrent du texte — mot après mot, comme une réaction en chaîne — aggrave les choses. Si le modèle commet une petite erreur au début, cette erreur peut s'accumuler, faisant dérailler le reste de l'histoire ou du code. Ils ont trouvé que certaines tâches, comme le codage, sont comme un mur de briques solide où une brique lâche ne fait pas s'écrouler l'ensemble. D'autres tâches, comme l'écriture d'un poème, sont comme un château de cartes ; un mauvais mouvement au début peut faire s'effondrer toute la structure.

Enfin, le document propose une nouvelle règle pour faire croître ces modèles. Au lieu de simplement jeter plus de données ou plus de puissance informatique sur un problème, les auteurs suggèrent que la performance est limitée par la ressource la plus rare. Si vous avez énormément de données mais un cerveau minuscule, ajouter plus de données ne servira à rien. Si vous avez un cerveau géant mais très peu de données, ajouter plus de puissance cérébrale ne servira pas non plus. Vous devez équilibrer les deux parfaitement. Cette nouvelle règle explique pourquoi certaines tâches s'améliorent avec la mise à l'échelle tandis que d'autres atteignent un plateau, et elle fournit une carte mathématique pour savoir quand l'ajout de ressources fonctionne réellement et quand c'est une perte de temps.

Le Plafond Invisible

Imaginez que vous jouez à un jeu de « Devinez le mot suivant ». Parfois, le jeu est facile. Si la phrase est « Le soleil se lève à l'est... », le mot suivant est presque certainement « Est ». Il n'y a pas de mystère. Mais d'autres fois, c'est un jeu de devinettes avec un piège. Si la phrase est « Le chat est assis sur le... », le mot suivant pourrait être « tapis », « revêtement », « canapé » ou « sol ». Tous sont corrects, mais ils sont différents.

Les auteurs de ce document appellent le scénario « Est » une tâche entièrement vérifiable. Dans ces cas, comme la résolution d'une équation mathématique ou l'écriture d'un code qui doit s'exécuter sans erreurs, la réponse est déterminée entièrement par la question. Il n'y a pas d'information cachée. Le « plafond de fiabilité » pour ces tâches est de 100 %. Si vous avez un modèle parfait, vous obtenez un score parfait.

Mais il existe ensuite des tâches non vérifiables, comme l'écriture créative ou donner des conseils de vie. Ici, la « bonne » réponse dépend de choses que le modèle ne peut pas voir, comme l'humeur de l'auteur, le goût du lecteur ou le moment culturel. Les auteurs appellent cette information manquante le « contexte latent ». Comme ce contexte est caché et subjectif, aucune quantité de données ou de puissance informatique ne pourra jamais rendre le modèle 100 % fiable. Le plafond est plus bas, et il est permanent. Vous ne pouvez pas atteindre la perfection par la mise à l'échelle sur une tâche où la perfection est une question d'opinion.

Le document divise cela en deux types d'écarts. Le premier est l'écart résolvable. Il s'agit d'une information manquante qui pourrait être fournie. Par exemple, si un modèle écrit une histoire sur une personne spécifique mais ne connaît pas son nom, c'est un écart résolvable. Si vous donnez le nom au modèle (en l'ajoutant à l'entrée), l'écart se referme et le modèle s'améliore. Le second est l'écart subjectif. Il s'agit d'une information manquante qui ne peut pas être fournie car elle n'a pas de valeur fixe. Si la tâche est d'écrire une blague « drôle », ce qui est drôle pour une personne peut être ennuyeux pour une autre. Aucune quantité de données supplémentaires ne peut corriger cela. Le document prouve que pour ces tâches, le modèle aura toujours un plancher permanent d'imprévisibilité.

L'Effet Domino

Maintenant, imaginez que le modèle construit une tour, un bloc à la fois. Il place le premier bloc, puis le deuxième, puis le troisième. C'est ainsi que fonctionnent les grands modèles de langage ; ils génèrent du texte jeton par jeton. Le problème est que si le modèle place le premier bloc légèrement de travers, le deuxième bloc devra être placé sur une fondation de travers.

Les auteurs appellent cela la dégradation autorégressive. C'est comme un jeu de « Téléphone arabe » où le message est déformé à chaque murmure. Si le modèle commet une petite erreur au début d'une phrase, cette erreur change le contexte du mot suivant, ce qui change le contexte du mot d'après, et ainsi de suite. Les erreurs s'accumulent.

Cependant, toutes les tours ne sont pas construites de la même manière. Le document introduit le concept de noyau de dépendance, une façon sophistiquée de décrire à quel point chaque mot dépend des mots précédents.

Dépendances en bande (Le Mur de Briques) : Pensez au codage ou aux mathématiques. Dans une ligne de code, le mot suivant dépend généralement de celui qui le précède immédiatement (comme une parenthèse fermante qui correspond à une parenthèse ouvrante). Si vous faites une erreur, elle est généralement contenue dans cette petite zone. Le reste du code peut encore avoir du sens. Le « noyau de dépendance » ici est étroit, comme un mur de briques. Une erreur dans une brique ne fait pas tomber tout le mur.
Dépendances denses (Le Château de Cartes) : Pensez à la poésie ou à l'écriture créative. Dans un poème, le mot que vous choisissez au tout début peut déterminer le schéma de rimes pour l'ensemble du poème. Si vous choisissez le mauvais mot au début, tout le poème peut perdre son rythme ou son sens. Le « noyau de dépendance » ici est dense, comme un château de cartes. Une erreur sur la première carte peut ruiner toute la structure.

Le document montre que pour les tâches avec des dépendances denses, la performance du modèle se dégrade beaucoup plus rapidement à mesure que le texte s'allonge. Une seule erreur précoce peut provoquer une cascade menant à un échec total. Cela explique pourquoi les modèles sont excellents pour les tâches logiques courtes, mais peinent avec les longues tâches créatives.

L'Équilibre des Ressources

Enfin, le document aborde la question de la mise à l'échelle : « Si nous rendons simplement le modèle plus grand et lui donnons plus de données, sera-t-il meilleur ? »

La réponse est : Cela dépend de ce dont vous avez le moins.

Les auteurs dérivent une nouvelle « loi de mise à l'échelle » qui ressemble à une simple équation mathématique. Elle stipule que la performance du modèle est limitée par la ressource la plus rare.

Si vous avez une quantité massive de données mais un modèle minuscule, ajouter plus de données ne servira pas beaucoup car le modèle est trop petit pour tout apprendre.
Si vous avez un modèle massif mais très peu de données, ajouter plus de paramètres ne servira pas à grand-chose car le modèle n'a rien à apprendre.

Le point idéal, là où vous obtenez le plus d'amélioration, est lorsque vous équilibrez les deux. C'est similaire à la loi « Chinchilla » que les chercheurs connaissaient déjà, mais ce document explique pourquoi cela fonctionne et ajoute un détail crucial : la fonction max. Cela signifie que vous n'obtenez pas de bonus en ayant trop d'une chose. Si vous avez 100 fois plus de données que ce que votre modèle peut traiter, ces données supplémentaires sont inutiles. Vous devez faire correspondre vos données à la taille de votre modèle.

Ce que cela signifie pour l'avenir

Ce document ne nous dit pas seulement comment construire de meilleurs modèles ; il nous dit ce que nous ne pouvons pas faire. Il suggère que l'idée d'une « IA générale » qui est parfaite en tout est un mythe. Il existe des tâches où le plafond est bas, et aucune mise à l'échelle ne nous permettra jamais d'atteindre 100 % de précision.

Il explique également pourquoi certaines astuces fonctionnent. Par exemple, la Génération Augmentée par Récupération (RAG) — où le modèle cherche des faits dans une base de données avant de répondre — fonctionne parce qu'elle comble les « écarts résolvables ». Elle donne au modèle le contexte manquant dont il a besoin pour atteindre un plafond plus élevé. Mais pour les tâches subjectives, même le RAG ne peut pas corriger l'« écart subjectif ».

Le document nous met également en garde contre l'oubli catastrophique. Lorsque vous entraînez un modèle sur une nouvelle tâche, il peut « oublier » une ancienne. Les auteurs expliquent cela comme une réallocation des ressources. Le modèle dispose d'un « budget » limité de puissance cérébrale. Si vous le forcez à se concentrer sur une nouvelle tâche qui a une structure très différente (un noyau de dépendance différent), il doit abandonner les anciennes structures pour faire de la place. C'est comme apprendre une nouvelle langue ; si vous vous concentrez trop sur le français, vous pourriez commencer à oublier les règles de grammaire de l'espagnol.

En résumé, le document nous dit que l'IA n'est pas une baguette magique capable de résoudre tous les problèmes. C'est un outil avec des limites spécifiques. Certains problèmes sont solubles avec suffisamment de données et de calcul ; d'autres sont fondamentalement ambigus. La clé du futur n'est pas seulement d'être « plus grand », mais d'être plus « intelligent » sur ce que nous demandons aux modèles de faire et sur la manière dont nous équilibrons nos ressources. Nous devons cesser d'attendre la perfection là où elle est impossible et commencer à concevoir des solutions qui respectent les plafonds naturels de chaque tâche.

Résumé technique : Limites informationnelles de la fiabilité et du passage à l'échelle dans les modèles de langage

Énoncé du problème

Les récits actuels concernant les grands modèles de langage (LLM) supposent souvent qu'une fiabilité parfaite est réalisable pour n'importe quelle tâche si l'on dispose d'une échelle suffisante. Cependant, les preuves empiriques contredisent cela, montrant que la performance sur différentes tâches sature à des niveaux variables : certaines tâches (ex. l'écriture créative) ne convergent pas vers une précision parfaite même avec l'augmentation de l'échelle des modèles, tandis que d'autres (ex. la génération de code) approchent une fiabilité quasi parfaite. Les lois de mise à l'échelle existantes, telles que la loi Chinchilla, fournissent des relations de puissance empiriques entre la taille du modèle, les données d'entraînement et la perte, mais manquent d'une interprétation théorique rigoureuse pour expliquer pourquoi ces plafonds existent, pourquoi ils diffèrent selon les tâches, et comment l'interaction entre les données et la capacité régit la performance.

Ce document traite ces lacunes en introduisant un cadre informationnel qui formalise les limites fondamentales des modèles de langage génératifs. Il postule que la fiabilité n'est pas seulement une fonction de l'échelle, mais qu'elle est bornée par les propriétés intrinsèques de la distribution de la tâche et les dépendances structurelles au sein de la sortie.

Méthodologie et cadre théorique

Les auteurs développent un cadre fondé sur la théorie de l'information, utilisant spécifiquement l'inégalité de traitement des données (DPI) et l'analyse spectrale des mélanges de tâches.

1. Le plafond de fiabilité

Le document définit un plafond de fiabilité ( $R^*$ ) pour toute tâche générative, déterminé par l'entropie conditionnelle de la sortie étant donné l'entrée :
$R^* := \frac{I(X; Y)}{H(Y)}$
où $X$ est le contexte observable et $Y$ est la sortie cible. Les auteurs décomposent l'écart d'imprévisibilité ( $1 - R^*$ ) en deux composantes :

Écart résolvable ( $\delta_r$ ) : Provient d'un contexte latent ( $C_r$ ) qui est pertinent pour la sortie mais absent de l'entrée (ex. faits manquants, préférences de l'utilisateur). Cet écart peut théoriquement être comblé en enrichissant l'entrée (ex. via la récupération d'informations ou l'utilisation d'outils).
Écart subjectif ( $\delta_u$ ) : Provient d'un contexte latent ( $C_u$ ) qui est intrinsèquement ambigu ou subjectif (ex. préférences esthétiques, normes culturelles). Cet écart représente un plancher permanent qu'aucun modèle ne peut surmonter, car la sortie « correcte » n'est pas déterminée de manière unique par l'entrée.

2. Dégradation autorégressive et noyaux de dépendance

Le cadre va au-delà de la génération en un seul passage pour rendre compte des erreurs cumulatives inhérentes aux modèles autorégressifs. Les auteurs introduisent le Noyau de Dépendance ( $K_Y$ ), une matrice $L \times L$ où les entrées $K_Y(t, t')$ mesurent l'information mutuelle entre les jetons (tokens) $t$ et $t'$ conditionnellement au reste de la séquence et à l'entrée.

Noyaux bandés : Les tâches comme la génération de code présentent des dépendances locales (syntaxe, portée des variables). Les erreurs sont contenues localement.
Noyaux denses : Les tâches comme l'écriture créative présentent des dépendances globales (ton, arc thématique). Les erreurs se propagent globalement, provoquant une dégradation rapide de la fiabilité de la séquence.

Le document démontre que la génération autorégressive dégrade le plafond de fiabilité à un taux régi par la dérive cumulative, qui est une fonction de la structure du noyau de dépendance de la tâche.

3. Dérivation d'une loi de mise à l'échelle fondée sur les premiers principes

En analysant les propriétés spectrales du mélange de tâches (spécifiquement la décroissance des valeurs propres $\nu_T$ et la régularité des projections cibles $\bar{\mu}$ ), les auteurs dérivent une loi de mise à l'échelle pour la perte de l'entropie croisée $L(N, D)$ en fonction des paramètres du modèle $N$ et des jetons d'entraînement $D$ :

$L(N, D) = \underbrace{H(Y | X)}_{\text{Erreur irréductible}} + \max \left( \underbrace{\frac{A}{N^{\alpha}}}_{\text{Erreur d'approximation}}, \underbrace{\frac{B}{D^{\beta}}}_{\text{Erreur d'estimation}} \right) + \text{ordre inférieur}$

Où :

$\alpha = \frac{\bar{\mu}-1}{d(\nu_T + 1)}$ est l'exposant de capacité.
$\beta = \frac{\bar{\mu}-1}{\nu_T}$ est l'exposant de données.
La forme max indique que la performance est limitée par la ressource la plus rare (données ou capacité).
Le terme d'erreur irréductible $H(Y|X)$ correspond à l'écart subjectif et à l'entropie conditionnelle de la tâche.

Contributions clés

Formalisation du plafond de fiabilité : Le document établit qu'une fiabilité parfaite est informationnellement impossible pour les tâches ayant une entropie conditionnelle non nulle par rapport à l'entrée. Il fournit une taxonomie des tâches basée sur la vérifiabilité : Entièrement vérifiables (sortie déterministe), Idéalement vérifiables (déterministe étant donné le contexte complet) et Non vérifiables (sortie subjective).
Noyau de dépendance et propagation d'erreurs : Il introduit le noyau de dépendance pour quantifier comment les corrélations entre jetons dictent le taux de propagation des erreurs dans la génération autorégressive, expliquant pourquoi les modèles de code sont plus robustes aux erreurs que les modèles d'écriture créative.
Loi de mise à l'échelle en forme "max" : Les auteurs dérivent une loi de mise à l'échelle à partir des premiers principes qui récupère la loi Chinchilla comme un cas particulier (le long de la frontière de calcul optimal où les données et la capacité sont équilibrées), mais la généralise à une forme max. Cette formulation prédit que l'augmentation d'une seule ressource (ex. les données) sans l'autre produit des rendements décroissants une fois que le goulot d'étranglement se déplace.
Explication unifiée de phénomènes pratiques : Le cadre explique structurellement :
- La Génération Augmentée par Récupération (RAG) : Fonctionne en convertissant l'écart résolvable ( $\delta_r$ ) en entrée observable, augmentant ainsi le plafond effectif.
- L'oubli catastrophique : Se produit parce que le réglage fin (fine-tuning) réalloue le budget de représentation fini du modèle (modes propres) vers la tâche cible, supprimant les modes requis pour des tâches orthogonales.
- L'instabilité des benchmarks : Les classements sur les tâches à faible plafond sont intrinsèquement bruités en raison de l'écart subjectif, rendant les corrélations de rang instables.

Résultats et validation empirique

Analyse de saturation des benchmarks : Les auteurs adaptent une métrique d'indice de saturation pour analyser les benchmarks en code, mathématiques, Q&A et écriture. Les résultats montrent que les benchmarks d'écriture présentent une saturation élevée à des scores bien en dessous de la perfection, soutenant l'existence d'un écart subjectif ( $\delta_u > 0$ ). À l'inverse, les benchmarks de mathématiques et de code avec des vérificateurs montrent des scores de haut niveau proches de la perfection, cohérents avec un plafond $R^* \approx 1$ .
Visualisation du noyau de dépendance : Les graphiques empiriques de l'information mutuelle entre les jetons confirment la distinction théorique : les tâches de code et de mathématiques montrent des structures bandées ou à blocs diagonaux, tandis que les tâches d'écriture et de résumé montrent des noyaux denses.
Récupération de la loi de mise à l'échelle : Les exposants dérivés $\alpha$ et $\beta$ s'alignent sur les estimations empiriques (ex. $\alpha \approx 0,348, \beta \approx 0,366$ ), validant les hypothèses spectrales.

Signification et affirmations

Le document affirme offrir une théorie unifiée des limites de performance des modèles de langage génératifs. Sa signification principale réside dans le passage d'un discours de « l'échelle résoudra tout » à une compréhension nuancée des compromis ressource-complexité.

Rigueur théorique : Il dépasse l'ajustement de courbes empiriques pour fournir un compte rendu structurel de pourquoi la mise à l'échelle n'améliore la fiabilité que jusqu'à un plafond spécifique à la tâche, déterminé par la disponibilité de l'information et la structure de dépendance.
Orientation pratique : Il suggère que pour les tâches non vérifiables, aucune quantité de mise à l'échelle ne permettra d'atteindre une fiabilité parfaite ; au lieu de cela, les efforts devraient se concentrer sur la réduction de l'écart résolvable (via un meilleur contexte) ou l'acceptation du plancher subjectif.
Stratégie d'optimisation : La loi de mise à l'échelle en forme "max" fournit une justification théorique à la stratégie de "calcul optimal" consistant à équilibrer la taille du modèle et les données, mettant en garde contre l'augmentation d'une seule ressource bien au-delà de l'autre.

Les auteurs concluent que la « frontière dentelée » des capacités de l'IA — où les modèles excellent dans certaines tâches mais échouent dans d'autres — n'est pas un bug, mais une conséquence fondamentale des propriétés informationnelles des tâches elles-mêmes.