🤖 AI

On the Smallness of the Large Language Models Scaling Exponents

Cet article soutient que les exposants de mise à l'échelle des modèles de langage de grande taille actuels indiquent un régime énergétique insoutenable, une conclusion qui persiste même après avoir pris en compte l'« effet de socle » des limites de perte non nulles, tout en établissant des analogies avec la turbulence des fluides pour discuter de l'influence de la lissité des données sur ces exposants.

Auteurs originaux : Sauro Succi, Peter V. Coveney, Alex Hansen

Publié 2026-06-24

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sauro Succi, Peter V. Coveney, Alex Hansen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le problème du « Plus gros, c'est mieux »

Imaginez que vous essayiez d'apprendre à un robot à parler parfaitement. La règle actuelle dans le monde de l'IA est : « Plus le robot est gros, mieux il parle. » Cette idée, appelée la découverte du « sans mur » (no-wall), suggère que si vous continuez simplement à ajouter plus de données et plus de puissance informatique, le robot deviendra de plus en plus intelligent indéfiniment.

Cependant, les auteurs de ce papier soutiennent que cette stratégie est insoutenable. Ils affirment que nous heurtons un mur de consommation d'énergie, même si nous n'avons pas encore atteint un mur d'intelligence.

Le problème central : Les rendements décroissants

Le papier utilise un concept mathématique simple pour expliquer pourquoi cela pose problème. Imaginez que vous essayez de nettoyer une fenêtre très sale.

L'objectif : Rendre la fenêtre parfaitement claire (zéro erreur).
La réalité actuelle : Pour rendre la fenêtre seulement deux fois moins sale, vous n'avez pas besoin de deux fois plus d'efforts. Vous avez besoin de 1 000 fois plus d'efforts.

Les auteurs soulignent que les modèles de langage de grande taille (LLM) actuels ont un « exposant de mise à l'échelle » (un nombre qui mesure la vitesse à laquelle ils s'améliorent) qui est très faible (environ 0,05 à 0,1).

L'analogie : Si vous voulez améliorer la performance de l'IA d'un tout petit peu, vous devez lui fournir une montagne de nouvelles données et brûler une quantité massive d'électricité. C'est comme essayer de pousser un rocher en haut d'une colline qui devient de plus en plus raide à mesure que l'on monte. Le papier soutient qu'il s'agit d'une impasse pour les ressources énergétiques.

La défense du « Piédestal » : Pourquoi nous ne pouvons pas simplement attendre

Certains critiques disent : « Ne vous inquiétez pas ! Nous n'avons pas réellement besoin que l'IA soit parfaite (zéro erreur). Nous avons juste besoin qu'elle soit "assez bonne" pour arrêter de dire des absurdités. Nous arrêtons l'entraînement avant qu'elle n'atteigne le fond. »

Les auteurs appellent cela l'« Effet de Piédestal ». Ils imaginent un sol (le piédestal) en dessous duquel les erreurs de l'IA ne pourront jamais descendre, peu importe la quantité de données que vous lui donnez.

La réfutation du papier : Même si nous acceptons que nous n'avons pas besoin de la perfection, les mathématiques ne fonctionnent toujours pas. Les auteurs montrent que parce que le « sol » est très élevé par rapport au point de départ, la zone « assez bonne » est atteinte si rapidement que le minuscule exposant de mise à l'échelle s'applique toujours.
La métaphore : Imaginez que vous essayez de remplir une baignoire. Vous argumentez : « Je n'ai pas besoin qu'elle soit remplie à ras bord ; j'ai juste besoin qu'elle ait quelques pouces d'eau. » Les auteurs répondent : « Même avec cet objectif bas, le robinet goutte si lentement qu'il vous faudra un million d'années pour obtenir ces quelques pouces, et vous manquerez d'eau (énergie) bien avant d'y parvenir. »

Pourquoi les chiffres sont-ils si petits ? (La « rugosité » des données)

Le papier demande : Pourquoi l'IA s'améliore-t-elle si lentement ?

Ils comparent l'entraînement de l'IA à la turbulence des fluides (comme l'eau tourbillonnante dans une rivière ou la fumée qui monte).

Lisse vs Rugueux : Si vous essayez d'apprendre un motif lisse et prévisible (comme une ligne droite), vous apprenez vite. Mais les données du monde réel (le langage, les images, les systèmes complexes) sont « rugueuses » et chaotiques, comme un océan en pleine tempête.
La connexion fractale : Les auteurs utilisent une analogie de la physique. Dans une tempête, l'énergie n'est pas répartie uniformément ; elle est concentrée dans de minuscules tourbillons chaotiques. Pour comprendre la tempête, vous devez observer ces minuscules tourbillons.
Le résultat : Parce que les données sont « rugueuses » et chaotiques, l'IA doit travailler beaucoup plus dur pour trouver les motifs. Le papier suggère que la « rugosité » des données force l'exposant de mise à l'échelle à rester très bas.

La théorie de la « Carte Cachée »

Le papier fait référence à une théorie de Sharma et Kaplan (SK) qui suggère que la vitesse d'apprentissage dépend de la Dimension Intrinsèque des données.

L'analogie : Imaginez une bibliothèque.
- L'Espace d'Embedding (la taille de la bibliothèque) est immense — peut-être des millions d'étagères.
- La Dimension Intrinsèque (le nombre réel de livres qui contiennent la véritable histoire) est beaucoup plus petite, mais reste très grande.
Le problème : Même si les LLM sont incroyables pour trouver « la véritable histoire » cachée dans la vaste bibliothèque (compression des données), « la véritable histoire » est encore trop complexe (trop de dimensions) pour que l'IA puisse l'apprendre efficacement sans brûler les réserves énergétiques de la planète.

La conclusion : Arrêter de courir après le « Plus gros »

Les auteurs concluent que l'approche « plus gros, c'est mieux » est une recette pour l'épuisement énergétique.

Le verdict : Peu importe à quel point l'IA devient intelligente, si les données sont complexes et « rugueuses », l'énergie requise pour la rendre légèrement plus intelligente sera toujours trop élevée.
La voie suggérée : Au lieu de simplement construire des modèles plus gros et plus stupides qui consomment plus d'électricité, nous devons revenir à des modèles fondamentaux conscients de la physique (appelés « modèles de monde »). Ce sont des systèmes qui comprennent comment le monde fonctionne (comme la gravité ou la relation de cause à effet) plutôt que de simplement mémoriser des motifs dans une base de données massive.

En bref : Nous essayons de résoudre un puzzle complexe en y envoyant de plus en plus de personnes, mais le puzzle est si difficile que nous manquons de café (énergie) avant de l'avoir résolu. Nous devons changer de stratégie, et non pas simplement ajouter plus de travailleurs.

Énoncé du problème
Le document traite de la durabilité de la trajectoire actuelle du développement des grands modèles de langage (LLM), laquelle est portée par la découverte du « pas de mur » (no-wall) : l'observation selon laquelle les performances des LLM continuent de s'améliorer à mesure que la taille du modèle et le volume de données augmentent. Bien que cela ait conduit au mantra « plus gros est meilleur », les auteurs soutiennent que les exposants de mise à l'échelle qui régissent cette amélioration sont dangereusement faibles (typiquement $\alpha \approx 0,05 \div 0,10$ ). En termes pratiques, un exposant de 0,1 implique que réduire la fonction de perte d'un facteur deux nécessite une augmentation de 1024 fois ( $2^{10}$ ) des ressources de calcul. Les auteurs affirment que ce régime de « rendements décroissants » rend la stratégie de mise à l'échelle actuelle insoutenable en termes de consommation d'énergie, que la fonction de perte soit considérée comme une erreur numérique stricte ou comme une métrique empirique.

Méthodologie et cadre théorique
Les auteurs emploient une analyse théorique combinant les lois de mise à l'échelle (scaling laws), des analogies d'analyse numérique et des modèles phénoménologiques de la dynamique des fluides pour critiquer et affiner la compréhension des exposants de mise à l'échelle des LLM.

Réfutation de la critique de l'« effet de socle » (Pedestal Effect) : Le document traite d'abord un contre-argument suggérant que les faibles exposants de mise à l'échelle seraient un biais numérique causé par l'omission d'un « socle » non nul (une limite non nulle de la fonction de perte lorsque la taille des données $N \to \infty$ ). En modélisant la fonction de perte comme $L(x) = L_0 + (L_1 - L_0)x^\alpha$ (où $x=1/N$ ), les auteurs dérivent un « exposant de mise à l'échelle courant ». Ils démontrent que même avec un socle faible, la transition des régimes de mise à l'échelle élevés (comme le passage Chinchilla de $\alpha \approx 1/3$ ) vers les régimes bas observés ( $\alpha \approx 0,05 \div 0,1$ ) se produit à des tailles de jeux de données bien inférieures à celles utilisées dans les LLM modernes. Ainsi, l'effet de socle explique les faibles exposants observés, mais ne résout pas le problème fondamental de l'insoutenabilité.
Limite théorique inférieure (Modèle Sharma-Kaplan) : Les auteurs adoptent le cadre théorique proposé par Sharma et Kaplan (SK), qui postule que les exposants de mise à l'échelle sont limités par la dimension intrinsèque ( $d$ ) de la variété de données (data manifold) : $\alpha \sim 4/d$ . Cette relation suggère que les LLM fonctionnent de manière similaire aux méthodes de raffinement de grille adaptative dans un espace de caractéristiques de dimension $d$ , où $d$ est nettement plus petit que la dimension d'incorporation (embedding dimension) $D$ .
Analogie avec la turbulence des fluides : Pour expliquer l'ampleur de ces exposants, le document établit une analogie avec la phénoménologie de la turbulence des fluides.
- Lissé vs Rugosité : Les auteurs relient l'exposant de mise à l'échelle au lissé (exposant de Hurst $h$ ) du signal cible. Pour les signaux lisses, $h=1$ , mais pour les processus non lisses comme la turbulence, $h < 1$ .
- Dimension fractale : En utilisant la théorie de Kolmogorov de 1941 (K41) et des modèles multifractaux, ils montrent que pour les écoulements turbulents, l'exposant de mise à l'échelle effectif est davantage réduit en raison de la rugosité du signal et de la nature fractale de la dissipation d'énergie.
- Implication pour les LLM : Le document soutient que de nombreux systèmes complexes (et probablement les données que les LLM traitent) sont non lisses. Cette « rugosité » augmente effectivement la dimension intrinsèque par un facteur de $1/h$ , conduisant à des exposants de mise à l'échelle encore plus faibles ( $\alpha \sim 4h/d$ ).

Contributions clés et résultats

Validation de l'insoutenabilité : Les auteurs confirment que les faibles exposants de mise à l'échelle ( $\alpha < 0,1$ ) ne sont pas de simples artefacts d'un arrêt précoce ou d'un biais numérique (l'effet de socle), mais reflètent une limitation fondamentale de l'efficacité de la mise à l'échelle des architectures actuelles de LLM.
Quantification de l'effet de socle : Par une dérivation analytique et une représentation graphique (Figures 1 et 2), le document montre que le « socle » (la limite non nulle de la perte) domine le comportement de mise à l'échelle pour des tailles de jeux de données réalistes, masquant efficacement tout potentiel pour des exposants de mise à l'échelle plus élevés (comme le $\alpha \approx 1/3$ de Chinchilla) dans les applications à grande échelle.
Limites de la compression dimensionnelle : Tout en reconnaissant la capacité impressionnante des LLM à compresser des espaces d'incorporation de haute dimension ( $D \sim$ milliers) en des variétés intrinsèques ( $d \sim 100$ ), les auteurs calculent que pour tout jeu de données dont la dimension intrinsèque est $d > 40$ , l'exposant de mise à l'échelle tombera inévitablement en dessous de 0,1.
Impact de la rugosité des données : Le document établit que les données non lisses (caractérisées par $h < 1$ ) exacerbent le problème, conduisant à des exposants de mise à l'échelle encore plus faibles et à une plus grande inefficacité des ressources par rapport aux données lisses.

Signification et conclusion
Le document conclut que la stratégie « plus gros est meilleur », portée par l'enthousiasme du « pas de mur », est une « recette certaine pour l'épuisement énergétique ». Les auteurs affirment que le régime actuel de mise à l'échelle est mathématiquement insoutenable pour les jeux de données ayant des dimensions intrinsèques supérieures à 40, une condition probablement remplie par la plupart des applications réelles complexes.

La portée de ce travail réside dans son changement de focalisation : passer de la simple augmentation de la taille du modèle à la recherche d'une « compréhension physique et de la conformité avec les modèles du monde ». Les auteurs suggèrent que la voie à suivre nécessite de s'éloigner d'une exploitation purement musculaire des paramètres et du volume de données pour se diriger vers des modèles d'IA fondés sur la physique (les dits « modèles du monde ») capables de mieux gérer la dimensionnalité intrinsèque et la rugosité des données complexes sans dépendre de lois de mise à l'échelle insoutenables.