💬 NLP

Neural Neural Scaling Laws

Ce papier présente les Lois d'Échelle Neurales (NeuNeu), une approche basée sur les réseaux de neurones qui surpasse les modèles paramétriques traditionnels en formulant la prédiction des performances des tâches en aval comme un problème d'extrapolation de séries temporelles, atteignant des taux d'erreur nettement inférieurs et une généralisation zero-shot à travers diverses familles de modèles et tâches.

Auteurs originaux : Michael Y. Hu, Jane Pan, Ayush Rajesh Jhaveri, Nicholas Lourie, Kyunghyun Cho

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Michael Y. Hu, Jane Pan, Ayush Rajesh Jhaveri, Nicholas Lourie, Kyunghyun Cho

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prédire la performance d'un élève à son examen final en fonction de ses résultats quotidiens aux devoirs.

Pendant longtemps, les chercheurs ont utilisé une règle empirique simple (appelée « Lois d'Échelle ») pour faire ces prédictions. Ils supposaient que si vous regardiez simplement la moyenne des notes aux devoirs de l'élève, vous pouviez tracer une courbe lisse et prévisible pour deviner sa note finale. Ils pensaient : « Si la moyenne augmente, la note finale augmentera selon une belle ligne droite. »

Mais les auteurs de cet article, Michael Y. Hu et son équipe, affirment que cette règle simple est brisée. Voici pourquoi, et ce qu'ils ont fait pour la réparer.

Le Problème : La « Moyenne » Ment

L'article soutient que regarder une moyenne de notes cache la vérité.

L'Analogie : Imaginez deux élèves ayant tous deux une moyenne de 80 %.
- L'Élève A a répondu correctement à chaque question, sauf une. Sa performance est stable et fiable.
- L'Élève B a obtenu 100 % pour la moitié des questions et 60 % pour l'autre moitié. Sa performance est chaotique et imprévisible.
- Si vous ne regardez que la « moyenne de 80 % », vous ne pouvez pas faire la différence. Mais si vous regardez les questions individuelles (les données au niveau du « token »), vous voyez que l'Élève A est susceptible de mieux réussir à l'examen final que l'Élève B.

Les anciennes méthodes (appelées « Lois d'Échelle Logistiques ») jetaient toutes ces informations détaillées. Elles prenaient simplement la moyenne, la lissaient, et tentaient d'y ajuster une courbe mathématique simple. Les auteurs ont découvert que cela échoue lorsque l'élève (ou le modèle d'IA) commence à se comporter de manière étrange — parfois en s'améliorant, parfois en se dégradant, ou en atteignant un plateau.

La Solution : NEUNEU (Le Prédicteur « Neural »)

L'équipe a construit un nouvel outil appelé NEUNEU (Lois d'Échelle Neurales). Considérez NEUNEU non pas comme une simple calculatrice, mais comme un tuteur hyper-observateur.

Au lieu de simplement regarder la moyenne des notes, NEUNEU examine :

L'Histoire : Comment les notes de l'élève ont évolué au fil du temps.
Les Détails : La performance spécifique sur chaque question individuelle, et non pas seulement la moyenne.

Comment cela fonctionne (La Métaphore) :
Imaginez que vous essayez de deviner comment une voiture se comportera lors d'un long voyage.

L'Ancienne Méthode : Vous vérifiez la vitesse moyenne de la voiture jusqu'ici et vous supposez qu'elle continuera à cette vitesse indéfiniment.
La Méthode NEUNEU : Vous examinez les vibrations du moteur, le mélange carburant, le temps de réaction du conducteur, et les bosses spécifiques de la route que la voiture vient de frapper. Vous utilisez un ordinateur intelligent (un réseau de neurones) pour apprendre à partir de milliers d'autres voitures afin de prédire exactement comment cette voiture spécifique gérera le reste du trajet.

Ce Qu'ils Ont Découvert

L'équipe a entraîné NEUNEU sur des données provenant de nombreux modèles d'IA open-source (comme des élèves de différentes écoles). Ils l'ont testé sur 66 tâches différentes (comme répondre à des questions de sciences, écrire des histoires ou résoudre des énigmes logiques).

Voici leurs principales découvertes :

C'est Beaucoup Plus Précis : NEUNEU était 44 % plus précis que les anciennes méthodes « basées sur la moyenne ». Il a fait moins d'erreurs en devinant comment l'IA se comporterait à l'avenir.
Il Gère les Choses Étranges : Parfois, rendre une IA plus grande ou l'entraîner plus longtemps la rend moins performante sur certaines tâches (un phénomène appelé « échelle inverse »). Les anciennes méthodes ne pouvaient pas prédire cela ; elles supposaient simplement que les choses s'amélioreraient toujours. NEUNEU a appris à repérer ces motifs et à les prédire correctement.
C'est un Génie « Zero-Shot » : NEUNEU a été entraîné sur un ensemble spécifique de modèles et de tâches. Mais lorsqu'ils lui ont présenté un nouveau type de modèle ou une nouvelle tâche qu'il n'avait jamais vus auparavant, il fonctionnait toujours mieux que les anciennes méthodes. C'est comme un tuteur capable d'enseigner une nouvelle matière qu'il n'a jamais étudiée, simplement en observant les habitudes de travail de l'élève.
Il Sait Quand Il Devine : NEUNEU ne donne pas une seule réponse ; il fournit une gamme de possibilités (comme dire : « Il y a 90 % de chances que la note soit comprise entre 75 et 85 »). Cela aide les chercheurs à savoir quand ils peuvent faire confiance à la prédiction et quand ils doivent être prudents.

La Conclusion

L'article affirme que tenter de prédire les performances futures des modèles d'IA en utilisant des formules simples et préécrites (comme l'ancienne méthode de la « note moyenne ») est une impasse. À la place, nous devrions utiliser un système informatique intelligent et flexible (NEUNEU) qui apprend directement à partir des données désordonnées et détaillées de la façon dont les modèles se comportent réellement.

En faisant cela, ils peuvent prédire les performances futures des IA avec une précision beaucoup plus élevée, aidant ainsi les chercheurs à décider quels modèles d'IA valent la peine d'être construits en termes de temps et d'argent.

Résumé technique : Lois d'échelle neuronales (NEUNEU)

Énoncé du problème

Les lois d'échelle neuronales prédisent traditionnellement comment les performances des modèles de langage (LM) s'améliorent avec l'augmentation de la puissance de calcul, des données et des paramètres, modélisant généralement la relation entre la perte d'entraînement et les performances en aval à l'aide de formes paramétriques simples (par exemple, des lois de puissance ou des fonctions logistiques). Cependant, les auteurs identifient deux limitations critiques dans les approches actuelles :

Obscurcissement du signal : Les métriques agrégées, comme la perte de validation moyenne, lissent les riches distributions de perte au niveau des tokens, masquant ainsi des signaux qui pourraient être prédictifs des capacités en aval.
Rigidité fonctionnelle : Les tâches en aval individuelles présentent des comportements d'échelle divers (amélioration monotone, stabilisation ou échelle inverse) qui ne peuvent être capturés par une seule famille paramétrique.

Par conséquent, la prédiction des performances en aval à partir de la perte de validation en utilisant des formes fonctionnelles fixes souffre d'un biais élevé et d'une mauvaise généralisation à des architectures de modèles, des nombres de paramètres ou des tâches non vus.

Méthodologie : NEUNEU

Les auteurs proposent les Lois d'échelle neuronales (NEUNEU), une approche par réseau de neurones qui formule la prédiction des lois d'échelle comme un problème d'extrapolation de séries temporelles. Contrairement aux méthodes paramétriques, NEUNEU apprend à prédire les performances futures sans supposer une forme fonctionnelle spécifique.

Architecture et représentation des entrées

NEUNEU combine le contexte temporel des trajectoires de précision observées avec des informations de validation au niveau des tokens.

Représentation de la perte : Pour préserver l'information distributionnelle et gérer les pertes d'entropie croisée non bornées, le modèle convertit les pertes au niveau des tokens ( $\ell$ ) en probabilités au niveau des tokens ( $p = e^{-\ell}$ ).
Séquence d'entrée : Le modèle traite une séquence de précisions historiques en aval ( $y_{1:t}$ $y_{1 : t}$ ) et d'écarts de calcul ( $g_{1:t}$ $g_{1 : t}$ ), ainsi qu'un vecteur de probabilités de tokens ( $p_t$ $p_{t}$ ) issu de l'ensemble de validation.
- Écarts : Les intervalles de calcul entre les étapes d'évaluation sont abstraits pour assurer l'invariance à travers différentes échelles de modèles.
- Probabilités de tokens : Le modèle ingère un vecteur de $N=256\,000$ probabilités de tokens (environ la taille d'un mini-lot), plutôt qu'une seule valeur de perte moyenne.
Composantes du modèle :
1. Encodeur de perte : Une CNN 1D hiérarchique (4 couches) traite le vecteur de probabilités de tokens pour produire une embedding $e$ .
2. Backbone Transformer : Un transformer standard de style BERT (6 couches, attention bidirectionnelle, RoPE) traite une séquence contenant un token [CLS], l'embedding de perte $e$ , et des tokens de contexte formés par la concaténation des précisions projetées et des écarts.
3. Tête de prédiction : La sortie du token [CLS] est projetée pour prédire une distribution sur la précision future en utilisant une régression par quantiles. Le modèle sort 5 quantiles ( $\hat{q}_{0.1}, \hat{q}_{0.25}, \hat{q}_{0.5}, \hat{q}_{0.75}, \hat{q}_{0.9}$ ).

Stratégie d'entraînement

Données : Le modèle est entraîné entièrement sur des trajectoires d'entraînement de modèles de langage open-source provenant de HuggingFace, spécifiquement la suite de modèles DataDecide. Cela inclut 144 trajectoires de pré-entraînement uniques à travers 6 tailles de modèles (de 90M à 1B de paramètres) et 24 jeux de données.
Objectif : Le modèle est entraîné en utilisant la perte pinball sommée sur les 5 quantiles pour produire des estimations d'incertitude calibrées.
Augmentation : Pour assurer la robustesse face aux données manquantes, le processus d'entraînement supprime aléatoirement des tuples de la séquence de précision, absorbant l'écart dans le tuple précédent.

Contributions clés

Prédiction sans paramétrisation : NEUNEU est le premier modèle à prédire les performances d'échelle en aval sans hypothèses paramétriques ni connaissance préalable de formes fonctionnelles spécifiques.
Précision supérieure : Sur 66 tâches en aval, NEUNEU atteint une erreur absolue moyenne (MAE) de 1,99 %, représentant une réduction de 44 % de l'erreur par rapport aux lois d'échelle logistiques largement utilisées (3,56 % de MAE).
Calibration de l'incertitude : En utilisant la régression par quantiles, NEUNEU fournit des estimations d'incertitude calibrées. Son intervalle interquantile prédit de 10 % à 90 % capture 77,6 % des données de vérité terrain, correspondant étroitement aux 80 % attendus.
Généralisation zero-shot : Le modèle généralise en zero-shot à :
- Des graines aléatoires non vues.
- Des jeux de données de pré-entraînement non vus (par exemple, C4).
- Des familles et architectures de modèles non vues, y compris des modèles non-transformers (par exemple, OLMo-Hybrid-7B) et des nombres de paramètres plus élevés (jusqu'à 12B) non vus pendant l'entraînement.
- Des tâches en aval non vues (tâches retenues lors de la méta-formation).

Résultats et évaluation

Les auteurs ont évalué NEUNEU par rapport à plusieurs bases de référence :

Lois d'échelle logistiques : Ajustements paramétriques par tâche.
BNSL (Broken Neural Scaling Laws) : Modèles paramétriques permettant des ruptures de régime.
LC-PFN : Un transformer méta-appris pour l'extrapolation de courbes d'apprentissage en contexte.
Ablations : Variantes de NEUNEU utilisant uniquement la perte moyenne (AVERAGE) ou aucune information de perte (NOLOSS).

Résultats clés :

Généralisation : NEUNEU surpasse significativement toutes les bases de référence lors des évaluations hors distribution (OOD), en particulier sur de nouvelles architectures (Pythia, OLMo-Hybrid) où les lois paramétriques échouent de manière catastrophique (encrant une erreur environ 4 fois plus élevée).
Agnosticisme des tâches : Contrairement aux lois d'échelle logistiques qui nécessitent l'ajustement d'un modèle séparé par tâche, un seul modèle NEUNEU prédit la précision pour n'importe quelle tâche, y compris celles jamais vues pendant l'entraînement, surpassant souvent les lois logistiques ajustées directement à ces tâches spécifiques.
Utilité décisionnelle : NEUNEU classe correctement les performances finales de configurations de modèles concurrentes avec une précision de 76,6 %, soit une amélioration de 12,9 % par rapport aux lois d'échelle logistiques. Cela suggère que NEUNEU peut efficacement guider l'allocation des ressources et la sélection des hyperparamètres.
Valeur de l'information : Les ablations AVERAGE et NOLOSS performent moins bien que NEUNEU complet, confirmant que les distributions de perte au niveau des tokens contiennent un signal prédictif que le moyennage rejette.

Importance et affirmations

L'article soutient que les limitations des lois d'échelle existantes ne sont pas fondamentales au problème de prédiction mais sont des artefacts de classes d'hypothèses restreintes (c'est-à-dire l'hypothèse de formes fonctionnelles spécifiques). En remplaçant le biais paramétrique par la flexibilité d'un réseau de neurones entraîné sur des trajectoires open-source diversifiées, NEUNEU démontre que la prédiction directe de l'échelle en aval à partir des données surpasse les alternatives paramétriques.

Les auteurs positionnent NEUNEU comme une étape vers des « Modèles de fondation des dynamiques d'entraînement ». Plutôt que de traiter les modèles de langage comme des boîtes noires, NEUNEU agit comme un modèle naissant des dynamiques d'entraînement, capable de simuler les états futurs étant donné les performances actuelles et les actions de calcul. Cette capacité pourrait permettre aux praticiens d'explorer les espaces d'hyperparamètres et les choix d'architecture sans le coût prohibitif des exécutions d'entraînement réelles. Ce travail s'aligne sur le principe selon lequel les méthodes qui évoluent avec le calcul et les données tendent à surpasser celles qui reposent sur des structures conçues par l'homme.