Résumé technique : Transport de gradient à taille finie dans l'entraînement préalable de grands modèles de langage

Énoncé du problème

Alors que les lois d'échelle neuronales ont établi des dépendances robustes de type loi de puissance entre la perte d'entraînement préalable des grands modèles de langage (LLM) et des facteurs externes (échelle du modèle, taille de l'ensemble de données, puissance de calcul), elles ne révèlent pas l'organisation interne du champ de gradient au fur et à mesure que l'entraînement progresse. Les courbes de performance scalaires peuvent masquer des réorganisations internes qui se déroulent dans le temps et à travers les échelles. Les études existantes sur le « grokking » (généralisation retardée) et la propagation des signaux critiques suggèrent que les transitions comportementales peuvent être précédées par des changements internes plus lisses, pourtant les métriques actuelles manquent d'une sonde résolue en échelle pour mesurer comment l'organisation du champ de gradient évolue. Les auteurs soutiennent qu'un exposant unique (tel que l'exposant de taille de cascade $D$) est insuffisant pour caractériser les régimes réels d'entraînement des LLM, nécessitant un cadre multi-canaux pour distinguer les différentes dynamiques d'entraînement qui peuvent partager des squelettes d'échelle de taille similaires.

Méthodologie

L'article introduit un cadre de transport de gradient à taille finie ancré dans la mécanique statistique hors équilibre, adaptant spécifiquement la sonde d'avalanche Thresholded Diffusion Update–Olami-Feder-Christensen (TDU-OFC).

1. La sonde TDU-OFC

La méthode traite le champ de gradient (ou champ de mise à jour des paramètres) comme un champ de charge soumis à une règle de redistribution contrôlée sur un graphe Barabási–Albert (BA) fixe.

• Entrée : À chaque étape d'entraînement $t$, un instantané du champ $u(t)$ est pris. Pour Pico-LM, il s'agit du vecteur de gradient brut $g_t$ ; pour Pythia, il s'agit du champ de mise à jour de différence de point de contrôle $\Delta\theta_t$.
• Seuillage : Un seuil fixe $\tau(t)$ est défini au 90e percentile de la magnitude du champ.
• Relaxation : Les nœuds actifs (où $|u_i| > \tau$) se relâchent de manière synchrone, redistribuant des valeurs signées vers les voisins selon une normalisation par degré. Ce processus itère jusqu'à ce qu'aucun nœud actif ne subsiste ou qu'un plafond d'étapes (500) soit atteint.
• Sorties : La sonde produit la taille de cascade $s(t)$ (nombre total d'événements actifs) et la durée de cascade $n_{steps}(t)$.

2. Caractérisation par cinq grandeurs

Le cadre étend l'exposant unique $D(t)$ à une fermeture algébrique de cinq grandeurs :

1. $D(t)$ (Exposant de taille de cascade) : Décrit l'extensivité spatiale ($s_{max} \sim N^D$).
2. $z(t)$ (Exposant de durée) : Décrit la persistance temporelle ($n_{steps} \sim N^z$).
3. $\beta$ (Exposant de transport absolu) : Déduit de $D - z$.
4. $\delta$ (Exposant de transport intensif) : Décrit l'efficacité par paramètre ($v_{rel} \sim N^\delta$).
5. $v_{rel}$ (Efficacité de transport relative) : Une observable mesurée directement définie comme $s_{max} / (N \cdot n_{steps})$.

Ces grandeurs satisfont les relations de fermeture algébrique : $\beta = D - z$ et $\delta = \beta - 1 = D - z - 1$.

3. Familles empiriques et contrôles nuls

Le cadre est appliqué à deux familles complémentaires :

• Pico-LM : Quatre échelles (11M–570M) avec des instantanés de gradients bruts directs à 125 étapes alignées.
• Pythia/PolyPythias : Cinq échelles inférieures à 1M (14M–410M) utilisant des champs de différence de point de contrôle (proxy pour les mises à jour) à 153 étapes alignées.

Pour assurer la comparabilité, les auteurs emploient une hiérarchie de décomposition nulle :

• $N_0/N_1$ : Nuls gaussiens (standards ou appariés par moment) pour établir une ligne de base.
• $N_2$ : Un nul de permutation préservant la distribution marginale signée mais randomisant l'affectation valeur-nœud.
• Cela permet de séparer les « effets de distribution » des « effets d'affectation » (l'organisation spécifique des valeurs sur le graphe).

4. Compressibilité par étape

Une contribution novatrice consiste à traiter la compressibilité par étape (le $R^2$ de l'ajustement de loi de puissance à chaque étape) comme une observable de l'organisation interne, plutôt que comme une simple note de bas de page sur la qualité de l'ajustement. Cela mesure si un canal de transport admet une pente de loi de puissance unique et propre à une étape d'entraînement donnée.

Résultats clés

1. Squelette de taille partagé, régimes de transport distincts

Pico-LM et Pythia présentent tous deux un squelette de taille de cascade proche de l'unité ($D \approx 1$) tout au long de la fenêtre d'entraînement stable. Cependant, ils occupent des régimes de transport distincts :

• Pico-LM : Montre une échelle de durée positive ($z > 0$) et une échelle d'efficacité intensive négative ($\delta < 0$). Les modèles plus petits présentent une efficacité de transport par paramètre plus élevée, et les cascades durent plus longtemps dans les modèles plus grands.
• Pythia : Reste dans une bande étroite près de la ligne de base $D=1$ avec une échelle d'efficacité positive faible ($\delta > 0$) et une échelle de durée proche de zéro ($z \approx 0$). Elle s'approche d'une bande d'efficacité commune à travers les échelles.

2. Alignement sur la ligne de base nulle

Les contrôles de champs randomisés ($N_0$) révèlent que les deux familles partagent des planchers nuls presque identiques dans les canaux intensif ($v_{rel}$) et de durée ($z$). Les contrastes observés sont donc interprétés comme des départs réels différents d'un squelette nul partagé plutôt que comme des artefacts de calibrations nulles différentes. Dans le canal de durée, Pico montre un départ positif du nul, tandis que Pythia montre un départ négatif.

3. Compressibilité en tant qu'observable

• Pico-LM : Présente une compressibilité par étape élevée ($R^2 \approx 0,97-0,99$) à travers les canaux de taille, de durée et d'efficacité, indiquant une organisation de loi de puissance propre à chaque étape.
• Pythia : Bien que le squelette de taille ($D$) reste hautement compressible ($R^2 \approx 1,0$), les canaux de durée et d'efficacité montrent une compressibilité à pente unique faible ($R^2 \approx 0,55-0,65$). Cela suggère que les canaux de transport internes de Pythia ne sont pas bien décrits par une pente de loi de puissance unique à chaque étape, même si le comportement agrégé est stable.

4. Association avec la performance externe

L'article trouve des associations au niveau du canal mais aucune association significative au niveau de l'exposant :

• Niveau du canal : La performance externe (perplexité pour Pico, précision zero-shot pour Pythia) est fortement associée à l'observable d'efficacité intensive ($v_{rel}$) et à la durée normalisée ($n_{steps}/N$). Une meilleure performance corrèle avec une $v_{rel}$ plus faible et une durée normalisée plus élevée. Ces associations persistent après contrôle du calendrier du taux d'apprentissage.
• Niveau de l'exposant : L'exposant de taille $D(t)$ agit comme un squelette partagé mais ne corrèle pas significativement avec les exposants de performance externe ($\beta_{PPL}$ ou $\alpha_{acc}$) sur toute la trajectoire dans l'une ou l'autre famille.

Signification et revendications

L'article revendique fournir un cadre de mesure de transport réutilisable pour comparer les régimes réels d'entraînement des LLM sans affirmer un point fixe universel ou une dérivation de premiers principes des lois d'échelle neuronales.

• Changement de rôle pour $D(t)$ : Dans les benchmarks de « grokking » contrôlés (travaux antérieurs), $D(t)$ agissait comme un marqueur localisé de transition (traversant $D=1$ lors de la généralisation). Dans l'entraînement préalable réel des LLM, $D(t)$ devient une coordonnée de squelette stable ($D \approx 1$) qui ne distingue pas les régimes ; la distinction réside dans la façon dont ce squelette est décomposé en canaux de durée et d'efficacité.
• Nature observationnelle : Les résultats sont observationnels et à échelle finie. Les auteurs déclarent explicitement ne pas affirmer que l'entraînement des LLM réalise un mécanisme classique de Criticalité Auto-Organisée (SOC) ou une classe d'universalité complète de bruit crépitant.
• Contribution méthodologique : Le travail élève la « compressibilité par étape » au statut d'observable primaire, arguant que le degré auquel les canaux internes admettent des lois de puissance propres est une propriété fondamentale de l'organisation des dynamiques d'entraînement.
• Limites : Les auteurs mettent en garde contre le fait que le contraste Pico/Pythia implique plusieurs variables (gradient brut vs champ de mise à jour, architectures différentes, optimiseurs). Les revendications quantitatives fortes sont restreintes aux analyses intra-famille, tandis que les comparaisons inter-familles sont limitées aux structures de niveau de régime.

En résumé, l'article soutient que l'entraînement préalable réel est mieux décrit par une structure de transport multi-observable (taille, durée, efficacité et compressibilité) que par n'importe quelle statistique de croisement unique, offrant un langage inspiré de la physique pour résoudre les réorganisations internes que les courbes de perte scalaires cachent.