Inverse Depth Scaling From Most Layers Being Similar

Résumé Technique : Mise à l'échelle de la profondeur inverse due à la similitude de la plupart des couches

Énoncé du problème
Les lois d'échelle neuronales ont établi que la performance des grands modèles de langage (LLM) s'améliore de manière prévisible avec l'augmentation de la taille du modèle et de la taille du jeu de données, suivant généralement des relations de loi de puissance. Cependant, ces lois d'échelle traitent souvent la taille du modèle comme une quantité monolithique, occultant les contributions distinctes de la largeur et de la profondeur. Bien que des cadres théoriques proposent que la profondeur puisse contribuer à la performance par l'assemblage compositionnel (abstraction hiérarchique), l'assemblage procédural (discrétisation de dynamiques lisses) ou l'effet de moyenne d'ensemble (estimation redondante), le mécanisme réel par lequel les LLM utilisent leur profondeur reste obscur. Des études empiriques suggèrent que les couches des LLM sont souvent redondantes, mais un cadre quantitatif reliant cette redondance à des lois d'échelle spécifiques faisait défaut. Cet article étudie la relation quantitative entre la profondeur des LLM et la perte pour déterminer quel régime théorique prédomine.

Méthodologie
Les auteurs emploient une approche en trois volets combinant l'analyse empirique de vrais LLM, des expériences sur des modèles jouets contrôlés et une analyse théorique :

1. Analyse de l'état caché des LLM : Les auteurs ont analysé la dynamique des états cachés à travers les couches de divers modèles Pythia (allant de 410 millions à 12 milliards de paramètres) et d'autres familles (Qwen-2.5, OPT) en utilisant le jeu de données FineWeb. Ils ont mesuré le changement angulaire entre les états cachés voisins, $\theta(h_l, h_{l+1})$, et la corrélation entre les mises à jour incrémentielles, $\theta(\Delta h_l, \Delta h_{l+1})$. L'analyse en composantes principales (PCA) a été utilisée pour identifier des groupes de comportement distincts parmi les jetons.
2. Décomposition empirique de la perte : Les auteurs ont proposé une loi d'échelle décomposée pour la perte ($L$) séparant les contributions de la largeur ($m$), de la profondeur ($\ell$) et de la taille du jeu de données ($D$) :
   $$L = \frac{c_m}{m^{\alpha_m}} + \frac{c_\ell}{\ell^{\alpha_\ell}} + \frac{c_D}{D^{\alpha_D}} + L_0$$
   Ils ont ajusté ce modèle aux données reconstruites à partir d'expériences de mise à l'échelle Chinchilla (environ 200 points de données) pour estimer l'exposant de mise à l'échelle de la profondeur $\alpha_\ell$.
3. Expériences sur des modèles jouets : Pour isoler les mécanismes, une configuration enseignant-élève a été conçue où un réseau élève apprend à imiter un enseignant plus profond. La dynamique de l'enseignant était contrôlée via le partage de poids (induisant des dynamiques lisses pour l'assemblage procédural) ou des poids indépendants (induisant des dynamiques de marche aléatoire non lisses pour la moyenne d'ensemble). La profondeur de l'élève variait, et l'entraînement a été mené sous différentes températures de distribution cible pour observer la convergence et les comportements de mise à l'échelle.

Contributions clés et résultats

• Mise à l'échelle de la profondeur inverse : La principale conclusion est que la perte des LLM suit approximativement une proportion inverse de la profondeur ($\alpha_\ell \approx 1$). L'exposant ajusté pour le terme dépendant de la profondeur est $\alpha_\ell = 1.2 \pm 0.3$, suggérant une décroissance en loi de puissance où doubler la profondeur réduit approximativement de moitié la composante d'erreur limitée par la profondeur.
• Dominance de la moyenne d'ensemble : L'analyse des états cachés révèle que pour la grande majorité des jetons (99,6 %) et des couches, les mises à jour sont incrémentielles et uniformes dans le milieu du réseau. Crucialement, la corrélation entre les mises à jour des couches voisines est faible (angles proches de $\pi/2$), ce qui contredit les dynamiques lisses requises pour l'assemblage procédural. Au contraire, ces signatures s'alignent sur la moyenne d'ensemble, où les couches agissent comme des estimateurs redondants et bruités qui réduisent l'erreur par la moyenne.
• Rejet de la dominance compositionnelle et procédurale :
  • Assemblage compositionnel : Les données ne montrent pas les modèles d'« arrêt précoce » ou d'abstraction hiérarchique distincte (par exemple, syntaxe $\to$ sémantique $\to$ raisonnement) prédits par ce régime pour la majorité des données.
  • Assemblage procédural : Bien que l'assemblage procédural (discrétisation d'EDO lisses) puisse théoriquement produire une mise à l'échelle inverse sous des conditions spécifiques (par exemple, température basse/entraînement incomplet), les expériences sur modèles jouets des auteurs montrent qu'une fois l'entraînement convergé avec des dynamiques lisses, l'exposant de mise à l'échelle passe à $\alpha_\ell \approx 3$. Puisque les LLM réels présentent $\alpha_\ell \approx 1$, l'assemblage procédural est peu probable d'être le mécanisme dominant dans les LLM convergés.
• Explication mécaniste : L'article conclut que l'inefficacité de la profondeur des LLM provient du fait que la plupart des couches effectuent des transformations fonctionnellement similaires. Ajouter de la profondeur augmente la taille de ces groupes fonctionnels, et la réduction de la perte est pilotée par la loi des grands nombres (moyennage des erreurs) plutôt que par la construction de nouvelles abstractions plus profondes.

Signification et affirmations
Les auteurs affirment que ce travail fournit une explication quantitative de l'utilisation « inefficace » de la profondeur observée dans les études empiriques antérieures. En établissant que les LLM opèrent principalement dans un régime de moyenne d'ensemble, l'article suggère que :

1. Implications architecturales : Les architectures actuelles de réseaux résiduels peuvent intrinsèquement biaiser les modèles vers la moyenne d'ensemble plutôt que vers l'apprentissage compositionnel. Améliorer l'efficacité pourrait nécessiter des innovations architecturales qui encouragent l'utilisation compositionnelle de la profondeur.
2. Lois d'échelle : La mise à l'échelle inverse observée de la profondeur ($\alpha_\ell \approx 1$) combinée à la mise à l'échelle de la largeur ($\alpha_m \approx 1$) implique une relation largeur-profondeur optimale de $m \propto \ell$ sous un budget de paramètres fixe. Cela s'aligne sur la mise à l'échelle empirique $N^{-1/3}$ observée dans les modèles Chinchilla.
3. Limites : Les auteurs notent modestement que leur décomposition de la perte a été proposée sur la base d'ajustements empiriques plutôt que dérivée de principes premiers. Ils reconnaissent que, bien qu'ils aient écarté le rôle dominant de l'assemblage compositionnel et procédural, d'autres mécanismes produisant des comportements de mise à l'échelle similaires ne peuvent être rigoureusement exclus sans dérivations de principes premiers. De plus, l'étude se concentre sur le « cœur » des couches, admettant que les premières et dernières couches peuvent présenter des comportements différents, potentiellement compositionnels.

En résumé, l'article postule que le succès actuel de la mise à l'échelle des LLM résulte largement de l'ajout de couches redondantes qui moyennent les erreurs, plutôt que d'un approfondissement de la hiérarchie de représentation, et que les progrès architecturaux futurs pourraient dépendre de la rupture de ce biais vers la moyenne d'ensemble.