Résumé Technique : La supervision dense ne suffit pas : l'angle mort de la lecture dans les modèles de langage à boucle

1. Énoncé du problème

Les modèles de langage à boucle (LLM) réutilisent le même bloc transformer à travers une profondeur récurrente, permettant à la profondeur au moment de l'inférence de servir de curseur de calcul dynamique (par exemple, s'arrêter prématurément pour des prédictions faciles). Dans cette architecture, un état caché $H_k$ joue un double rôle : il est décodé pour la prédiction (l'interface de « lecture » ou readout) et réinjecté comme entrée pour les calculs futurs (l'état « récurrent »).

Le problème central identifié est un décalage entre visibilité et activité. Bien que la supervision dense (application de la perte cross-entropie à chaque boucle) garantisse que les états intermédiaires sont utilisables pour la prédiction, elle ne contrôle pas nécessairement toutes les variables actives au sein de la transition récurrente. Plus précisément, l'étude examine l'échelle de l'état caché (la magnitude radiale du vecteur caché).

Dans les boucles résiduelles standard de type pre-norm avec des lectures invariantes à l'échelle (ex: RMSNorm ou LayerNorm), la lecture normalise l'état caché, rendant la perte de cross-entropie immédiate insensible à l'échelle radiale de l'entrée. Cependant, le chemin récurrent (la connexion de saut et la mise à jour résiduelle) continue de porter et de mettre à jour cette échelle. Par conséquent, le modèle peut être entraîné à chaque boucle alors que les normes des états cachés dérivent de manière incontrôlée vers des milliers ou des dizaines de milliers, faisant de l'« angle mort de la lecture » un mode de défaillance où la supervision dense échoue à contraindre les variables récurrentes actives.

2. Méthodologie et Mécanisme

Mécanisme Théorique

Les auteurs formalisent ce mode de défaillance à travers deux lemmes :

1. Lemme de Visibilité : Si une lecture $r$ est invariante à l'échelle (c'est-à-dire $r(\alpha H) = r(H)$ pour $\alpha > 0$), la perte de cross-entropie immédiate $L$ possède une dérivée radiale approximativement nulle ($\langle \nabla_H L, H \rangle \approx 0$). La perte ne peut ni « voir » ni corriger l'échelle de l'état caché.
2. Lemme d'Activité : Dans les mises à jour résiduelles pre-norm, l'échelle est active. La fonction de mise à jour $F(su) = su + b(u)$(où$s$ est l'échelle et $u$ la direction) permet à la branche résiduelle $b(u)$ de mettre à jour l'échelle à l'ordre principal. Même si la lecture masque l'échelle, la récurrence la préserve et l'amplifie potentiellement.

Cela crée un décalage local : le signal de perte ne peut pas s'opposer à la vélocité radiale apprise de la mise à jour récurrente, menant à une dérive d'échelle.

Configuration Expérimentale

Les auteurs ont entraîné des transformers à boucle autorégressifs sur le jeu de données WikiText-103 avec $K=4$ applications récurrentes d'une pile de décodeur partagée. Ils ont utilisé deux tailles de modèles : 44M et 129M de paramètres.

• Ablation Centrale : Un design $2 \times 2$ croisant le Placement de la Perte (CE terminal uniquement vs CE par boucle) et le Type de Lecture (RMSNorm normalisée vs Brute/Non-normalisée).
• Contrôles :
  • Pénalité de Norme : Ajout d'un terme de perte auxiliaire explicite $\lambda \sum \|H_k\|^2$ pour rendre l'échelle visible sans changer la lecture.
  • Norme Finale Uniquement : Utilisation de lectures brutes pour les boucles intermédiaires mais d'une lecture normalisée pour la sortie finale.
  • Étranglement de l'Échelle Récurrente (Scale Clamp) : Rescaling manuel des états cachés à leur magnitude initiale de la boucle 1 pour tester si la croissance accumulée de l'échelle est prédictive.
• Évaluation : Mesure des normes des états cachés de la boucle finale, de la perplexité (PPL) et de la « frontière qualité-calcul » (PPL vs débit) à des profondeurs d'inférence variables ($K=1$ à $K=4$).

3. Contributions Clés

1. Identification de l'Angle Mort de la Lecture : Le papier définit un mode de défaillance spécifique où la supervision par cross-entropie dense entraîne les interfaces de prédiction mais échoue à contrôler les variables récurrentes actives (spécifiquement l'échelle) si ces variables sont masquées par des lectures invariantes à l'échelle.
2. Validation du Mécanisme : À travers des ablations et des diagnostics, les auteurs démontrent que :
   • La CE par boucle avec des lectures normalisées conduit à une dérive massive de la norme (ex: des normes atteignant plus de 39 000 dans le modèle 44M).
   • Les lectures brutes ou les pénalités de norme explicites ramènent ces normes à des dizaines, même avec la CE par boucle.
   • La dérive est liée aux tokens et suit une loi à queue lourde, et n'est pas seulement un décalage de la moyenne.
     3.Règle de Conception : Les auteurs proposent une règle de conception simple : le contrôle de l'échelle récurrente nécessite soit de rendre l'échelle de l'état caché visible pour une perte (via des lectures brutes ou des pénalités de norme), soit de la retirer du chemin récurrent (via une normalisation inter-boucle). La CE dense seule est insuffisante.
3. Performance en Profondeur Variable : Les modèles contrôlés en échelle (utilisant des lectures brutes ou des pénalités de norme) maintiennent des sorties précoces utilisables tout en atteignant une perplexité plus faible à des profondeurs d'inférence égales par rapport aux bases invariantes à l'échelle. Ces dernières présentent souvent une « invariance en K » (la performance ne s'améliore pas avec plus de boucles) car la dérive d'échelle réduit les mises à jour angulaires ($1/s_k$), gelant de fait l'état normalisé.

4. Résultats

• Dérive de Norme : Dans les modèles 44M et 129M avec CE par boucle et lecture RMSNorm, la norme finale a dérivé respectivement vers 39 207 et 56 051. En revanche, les modèles avec lectures brutes ou pénalités de norme ont maintenu les normes dans une plage de 17 à 83.
• Diagnostics de Gradient : Les fractions de gradient radial pour les lectures normalisées étaient proches de zéro ($\sim 10^{-9}$), tandis que les lectures brutes montraient une sensibilité radiale significative ($\sim 10^{-2}$).
• Perplexité et Profondeur :
  • Base RMSNorm : Les modèles étaient presque invariants en K ; s'arrêter à $K=1$ donnait une perplexité similaire à $K=4$. Cela résultait en une vitesse apparente élevée mais indiquait une absence d'utilisation utile de la profondeur.
  • Variantes Contrôlées en Échelle : Ces modèles ont montré une amélioration significative de la perplexité à mesure que la profondeur augmentait ($K=1$ à $K=4$). Ils occupent une frontière PPL-débit supérieure, offrant une perplexité plus faible pour un même débit par rapport à la base RMSNorm.
• Étranglement de l'Échelle (Scale Clamp) : L'étranglement artificiel de l'échelle des états cachés dans les modèles entraînés n'a entraîné que des changements négligeables de la cross-entropie, suggérant que la croissance accumulée de l'échelle elle-même n'est pas la source primaire d'information prédictive, mais plutôt un sous-produit de la récurrence non contrôlée.

5. Signification et Revendications

Le papier affirme que l'« angle mort de la lecture » est une considération architecturale fondamentale pour les modèles à boucle et à profondeur adaptative. La signification réside dans le passage d'une approche consistant simplement à appliquer une supervision dense à une approche garantissant que le signal de supervision est visible pour les variables spécifiques étant mises à jour dans la récurrence.

• Implication Pratique : Pour les praticiens utilisant des lectures normalisées, le papier suggère d'ajouter une pénalité de norme explicite comme base de comparaison (« drop-in ») pour contrôler l'échelle sans modifier l'interface de sortie.
• Insight Théorique : Ce travail clarifie que la supervision dense entraîne l'interface (la lecture) mais ne régule pas automatiquement la dynamique de l'état (la récurrence) si l'interface masque la magnitude de l'état.
• Limite de Portée : Les auteurs notent modestement que leurs conclusions sont basées sur des réglages spécifiques (WikiText-103, modèles 44M/129M, évaluation par force du professeur) et que le mécanisme est local. Ils ne prétendent pas résoudre tous les problèmes de stabilité des modèles à boucle, mais adressent spécifiquement la nature sous-contrainte de l'échelle dans les boucles de lecture invariantes à l'échelle.

Le papier conclut que les modèles à boucle à profondeur adaptative nécessitent à la fois des sorties entraînées (via une perte par boucle) et un mécanisme pour contrôler l'échelle récurrente active (via la visibilité ou le retrait), et que ces deux éléments sont des exigences de conception orthogonales.