Résumé Technique : Pourquoi la Continuité Géométrique Émerge dans les Réseaux de Neurones Profonds

Énoncé du Problème

Des observations récentes indiquent que les matrices de poids dans les couches adjacentes des réseaux de neurones profonds, en particulier les grands modèles de langage (LLM), présentent une continuité géométrique : leurs vecteurs singuliers principaux pointent dans des directions similaires, formant des trajectoires lisses à travers la profondeur du réseau. Bien que ce phénomène ait été documenté empiriquement et lié à des avantages pratiques tels que l'élagage des couches et le partage de paramètres inter-couches, son origine fondamentale reste inexpliquée. Il est unclear si cette continuité est une conséquence inévitable de l'entraînement de réseaux profonds ou si elle nécessite des conditions architecturales spécifiques. Cet article investigate les origines mécanistiques de la continuité géométrique pour déterminer si elle est un artefact d'optimiseurs spécifiques ou un sous-produit structurel de l'apprentissage dans les réseaux résiduels.

Méthodologie

Les auteurs emploient une combinaison d'expériences d'ablation contrôlées sur des Perceptrons Multicouches (MLP) « jouets » et des Transformers à petite échelle, accompagnée d'une analyse de LLM pré-entraînés.

1. Expériences MLP Jouets (MNIST) :

   • Architecture : Un MLP résiduel de 16 couches avec 256 dimensions cachées.
   • Variables : L'étude isole systématiquement les composants architecturaux en :
     • Supprimant les connexions résiduelles (NoRes).
     • Supprimant les fonctions d'activation (Res+None).
     • Remplaçant les activations standard par des non-linéarités équivariantes aux rotations (Res+Radial, utilisant $\sigma_{rad}(x) = x \cdot \tanh(\|x\|)$).
     • Faisant varier les échelles d'initialisation et les paramètres de l'optimiseur (par exemple, Adam avec $\beta_2=0$).
   • Métriques : Les auteurs mesurent la similarité cosinus des vecteurs singuliers principaux ($v_1$ pour l'espace d'entrée, $u_1$ pour l'espace de sortie) entre les couches adjacentes. Ils définissent également une métrique d'alignement pondérée par $\sigma^2$ pour évaluer la continuité sur l'ensemble du spectre singulier et suivent la cohérence cumulative des gradients.

2. Expériences Transformer (WikiText-103 et LLM Pré-entraînés) :

   • Petite Échelle : Un transformer de style Llama (8 couches, 34 millions de paramètres) entraîné sur WikiText-103. Les auteurs effectuent des ablations sur les activations MLP pour tester leur impact spécifique sur différentes matrices de projection (Q, K, V, Gate, Up, O, Down).
   • Grande Échelle : Analyse de Llama-3.1-8B pré-entraîné et de modèles allant jusqu'à 70 milliards de paramètres pour vérifier si les motifs observés persistent à grande échelle.

Contributions et Résultats Clés

1. Deux Conditions Nécessaires pour la Continuité Géométrique

L'article identifie deux mécanismes distincts requis pour que la continuité géométrique émerge et persiste :

• Condition 1 : Connexions Résiduelles (Cohérence des Gradients) :
  Les connexions résiduelles assurent que les couches adjacentes reçoivent des signaux d'erreur similaires. Dans les réseaux résiduels, le gradient par rapport à l'entrée d'une couche inclut un terme identité ($I$), créant une cohérence des gradients inter-couches. Les résultats empiriques montrent que sans connexions résiduelles, la continuité des gradients chute à des niveaux aléatoires (~0,05), et la continuité des poids échoue à se développer.
• Condition 2 : Non-linéarités Brisant la Symétrie (Stabilisation du Repère de Coordonnées) :
  Bien que les connexions résiduelles fournissent des gradients cohérents, elles sont insuffisantes pour maintenir la continuité des poids sans brisement de symétrie.
  • Échec du « Res+None » : La suppression de la fonction d'activation (laissant un réseau résiduel linéaire) entraîne une continuité des gradients élevée (0,93) mais une continuité des poids faible (0,22). Les poids forment initialement une structure continue mais s'effondrent ensuite en raison d'une dérive de rotation.
  • Mécanisme : Dans les réseaux linéaires, les produits de poids possèdent une symétrie de rotation continue ($SO(d)$), créant des directions plates dans le paysage de perte où les poids peuvent dériver indépendamment. Les activations élémentaires (ReLU, GELU, SiLU) brisent cette symétrie, contraignant les couches à un repère de coordonnées partagé et empêchant la dérive.
  • Non-linéarité vs Brisement de Symétrie : Crucialement, la non-linéarité seule n'est pas l'ingrédient actif. Une activation équivariante aux rotations (Res+Radial), qui est non-linéaire mais préserve la symétrie $SO(d)$, échoue à maintenir la continuité (poids $v_1 \approx 0,22$). Cela isole le brisement de symétrie comme le facteur critique.

2. Rôles Distincts de l'Activation et de la Normalisation

• Activation : Concentre la continuité géométrique dans la direction singulière principale ($v_1$).
• LayerNorm : Brise la symétrie différemment, distribuant la continuité sur plusieurs directions singulières. Lorsqu'elles sont combinées, le mode concentré sur $v_1$ de l'activation domine.

3. Continuité Spécifique aux Projections dans les Transformers

Dans les architectures Transformer, la continuité géométrique n'est pas uniforme mais spécifique aux projections, déterminée par la proximité d'une non-linéarité et la direction du flux d'information par rapport au flux résiduel :

• Continuité de l'Espace d'Entrée ($v_1$) : Les projections qui lisent le flux résiduel et sont suivies d'une non-linéarité développent une forte continuité de l'espace d'entrée. Cela inclut Q, K (stabilisés par Softmax), Gate (stabilisé par l'activation MLP) et Up (stabilisé par la multiplication gérée avec le Gate activé).
• Continuité de l'Espace de Sortie ($u_1$) : Les projections qui écrivent dans le flux résiduel et reçoivent des signaux post-non-linéarité développent une continuité de l'espace de sortie. Cela inclut O et Down.
• Faible Continuité : La projection V (Value) développe une faible continuité dans les deux espaces car elle manque d'une non-linéarité adjacente pour briser la symétrie et ancrer son repère.

4. Dynamiques de Transfert Gradient-Poids

L'étude révèle une séquence causale :

1. Cohérence des Gradients : La continuité des gradients inter-couches existe immédiatement à l'initialisation (avant les mises à jour des poids) grâce aux connexions résiduelles.
2. Formation des Poids : À mesure que l'entraînement progresse, les mises à jour des poids s'accumulent. Une fois que l'amplitude des mises à jour cumulées ($\|\Delta W\|$) domine les poids initiaux ($\|W^{(0)}\|$), la structure des poids s'aligne sur la structure du gradient cumulé.
3. Stabilisation : Les non-linéarités brisant la symétrie empêchent la « dérive de rotation » qui, autrement, découplerait la structure des poids du signal de gradient cohérent.

Importance et Revendications

L'article revendique que la continuité géométrique est un sous-produit structurel de l'apprentissage dans les réseaux résiduels avec des non-linéarités brisant la symétrie, plutôt qu'un artefact d'optimiseurs spécifiques ou de techniques d'entraînement.

• Explication Mécanistique : Le travail fournit une explication mécanistique de la raison pour laquelle les couches adjacentes dans les LLM partagent des structures de vecteurs singuliers similaires, reliant directement les choix architecturaux (résidus, activations) à la géométrie des poids émergente.
• Validation des Stratégies de Compression : Les résultats offrent une base théorique pour les techniques existantes de compression de modèles (par exemple, élagage des couches, partage de paramètres inter-couches). L'article soutient que, puisque la continuité émerge naturellement du processus d'apprentissage, les modèles bien entraînés possèdent intrinsèquement les similarités inter-couches qui rendent ces stratégies de compression viables.
• Implications pour la Conception : Le motif spécifique aux projections suggère que les stratégies de compression ou de partage de paramètres devraient respecter l'espace spécifique (entrée vs sortie) dans lequel chaque projection est structurée. Par exemple, Q, K, Gate et Up partagent des bases de l'espace d'entrée, tandis que O et Down partagent des bases de l'espace de sortie, alors que V n'offre aucune opport évidente de partage inter-couche.

Les auteurs restent modestes concernant leurs revendications, notant que si le mécanisme est clair pour le MLP et la projection Gate (via ablation directe), les revendications pour Q/K et V dans les Transformers reposent respectivement sur des preuves indirectes ou l'absence d'une non-linéarité. Ils reconnaissent également que, bien que les motifs persistent à travers les échelles (jusqu'à 70 milliards de paramètres), les dynamiques d'entraînement spécifiques de la dérive de rotation à plus grande échelle n'ont pas été pleinement vérifiées.