Résumé Technique : L'Échelle Détermine Si les Modèles de Langage Organisent la Géométrie de Représentation pour la Prédiction

Énoncé du Problème

Dans les modèles de langage (LM), le contenu sémantique d'une représentation est déterminé par la géométrie de son espace de représentation — spécifiquement, les distances entre les points plutôt que leurs activations absolues. Alors que les outils existants caractérisent la forme de cette géométrie (par exemple, le rang, la décroissance spectrale, la convergence inter-modèles), ils ne répondent pas à la question fonctionnelle : à quoi cette géométrie est-elle organisée ?

Les cadres théoriques suggèrent que les représentations devraient s'organiser autour de la tâche prédictive du modèle, spécifiquement la matrice de débouclage (unembedding matrix) $W_U$ qui mappe les états cachés vers la distribution du prochain token. Cependant, il reste une question empirique de savoir si les couches intermédiaires alignent leurs structures de distances avec cet espace de lecture (readout subspace). Les métriques actuelles, telles que la Logit Lens (qui teste la décodabilité de points individuels) ou les métriques spectrales (qui décrivent la forme de la variété), échouent à capturer si l'arrangement géométrique des distances est fonctionnellement orienté vers la prédiction. De plus, il est inconnu si cette organisation est maintenue uniformément à travers toutes les couches et les échelles de modèles.

Méthodologie : PGA de Sous-espace

Les auteurs introduisent l'Alignement Prédictif-Géométrique de Sous-espace (Subspace PGA), une métrique conçue pour quantifier le degré d'alignement entre la structure de distances d'une couche et la lecture prédictive du modèle.

1. Définition de l'Espace de Lecture : La matrice de débouclage $W_U$ est décomposée par Décomposition en Valeurs Singulières (SVD). Les $k$ vecteurs singuliers droits les plus élevés définissent l'espace de lecture ($V_k$), représentant les directions dans l'espace caché que $W_U$ amplifie le plus pour produire des prédictions.
2. Préservation des Distances : Pour une couche donnée $\ell$, les auteurs calculent les distances cosinus paires entre les états cachés dans l'espace complet de dimension $d$ ($d_{full}$) et dans l'espace de lecture projeté ($d_{proj}$).
3. Distribution Nulle : Pour isoler la contribution spécifique de la lecture, les auteurs comparent la corrélation de Spearman entre $d_{full}$ et $d_{proj}$ à une distribution nulle. Cette nulle est générée en projetant les mêmes états cachés sur 100 sous-espaces aléatoires de dimension $k$ échantillonnés uniformément à partir de la Grassmannienne.
4. Calcul du Z-Score : Le Subspace PGA est défini comme le z-score :
   $$PGA(\ell) = \frac{\rho_{readout} - \mu_{null}}{\sigma_{null}}$$
   Un $z$ positif élevé indique que la géométrie est organisée pour la prédiction (la lecture préserve plus de structure que les sous-espaces aléatoires). Un $z \approx 0$ implique aucun alignement spécial, et un $z < 0$ implique que la lecture est moins alignée avec la structure de distances que les sous-espaces aléatoires.
5. Correction d'Anisotropie : Pour empêcher la direction de variance dominante (qui gonfle la similarité cosinus) de biaiser la métrique, les auteurs appliquent une centrage par la moyenne suivi d'une CCR-1 (suppression de la composante principale dominante) avant de calculer les distances.

Résultats Clés

L'étude évalue sept modèles Pythia (de 70M à 6,9 milliards de paramètres) et trois modèles inter-familles (OLMo, Phi, Gemma).

1. Organisation Dépendante de l'Échelle

• Grands Modèles ($d \ge 2048$) : Ces modèles maintiennent une forte organisation prédictive tout au long de toutes les couches intermédiaires. Les scores $z$ restent significativement positifs (atteignant un pic à $z=9–24$ dans les couches médianes), indiquant que la structure de distances est constamment alignée avec l'espace de lecture.
• Petits Modèles ($d \le 1024$) : Ces modèles exhibent un régime de « détour ». Bien qu'ils établissent une organisation prédictive tôt dans l'entraînement et dans les premières couches, ils perdent progressivement cet alignement dans les couches tardives mais non finales (par exemple, les couches 20–23 dans Pythia-410M). Dans ces « zones d'effondrement », les scores $z$ chutent significativement (par exemple, à $-32$), indiquant que la structure de distances devient désalignée par rapport à la lecture, même si la perte de validation du modèle continue de s'améliorer.
• Récupération : Dans les petits modèles, la dernière couche récupère l'alignement, projetant la géométrie de retour dans l'espace de lecture avant la sortie.

2. Mécanisme : Compromis de Capacité et Masquage

La perte d'organisation dans les petits modèles n'est pas une destruction de l'information prédictive mais un effet de masquage causé par des contraintes de capacité.

• Migration de la Direction Dominante : Dans les couches tardives des petits modèles, la direction de plus grande variance dans le flux résiduel (PC1) tourne loin de l'espace de lecture vers des directions « sombres » (orthogonales à $W_U$).
• Masquage : Parce que la direction de variance dominante porte la majeure partie de la structure de distances, les sous-espaces aléatoires (qui capturent une fraction de cette variance) finissent par préserver la structure de distances aussi bien, voire mieux, que l'espace de lecture. Cela provoque la chute du score $z$.
• Restauration : Le retrait des quelques premières composantes principales (CCR-5 ou CCR-10) restaure des scores $z$ positifs dans toutes les couches des modèles avec $d \ge 768$. Cela confirme que la structure prédictive était intacte mais obscurcie par quelques directions dominantes sans rapport avec la prédiction.

3. Indépendance vis-à-vis des Métriques Spectrales et de la Perte

• Aveuglement Spectral : Les métriques spectrales standard (RankMe, $\alpha$-ReQ, isotropie, nombre de conditionnement) échouent à détecter cette distinction. Dans les zones d'effondrement des petits modèles, les métriques spectrales restent stables ou plates tandis que le Subspace PGA oscille de plus de 40 écarts-types.
• Insensibilité à la Perte : Les courbes de perte de validation sont presque identiques entre les petits et les grands modèles, échouant à capturer la réorganisation géométrique se produisant dans les couches intermédiaires.

4. Convergence Inter-Architecture

L'espace de lecture concentre la structure convergente inter-architecture. Lors de la comparaison de différents modèles (par exemple, Pythia vs OLMo), la corrélation de Spearman des distances paires est plus élevée dans l'espace de lecture de 100 dimensions que dans l'espace complet ou les sous-espaces aléatoires. Cela suggère que ce sur quoi les modèles entraînés indépendamment s'accordent géométriquement est spécifiquement lié à la fonction prédictive.

5. Utilité en Aval

Dans les grands modèles, les couches avec des scores $z$ Subspace PGA élevés produisent également une plus grande précision pour les sondes linéaires sur des tâches en aval (AG News). Dans les petits modèles, la précision des sondes reste élevée même dans la « zone d'effondrement » où $z$ est négatif, prouvant davantage que les caractéristiques sous-jacentes sont préservées mais simplement désalignées par rapport à l'interface de lecture.

Signification et Revendications

L'article revendique que l'échelle détermine non seulement la qualité de la prédiction d'un modèle, mais aussi comment sa géométrie de représentation est organisée pour le faire.

• Deux Régimes Géométriques : Les auteurs identifient un régime « direct » (grands modèles) où la géométrie reste alignée avec la prédiction, et un régime de « détour » (petits modèles) où les couches tardives acheminent temporairement le calcul à travers des directions sans rapport avec la prédiction avant de corriger à la sortie.
• Orientation Fonctionnelle : L'étude déplace l'accent de la caractérisation de la forme de la géométrie de représentation vers la compréhension de son orientation fonctionnelle. Elle démontre que la géométrie peut être hautement structurée tout en étant fonctionnellement désalignée par rapport à l'objectif du modèle.
• Limites des Métriques Actuelles : Le travail souligne que les courbes de perte et les métriques spectrales sont insuffisantes pour diagnostiquer l'organisation fonctionnelle des représentations intermédiaires. Le Subspace PGA fournit une métrique sans tâche, adaptée en dimension, pour détecter ces phénomènes.
• Capacité vs Architecture : Le phénomène est attribué à la capacité de représentation (largeur) plutôt qu'à des spécificités architecturales, car il est observé à travers différentes familles de modèles lorsque les dimensions sont petites.

Les auteurs concluent que le « détour » dans les petits modèles est un effet secondaire d'une capacité limitée forçant une collision entre les directions de calcul intermédiaires et les directions alignées sur la lecture, plutôt qu'une stratégie d'acheminement explicitement apprise. Cette distinction est invisible pour les signaux d'entraînement standard mais critique pour comprendre la mécanique interne des modèles de langage.