Optimal Representation Size: High-Dimensional Analysis of Pretraining and Linear Probing

Résumé Technique : Taille de Représentation Optimale : Analyse en Haute Dimension du Préentraînement et du Sondage Linéaire

Énoncé du Problème
Les pipelines d'apprentissage automatique modernes reposent de plus en plus sur un paradigme en deux étapes : le préentraînement sur des données non étiquetées abondantes pour extraire une structure réutilisable, suivi d'un ajustement fin ou d'un sondage linéaire sur des données étiquetées limitées pour des tâches spécifiques. Bien que cette approche ait généré une efficacité d'échantillonnage significative, la compréhension théorique de la manière dont la dimensionalité de la représentation préentraînée influence la généralisation en aval reste incomplète. Plus précisément, il est incertain si une performance optimale nécessite des représentations maximales compressées (de basse dimension) ou de haute dimension, et comment ce choix dépend de l'interaction entre le volume des données de préentraînement, la rareté des étiquettes en aval, l'alignement des tâches et les rapports signal sur bruit.

Méthodologie
Les auteurs proposent un modèle théorique analytiquement traitable pour étudier ce processus d'apprentissage en deux étapes dans le régime de haute dimension (où le nombre de caractéristiques $p$, les échantillons non étiquetés $n_u$ et les échantillons étiquetés $n_l$ croissent proportionnellement).

1. Étape de Préentraînement : Le modèle apprend des représentations via l'Analyse en Composantes Principales (ACP) sur un jeu de données non étiquetées $X_u$ tiré d'un modèle de covariance épicée $\Sigma = I_p + (\lambda - 1)vv^\top$. Le modèle conserve les $m$ premières composantes principales, définissant une matrice de projection $P_m$.
2. Étape en Aval : Un jeu de données étiqueté distinct $X_l, y_l$ est utilisé pour l'apprentissage supervisé. La tâche est modélisée comme une régression linéaire $y_l = X_l w^* + \xi$, où $w^*$ est le signal de vérité terrain et $\xi$ un bruit gaussien. La régression est effectuée sur les entrées projetées $X_l P_m$.
3. Analyse : Les auteurs dérivent des expressions asymptotiques exactes pour l'erreur d'estimation, l'erreur de généralisation et l'erreur d'entraînement lorsque $p, n_u, n_l, m \to \infty$. Ils analysent la dépendance de ces erreurs vis-à-vis de la fraction de représentation $\alpha = m/p$, des rapports d'aspect $\gamma_u = p/n_u$ et $\gamma_l = p/n_l$, de la force de l'épicé $\lambda$, et de l'alignement $\eta$ entre le signal de tâche $w^*$ et l'épicé de population $v$.

Contributions Clés

1. Expressions Asymptotiques Exactes : L'article dérive des expressions fermées pour les erreurs d'estimation, de généralisation et d'entraînement (Théorèmes 1, 2 et 3). Ces expressions décomposent l'erreur en « signal manquant » (irréversible en raison d'un nombre fini d'échantillons), « signal fuyant » (biais induit par le couplage de sous-espaces orthogonaux via l'épicé de population) et termes de variance.
2. Caractérisation de la Taille de Représentation Optimale : Les auteurs identifient des régimes distincts pour la dimensionalité optimale $\alpha^*$ :
   • Préentraînement Rare, Aval Rare : Lorsque les données de préentraînement sont insuffisantes pour estimer de manière fiable les composantes principales, des représentations de haute dimension ($\alpha \approx 1$) sont optimales.
   • Préentraînement Abondant, Aval Rare : Lorsque les données de préentraînement sont abondantes mais que les étiquettes en aval sont limitées, des représentations maximales compressées ($\alpha < 1$) sont optimales. La compression agit comme un régularisateur, atténuant la variance causée par le phénomène de double descente dans la tâche en aval.
   • Aval Abondant : Lorsque les étiquettes en aval sont abondantes, peu de compression est nécessaire ($\alpha \approx 1$).
3. Transitions de Phase : L'étude identifie des frontières précises de transition de phase (Corollaires 1 et 2) où la stratégie optimale bascule entre compression et représentations de rang plein. Ces frontières dépendent de manière non triviale du rapport signal sur bruit (SNR), de la force de l'épicé $\lambda$ et de l'alignement de la tâche $\eta$.
4. Quantification du Compromis : Les auteurs quantifient le taux marginal de substitution entre les données non étiquetées et les données étiquetées, montrant des régimes où des données non étiquetées supplémentaires réduisent l'erreur de généralisation plus efficacement que des échantillons étiquetés supplémentaires.

Résultats

• Prédictions Théoriques vs Simulations : Les formules asymptotiques dérivées montrent un excellent accord avec les simulations numériques sur divers paramètres, y compris les variations du SNR, de la force de l'épicé et des tailles d'échantillons.
• Décomposition de l'Erreur : L'analyse révèle qu'en présence d'un épicé de population, des composantes du signal orthogonales au sous-espace retenu peuvent « fuir » dans le sous-espace appris, créant un terme de biais. Cette fuite est un effet non triviale de la structure de covariance épicée qui distingue ce cadre de préentraînement de la Régression sur Composantes Principales (PCR) standard.
• Validation dans des Modèles Réalistes :
  • Autoencodeurs : Des expériences avec des autoencodeurs linéaires et non linéaires entraînés sur des données de covariance épicée confirment que la structure de phase théorique persiste. Les autoencodeurs linéaires correspondent étroitement au comportement de l'ACP, tandis que les autoencodeurs non linéaires présentent des écarts uniquement lorsque les données de préentraînement sont rares (où ils tendent à mémoriser plutôt qu'à apprendre le sous-espace).
  • Transformateurs Préentraînés : Des expériences de sondage linéaire sur des modèles de langage Pythia démontrent que les représentations apprises lors du préentraînement présentent une structure de covariance épicée. L'ajustement de la dimensionalité de la représentation via l'ACP sur ces représentations améliore les performances en aval sur la tâche de sentiment SST-2, en particulier pour les petits jeux de données en aval et les modèles entraînés plus longtemps, s'alignant ainsi avec les prédictions théoriques.

Signification
L'article fournit un cadre théorique fondé sur des principes expliquant pourquoi et quand la compression durant le préentraînement améliore la généralisation en aval. Il remet en question l'intuition selon laquelle plus de dimensions sont toujours meilleures, montrant plutôt que la dimensionalité optimale est une fonction de la disponibilité des données et de la structure de la tâche. Plus précisément, il met en évidence que dans les pipelines modernes où les données de préentraînement sont abondantes mais les données en aval limitées, une compression agressive est théoriquement optimale. De plus, ce travail établit un compromis quantitatif entre le préentraînement non supervisé et l'apprentissage supervisé, offrant des perspectives sur l'efficacité d'échantillonnage du transfert d'apprentissage. Les résultats comblent le fossé entre la théorie des matrices aléatoires idéalisée et les observations empiriques en apprentissage profond, suggérant que la faible dimensionalité intrinsèque observée dans les grands modèles de langage n'est pas un simple sous-produit, mais une caractéristique qui peut être exploitée pour une adaptation optimale.