Optimal Representation Size: High-Dimensional Analysis of Pretraining and Linear Probing

Technische Samenvatting: Optimale Representatiegrootte: Hoogdimensionale Analyse van Pretraining en Lineair Probing

Probleemstelling
Moderne machine learning-pijplijnen vertrouwen steeds vaker op een tweestapsparadigma: pretraining op overvloedige ongelabelde data om herbruikbare structuur te extraheren, gevolgd door fine-tuning of lineair probing op beperkte gelabelde data voor specifieke taken. Hoewel deze aanpak aanzienlijke steekproefefficiëntie heeft opgeleverd, blijft het theoretische begrip van hoe de dimensionaliteit van de gepretrainde representatie downstream-generalisatie beïnvloedt, onvolledig. Specifiek is het onduidelijk of optimale prestaties maximaal gecomprimeerde (laagdimensionale) representaties vereisen of hoogdimensionale, en hoe deze keuze afhangt van het samenspel tussen de hoeveelheid pretraining-data, de schaarste van downstream-labels, taakuitlijning en signaal-ruisverhoudingen.

Methodologie
De auteurs stellen een analytisch hanteerbaar theoretisch model voor om dit tweestapsleerproces te bestuderen in het hoogdimensionale regime (waarbij het aantal features $p$, ongelabelde samples $n_u$ en gelabelde samples $n_l$ evenredig groeien).

1. Pretrainingstadium: Het model leert representaties via Principal Component Analysis (PCA) op een ongelabelde dataset $X_u$ getrokken uit een spiked covariance-model $\Sigma = I_p + (\lambda - 1)vv^\top$. Het model behoudt de top $m$ hoofdcomponenten, waarmee een projectiematrix $P_m$ wordt gedefinieerd.
2. Downstream-stadium: Een aparte gelabelde dataset $X_l, y_l$ wordt gebruikt voor supervised learning. De taak wordt gemodelleerd als lineaire regressie $y_l = X_l w^* + \xi$, waarbij $w^*$ het grondwaarheids-signaal is en $\xi$ Gaussisch ruis. De regressie wordt uitgevoerd op de geprojecteerde inputs $X_l P_m$.
3. Analyse: De auteurs leiden exacte asymptotische uitdrukkingen af voor schattingsfout, generalisatiefout en trainingsfout terwijl $p, n_u, n_l, m \to \infty$. Ze analyseren de afhankelijkheid van deze fouten van de representatiefractie $\alpha = m/p$, de aspectverhoudingen $\gamma_u = p/n_u$ en $\gamma_l = p/n_l$, de spike-strength $\lambda$, en de uitlijning $\eta$ tussen het taalsignaal $w^*$ en de populatiespike $v$.

Belangrijkste Bijdragen

1. Exacte Asymptotische Uitdrukkingen: Het artikel leidt gesloten vormen af voor schattings-, generalisatie- en trainingsfouten (Stellingen 1, 2 en 3). Deze uitdrukkingen ontleden de fout in "ontbrekend signaal" (niet-herstelbaar door eindige samples), "gelekt signaal" (bias veroorzaakt door de koppeling van orthogonale deelruimten via de populatiespike) en variantietermen.
2. Karakterisering van Optimale Representatiegrootte: De auteurs identificeren onderscheiden regimes voor de optimale dimensionaliteit $\alpha^*$:
   • Schaarse Pretraining, Schaarse Downstream: Wanneer pretraining-data onvoldoende is om hoofdcomponenten betrouwbaar te schatten, zijn hoogdimensionale representaties ($\alpha \approx 1$) optimaal.
   • Overvloedige Pretraining, Schaarse Downstream: Wanneer pretraining-data overvloedig is maar downstream-labels beperkt, zijn maximaal gecomprimeerde representaties ($\alpha < 1$) optimaal. Compressie fungeert als regularisator, waardoor de variantie veroorzaakt door het double-descent-fenomeen in de downstream-taak wordt verminderd.
   • Overvloedige Downstream: Wanneer downstream-labels overvloedig zijn, is weinig compressie nodig ($\alpha \approx 1$).
3. Faseovergangen: De studie identificeert precieze grenzen van faseovergangen (Corollaria 1 en 2) waar de optimale strategie verschuift tussen compressie en full-rank representaties. Deze grenzen hangen op niet-triviale wijze af van de signaal-ruisverhouding (SNR), spike-strength $\lambda$ en taakuitlijning $\eta$.
4. Kwantificering van Trade-offs: De auteurs kwantificeren de marginale substitutieratio tussen ongelabelde en gelabelde data, en tonen regimes aan waar extra ongelabelde data de generalisatiefout effectiever verlaagt dan extra gelabelde samples.

Resultaten

• Theoretische Voorspellingen versus Simulaties: De afgeleide asymptotische formules tonen uitstekende overeenkomst met numerieke simulaties over verschillende parameterinstellingen, inclusief variaties in SNR, spike-strength en samplegroottes.
• Foutontleding: De analyse onthult dat bij aanwezigheid van een populatiespike, componenten van het signaal die orthogonaal zijn aan de behouden deelruimte, kunnen "lekken" in de geleerde deelruimte, waardoor een bias-term ontstaat. Dit lek is een niet-triviaal effect van de spiked covariance-structuur dat deze pretraining-instelling onderscheidt van standaard Principal Component Regression (PCR).
• Validatie in Realistische Modellen:
  • Auto-encoders: Experimenten met lineaire en niet-lineaire auto-encoders getraind op spiked covariance-data bevestigen dat de theoretische fasestructuur behouden blijft. Lineaire auto-encoders komen nauw overeen met PCA-gedrag, terwijl niet-lineaire auto-encoders alleen afwijkingen vertonen wanneer pretraining-data schaars is (waar ze de neiging hebben te memoriseren in plaats van de deelruimte te leren).
  • Gepretrainde Transformers: Lineaire probing-experimenten op Pythia-taalmodellen tonen aan dat representaties die tijdens pretraining worden geleerd, een spiked covariance-structuur vertonen. Het afstemmen van de representatiedimensionaliteit via PCA op deze representaties verbetert de downstream-prestaties op de SST-2 sentiment-taak, met name voor kleine downstream-datasets en modellen die langer zijn getraind, in overeenstemming met de theoretische voorspellingen.

Betekenis
Het artikel biedt een principieel theoretisch kader dat uitlegt waarom en wanneer compressie tijdens pretraining downstream-generalisatie verbetert. Het daagt de intuïtie uit dat meer dimensies altijd beter zijn, en toont in plaats daarvan aan dat de optimale dimensionaliteit een functie is van data-beschikbaarheid en taakstructuur. Specifiek benadrukt het dat in moderne pijplijnen waar pretraining-data overvloedig is maar downstream-data beperkt, agressieve compressie theoretisch optimaal is. Bovendien legt het werk een kwantitatieve trade-off vast tussen unsupervised pretraining en supervised learning, en biedt het inzichten in de steekproefefficiëntie van transfer learning. De bevindingen overbruggen de kloof tussen geïdealiseerde theorie van willekeurige matrices en empirische waarnemingen in deep learning, en suggereren dat de lage intrinsieke dimensionaliteit die wordt waargenomen in grote taalmodellen niet slechts een bijproduct is, maar een eigenschap die kan worden benut voor optimale adaptatie.