Optimal Representation Size: High-Dimensional Analysis of Pretraining and Linear Probing

Technische Zusammenfassung: Optimale Repräsentationsgröße: Hochdimensionale Analyse von Vor-Training und Linearem Abtasten

Problemstellung
Moderne Machine-Learning-Pipelines verlassen sich zunehmend auf ein zweistufiges Paradigma: Vor-Training auf abundanten ungelabelten Daten zur Extraktion wiederverwendbarer Strukturen, gefolgt von Fine-Tuning oder linearem Abtasten auf begrenzten gelabelten Daten für spezifische Aufgaben. Obwohl dieser Ansatz eine signifikante Stichprobeneffizienz erzielt hat, bleibt das theoretische Verständnis darüber, wie die Dimensionalität der vortrainierten Repräsentation die Generalisierung in nachgelagerten Aufgaben beeinflusst, unvollständig. Insbesondere ist unklar, ob für optimale Leistung maximal komprimierte (niedrigdimensionale) Repräsentationen oder hochdimensionale erforderlich sind, und wie diese Wahl vom Zusammenspiel zwischen dem Volumen der Vor-Trainingsdaten, der Knappheit nachgelagerter Labels, der Aufgabenübereinstimmung und den Signal-zu-Rausch-Verhältnissen abhängt.

Methodik
Die Autoren schlagen ein analytisch handhabbares theoretisches Modell vor, um diesen zweistufigen Lernprozess im hochdimensionalen Regime zu untersuchen (wobei die Anzahl der Merkmale $p$, ungelabelter Stichproben $n_u$ und gelabelter Stichproben $n_l$ proportional wachsen).

1. Vor-Trainingsphase: Das Modell lernt Repräsentationen mittels Hauptkomponentenanalyse (PCA) auf einem ungelabelten Datensatz $X_u$, der aus einem Spiked-Kovarianzmodell $\Sigma = I_p + (\lambda - 1)vv^\top$ gezogen wird. Das Modell behält die top $m$ Hauptkomponenten bei und definiert eine Projektionsmatrix $P_m$.
2. Nachgelagerte Phase: Ein separater gelabelter Datensatz $X_l, y_l$ wird für überwachtes Lernen verwendet. Die Aufgabe wird als lineare Regression $y_l = X_l w^* + \xi$ modelliert, wobei $w^*$ das Ground-Truth-Signal und $\xi$ Gaußsches Rauschen ist. Die Regression wird auf die projizierten Eingaben $X_l P_m$ durchgeführt.
3. Analyse: Die Autoren leiten exakte asymptotische Ausdrücke für Schätzfehler, Generalisierungsfehler und Trainingsfehler her, wenn $p, n_u, n_l, m \to \infty$. Sie analysieren die Abhängigkeit dieser Fehler von der Repräsentationsfraktion $\alpha = m/p$, den Aspektverhältnissen $\gamma_u = p/n_u$ und $\gamma_l = p/n_l$, der Spike-Stärke $\lambda$ und der Übereinstimmung $\eta$ zwischen dem Aufgabensignal $w^*$ und dem Population-Spike $v$.

Hauptbeiträge

1. Exakte asymptotische Ausdrücke: Die Arbeit leitet geschlossene Ausdrücke für Schätz-, Generalisierungs- und Trainingsfehler her (Sätze 1, 2 und 3). Diese Ausdrücke zerlegen den Fehler in „fehlendes Signal" (aufgrund endlicher Stichproben nicht wiederherstellbar), „ausgelaufenes Signal" (Bias, induziert durch die Kopplung orthogonaler Unterräume über den Population-Spike) und Varianzterme.
2. Charakterisierung der optimalen Repräsentationsgröße: Die Autoren identifizieren distincte Regime für die optimale Dimensionalität $\alpha^*$:
   • Knappes Vor-Training, knappe nachgelagerte Daten: Wenn Vor-Trainingsdaten nicht ausreichen, um Hauptkomponenten zuverlässig zu schätzen, sind hochdimensionale Repräsentationen ($\alpha \approx 1$) optimal.
   • Abundantes Vor-Training, knappe nachgelagerte Daten: Wenn Vor-Trainingsdaten abundant sind, aber nachgelagerte Labels begrenzt, sind maximal komprimierte Repräsentationen ($\alpha < 1$) optimal. Kompression wirkt als Regularisierer und mildert die Varianz, die durch das Double-Descent-Phänomen in der nachgelagerten Aufgabe verursacht wird.
   • Abundante nachgelagerte Daten: Wenn nachgelagerte Labels reichlich vorhanden sind, ist wenig Kompression erforderlich ($\alpha \approx 1$).
3. Phasenübergänge: Die Studie identifiziert präzise Phasenübergangsgrenzen (Korollare 1 und 2), an denen sich die optimale Strategie zwischen Kompression und vollrängigen Repräsentationen verschiebt. Diese Grenzen hängen nicht-trivial vom Signal-zu-Rausch-Verhältnis (SNR), der Spike-Stärke $\lambda$ und der Aufgabenübereinstimmung $\eta$ ab.
4. Quantifizierung des Trade-offs: Die Autoren quantifizieren die marginale Substitutionsrate zwischen ungelabelten und gelabelten Daten und zeigen Regime, in denen zusätzliche ungelabelte Daten den Generalisierungsfehler effektiver reduzieren als zusätzliche gelabelte Stichproben.

Ergebnisse

• Theoretische Vorhersagen vs. Simulationen: Die hergeleiteten asymptotischen Formeln zeigen eine hervorragende Übereinstimmung mit numerischen Simulationen über verschiedene Parametereinstellungen hinweg, einschließlich Variationen in SNR, Spike-Stärke und Stichprobengrößen.
• Fehlerzerlegung: Die Analyse zeigt, dass bei Vorhandensein eines Population-Spikes Komponenten des Signals, die orthogonal zum beibehaltenen Unterraum stehen, in den gelernten Unterraum „auslaufen" können, wodurch ein Bias-Term entsteht. Dieses Auslaufen ist ein nicht-trivialer Effekt der Spiked-Kovarianzstruktur, der dieses Vor-Trainingssetting von der Standard-Hauptkomponentenregression (PCR) unterscheidet.
• Validierung in realistischen Modellen:
  • Autoencoder: Experimente mit linearen und nichtlinearen Autoencodern, die auf Spiked-Kovarianzdaten trainiert wurden, bestätigen, dass die theoretische Phasenstruktur erhalten bleibt. Lineare Autoencoder entsprechen dem PCA-Verhalten eng, während nichtlineare Autoencoder nur bei knappen Vor-Trainingsdaten Abweichungen zeigen (wo sie tendenziell auswendig lernen, anstatt den Unterraum zu erlernen).
  • Vortrainierte Transformer: Experimente mit linearem Abtasten an Pythia-Sprachmodellen zeigen, dass während des Vor-Trainings erlernte Repräsentationen eine Spiked-Kovarianzstruktur aufweisen. Das Anpassen der Repräsentationsdimensionalität via PCA auf diesen Repräsentationen verbessert die nachgelagerte Leistung bei der SST-2-Sentiment-Aufgabe, insbesondere für kleine nachgelagerte Datensätze und Modelle, die über längere Zeiträume trainiert wurden, was mit den theoretischen Vorhersagen übereinstimmt.

Bedeutung
Die Arbeit liefert einen prinzipiellen theoretischen Rahmen, der erklärt, warum und wann Kompression während des Vor-Trainings die nachgelagerte Generalisierung verbessert. Sie stellt die Intuition in Frage, dass mehr Dimensionen immer besser sind, und zeigt vielmehr, dass die optimale Dimensionalität eine Funktion der Datenverfügbarkeit und der Aufgabenstruktur ist. Insbesondere hebt sie hervor, dass in modernen Pipelines, in denen Vor-Trainingsdaten abundant sind, nachgelagerte Daten jedoch begrenzt, aggressive Kompression theoretisch optimal ist. Darüber hinaus etabliert die Arbeit einen quantitativen Trade-off zwischen unüberwachtem Vor-Training und überwachtem Lernen und bietet Einblicke in die Stichprobeneffizienz des Transfer-Learnings. Die Ergebnisse überbrücken die Lücke zwischen idealisierter Zufallsmatrixtheorie und empirischen Beobachtungen im Deep Learning und legen nahe, dass die niedrige intrinsische Dimensionalität, die in großen Sprachmodellen beobachtet wird, nicht nur ein Nebenprodukt, sondern ein Merkmal ist, das für eine optimale Anpassung genutzt werden kann.