Technisches Resümee: Repräsentationskollaps in der sequenziellen Post-Training-Phase von Large Language Models

1. Problemstellung

Zeitgenössische Large Language Models (LLMs) werden selten durch einen einzigen Instruktions-Tuning-Durchgang angepasst. Stattdessen durchlaufen sie sequenzielle Ketten von Post-Training-Stufen, einschließlich breitem Instruktions-Tuning, Präferenzoptimierung, Sicherheitsalignment, Domänenspezialisierung (Mathe/Code) und langem Chain-of-Thought (CoT) Tuning. Während sich aktuelle Evaluierungspraktiken auf verhaltensbezogene Ergebnisse konzentrieren (z. B. Benchmark-Scores, Ablehnungsraten), argumentiert dieses Paper, dass eine solche Sichtweise unvollständig ist.

Das untersuchte Kernproblem ist der Repräsentationskollaps: die Hypothese, dass das sequenzielle Post-Training den internen Merkmalsraum des Modells schrittweise in niederdimensionale, anisotrope und homogene Mannigfaltigkeiten komprimiert. Die Autoren postulieren, dass einzelne Phasen zwar die Leistung bei spezifischen Aufgaben verbessern können, eine übermäßige Konzentration von Repräsentationen jedoch die „Plastizität“ des Modells beeinträchtigen kann, was die zukünftige Anpassung an neue Domänen erschwert. Dieser Kollaps ist gekennzeichnet durch:

• Verlust des effektiven Rangs der Hidden-State-Kovarianz.
• Ausrichtung von Stichproben auf wenige dominante Richtungen (Anisotropie).
• Reduzierte Separierbarkeit zwischen Domänen und Token-Typen.
• Überkonfidente Logits und reduzierte Kalibrierung.
• Wiederverwendung derselben niederdimensionalen Subräume für Adapter-Updates (z. B. LoRA) über verschiedene Phasen hinweg.

Das Paper rahmt dies nicht als totalen Verlust von Fähigkeiten ein, sondern als einen „stillen Ausfallmodus“, bei dem ein Modell bei seiner jüngsten Zielaufgabe besser wird, aber weniger fähig wird, auf nachfolgende Aufgaben zu lernen, aufgrund einer geometrischen Verengung.

2. Methodik

Experimenteller Aufbau

Die Studie verwendet ein kontrolliertes sequenzielles Post-Training-Benchmark unter Verwendung kleiner und mittlerer Open-Weight-Modelle (Qwen2.5-1.5B, TinyLlama-1.1B, Llama-3.2-1B, OLMo-1B und ein 7B Scaling-Check). Die Experimente nutzen LoRA (Rank 16, Alpha 32) als primären Anpassmechanismus, mit Full Fine-Tuning auf 1B-Modellen, um zu verifizieren, dass die Effekte keine Artefakte der Low-Rank-Adaptation selbst sind.

Die Trainingspipeline umfasst distinkte Sequenzen von Stufen, wie zum Beispiel:

• Spezialisationskette: General SFT $\to$ Math SFT $\to$ Code SFT $\to$ Safety/Refusal SFT.
• Reasoning & Preference: General SFT $\to$ Long-CoT SFT $\to$ DPO-Stil Präferenzoptimierung.
• Safety First: Safety/Refusal SFT $\to$ General SFT $\to$ Domänenspezialisierung.

Messinstrumentarium

Ein fester Probe-Korpus ($X_{probe}$) aus 12.000 Prompt-Response-Texten (balanciert über Domänen hinweg) wird auf jeden Checkpoint angewendet, um sicherzustellen, dass geometrische Änderungen nicht durch verschobene Evaluationsverteilungen konfundiert werden. Das Paper definiert ein umfassendes Messinstrumentarium, das Folgendes abdeckt:

1. Spektrale Metriken:
   • Effektiver Rang & Participation Ratio: Misst, wie konzentriert die Hidden-State-Kovarianz ist.
   • Top-k Varianz: Visualisiert die Konzentration in dominanten Dimensionen.
2. Geometrische Metriken:
   • Anisotropie: Durchschnittliche paarweise Kosinus-Ähnlichkeit (zentriert und unzentriert).
   • CKA Drift: Centered Kernel Alignment im Vergleich von Checkpoints zum Basismodell und zu vorangegangenen Stufen.
   • Domänen-Separierbarkeit: Silhouette-Scores und Kovarianzverhältnisse für die Domänentrennung.
3. Token-Dynamik:
   • Analyse von Rang und Diversität über spezifische Spannen: Prompts, frühe Antworten, späte Antworten, CoT-Spannen und Refusal-Spannen.
4. Funktionale Metriken:
   • Logit-Raum: Entropie, Größe der Vokabular-Unterstützung, Top-Zwei-Margen und Expected Calibration Error (ECE).
5. Update-Metriken:
   • LoRA-Überlappung: Hauptwinkel-Überlappung zwischen den singulären Vektorbasen von LoRA-Updates über verschiedene Stufen hinweg.

Evaluationsstrategie

Die Evaluation ist trajektorienbasiert statt endpunktbasiert. Nach jeder Stufe wird das Modell bewertet auf:

• Ziel-Performance: Unmittelbarer Gewinn im trainierten Bereich.
• Retention/OOD: Leistung bei gehaltenen Aufgaben und Out-of-Distribution-Daten.
• Zukünftiges Lernen: Ein kritischer Test, bei dem jeder Checkpoint eine Anpassung mit festem Budget an eine neue, ungesehene Domänenaufgabe durchläuft. Die Stichprobeneffizienz und der Endscore dieser zukünftigen Anpassung dienen als Proxy für die Plastizität.

3. Kernergebnisse

Empirische Befunde

1. Sequenzielles Post-Training ist eine Trajektorie: Kollaps tritt nicht uniform auf; er konzentriert sich in spezifischen Layern (oft mittlere und späte Transformer-Blöcke) und variiert je nach Phase. Beispielsweise reduziert Math-Tuning den Rang in spezifischen Bändern, während Safety-Tuning die Repräsentationen später Antworten konzentriert.
2. Objektabhängige Kollaps-Signaturen:
   • Safety/Refusal Tuning: Erzeugt starke Response-Template-Richtungen und schärfere Logits.
   • Long-CoT Tuning: Erzeugt eine Reasoning-Format-Richtung, die spätere generierte Token beeinflusst.
   • Präferenzoptimierung (DPO): Verstärkt Anisotropie durch Erhöhung der relativen Präferenzmargen.
   • Math/Code: Nuancierter; sie spezialisieren bestimmte Layer, während sie die Domänen-Separierbarkeit an anderer Stelle bewahren.
3. Kollaps prädiziert zukünftige Plastizität: Es besteht eine direkte negative Korrelation zwischen der Repräsentations-Gesundheit (effektiver Rang, Anisotropie) und der zukünftigen Lernleistung. Während der Sequenz, wenn der effektive Rang sinkt und die Anisotropie steigt, degradieren die Stichprobeneffizienz und der Endscore der Anpassung an eine neue Aufgabe, selbst wenn die unmittelbare Zielaufgabe-Performance steigt.
4. Pfadabhängigkeit: Die Reihenfolge der Stufen ist entscheidend. Zum Beispiel liefert Safety-Tuning gefolgt von General Instruction andere Kollaps-Metriken als General Instruction gefolgt von Safety-Tuning.

Mitigationsstrategien

Das Paper testet leichtgewichtige Interventionen, um die zukünftige Lernbarkeit zu bewahren, ohne die Zielaufgaben-Gewinne zu opfern:

• Mixed-Domain Replay: Mischen eines kleinen Bruchteils (5–20 %) von General-Domain-Daten in spezialisierte Phasen.
• Feature Refresh: Einfügen kurzer General-Instruction-Phasen nach Phasen mit hohem Kollaps.
• Representation Diversity Regularization: Bestrafung der Batch-Level Hidden-State-Ausrichtung ($L_{cos}$).
• LoRA Update Decorrelation: Bestrafung der Überlappung zwischen aktuellen und vorherigen LoRA-Update-Basen ($L_{decorr}$).

Die Ergebnisse zeigen, dass diese Methoden die Pareto-Front verbessern können, indem sie eine bessere zukünftige Anpassung ermöglichen und gleichzeitig die Zielperformance beibehalten, obwohl sie den Kollaps nicht vollständig eliminieren.

4. Beiträge

Das Paper leistet drei primäre Beiträge:

1. Ein Layerwise-Messprotokoll: Eine Suite von Diagnostika (spektral, geometrisch, Token-Ebene, funktional und Update-Raum), die speziell darauf ausgelegt ist, Repräsentationskollaps in sequenziellem Post-Training zu detektieren.
2. Ein kontrolliertes sequenzielles Benchmark: Eine standardisierte experimentelle Matrix, die General Instruction, Math, Code, Safety, CoT und Präferenz-Daten mit angeglichenen Token-Budgets und einem festen Probe-Korpus abdeckt.
3. Prädiktive Validierung: Evidenz dafür, dass Kollaps-Metriken (gemessen vor der zukünftigen Anpassung) die Schwierigkeit des Lernens neuer Aufgaben vorhersagen, und dass Diversität-bewahrende Interventionen diesen Verlust an Plastizität mildern können.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Repräsentationskollaps nicht bloß eine geometrische Kuriosität ist, sondern ein praktisches Diagnostikum für zukünftige Lernbarkeit. Die Autoren argumentieren, dass der aktuelle Fokus auf Verhaltens-Benchmarks einen kritischen Ausfallmodus übersieht: Ein Modell kann verhaltensmäßig kompetent auf einer spezifischen Aufgabe sein, während es geometrisch brüchig für eine zukünftige Anpassung wird.

Die Bedeutung liegt in der Umrahmung von Alignment und Spezialisierung als kontinuierliche Lernprobleme. Das vorgeschlagene Messinstrumentarium ermöglicht es Praktikern, zwischen vorteilhafter Spezialisierung und brüchiger Verengung zu unterscheiden. Das Paper kommt zu dem Schluss, dass man zwar die Diversität nicht um jeden Preis maximieren darf (da eine gewisse Spezialisierung notwendig ist), das Bewahren ausreichender repräsentativer Freiheitsgrade jedoch essenziell ist, um die Fähigkeit des Modells zu erhalten, sich an zukünftige, unvorhergesehene Anforderungen anzupassen.

Vom Autor angemerkte Limitationen:

• Experimente wurden an 1B–7B Modellen durchgeführt; das Verhalten auf Frontier-Skala mag abweichen.
• DPO wird als Proxy für produktives RLHF/RLAIF verwendet.
• Messungen sind sensitiv gegenüber der Wahl des Probe-Korpus und der Token-Spannen, wenngleich die Studie dies durch mehrere Probe-Typen kontrolliert.
• Kausale Behauptungen werden durch Interventions-Evidenz (Mitigationen) gestützt und nicht rein durch theoretische Herleitung.