Technische Samenvatting: Representatie-instorting bij Sequentiële Post-training van Large Language Models

1. Probleemstelling

Hedendaagse Large Language Models (LLM's) worden zelden aangepast via een enkele instructie-tuning-ronde. In plaats daarvan ondergaan ze sequentiële ketens van post-training stadia, waaronder brede instructie-tuning, voorkeursoptimalisatie, veiligheidsafstemming, domeinspecialisatie (wiskunde/code) en lange chain-of-thought (CoT) tuning. Hoewel huidige evaluatiepraktijken zich richten op gedragsuitkomsten (bijv. benchmarkscores, weigeringspercentages), betoogt dit artikel dat een dergelijk perspectief incompleet is.

Het kernprobleem dat wordt onderzocht is representatie-instorting (representation collapse): de hypothese dat sequentiële post-training de interne feature-ruimte van het model geleidelijk comprimeert tot laag-rangige, anisotrope en homogene manifolds. De auteurs stellen dat hoewel individuele stadia de prestaties op specifieke taken kunnen verbeteren, een excessieve concentratie van representaties de "plasticiteit" van het model kan degraderen, waardoor toekomstige aanpassing aan nieuwe domeinen moeilijker wordt. Deze instorting wordt gekenmerkt door:

• Verlies van effectieve rang in de covariantie van de verborgen toestanden (hidden-state covariance).
• Uitlijning van samples met een aantal dominante richtingen (anisotropie).
• Verminderde scheidbaarheid tussen domeinen en tokentypes.
• Oververzekerde logits en verminderde kalibratie.
• Hergebruik van dezelfde laag-rangige subspaces voor adapter-updates (bijv. LoRA) over verschillende stadia heen.

Het artikel frameert dit niet als een totaal verlies van capaciteit, maar als een "stille modus van falen" waarbij een model beter wordt in zijn meest recente doeltaak, maar minder in staat is om toekomstige taken te leren vanwege geometrische vernauwing.

2. Methodologie

Experimentele Opzet

De studie maakt gebruik van een gecontroleerde sequentiële post-training benchmark met kleine en middelgrote open-weight modellen (Qwen2.5-1.5B, TinyLlama-1.1B, Llama-3.2-1B, OLMo-1B, en een 7B schaling-check). De experimenten maken gebruik van LoRA (rank 16, alpha 32) als het primaire adaptatiemechanisme, met volledige fine-tuning op 1B-modellen om te verifiëren dat de effecten geen artefacten zijn van laag-rangige adaptatie zelf.

De trainingspijplijn omvat onderscheidende sequenties van stadia, zoals:

• Specialisatieketen: Algemene SFT $\to$ Wiskunde SFT $\to$ Code SFT $\to$ Veiligheid/Weigerings-SFT.
• Redenering & Voorkeur: Algemene SFT $\to$ Lange-CoT SFT $\to$ DPO-stijl Voorkeursoptimalisatie.
• Veiligheid Eerst: Veiligheid/Weigerings-SFT $\to$ Algemene SFT $\to$ Domeinspecialisatie.

Meetinstrumentarium

Een vaste probe corpus ($X_{probe}$) van 12.000 prompt-respons teksten (gebalanceerd over domeinen) wordt op elk checkpoint toegepast om te waarborgen dat geometrische veranderingen niet worden verward met verschuivende evaluatieverdelingen. Het artikel definieert een uitgebreid meetinstrumentarium dat de volgende aspecten dekt:

1. Spectrale Metrieken:
   • Effectieve Rang & Participatie Ratio: Meet hoe geconcentreerd de covariantie van de verborgen toestanden is.
   • Top-k Variantie: Visualiseert concentratie in dominante dimensies.
2. Geometrische Metrieken:
   • Anisotropie: Gemiddelde paarwijze cosinus-gelijkenis (gecentreerd en ongecentreerd).
   • CKA Drift: Centered Kernel Alignment die checkpoints vergelijkt met het basismodel en vorige stadia.
   • Domein Scheidbaarheid: Silhouette scores en covariantieratio's voor domeinscheiding.
3. Token Dynamiek:
   • Analyse van rang en diversiteit over specifieke spans: prompts, vroege responsen, late responsen, CoT-spans en weigerings-spans.
4. Functionele Metrieken:
   • Logit Ruimte: Entropie, vocabulaire support grootte, top-twee marges en Expected Calibration Error (ECE).
5. Update Metrieken:
   • LoRA Overlap: Principale hoek-overlap tussen de singuliere vector-bases van LoRA-updates over verschillende stadia.

Evaluatiestrategie

De evaluatie is traject-gebaseerd in plaats van eindpunt-gebaseerd. Na elk stadium wordt het model beoordeeld op:

• Doelprestatie: Onmiddellijke winst op het getrainde domein.
• Retentie/OOD: Prestaties op vastgehouden taken en out-of-distribution data.
• Toekomstig Leren: Een kritieke test waarbij elk checkpoint een adaptatie ondergaat met een vast budget naar een nieuwe, onziene domeintaak. De sample-efficiëntie en de uiteindelijke score van deze toekomstige adaptatie dienen als de proxy voor plasticiteit.

3. Belangrijkste Resultaten

Empirische Bevindingen

1. Sequentiële Post-training is een Traject: Instorting is niet uniform; het concentreert zich in specifieke lagen (vaak middelste en late transformer-blokken) en varieert per stadium. Zo vermindert wiskunde-tuning de rang in specifieke banden, terwijl veiligheidstuning de representaties van late responsen concentreert.
2. Doel-afhankelijke Instortingskenmerken:
   • Veiligheids-/Weigerings-tuning: Produceert sterke respons-template richtingen en scherpere logits.
   • Lange-CoT Tuning: Creëert een redeneer-formaat richting die late gegenereerde tokens beïnvloedt.
   • Voorkeursoptimalisatie (DPO): Versterkt anisotropie door relatieve voorkeursmarges te vergroten.
   • Wiskunde/Code: Meer genuanceerd; ze specialiseren bepaalde lagen terwijl ze domeinscheidbaarheid elders behouden.
3. Instorting Voorspelt Toekomstige Plasticiteit: Er is een directe negatieve correlatie tussen de gezondheid van de representatie (effectieve rang, anisotropie) en toekomstige leerprestaties. Naarmate de effectieve rang afneemt en de anisotropie toeneemt tijdens de sequentie, verslechteren de sample-efficiëntie en de uiteindelijke score van het aanpassen aan een nieuwe taak, zelfs als de onmiddellijke doelprestatie verbetert.
4. Pad-afhankelijkheid: De volgorde van stadia is van belang. Bijvoorbeeld, veiligheidstuning gevolgd door algemene instructie levert andere instortingsmetrieken op dan algemene instructie gevolgd door veiligheidstuning.

Mitigatiestrategieën

Het artikel test lichtgewicht interventies om toekomstige leerbaarheid te behouden zonder op te offeren wat betreft doeltaak-winsten:

• Mixed-Domain Replay: Het mengen van een klein deel (5–20%) van algemene domeindata in gespecialiseerde stadia.
• Feature Refresh: Het invoegen van korte algemene instructie-stadia na stadia met een hoge instorting.
• Representatie Diversiteit Regularisatie: Het bestraffen van batch-niveau verborgen-toestand uitlijning ($L_{cos}$).
• LoRA Update Decorrelatie: Het bestraffen van de overlap tussen de huidige en voorgaande LoRA-update bases ($L_{decorr}$).

Resultaten wijzen uit dat deze methoden de Pareto-frontier kunnen verbeteren, waardoor betere toekomstige adaptatie mogelijk is terwijl de doelprestaties behouden blijven, hoewel ze instorting niet volledig elimineren.

4. Bijdragen

Het artikel levert drie primaire bijdragen:

1. Een Laag-specifiek Meetprotocol: Een suite van diagnostische middelen (spectraal, geometrisch, token-niveau, functioneel en update-ruimte) specifiek ontworpen om representatie-instorting in sequentiële post-training te detecteren.
2. Een Gecontroleerde Sequentiële Benchmark: Een gestandaardiseerde experimentele matrix die algemene instructie, wiskunde, code, veiligheid, CoT en voorkeursdata dekt met overeenkomstige token-budgetten en een vaste probe corpus.
3. Predictieve Validatie: Bewijs dat instortingsmetrieken (gemeten vóór toekomstige adaptatie) de moeilijkheid van het leren van nieuwe taken voorspellen, en dat diversiteit-behoudende interventies deze loss van plasticiteit kunnen mitigeren.

5. Betekenis en Claims

Het artikel claimt dat representatie-instorting niet louter een geometrische curiositeit is, maar een praktische diagnostiek voor toekomstige leerbaarheid. De auteurs betogen dat de huidige focus op gedragsbenchmarks een cruciale foutmodus mist: een model kan gedragsmatig competent worden op een specifieke taak, terwijl het geometrisch broos wordt voor toekomstige adaptatie.

De betekenis ligt in het herformuleren van alignment en specialisatie als continual learning problemen. Het voorgestelde meetinstrumentarium stelt beoefenaars in staat om onderscheid te maken tussen begunstigende specialisatie en breekbare vernauwing. Het artikel concludeert dat, hoewel post-training niet ten koste van alles de diversiteit moet maximaliseren (aangezien enige specialisatie noodzakelijk is), het behouden van voldoende representatieve vrijheidsgraden essentieel is voor het behoud van het vermogen van het model om zich aan te passen aan toekomstige, onvoorziene vereisten.

Beperkingen opgemerkt door de auteurs:

• Experimenten worden uitgevoerd op 1B–7B modellen; gedrag op frontier-schaal kan verschillen.
• DPO wordt gebruikt als een proxy voor productie RLHF/RLAIF.
• Metingen zijn gevoelig voor de keuze van de probe corpus en token spans, hoewel de studie dit controleert via meerdere probe-typen.
• Causale claims worden ondersteund door interventie-bewijs (mitigaties) in plaats van puur theoretische afleiding.