Technische Samenvatting: Diffract: Spectrale Blik op LLM Domeinadaptatie

Probleemstelling

Continual Pre-training (CPT) is een standaardmechanisme voor het aanpassen van algemene Large Language Models (LLMs) aan gespecialiseerde domeinen (bijv. wiskunde, code, instructie). Hoewel CPT betere prestaties levert dan het trainen van gespecialiseerde modellen vanaf nul onder vergelijkbare rekenbudgetten, blijven de onderliggende mechanismen van CPT aanzienlijk minder begrepen dan die van Supervised Fine-Tuning (SFT). Fenomenen zoals lineaire modus-connectiviteit en taak-arithmetiek zijn goed gedocumenteerd in SFT, maar het is onduidelijk of vergelijkbare spectrale of structurele dynamieken CPT beheersen. Specifiek is er een gebrek aan begrip over hoe gewichtsmatrices evolueren tijdens CPT, of domeinadaptatie afhankelijk is van veranderingen in singuliere waarden of singuliere vectoren, en of er redundantie is in de parameterupdates die kan worden geëxploiteerd voor efficiëntie.

Methodologie

De auteurs maken gebruik van Singular Value Decomposition (SVD) om de gewichtsmatrices van LLM's te analyseren tijdens de trajecten van pre-training en continual pre-training. De studie maakt gebruik van de OLMo 2 architectuur over modelmaten van 1B, 7B, 13B en 32B parameters.

Belangrijke analytische componenten zijn:

1. Spectrale Maten: Analyse van Frobenius-normen, spectrale normen, stabiele rangen en effectieve rangen van gewichtsmatrices.
2. Singuliere Vector Overeenkomst: Het meten van de cosinus-gelijkenis tussen de singuliere vectoren van pre-getrainde checkpoints ($W_{pre-train}$) en domein-geadapteerde checkpoints ($W_{domain}$) om directionele veranderingen te kwantificeren.
3. Distributie Fitting: Het fitten van empirische spectrale dichtheden (ESD) aan Marchenko-Pastur (MP) distributies voor de bulk-spectra en Power Law (PL) modellen voor de heavy-tailed regio's om de uitlijning met Heavy-Tailed Self-Regularization (HTSR) theorie te beoordelen.
4. Interventie Experimenten:
   • Singuliere Waarde Transplantatie: Het wisselen van singuliere waarden ($\Sigma$) tussen checkpoints terwijl de singuliere vectoren behouden blijven om het belang van spectrale magnitudes versus richtingen te testen.
   • Head-wise Rewinding: Het systematisch terugdraaien van attention heads naar hun pre-getrainde staat op basis van verschillende belangrijkheidscriteria om de impact op downstream taakprestaties te meten.
   • SVD Truncatie: Het afkappen van de kleinste singuliere waarden van de CPT delta ($\Delta W = W_{domain} - W_{pre-train}$) om parameterredundantie te beoordelen.
   • Lineaire Interpolatie: Het interpoleren van gewichten tussen checkpoints die zijn aangepast aan verschillende domeinen om "domein-connectiviteit" te testen.

De auteurs brengen Diffract uit, een open-source toolkit ontworpen om deze spectrale analyses te faciliteren.

Belangrijkste Bijdragen en Resultaten

1. Spectrale Dynamiek: Invariante Spectra, Evoluerende Vectoren

De studie stelt vast dat CPT de singuliere waarde-spectra grotendeels invariant laat. Het adaptatieproces wordt primair gedreven door veranderingen in singuliere vectoren, met name die gelokaliseerd nabij de pieken van de SVD-spectra.

• Pre-training Evolutie: Tijdens de pre-training fase ontwikkelen de attention head matrices complexe spectrale structuren gekenmerkt door uitschieters en meerdere smalle pieken. Deze complexiteit neemt toe met het pre-training token budget en wijkt af van standaard HTSR-modellen, die doorgaans eenvoudige power-law tails voorspellen.
• CPT Stabiliteit: In contrast hiermee blijven de singuliere waarde-spectra bijna stabiel tijdens CPT. De auteurs hypothetiseren dat de complexe spectrale structuur verworven tijdens pre-training een vereiste is voor efficiënte domeinadaptatie.

2. Head Heterogeniteit en Rewinding

Een nieuw fenomeen genaamd head heterogeniteit is geïdentificeerd. Naarmate het pre-training token budget toeneemt, vertonen attention heads variërende gedragingen tijdens CPT:

• Sommige heads ondergaan significante veranderingen, ongeacht het domein.
• Andere heads veranderen op een domeinspecifieke wijze.
• Rewinding Strategie: Door heads te ordenen op basis van een nieuw criterium (het vergelijken van de Frobenius-norm van de CPT delta tegenover een referentietekstdomein), laten de auteurs zien dat tot wel 60% van de attention heads kan worden teruggedraaid naar hun pre-getrainde staat zonder meetbaar kwaliteitsverlies. Bovendien kan het selectief terugdraaien van heads met een lage belangrijkheid de benchmark nauwkeurigheid met tot wel 4% verbeteren (specifiek op wiskunde taken voor het 7B model) vergeleken met de volledig getrainde baseline.

3. Parameter Redundantie in CPT Deltas

De CPT delta vertoont significante redundantie, die schaalt met de modelgrootte:

• 1B Modellen: Vertonen high-rank deltas met minder tolerantie voor truncatie.
• 7B en 13B Modellen: Kunnen agressieve truncatie tolereren. Tot wel 50% van de singuliere waarden kan worden verwijderd uit de 7B CPT delta, en tot wel 70% uit de 13B delta, zonder significante degradatie in GSM8K nauwkeurigheid. Dit suggereert dat grotere modellen meer redundante representaties leren tijdens CPT.

4. Domein Connectiviteit

De auteurs identificeren domein connectiviteit, gedefinieerd als het vermogen om lineair te interpoleren tussen checkpoints die zijn aangepast aan verschillende domeinen (bijv. wiskunde en code) zonder catastrofale vergetelheid.

• Convexiteitstrend: De kwaliteit van het geïnterpoleerde model ("model soup") verbetert naarmate het pre-training token budget en de modelgrootte toenemen. Voor kleinere budgetten is interpolatie concaaf (presteert onder de eindpunten); voor grotere budgetten (bijv. 4T tokens) wordt het convex (presteert beter dan de lineaire koord).
• Beperking: Ondanks het bestaan van connectiviteit, presteert lineaire interpolatie over het algemeen minder goed dan modellen die direct op datamengsels zijn getraind, wat suggereert dat eenvoudige taak-vector merging beperkingen heeft.

Betekenis en Claims

Het artikel claimt een fundamenteel begrip van CPT-mechanismen te bieden via een spectraal oogpunt. De significantie ligt in:

• Uitdaging van de HTSR Theorie: Het aantonen dat hoewel MLP-lagen zich conformeren aan HTSR, attention heads complexe spectrale structuren ontwikkelen die standaard heavy-tailed theorieën niet volledig kunnen beschrijven.
• Efficiëntie: Het bieden van een geprincipeerde methode om redundante parameters te identificeren en te verwijderen (tot 60% van de heads) of prestaties te verbeteren via selectieve rewinding, wat een pad biedt naar efficiëntere domeinadaptatie.
• Tooling: De release van Diffract maakt reproduceerbare spectrale analyse van miljarden-parameter modellen mogelijk, waarmee een gat in de tools voor het analyseren van LLM gewichtsdynamiek wordt opgevuld.
• Schaalbaarheid: De bevindingen over head heterogeniteit en domein connectiviteit blijken consistent over verschillende modelmaten (1B tot 3B) en diverse domeinen (wiskunde, instructie, code, tekst).

De auteurs hanteren een bescheiden standpunt en merken op dat hun conclusies robuust zijn binnen de OLMo-familie, maar niet universeel zijn voor alle moderne LLM-architecturen. Ze erkennen beperkingen in de benchmark-dekking en het specifieke gebruik van de AdamW optimizer, en suggereren dat toekomstig werk andere modelfamilies en optimizer-ablaties moet verkennen.