Technische Samenvatting: Rotatiebehoudende Supervised Fine-Tuning (RPSFT)

1. Probleemstelling

Supervised Fine-Tuning (SFT) is een standaard post-trainingstap voor Large Language Models (LLM's) die wordt gebruikt om modellen aan te passen aan specifieke taken. Echter, eerdere studies wijzen erop dat SFT de generalisatie buiten het trainingsdomein (Out-of-Domain, OOD) kan verslechteren, een fenomeen dat vaak wordt toegeschreven aan "catastrophic forgetting". Recente studies suggereren dat deze verslechtering samenhangt met een geometrische drift in de vooraf getrainde weight matrices, specifiek de excessieve rotatie van dominante singuliere deelruimten. Deze dominante richtingen zijn geassocieerd met structuren met hoge variantie en hoge kromming die algemene capaciteiten coderen.

Het direct identificeren en behouden van verliesgevoelige richtingen met behulp van Hessiaan- of Fisher-informatie is op de schaal van moderne LLM's computationeel onhaalbaar. Bijgevolg is er behoefte aan een efficiënte regularisatiemethode die onnodige geometrische drift tijdens SFT beperkt, terwijl het vermogen om zich aan te passen aan de doeltaak behouden blijft, waardoor de afweging tussen prestaties binnen het domein (In-Domain, ID) en behoud van OOD-capaciteiten wordt verbeterd.

2. Methodologie: Rotatiebehoudende SFT (RPSFT)

De auteurs stellen Rotation-Preserving Supervised Fine-Tuning (RPSFT) voor, een regularisatietechniek die de dominante singuliere deelruimten van vooraf getrainde weight matrices verankert.

Kernmechanisme

RPSFT werkt op de hypothese dat de top-$k$ singuliere vectoren van vooraf getrainde weight matrices sterk overlappen met Fisher-gevoelige richtingen (richtingen waarbij updates leiden tot grote toenames in OOD-verlies). In plaats van parameters te bevriezen of gradiënten te projecteren (wat rigide of duur kan zijn), voegt RPSFT een strafterm toe aan de standaard SFT-verliesfunctie.

Voor een geselecteerde weight matrix $W$ met vooraf getrainde initialisatie $W_0$, berekent de methode de top-$k$ linker- en rechter singuliere vectorbasissen, $U^{(k)}_0$ en $V^{(k)}_0$, vooraf via Singuliere Waarde Decompositie (SVD). De regularisatieterm straft de verandering in het geprojecteerde blok van de weight matrix binnen deze basis af:

$$\mathcal{L}_{RPSFT} = \mathcal{L}_{SFT} + \lambda \sum_{\ell \in \mathcal{M}} \| (U^{(k)}_{0, \ell})^\top (W_\ell - W_{0, \ell}) V^{(k)}_{0, \ell} \|_F^2$$

Waarbij:

• $\mathcal{L}_{SFT}$ het standaard negatieve log-waarschijnlijkheidsverlies is.
• $\lambda$ de regularisatiesterkte is.
• De term $\| (U^{(k)}_{0, \ell})^\top (W_\ell - W_{0, \ell}) V^{(k)}_{0, \ell} \|_F^2$ de drift van de weight matrix binnen de top-$k$ singuliere deelruimte meet.
• $\mathcal{M}$ de set van geselecteerde lagen is (meestal alle lagen bij full-parameter fine-tuning).

Ontwerprationale

• Partiële Bescherming: In tegenstelling tot full-rank verankering (equivalent aan $L_2$-regularisatie rond de initiële weights), verankert RPSFT alleen het top-$k$ blok. Complementaire richtingen blijven vrij om zich aan te passen, wat taakspecifiek leren mogelijk maakt.
• Computationele Efficiëntie: De methode vereist het vooraf berekenen en cachen van de singuliere basissen ($O((m+n)k + k^2)$ geheugen per laag) en het berekenen van het geprojecteerde blok tijdens training ($O(mnk)$ FLOPs per evaluatie). De auteurs merken op dat dit minimale overhead toevoegt ten opzichte van standaard SFT, vooral wanneer de projectie elke $s$ stappen wordt berekend.
• Theoretische Rechtvaardiging: De auteurs analyseren de lokale tweede-orde expansie van het verlies. Zij betogen dat terwijl de eerste-orde term adaptie drijft, de tweede-orde term (kromming) vergeten drijft. Aangezien de Fisher-informatie (een proxy voor kromming) duur is om te berekenen, tonen zij empirisch aan dat de top singuliere blokken van vooraf getrainde weights een significant deel (ongeveer 20%) van de Fisher-geprojecteerde gradiëntenergie vangen, waardoor ze een geldige, goedkope structurele proxy vormen voor verliesgevoelige richtingen.

3. Experimentele Opzet

De auteurs evalueerden RPSFT over drie model families en schalen: Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct en Qwen2.5-3B-Instruct.

• Trainingsdata: Supervised fine-tuning werd uitgevoerd op OpenR1-Math (wiskunderedeneringsdata).
• Baselines: Vergelijkingen werden gemaakt met standaard full-parameter SFT, Dynamic Fine-Tuning (DFT), Importance-Weighted SFT (IW) en $L_2$-initialisatieverankering.
• Evaluatie:
  • In-Domain (ID): Wiskundebenchmarks (AIME, AMC, MATH-500, enz.).
  • Out-of-Domain (OOD): Algemene redenering, veiligheid en kennisbenchmarks (GPQA, MMLU-Pro, TruthfulQA, enz.).
  • Downstream RL: De SFT-checkpoints dienden als initialisaties voor Reinforcement Learning Fine-Tuning (RLFT) met DAPO (een variant van GRPO).

4. Belangrijkste Resultaten

Afweging tussen In-Domain en Out-of-Domain

• RPSFT verbetert consistent de ID/OOD-afweging. Over alle modelgroottes heen behaalde RPSFT de beste of concurrerende ID-prestaties (Avg@k en Pass@k) terwijl het OOD-vergeten aanzienlijk werd verminderd in vergelijking met standaard SFT.
• Vergelijking met Baselines: Hoewel DFT en IW enige OOD-retentie toonden, leden ze vaak onder onderfitting op de ID-taak. RPSFT behield sterke ID-adaptatie terwijl het OOD-capaciteiten beter behield dan standaard SFT. Bijvoorbeeld, op Llama-8B verbeterde RPSFT de OOD Avg@k met +1,83% ten opzichte van het basismodel, terwijl standaard SFT het met +1,73% verbeterde maar met minder robuustheid in andere metrieken.
• Rank-gevoeligheid: Experimenten waarbij de beschermde rang $k$ werd gevarieerd, toonden aan dat intermediaire rangen (bijv. $k=768$) de beste balans bieden. Overmatig grote rangen (die naderen bij full-rank verankering) hinderden taakadaptatie, terwijl $k=0$ terugkeerde naar standaard SFT.

Downstream RL-prestaties

• Sterkere Initialisaties: RPSFT-checkpoints dienden als superieure initialisaties voor downstream RLFT. Modellen geïnitieerd met RPSFT behaalden hogere uiteindelijke RL-prestaties op zowel ID- als OOD-benchmarks in vergelijking met die geïnitieerd met standaard SFT of andere baselines.
• Behoud van Capaciteiten: De verbeteringen in OOD-retentie tijdens de SFT-fase werden niet weggespoeld door de daaropvolgende RL-fase; integendeel, ze werden overgedragen, wat leidde tot consistent hogere eindscores.

Geometrische en Representatie-analyse

• Verminderde Rotatie: Analyse van drift in de weight-ruimte toonde aan dat RPSFT de rotatie van dominante linker-singuliere deelruimten aanzienlijk verminderde in vergelijking met standaard SFT, DFT en IW.
• Stabiliteit van Hidden States: RPSFT behield de geometrie van hidden representaties beter. De centroiden van hidden states voor met RPSFT getrainde modellen bleven dichter bij de centroiden van het basismodel over verschillende benchmarks, terwijl standaard SFT en DFT grotere drifts vertoonden. Dit suggereert dat het beperken van rotatie in de weight-ruimte direct vertaalt naar het behoud van de interne representatieruimte van het model.

5. Betekenis en Claims

Het artikel beweert dat RPSFT een eenvoudige, computationeel efficiënte regularisator biedt die effectief het vergeten van algemene capaciteiten tijdens supervised fine-tuning mitigeert.

• Mechanisme: Het werk levert empirisch en theoretisch bewijs dat het behouden van dominante vooraf getrainde singuliere deelruimten geometrische rotatie reduceert, hidden-state representaties beschermt en de afweging tussen vergeten en adaptie verbetert.
• Praktijktoepasbaarheid: In tegenstelling tot methoden die Hessiaan-schatting of complexe gradiëntprojecties vereisen, integreert RPSFT direct in standaard full-parameter SFT-pipelines zonder aanvullende data of taakgrenzen te vereisen.
• Generaliteit: De methode toont consistente verbeteringen over verschillende modelarchitecturen (Llama en Qwen) en schalen (3B tot 8B parameters).

De auteurs concluderen dat het beheersen van drift in vooraf getrainde singuliere deelruimten een praktische en effectieve strategie is voor het behoud van OOD-generalisatie terwijl snelle taakadaptie mogelijk wordt gemaakt, wat een sterkere basis biedt voor daaropvolgende reinforcement learning-fasen.

6. Beperkingen

De auteurs erkennen dat RPSFT momenteel een uniforme beschermde-rangregel toepast over alle weight matrices. Zij suggereren dat toekomstig werk regelmatige regularisatie op laag-niveau zou kunnen onderzoeken (bijv. focussen op vroege self-attention lagen) om de overhead verder te verminderen. Bovendien richten de huidige experimenten zich op wiskundetrainingsdatasets en modellen in het 3B–8B-bereik; uitbreiding naar niet-wiskundige data en grotere modelschalen wordt geïdentificeerd als een richting voor toekomstig onderzoek.