Fora: From Weight-Space to Function-Space Protection in Capability-Preserving Fine-Tuning

Technische Samenvatting: Fora: Van Gewicht-ruimte naar Functie-ruimte Bescherming in Capabiliteits-behoudende Fine-tuning

1. Probleemstelling

Volledige fine-tuning van grote taalmodellen (LLM's) biedt een hoge expressiviteit voor het aanpassen aan nieuwe taken, maar brengt een aanzienlijke aansprakelijkheid met zich mee: ongecontroleerde gradiënten kunnen de functionele paden van capaciteiten die het model al bezit, overschrijven. Bestaande mitigatiestrategieën — variërend van regularisatie (bijv. EWC, L2-SP) tot distillatie en gradiëntprojectie — beschermen capaciteiten via proxies. Deze proxies omvatten parameterafstanden, belangsstraffen, output-matching of de dominante singuliere richtingen van de gewichtsmatrix ($V_1$ uit SVD).

Het artikel stelt dat deze proxies er niet in slagen de operationele vraag te beantwoorden: op welke activatierichtingen is de behouden capaciteit daadwerkelijk afhankelijk? De dominante singuliere vectoren van een vooraf getrainde gewichtsmatrix ($W_0$) vatten samen waar het gewicht groot is (een aggregatie over alle geleerde capaciteiten), wat mogelijk niet overeenkomt met de specifieke activatiepatronen die vereist zijn voor een enkele capaciteit (bijv. vertaling kan afhankelijk zijn van matige singuliere componenten of diagonale oriëntaties). Bijgevolg beperkt het beschermen van $V_1$ vaak een subspace die niet is uitgelijnd met de capaciteit, wat leidt tot suboptimale preservatie.

2. Methodologie: Fora (Function-space Orthogonal Residual Adaptation)

De voorgestelde methode, Fora, herformuleert het behoud van capaciteiten als functie-ruimte bescherming. In plaats van de geometrie van de gewichtsmatrix te beschermen, beschermt Fora de activatie-subspace die door de capaciteit zelf wordt geïnduceerd.

Kernmechanisme:

1. Functie-ruimte Projectie ($P_Q$):

   • Met behulp van label-vrije kalibratie-inputs van de behouden capaciteit ($D_{pres}$) verzamelt de methode de input-activaties voor elke laag.
   • Het berekent de covariantie van deze activaties en extraheert de top-$k$ eigenvectoren ($Q$), die de voornaamste richtingen van de functionele signatuur van de capaciteit vertegenwoordigen.
   • Een rechter projector wordt gevormd: $P_Q = I - QQ^\top$. Deze projector blokkeert de update om de functierichtingen van de capaciteit te "lezen" (er actie op te ondernemen).

2. Gewicht-ruimte Projectie ($P_U$):

   • Afgeleid van de SVD van de vooraf getrainde gewicht $W_0 = U\Sigma V^\top$, wordt een linker projector $P_U = I - U_1U_1^\top$ geconstrueerd om schrijfacties naar de voornaamste output-richtingen van het originele gewicht te blokkeren.

3. De Update Regel:
   De full-rank update $\Delta W$ wordt gedecomposeerd in twee complementaire kanalen:
   $$\Delta W_{\text{Fora}} = \underbrace{P_U M P_Q}_{\text{Hoge-capaciteit, functie-beschermd}} + \underbrace{U_2 D_\delta V_2^\top}_{\text{Gecontroleerd spectraal kanaal}}$$

   • Hoge-capaciteit Tak ($P_U M P_Q$): Een dichte matrix $M$ die de volledige expressieve kracht behoudt voor alle richtingen, behalve de input-richtingen van de capaciteit ($P_Q$) en de dominante output-richtingen van het gewicht ($P_U$).
   • Spectraal Kanaal ($U_2 D_\delta V_2^\top$): Een smal kanaal met een lage graad van vrijheidsgraden, afgeleid van de residuele singuliere waarden van $W_0$. Cruciaal is dat dit de enige component is die mag reageren op inputs in de beschermde subspace ($\text{span}(Q)$). Dit biedt gebonden plasticiteit, waardoor gekalibreerde aanpassingen mogelijk zijn zonder de capaciteit volledig te bevriezen.

4. Low-Rank Extensie:
   De methode breidt zich uit naar parameter-efficiënte fine-tuning (PEFT) door de dichte matrix $M$ te vervangen door een low-rank product $\frac{\alpha}{r} BA$, wat resulteert in Fora-LR.

3. Belangrijkste Bijdragen

1. Herformulering van Preservatie: Het artikel stelt dat het behoud van capaciteiten het best bereikt wordt door de activatie-subspace ($Q$) te beschermen die door de capaciteit wordt geïnduceerd, in plaats van de singuliere geometrie van de gewichtsmatrix ($V_1$).
2. Structureel Ontwerp (Fora): Het introduceert een structureel beperkte full-rank update die bescherming en plasticiteit scheidt. De hoge-capaciteit tak is structureel verhinderd om capaciteit-gevoelige richtingen te "lezen", terwijl een toegewezen spectraal kanaal gecontroleerde adaptatie op die specifieke richtingen biedt.
3. Mechanistisch Inzicht: Door gecontroleerde ablatiestudies demonstreert het artikel dat de prestatiewinst specifiek voortkomt uit de bron van de projectie (capaciteit-afgeleid versus gewicht-afgeleid), en niet louter uit de handeling van de projectie zelf.
4. Empirische Validatie: De methode wordt geïnstantieerd op Qwen3-1.7B over drie instellingen, waarbij consequent superieure resultaten worden getoond ten opzichte van gewichts-ruimte projectie en standaard regularisatie.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op Qwen3-1.7B met drie verschillende instellingen:

• Trans $\to$ COGS: Het leren van compositionele semantische parsing terwijl vertaling behouden blijft.
• Trans $\to$ GSM8K: Het leren van wiskunde op basisschoolniveau terwijl vertaling behouden blijft.
• Math $\to$ Trans: Het leren van vertaling terwijl wiskundig redeneren behouden blijft.

Belangrijkste Bevindingen:

• Superieure Preservatie: Fora presteert consequent beter dan gewichts-ruimte projectie ($P_V$), regularisatie (EWC, L2-SP) en distillatie (LwF) in het behoud van de oorspronkelijke capaciteit.
  • Voorbeeld: In Trans $\to$ COGS behield Fora de vertaal-perplexiteit (PPL) op 4.39 (nabij de 4.35 baseline), terwijl gewichts-ruimte projectie deze degradeerde naar 4.86 (slechter dan onbeschermde full fine-tuning).
  • Voorbeeld: In Math $\to$ Trans behield Fora de GSM8K-nauwkeurigheid binnen 0.86 punten van de baseline, vergeleken met een daling van 2.27 punten voor full fine-tuning.
• Prestaties op Nieuwe Taak: Fora bereikt concurrerende of superieure prestaties op de nieuwe taak. In de Trans $\to$ GSM8K instelling behaalde Fora de hoogste GSM8K Exact Match (46.87%) van alle methoden.
• Ablatie Inzichten:
  • Projectie Bron: Het vervangen van de rechter projector van $P_V$ (gewicht-afgeleid) door $P_Q$ (functie-afgeleid) was de beslissende factor voor de verbeterde preservatie.
  • Spectraal Kanaal: Het toevoegen van het spectrale kanaal ($\delta$) leverde kleine maar consistente winsten op in de prestaties op de nieuwe taak (bijv. +0.21 GSM8K EM) zonder de preservatie te schaden, wat de "gebonden plasticiteit" validatie bevestigt.
• Low-Rank Generalisatie: De Fora-LR variant toonde aan dat het beschermingsmechanisme overdraagbaar is naar parameter-efficiënte instellingen, waarbij het de gewichts-ruimte LoRA-varianten (OPLoRA) overtreft in preservatie-metrieken.

5. Betekenis en Claims

Het artikel claimt dat activatie-afgeleide functie-subspaces trouwere doelwitten zijn voor bescherming dan gewicht-afgeleide singuliere richtingen. Door het doel van de bescherming te verschuiven van de geometrie van de gewichtsmatrix naar de werkelijke activatie-voetafdruk van de capaciteit, vermijdt Fora de misalignement die de bestaande gewichts-ruimte projectiemethoden teistert.

De auteurs benadrukken dat dit een structurele oplossing is: bescherming wordt gegarandeerd door de parametrisering ($P_U M P_Q$) en leunt niet op het optimalisatiepad of specifieke gradiëntstaten. Hoewel de methode label-vrije kalibratie-data vereist, is het opslaan van taakgegevens of labels tijdens de training niet nodig, wat het onderscheidt van replay-gebaseerde benaderingen. Het artikel concludeert dat functie-ruimte bescherming een principiële manier biedt om plasticiteit en stabiliteit te balanceren, waarbij sterke preservatie wordt bereikt met minimale trade-offs op het leren van nieuwe taken.