Fora: From Weight-Space to Function-Space Protection in Capability-Preserving Fine-Tuning

Technisches Resümee: Fora: Vom Gewichtsraum zum Funktionsraum-Schutz beim kapazitätserhaltenden Fine-Tuning

1. Problemstellung

Das vollständige Fine-Tuning von Large Language Models (LLMs) bietet eine hohe Ausdrucksstärke für die Anpassung an neue Aufgaben, birgt jedoch eine erhebliche Haftung: Unbeschränkte Gradienten können die funktionalen Pfade der Fähigkeiten, die das Modell bereits besitzt, überschreiben. Bestehende Strategien zur Behebung – von Regularisierung (z. B. EWC, L2-SP) über Destillation bis hin zu Gradientenprojektion – schützen Fähigkeiten durch Proxys. Diese Proxys umfassen Parameterabstände, Wichtigkeitspenalitäten, Output-Matching oder die dominanten singulären Richtungen der Gewichtsmatrix ($V_1$ aus der SVD).

Das Paper argumentiert, dass diese Proxys die operative Frage nicht beantworten: Auf welche Aktivierungsrichtungen stützt sich die erhaltene Fähigkeit tatsächlich? Die dominanten singulären Vektoren einer vortrainierten Gewichtsmatrix ($W_0$) fassen zusammen, wo das Gewicht groß ist (eine Aggregation über alle gelernten Fähigkeiten), was jedoch nicht mit den spezifischen Aktivierungsmustern übereinstimmen muss, die für eine einzelne Fähigkeit erforderlich sind (beispielsweise könnte Translation auf moderaten singulären Komponenten oder diagonalen Orientierungen beruhen). Folglich schränkt der Schutz von $V_1$ oft einen Subraum ein, der nicht mit der Fähigkeit korreliert, was zu einer suboptimalen Erhaltung führt.

2. Methodik: Fora (Function-space Orthogonal Residual Adaptation)

Die vorgeschlagene Methode, Fora, definiert die Erhaltung von Fähigkeiten als Funktionsraum-Schutz um. Anstatt die Geometrie der Gewichtsmatrix zu schützen, schützt Fora den durch die Fähigkeit induzierten Aktivierungs-Subraum.

Kernmechanismus:

1. Funktionsraum-Projektion ($P_Q$):

   • Unter Verwendung von etikettenfreien Kalibrierungs-Inputs der erhaltenen Fähigkeit ($D_{pres}$) sammelt die Methode die Input-Aktivierungen für jede Schicht.
   • Sie berechnet die Kovarianz dieser Aktivierungen und extrahiert die Top-$k$ Eigenvektoren ($Q$), welche die primären Richtungen der funktionalen Signatur der Fähigkeit repräsentieren.
   • Ein Rechts-Projektor wird gebildet: $P_Q = I - QQ^\top$. Dieser Projektor verhindert, dass das Update die Funktionsrichtungen der Fähigkeit „liest“ (darauf reagiert).

2. Gewichtsraum-Projektion ($P_U$):

   • Abgeleitet aus der SVD der vortrainierten Gewichtsmatrix $W_0 = U\Sigma V^\top$, wird ein Links-Projektor $P_U = I - U_1U_1^\top$ konstruiert, um Schreibvorgänge auf die primären Output-Richtungen des ursprünglichen Gewichts zu blockieren.

3. Die Update-Regel:
   Das Vollrank-Update $\Delta W$ wird in zwei komplementäre Kanäle zerlegt:
   $$\Delta W_{\text{Fora}} = \underbrace{P_U M P_Q}_{\text{Hohe Kapazität, funktionsgeschützt}} + \underbrace{U_2 D_\delta V_2^\top}_{\text{Kontrollierter Spektralkanal}}$$

   • High-Capacity-Zweig ($P_U M P_Q$): Eine dichte Matrix $M$, die die volle Ausdrucksstärke für alle Richtungen beibehält, außer für die Input-Richtungen der Fähigkeit ($P_Q$) und die dominanten Output-Richtungen des Gewichts ($P_U$).
   • Spektralkanal ($U_2 D_\delta V_2^\top$): Ein schmaler Kanal mit geringem Freiheitsgrad, der aus den residualen Singulärwerten von $W_0$ abgeleitet ist. Entscheidend ist, dass dies der einzige Bestandteil ist, der auf Inputs im geschützten Subraum ($\text{span}(Q)$) reagieren darf. Dies bietet eine begrenzte Plastizität, die kalibrierte Anpassungen ermöglicht, ohne die Fähigkeit vollständig einzufrieren.

4. Low-Rank-Erweiterung:
   Die Methode wird auf das parametereffiziente Fine-Tuning (PEFT) ausgeweitet, indem die dichte Matrix $M$ durch ein Low-Rank-Produkt $\frac{\alpha}{r} BA$ ersetzt wird, was zu Fora-LR führt.

3. Kernbeiträge

1. Neuformulierung der Erhaltung: Das Paper schlägt vor, dass die Erhaltung von Fähigkeiten am besten durch den Schutz des durch die Fähigkeit induzierten Aktivierungs-Subraums ($Q$) erreicht wird, anstatt durch die singuläre Geometrie der Gewichtsmatrix ($V_1$).
2. Strukturelles Design (Fora): Es führt ein strukturell beschränktes Vollrank-Update ein, das Schutz und Plastizität trennt. Der High-Capacity-Zweig ist strukturell daran gehindert, kapazitätsrelevante Richtungen zu „lesen“, während ein dedizierter Spektralkanal eine kontrollierte Anpassung auf genau diesen Richtungen ermöglicht.
3. Mechanistischer Einblick: Durch kontrollierte Ablationsstudien zeigt das Paper, dass der Leistungszuwachs spezifisch aus der Quelle der Projektion (kapazitätsbasiert vs. gewichtsbasiert) resultiert und nicht bloß aus dem Akt des Projektierens selbst.
4. Empirische Validierung: Die Methode wird auf Qwen3-1.7B in drei Szenarien angewendet und zeigt eine konsistente Überlegenheit gegenüber der Gewichtsraum-Projektion und Standard-Regularisierung.

4. Experimentelle Ergebnisse

Die Experimente wurden auf Qwen3-1.7B in drei verschiedenen Settings durchgeführt:

• Trans $\to$ COGS: Erlernen der kompositorischen semantischen Analyse bei gleichzeitiger Erhaltung der Translation.
• Trans $\to$ GSM8K: Erlernen von Mathematikaufgaben der Grundschule bei gleichzeitiger Erhaltung der Translation.
• Math $\to$ Trans: Erlernen der Translation bei gleichzeitiger Erhaltung des mathematischen Denkvermögens.

Wichtigste Erkenntnisse:

• Überlegene Erhaltung: Fora übertrifft konsistent die Gewichtsraum-Projektion ($P_V$), Regularisierung (EWC, L2-SP) und Destillation (LwF) bei der Erhaltung der ursprünglichen Fähigkeit.
  • Beispiel: In Trans $\to$ COGS hielt Fora die Translation-Perplexität (PPL) bei 4,39 (nahe am 4,35 Baseline), während die Gewichtsraum-Projektion sie auf 4,86 verschlechterte (schlechter als ungeschütztes Full Fine-Tuning).
  • Beispiel: In Math $\to$ Trans behielt Fora die GSM8K-Genauigkeit innerhalb von 0,86 Punkten der Baseline, verglichen mit einem Rückgang von 2,27 Punkten beim Full Fine-Tuning.
• Leistung bei neuen Aufgaben: Fora erzielt eine wettbewerbsfähige oder überlegene Leistung bei der neuen Aufgabe. Im Setting Trans $\to$ GSM8K erreichte Fora mit 46,87 % die höchste Exact Match (EM) Rate aller Methoden.
• Ablations-Erkenntnisse:
  • Projektionsquelle: Der Austausch des Rechts-Projektors von $P_V$ (gewichtsbasiert) zu $P_Q$ (funktionsbasiert) war der entscheidende Faktor für die verbesserte Erhaltung.
  • Spektralkanal: Das Hinzufügen des Spektralkanals ($\delta$) lieferte kleine, aber konsistente Gewinne in der Leistung der neuen Aufgabe (z. B. +0,21 GSM8K EM), ohne die Erhaltung zu beeinträchtigen, was das Design der „begrenzten Plastizität“ validiert.
• Low-Rank-Generalisierung: Die Fora-LR-Variante zeigte, dass der Schutzmechanismus auf parametereffiziente Settings übertragbar ist und die Gewichtsraum-LoRA-Varianten (OPLoRA) bei den Erhaltungsmetriken übertrifft.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass aktivierungsbasierte Funktions-Subräume treuere Ziele für den Schutz sind als gewichtsbasierte singuläre Richtungen. Durch die Verschiebung des Schutzfokus von der Geometrie der Gewichtsmatrix auf den tatsächlichen Aktivierungs-Footprint der Fähigkeit vermeidet Fora die Fehlsteuerung, die herkömmlichen Gewichtsraum-Projektionsmethoden anhaftet.

Die Autoren betonen, dass dies eine strukturelle Lösung ist: Der Schutz wird durch die Parametrisierung ($P_U M P_Q$) garantiert und beruht nicht auf der Optimierungstrajektorie oder spezifischen Gradientenzuständen. Obwohl die Methode etikettenfreie Kalibrierungsdaten benötigt, ist keine Speicherung von Aufgaben-Daten oder Labels während des Trainings erforderlich, was sie von Replay-basierten Ansätzen unterscheidet. Das Paper schließt mit der Feststellung, dass Funktionsraum-Schutz einen prinzipiengetreuen Weg bietet, um Plastizität und Stabilität auszubalancieren, wobei eine starke Erhaltung bei minimalem Trade-off beim Lernen neuer Aufgaben erreicht wird.