Technisches Resümee: PACT – Bewahrung der verankerten Kerne in Task-Vektoren für das Modell-Merging

Problemstellung

Das Zusammenführen von Modellen (Model Merging) hat sich als trainingsfreie Alternative zum Multi-Task-Learning etabliert, mit dem Ziel, mehrere aufgaben-spezifische feinabgestimmte Modelle zu einem einzigen Multi-Task-Modell zu kombinieren. Das vorherrschende Paradigma, die Task Arithmetic, zerlegt die feinabgestimmten Gewichte in vortrainierte Parameter ($\theta_0$) und Task-Vektoren ($\Delta_t = \theta_t - \theta_0$), wobei die Zusammenführung ausschließlich im Raum der Task-Vektoren erfolgt. Dieser Ansatz setzt implizit voraus, dass das gesamte aufgabenspezifische Wissen innerhalb der Task-Vektoren kodiert ist, während das vortrainierte Modell lediglich als gemeinsamer Initialisierungspunkt dient.

Die Autoren stellen diese Annahme infrage und argumentieren, dass diese nicht hält, da sie aufgrund der intrinsischen Aufgabenpräferenzen vortrainierter Modelle nicht erfüllt wird. Sie identifizieren ein Phänomen, bei dem aufgabenkritisches Wissen im vortrainierten Modell „verankert“ bleibt, anstatt vollständig in die Task-Vektoren übertragen zu werden. Diese Dimensionen, die als Load-Bearing Wall (LBW) Dimensionen (tragende Wand-Dimensionen) bezeichnet werden, weisen während des Fine-Tunings vernachlässigbare Aktualisierungen auf (kleines $|\Delta_t|$), sind jedoch essenziell für die Aufrechterhaltung der Aufgabenleistung. Bestehende Merging-Methoden, die ausschließlich auf Task-Vektoren operieren, überschreiben oder verzerren diese LBW-Dimensionen unbeabsichtigt, wenn sie mehrere Aufgaben aggregieren, was zu einer Verschlechterung der Leistung führt.

Methodik: PACT (Preserve Anchored Cores)

Um die Verwundbarkeit der LBW-Dimensionen zu adressieren, schlagen die Autoren PACT vor, ein datenfreies Framework, das darauf ausgelegt ist, das in der vortrainierten Architektur verankerte aufgabenspezifische Wissen während des Merging-Prozesses zu schützen.

1. Identifizierung von LBW-Dimensionen

Das Paper charakterisiert LBW-Dimensionen aus zwei Perspektiven:

• Skalar-Gewichts-Perspektive: Unter Verwendung von Fisher-Information und Enrichment-Scores identifizieren die Autoren spezifische Parameter, die eine geringe Magnitude im Task-Vektor, aber eine hohe Sensitivität gegenüber dem Task-Loss aufweisen.
• Subraum-Perspektive: Unter Verwendung der Singulärwertzerlegung (SVD) definieren die Autoren den LBW-Subraum ($V_{t,LBW}$) für eine Aufgabe $t$. Dieser wird durch Projektion des Hauptsubraums der vortrainierten Gewichte ($V_{0,K}$) auf die orthogonale Komplementär des aktiven Update-Subraums der Aufgabe ($V_{t,k}$) abgeleitet. Formal:
  $$V_{t,LBW} = \text{orth}\left((I - V_{t,k}V_{t,k}^\top)V_{0,K}\right)$$
  Dieser Subraum erfasst die für die Aufgabe kritischen Richtungen der vortrainierten Merkmale, die während des Fine-Tunings unberührt bleiben.

2. Der PACT-Algorithmus

PACT operiert durch das Filtern von Task-Vektoren, bevor Standard-Merging-Algorithmen (z. B. Task Arithmetic, TSV-M, Iso-C) angewendet werden. Der Kernmechanismus besteht darin, für jede Aufgabe einen Globalen Orthogonalen Schild zu konstruieren, um zu verhindern, dass deren Updates mit den LBW-Subräumen anderer Aufgaben interferieren.

• Schild-Konstruktion: Für eine spezifische Aufgabe $t$ aggregiert der Algorithmus die LBW-Subräume aller anderen Aufgaben ($V_{j,LBW}$ für $j \neq t$) und konstruiert eine einheitliche Orthonormalbasis $V_{t}^{protect}$ mittels QR-Zerlegung. Dieser Schild repräsentiert die Vereinigung der kritischen vortrainierten Abhängigkeiten, die von allen anderen Aufgaben benötigt werden.
• Filterung: Der Task-Vektor $\Delta_t$ wird auf das orthogonale Komplement dieses Schildes projiziert, um Komponenten zu entfernen, die die „heiligen Räume“ anderer Aufgaben überschreiben würden:
  $$\tilde{\Delta}_t = \Delta_t - \Delta_t V_{t}^{protect}(V_{t}^{protect})^\top$$
• Merging: Die gefilterten Vektoren $\{\tilde{\Delta}_t\}$ werden anschließend unter Verwendung bestehender Algorithmen zusammengeführt.

3. Effiziente Variante (Randomized SVD)

Um die Skalierbarkeit zu verbessern, schlagen die Autoren eine effiziente Variante unter Verwendung von Randomized SVD (RSVD) vor. Da PACT primsär die Extraktion der Top-$k$ Singulärvektoren erfordert, approximiert RSVD diese Komponenten mit signifikant reduzierter Rechenkomplexität ($O(mnk)$ statt $O(mn^2)$ oder $O(n^3)$) und geringerem Speicherbedarf, während es gleichzeitig als impliziter Regularisierer wirkt, der hochfrequentes Rauschen glättet.

Zentrale Beiträge

1. Überprüfung der Task-Arithmetic-Annahmen: Das Paper demonstriert empirisch, dass Task-Vektoren nicht das gesamte aufgabenspezifische Wissen erfassen. Es identifiziert und validiert kausal die Existenz von LBW-Dimensionen – Parameter, die kaum Aktualisierungen erfahren, aber entscheidend für die Leistung sind.
2. Kausale Validierung: Durch kontrollierte Perturbations-Experimente (auf Skalar- und Subraum-Ebene) zeigen die Autoren:
   • Die Modifikation von LBW-Dimensionen (selbst bei geringer Magnitude) verursacht katastrophale Leistungseinbrüche.
   • Standardmäßiges Merging überschreibt diese Dimensionen; die Wiederherstellung dieser Dimensionen stellt die Leistung wieder her.
   • Die Subraum-Ablation von LBW-Komponenten führt zu einer Leistungsdegradation, die um Größenordnungen größer ist als eine zufällige Subraum-Ablation.
3. PACT-Framework: Der Vorschlag eines datenfreien, geometrischen Frameworks, das orthogonale Schilde konstruiert, um interferierende Updates zu filtern, und sich nahtlos in bestehende skalar- oder subraum-basierte Merging-Methoden integrieren lässt.
4. Theoretische Analyse: Die Autoren liefern theoretische Schranken, die zeigen, dass die durch PACTs Filterung verursachte Leistungsdegradation durch die Projektion des Task-Gradienten und des Updates auf den Schutzraum kontrolliert wird, wodurch sichergestellt wird, dass die Eigenleistung erhalten bleibt, sofern das Task-Update in seinem aktiven Subraum konzentriert ist.

Experimentelle Ergebnisse

Umfangreiche Experimente wurden auf Vision-Benchmarks (ViT-B/32, ViT-B/16, ViT-L/14) über 8, 14 und 20 Aufgaben hinweg durchgeführt, wobei sowohl Full Fine-Tuning als auch LoRA Fine-Tuning Settings abgedeckt wurden.

• Leistungssteigerungen: PACT verbessert mainstream Merging-Methoden (Task Arithmetic, TSV-M, Iso-C) konsistent.
  • PACT-Iso-C erreicht State-of-the-Art (S-OTA) Performance in allen 9 evaluierten Szenarien (3 Backbones $\times$ 3 Aufgabenanzahlen).
  • Im 20-Aufgaben-Szenario mit ViT-L/14 erreicht PACT-Iso-C eine absolute Genauigkeit von 95,1 % und eine normalisierte Genauigkeit von 98,3 % und übertrifft damit den bisherigen Bestwert (Iso-CTS) deutlich.
• LoRA-Adaption: PACT verbessert auch die Merging-Performance für LoRA-feinabgestimmte Modelle und zeigt, dass LBW-Effekte bestehen bleiben, selbst wenn die vortrainierten Parameter während des Fine-Tunings eingefroren sind (da das LBW-Wissen im Basismodell residiert).
• Effizienz: Die RSVD-Variante erzielt eine vergleichbare Performance wie die vollständige SVD (und manchmal sogar eine bessere aufgrund impliziter Denoising-Effekte), während sie die Rechenkomplexität drastisch reduziert.
• Ablationsstudien:
  • Statisch vs. Dynamisch: Ein statischer Baseline (S-PACT), der nur gegen den vortrainierten Kern filtert, ohne die LBW-Subräume anderer Aufgaben zu berücksichtigen, liefert nur begrenzte Gewinne, was die Notwendigkeit eines dynamischen, gegenseitigen Schutzes unterstreicht.
  • Schichtweise Tiefe: Das Filtern früher, fundamentaler Schichten (wo die Intrusion-Energie am höchsten ist) liefert die signifikantesten Verbesserungen, obwohl für hohe Aufgabenlasten ein globales Filtern erforderlich ist.

Bedeutung und Ansprüche

Das Paper behauptet, dass Model Merging nicht nur darin besteht, Konflikte zwischen Task-Updates zu lösen, sondern auch darin, die kritischen vortrainierten Fundamente aktiv zu respektieren und zu schützen. Durch die Identifizierung der „Load-Bearing Wall“-Dimensionen decken die Autoren eine fundamentale blinde Stelle bestehender Task-Vektor-basierter Methoden auf: Sie manipulieren das, was explizit in den Task-Vektoren kodiert ist, übersehen aber das Wissen, das implizit im vortrainierten Modell gespeichert ist.

Die Bedeutung von PACT liegt in seiner Fähigkeit:

• Eine geometrische Perspektive auf das Model Merging zu bieten, die bestehende algebraische Ansätze ergänzt.
• Eine modulare, datenfreie Lösung bereitzustellen, die in jede bestehende Task-Vektor-Merging-Pipeline integriert werden kann, ohne Zugriff auf die ursprünglichen Trainingsdaten zu benötigen.
• Neue SOTA-Performance über diverse Vision-Aufgaben und Modellskalen hinweg zu etablieren und zu beweisen, dass der Schutz der verankerten Kerne für eine robuste Multi-Task-Synthese essenziell ist.

Die Autoren kommen zu dem Schluss, dass PACT zwar einen gewissen Rechenaufwand einführt (der durch die RSVD-Variante gemildert wird), aber einen notwendigen Paradigmenwechsel darstellt, um die strukturellen Abhängigkeiten zu handhaben, die während des Mergings in vortrainierten Modellen inhärent sind. Zukünftige Arbeiten sollen dieses Framework auf Large Language Models (LLMs) ausweiten und adaptive Dimensionalitäten für die Schutzschilde untersuchen.