MERGETUNE: Continued Fine-Tuning of Vision-Language Models

Die Arbeit stellt MERGETUNE vor, eine post-hoc-Strategie zur kontinuierlichen Feinabstimmung von Vision-Language-Modellen, die mithilfe von linearer Modellauswahl und einem zweiten-Ordnung-Surrogat vergessenes Vorwissen wiederherstellt und so die Generalisierungsfähigkeit ohne zusätzliche Parameter oder Datenwiedergabe signifikant verbessert.

Das Wesentliche

Das Problem: Der vergessliche Schüler

Stell dir vor, du hast einen sehr klugen Schüler namens CLIP. Dieser Schüler hat jahrelang die ganze Welt durch ein riesiges Fenster (das Internet) beobachtet und gelernt, Bilder mit Wörtern zu verbinden. Er kennt fast alles: Hunde, Autos, Berge, Kunst. Er ist ein „Null-Schuss-Experte" – er kann Dinge erkennen, ohne sie jemals speziell gelernt zu haben.

Jetzt willst du, dass dieser Schüler sich auf eine spezielle Aufgabe spezialisiert, zum Beispiel darauf, Hunderassen zu unterscheiden. Du bringst ihm also viele Bilder von Hunden bei und lässt ihn üben (dies nennt man „Fine-Tuning" oder Feinabstimmung).

Das Problem: Wenn der Schüler lernt, Hunderassen perfekt zu unterscheiden, vergisst er plötzlich alles andere! Er kann immer noch „Hund" sagen, aber er erkennt keine Katzen mehr, keine Autos und keine Landschaften. Er hat sich so sehr auf die Hunde spezialisiert, dass er das alte Wissen „überschrieben" hat. Das nennt man „katastrophales Vergessen".

Bisherige Methoden versuchten, den Schüler so zu trainieren, dass er das Alte nicht vergisst. Aber oft klappte das nicht perfekt. Der Schüler war entweder gut in Hunden, aber schlecht im Rest, oder umgekehrt.

Die Lösung: MERGETUNE – Der „Erinnerungs-Kurs"

Die Autoren dieses Papers haben eine neue Idee: MERGETUNE.

Stell dir vor, der Schüler hat die Hunde-Prüfung schon bestanden, aber er hat dabei sein Weltwissen verloren. Anstatt ihn neu zu unterrichten, geben wir ihm einen Nachhilfe-Kurs, der ihn wieder mit seinem alten, weisen Ich verbindet.

Hier ist die Magie, wie es funktioniert:

1. Die zwei Versionen:

   • Version A (Der Weise): Der ursprüngliche Schüler, der alles kennt, aber keine Hunde-Experte ist.
   • Version B (Der Spezialist): Der Schüler, der jetzt ein Hunde-Experte ist, aber den Rest vergessen hat.

2. Die Brücke bauen (Die Geometrie des Wissens):
   Normalerweise sind diese beiden Versionen wie zwei Inseln, die weit voneinander entfernt sind. Wenn man sie einfach mischt (wie zwei Farben in einem Eimer), entsteht oft ein schmutziges Grau, das nichts kann.

   MERGETUNE sucht aber nach einer geheimen Brücke zwischen diesen beiden Inseln. Die Forscher glauben, dass es im „Gehirn" des Modells einen sanften Pfad gibt, der beide Versionen verbindet, ohne dass man dabei über steile Klippen (schlechte Ergebnisse) fallen muss.

3. Der Trick ohne riesige Bibliothek:
   Um diese Brücke zu finden, müsste man normalerweise die riesige Bibliothek (die Daten, mit denen der Schüler ursprünglich gelernt hat) wieder durchblättern. Das ist aber unmöglich, weil diese Daten zu groß sind oder nicht mehr verfügbar sind.

   Der Clevere Trick: MERGETUNE benutzt eine mathematische Schätzung (eine Art „Zweitbeste-Lösung"), die ausreicht, um dem Schüler zu sagen: „Hey, bleib nah an deinem alten Ich dran, während du die Hunde-Lektion behältst." Man braucht also nicht die ganze Bibliothek neu zu lesen.

Was passiert am Ende?

Nach diesem speziellen Kurs hat der Schüler eine neue Persönlichkeit:

• Er ist immer noch ein Hunde-Experte (er behält die Anpassung).
• Aber er hat sein Weltwissen zurückbekommen (er vergisst keine Katzen oder Autos mehr).

Er ist also wie ein Super-Held, der sowohl die Spezialkraft hat als auch die allgemeinen Fähigkeiten behält.

Warum ist das wichtig?

• Kein neuer Aufwand: Man muss das Modell nicht neu bauen. Man nimmt einfach das fertige, spezialisierte Modell und gibt ihm diesen „Erinnerungs-Kurs".
• Besser als alles andere: In Tests hat sich gezeigt, dass diese Methode besser funktioniert als alle bisherigen Versuche, das Vergessen zu verhindern. Der Schüler ist nicht nur spezialisiert, sondern auch robuster und kennt sich in neuen Situationen (wie anderen Ländern oder veränderten Bildern) viel besser aus.
• Einfach und elegant: Statt komplizierter neuer Bauteile zu erfinden, nutzen die Forscher die natürliche Struktur des neuronalen Netzwerks, um das Beste aus zwei Welten zu vereinen.

Zusammenfassung in einem Satz

MERGETUNE ist wie ein Zeitmaschinen-Kurs für künstliche Intelligenz: Es holt das vergessene Allgemeinwissen eines spezialisierten Modells zurück, indem es es sanft mit seinem ursprünglichen, klugen Ich verbindet, ohne dass man riesige Datenmengen neu durchsuchen muss.

Technische Zusammenfassung

1. Problemstellung

Vision-Language Models (VLMs) wie CLIP erreichen durch das Vortraining auf riesigen Web-Datensätzen eine starke Zero-Shot-Generalisierung. Um diese Modelle für spezifische Downstream-Aufgaben anzupassen, wird häufig Fine-Tuning eingesetzt. Ein bekanntes und schwerwiegendes Problem dabei ist das katastrophale Vergessen (Catastrophic Forgetting) des vortrainierten Wissens.

• Bestehende Ansätze: Parameter-effizientes Fine-Tuning (PEFT, z. B. CoOp) versucht, das Vergessen zu minimieren, indem nur leichte Module (Prompts, Adapter) aktualisiert werden. Robustes Fine-Tuning nutzt oft Ensembling (Mischung von Gewichten), um Generalisierung zu verbessern.
• Die Lücke: Trotz dieser Bemühungen bleibt das Vergessen oft unvermeidbar. PEFT-Methoden speichern das vortrainierte Wissen nicht vollständig (sie performen auf vielen Datensätzen schlechter als das reine CLIP-Modell), und bestehende Ensembling-Methoden führen oft zu instabilen Ergebnissen oder benötigen hohe Inferenzkosten.
• Ziel: Die Autoren schlagen vor, nicht das Vergessen während des Fine-Tunings zu verhindern, sondern das verlorene Wissen nachträglich (post hoc) wiederherzustellen, sobald das Modell bereits angepasst wurde.

2. Methodik: MERGETUNE

Die Autoren stellen MERGETUNE vor, eine neue Paradigmen-Änderung namens Continued Fine-Tuning (CFT). Das Ziel ist es, ein „fortgesetztes" Modell zu finden, das sowohl das Zero-Shot-Wissen (z. B. CLIP) als auch das Downstream-Anpassungswissen (z. B. CoOp) integriert.

Kernkonzept: Lineare Mode-Konnektivität (LMC)

Die Methode basiert auf der Beobachtung, dass verschiedene Lösungen im Gewichtsraum durch Pfade mit niedrigem Verlust (Low-Loss Paths) verbunden sein können.

• Idee: Man sucht ein neues Modell $w$, das sowohl zum Zero-Shot-Checkpoint $\hat{w}_1$ als auch zum Fine-Tuned-Checkpoint $\hat{w}_2$ durch lineare Interpolation mit niedrigem Verlust verbunden ist.
• Optimierungsziel: Das Modell $w$ soll so trainiert werden, dass die Verluste entlang der Interpolationspfade $\gamma(\alpha) = \hat{w} + \alpha(w - \hat{w})$ für beide Aufgaben minimal bleiben.

Herausforderung und Lösung: Der Second-Order Surrogate

Ein direktes Optimieren dieser LMC-Bedingung erfordert den Zugriff auf die ursprünglichen Vortrainingsdaten (z. B. den Web-Scale-Korpus von CLIP), was unmöglich oder rechnerisch prohibitiv ist.

• Lösung: Die Autoren führen einen Second-Order Surrogate ein. Sie approximieren den Verlust des Zero-Shot-Tasks ($L_1$) mittels einer Taylor-Entwicklung zweiter Ordnung um den Zero-Shot-Checkpoint $\hat{w}_1$.
• Unter der Annahme, dass $\hat{w}_1$ ein lokales Optimum ist (Gradient $\approx 0$) und die Krümmung isotrop ist, reduziert sich der Term auf einen einfachen Regularisierungsterm:
  $$R_{Task1} = \lambda \|w - \hat{w}_1\|^2$$
• Dies eliminiert die Notwendigkeit, die ursprünglichen Vortrainingsdaten zu replizieren.

Gesamt-Loss-Funktion

Der finale Loss für das Continued Fine-Tuning setzt sich aus drei Teilen zusammen:

1. Downstream Task Loss ($L_2$): Der normale Verlust auf den neuen Daten.
2. Surrogate Regularizer ($\lambda \|w - \hat{w}_1\|^2$): Hält das Modell nahe am Zero-Shot-Checkpoint, um das vergessene Wissen zu bewahren.
3. LMC-Regularizer ($\beta \cdot \mathbb{E}[L_2(\hat{w}_2 + \alpha(w - \hat{w}_2))]$): Erzwingt die lineare Konnektivität zum Fine-Tuned-Checkpoint. Da die Erwartungswertberechnung schwer ist, wird sie durch eine diskrete Approximation über wenige $\alpha$-Werte angenähert.

Eigenschaften:

• Modellagnostisch: Kann auf jede bereits fine-getunte VLM-Architektur angewendet werden (Prompts, Adapter, Lineare Köpfe), ohne die Architektur zu ändern.
• Post-Hoc: Kann auf existierende Checkpoints angewendet werden.

3. Hauptbeiträge

1. Neues Paradigma (CFT): Statt das Vergessen während des Trainings zu bekämpfen, wird ein neuer Ansatz vorgeschlagen, um vergessenes Wissen nachträglich wiederherzustellen.
2. MERGETUNE Algorithmus: Eine lernbasierte Merging-Methode, die durch LMC geleitet wird und einen rechnerisch effizienten Surrogate-Loss verwendet, um Daten-Replay zu vermeiden.
3. Breite Anwendbarkeit: Die Methode ist unabhängig von der spezifischen Fine-Tuning-Strategie (PEFT oder robustes Fine-Tuning) und erfordert keine zusätzlichen Parameter für die Inferenz.

4. Ergebnisse

Die Autoren evaluieren MERGETUNE auf mehreren Benchmarks (11 Datensätze für Few-Shot, Domain Generalization, Robust Fine-Tuning).

• Few-Shot Base-to-Novel Generalisation:

  • MERGETUNE verbessert die harmonische Mittelwert-Leistung (HM) von CoOp um +5,6 % ohne Hinzufügen von Parametern.
  • Im Gegensatz zu training-freien Merging-Methoden wie TIES oder DARE, die oft die Leistung verschlechtern, liefert MERGETUNE konsistent positive Verbesserungen über alle Baselines hinweg.
  • Je stärker das ursprüngliche Vergessen war (z. B. bei CoOp), desto größer war der Gewinn durch MERGETUNE.

• Cross-Dataset & Domain Generalisation:

  • Auf Datensätzen, auf denen das Modell nicht trainiert wurde (z. B. Flowers102, StanfordCars), zeigt MERGETUNE konsistente Verbesserungen.
  • Bei Domain-Shifts (ImageNet-Variationen wie Sketch, Adversarial) übertrifft MERGETUNE alle Baselines und zeigt eine höhere Robustheit als TIES oder DARE.

• Robustes Fine-Tuning (ID-OOD Trade-off):

  • In Szenarien mit vielen Trainingsdaten (Many-Shot) erreicht das MERGETUNE-Modell State-of-the-Art-Ergebnisse.
  • Es übertrifft komplexe Ensembling-Methoden (wie VRF) bei geringeren Inferenzkosten, da nur ein einziges Modell benötigt wird.
  • Durch einfaches Ensembling des MERGETUNE-Modells mit dem Zero-Shot-Modell werden weitere Verbesserungen erzielt, die in allen Fällen das reine CLIP-Modell übertreffen.

5. Bedeutung und Fazit

MERGETUNE adressiert ein fundamentales Problem beim Fine-Tuning von Foundation Models: den Kompromiss zwischen Anpassung an neue Aufgaben und Bewahrung des allgemeinen Wissens.

• Effizienz: Die Methode ist rechnerisch effizient (kein Replay von Vortrainingsdaten) und benötigt keine Architekturänderungen.
• Generalität: Sie funktioniert unabhängig davon, welche Fine-Tuning-Strategie zuvor verwendet wurde.
• Theoretische Einsicht: Die Arbeit unterstreicht die Bedeutung der geometrischen Struktur des Loss-Landscape (Lineare Mode-Konnektivität) für die Integration von Wissen aus verschiedenen Trainingsphasen.

Zusammenfassend bietet MERGETUNE einen robusten, post-hoc Ansatz, um die Generalisierungsfähigkeit von VLMs signifikant zu steigern, indem es das verlorene vortrainierte Wissen effektiv wiederherstellt, ohne die spezifischen Anpassungen an die Downstream-Aufgabe zu opfern. Der Code ist öffentlich verfügbar.