💻 computer science

DRIFT: Transferring Reasoning Priors for Efficient MLLM Fine-Tuning

Das Papier schlägt DRIFT vor, eine leichte Feinabstimmungsmethode, die reasoning-Fähigkeiten von rein textbasierten LLMs effizient auf multimodale Modelle überträgt, indem ein vorberechneter Reasoning-Prior in den Gradientenraum injiziert wird, wodurch die Instabilität des naiven Parameter-Mergings überwunden wird und gleichzeitig überlegene Leistung bei deutlich geringeren Rechenkosten erreicht wird.

Ursprüngliche Autoren: Chao Huang, Zeliang Zhang, Jiang Liu, Ximeng Sun, Jialian Wu, Xiaodong Yu, Ze Wang, Chenliang Xu, Emad Barsoum, Zicheng Liu

Veröffentlicht 2026-04-28

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chao Huang, Zeliang Zhang, Jiang Liu, Ximeng Sun, Jialian Wu, Xiaodong Yu, Ze Wang, Chenliang Xu, Emad Barsoum, Zicheng Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei völlig unterschiedliche Experten:

Der Text-Zauberer: Ein brillanter Mathematiker, der komplexe Logikrätsel lösen und schrittweise Lösungen ausarbeiten kann, aber noch nie in seinem Leben ein Bild gesehen hat.
Der Bildkünstler: Ein talentierter Künstler, der ein Foto perfekt beschreiben, Objekte identifizieren und Diagramme verstehen kann, aber Schwierigkeiten hat, die in diesen Bildern verborgenen mathematischen Probleme zu lösen.

Das Ziel dieses Papiers ist es, dem Bildkünstler beizubringen, wie der Text-Zauberer zu denken, ohne ihn für Jahre teurer Ausbildung zurück in die Schule schicken zu müssen.

Das Problem: Der Versuch einer „schlechten Ehe"

Früher versuchten Forscher, diese beiden Experten zu kombinieren, indem sie ihre Gehirne (ihre Computer-Gewichte) einfach „verschmolzen". Sie dachten: „Wenn wir 50 % des Gehirns des Mathematik-Zauberers mit 50 % des Gehirns des Künstlers mischen, erhalten wir einen perfekten Mathematik-Künstler."

Das Papier nennt dies naives Verschmelzen. Die Autoren stellten fest, dass dies meist scheitert. Es ist, als würde man versuchen, einen Jet-Triebwerk auf ein Fahrrad zu kleben. Manchmal funktioniert es ein wenig, aber oft zerstört es das Fahrrad vollständig. Der „Mathematik"-Teil wird vom „Kunst"-Teil verwirrt, und der „Kunst"-Teil vergisst, wie man sieht. Das Ergebnis ist ein Modell, das sowohl in Mathematik als auch beim Sehen schlechter ist als zuvor.

Die Lösung: DRIFT (Der Kompass)

Die Autoren schlagen eine neue Methode namens DRIFT (Directional Reasoning Injection for Fine-Tuning) vor. Anstatt die beiden Gehirne physisch zusammenzukleben, verwenden sie einen Kompass.

So funktioniert die Analogie:

Erfassung der Differenz: Zuerst betrachten die Forscher den Unterschied zwischen dem Text-Zauberer und dem Bildkünstler. Sie berechnen einen „Vektor" (einen Richtungsvektor), der genau von „Wie der Künstler denkt" zu „Wie der Zauberer denkt" zeigt. Dieser Pfeil repräsentiert die Reasoning Prior (Schlussfolgerungs-Präferenz).
Die Trainingsreise: Sie nehmen den Bildkünstler und beginnen, ihn mit einer kleinen Menge an Bild-Mathematik-Aufgaben zu unterrichten (nur 4.000 Beispiele, was winzig ist im Vergleich zu den Millionen, die normalerweise benötigt werden).
Die Kompassführung: Während der Künstler lernt, berechnet der Computer den normalen Weg, um das Gehirn des Künstlers zu aktualisieren. Doch bevor die Aktualisierung erfolgt, betrachtet er den Kompass (die Reasoning Prior). Er stößt die Lernrichtung des Künstlers sanft in die Denkweise des Zauberers.
- Er zwingt den Künstler nicht, zum Zauberer zu werden.
- Er sagt nur: „Hey, wenn du das löst, versuche, in dieser spezifischen Richtung zu denken, die der Zauberer verwendet."

Warum das eine große Sache ist

Geschwindigkeit: Herkömmliche Methoden, um einer KI das Schlussfolgern beizubringen, erfordern enorme Datenmengen und dauern Tage oder Wochen des Supercomputer-Trainings. DRIFT erledigt dies in etwa zwei Stunden.
Effizienz: Es wird keine riesige Bibliothek an Bild-Mathematik-Aufgaben benötigt. Es wird nur eine kleine, hochwertige Menge benötigt, da der „Kompass" (die vorausberechnete Richtung) die meiste schwere Arbeit leistet.
Sicherheit: Im Gegensatz zur „Klebemethode" zerstört DRIFT nicht die Fähigkeit des Künstlers zu sehen. Das Papier zeigt, dass das Modell besser in Mathematik wird, ohne zu vergessen, wie man Bilder beschreibt.

Das Ergebnis

Durch die Verwendung dieses „Kompasses" zur Steuerung des Trainings lernt der Bildkünstler, Informationen logisch zu verketten, genau wie der Text-Zauberer. Das Papier beweist, dass diese Methode besser funktioniert als der Versuch, die Modelle zusammenzukleben, und viel schneller und kostengünstiger ist als das Training von Grund auf mit riesigen Datensätzen.

Kurz gesagt: Anstatt zwei verschiedene Gehirne zu zwingen, zu einem chaotischen Klumpen zu verschmelzen, lenkt DRIFT ein Gehirn sanft in die richtige Richtung, indem es eine Karte verwendet, die aus dem anderen erstellt wurde.

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben bedeutende Fortschritte in der Wahrnehmung und Ausrichtung erzielt, hinken jedoch textbasierten Large Language Models (LLMs) bei den Fähigkeiten zum logischen Schlussfolgern (z. B. mathematisches und logisches Reasoning) konsistent hinterher.

Aktuelle Engpässe: Die Überbrückung dieser Lücke erfordert typischerweise:
1. Groß angelegtes multimodales Supervised Fine-Tuning (SFT): Die Sammlung hochwertiger Chain-of-Thought (CoT)-Daten für Bilder ist teuer und arbeitsintensiv.
2. Reinforcement Learning (RL): Führt zu zusätzlichem Rechenaufwand und Trainingsinstabilität.
Die Einschränkung des Modell-Mergings: Eine vielversprechende Alternative ist das Merging von Modellen im Parameterraum (Interpolation der Gewichte zwischen einem textbasierten Reasoning-Experten und einem MLLM). Die Autoren zeigen jedoch, dass naives Merging anfällig ist. Es versagt häufig beim effektiven Transfer von Reasoning-Fähigkeiten und kann die multimodale Wahrnehmung und Ausrichtung erheblich verschlechtern, insbesondere wenn die zugrundeliegenden Modelle (z. B. die Qwen-Serie) divergierende Parameterverteilungen aufweisen.

2. Methodik: DRIFT

Die Autoren schlagen DRIFT (Directional Reasoning Injection for Fine-Tuning) vor, eine leichte, gradientenbasierte Methode, die Reasoning-Wissen überträgt, ohne das Modell zu destabilisieren.

Kernkonzept

Anstatt Gewichte direkt im Parameterraum zu interpolieren, operiert DRIFT im Gradientenraum. Es behandelt den Unterschied zwischen einem textbasierten Reasoning-Experten und einem multimodalen Modell als eine „Reasoning-Richtung" (Prior) und nutzt diese, um die Optimierungstrajektorie während des standardmäßigen SFT zu beeinflussen.

Schlüsselschritte

Vorab-Berechnung des Reasoning-Priors ( $\Delta$ ):
- Berechnung der Parameterdifferenz zwischen einem textbasierten Reasoning-Modell ( $\phi_{reason}$ ) und dem Ziel-multimodalen Modell ( $\phi_{VL}$ ):
  $\Delta = \phi_{reason} - \phi_{VL}$
- Diese Differenz wird auf für das Reasoning relevante Module beschränkt (MLP-Projektionen, Attention-Projektionen und Normalisierungsschichten).
- $\Delta$ wird einmalig berechnet und auf der CPU gespeichert.
Gradienten-Injektion während des SFT:
- Während des supervised fine-tuning des MLLM auf einer kleinen Menge multimodaler Daten wird der Standard-Gradient ( $g$ ) modifiziert.
- Der geführte Gradient ( $\tilde{g}$ ) wird berechnet als:
  $\tilde{g} = g + \alpha \cdot \text{scale}(g, \Delta)$
- Skalierungsstrategien: Das Paper untersucht drei Varianten:
  - Absolut: Fügt $\Delta$ direkt hinzu.
  - Grad-Norm: Richtet die Update-Richtung an $\Delta$ aus, während die Magnitude von $g$ erhalten bleibt.
  - Grad-Norm mit adaptivem $\alpha$ : Passt die Injektionsstärke dynamisch basierend auf der Kosinus-Ähnlichkeit zwischen dem aktuellen Gradienten und dem Prior ( $\Delta$ ) an.
Effizienz:
- DRIFT führt keine zusätzlichen trainierbaren Parameter ein.
- Es modifiziert nur den Backward-Pass (Gradientenberechnung) und lässt den Forward-Pass unverändert.
- Es erfordert lediglich einen kleinen kuratierten Datensatz (4K Beispiele) im Vergleich zu den massiven Datensätzen, die für Standard-SFT oder RL benötigt werden.

3. Hauptbeiträge

Empirische Analyse des Mergings: Die Autoren zeigen rigoros, dass das Merging im Parameterraum kein „kostenloses Mittagessen" ist. Es ist hochsensibel gegenüber Modellfamilien; während es bei einigen funktioniert (z. B. LLaMA/Mistral), verschlechtert es die Leistung bei anderen (z. B. Qwen) oft aufgrund von Parameterfehlausrichtung.
DRIFT-Framework: Einführung einer neuartigen, leichten Methode, die Reasoning-Priors durch Gradientenführung statt durch Gewichtsinterpolation injiziert, wodurch die multimodale Ausrichtung erhalten und das Reasoning verbessert wird.
Effizienz und Leistung: Es wird demonstriert, dass DRIFT Reasoning-Fähigkeiten erreicht, die mit trainingsintensiven Methoden (SFT + RL) vergleichbar sind, jedoch mit um Größenordnungen weniger Daten und Rechenzeit (ca. 2 Stunden vs. >1 Tag).

4. Experimentelle Ergebnisse

Die Methode wurde auf Benchmarks wie MathVista, MathVision, MathVerse, WeMath und LogicVista evaluiert.

vs. Parameter-Merging: DRIFT übertrifft konsistentes naives Merging und fortgeschrittene Merging-Techniken (Task Arithmetic, TIES, DARE). Während Merging oft die Scores reduzierte (z. B. -2,1 auf MathVista für Qwen2.5-VL), verbesserte DRIFT sie (+2,0).
vs. Standard-SFT: DRIFT übertrifft Standard-SFT, das auf demselben kleinen Datensatz trainiert wurde, und beweist, dass der Reasoning-Prior wertvolle komplementäre Signale liefert.
vs. Trainingsintensive Methoden: DRIFT entspricht oder übertrifft schwere Methoden wie R1-OneVision und X-Reasoner (die Tage an Training und massive CoT-Datensätze erfordern), während es in ~2 Stunden mit nur 4K hochwertigen Beispielen abgeschlossen wird.
Generalisierung:
- Wahrnehmung: Im Gegensatz zum Standard-SFT, das manchmal die allgemeine Wahrnehmung verschlechterte (z. B. bei RealWorldQA), bewahrte oder verbesserte DRIFT die multimodalen Wahrnehmungsfähigkeiten leicht.
- Robustheit: DRIFT zeigte eine bessere Robustheit gegenüber verrauschten Daten im Vergleich zum Standard-SFT.
- Allgemeingültigkeit: Die Methode funktionierte über verschiedene Backbone/Experten-Kombinationen hinweg (z. B. LLaVA + DART, Qwen + DeepSeek-R1).

5. Bedeutung

Demokratisierung des Reasoning: DRIFT senkt die Einstiegshürde für die Erstellung von Reasoning-fähigen MLLMs. Es eliminiert die Notwendigkeit für teure, groß angelegte multimodale CoT-Datensammlung und mehrwöchiges RL-Training.
Stabilität: Es löst die Instabilitätsprobleme, die mit naivem Modell-Merging verbunden sind, und bietet eine robuste Möglichkeit, die „Vision" von MLLMs mit dem „Reasoning" textbasierter Experten zu kombinieren.
Praktikabilität: Die Methode lässt sich nahtlos in bestehende SFT-Pipelines (z. B. über LLaMA-Factory) integrieren, mit vernachlässigbarem Overhead, was sie sowohl für die Forschung als auch für die industrielle Bereitstellung hochskalierbar macht.

Zusammenfassend zeigt DRIFT, dass Priors im Gradientenraum ein überlegener Mechanismus für den Transfer von Reasoning-Fähigkeiten im Vergleich zum Merging im Parameterraum sind und einen hocheffizienten, stabilen und effektiven Weg bieten, um die Reasoning-Lücke in multimodalen Modellen zu schließen.