DRIFT: Transferring Reasoning Priors for Efficient MLLM Fine-Tuning

1. Probleemstelling

Multimodale Grote Taalmodellen (MLLM's) hebben aanzienlijke vooruitgang geboekt in perceptie en uitlijning, maar blijven consequent achter bij tekst-only Grote Taalmodellen (LLM's) op het gebied van redeneercapaciteiten (bijvoorbeeld wiskundig en logisch redeneren).

• Huidige Knelpunten: Het overbruggen van deze kloof vereist doorgaans:
  1. Grootschalige Multimodale Supervised Fine-Tuning (SFT): Het verzamelen van hoogwaardige Chain-of-Thought (CoT)-data voor afbeeldingen is duur en arbeidsintensief.
  2. Versterkend Leren (RL): Voegt rekenkundige overhead en trainingsinstabiliteit toe.
• De Beperking van Model Merging: Een veelbelovend alternatief is parameter-ruimte model merging (interpoleren van gewichten tussen een tekst-only redeneerexpert en een MLLM). De auteurs tonen echter aan dat naïef merging kwetsbaar is. Het faalt vaak om redeneren effectief over te dragen en kan multimodale perceptie en uitlijning ernstig verslechteren, met name wanneer de onderliggende modellen (bijvoorbeeld de Qwen-serie) divergente parameterverdelingen hebben.

2. Methodologie: DRIFT

De auteurs stellen DRIFT (Directional Reasoning Injection for Fine-Tuning) voor, een lichtgewicht, op gradiënten gebaseerde methode die redeneerkennis overdraagt zonder het model te destabiliseren.

Kernconcept

In plaats van gewichten direct te interpoleren in de parameter-ruimte, werkt DRIFT in de gradiënt-ruimte. Het behandelt het verschil tussen een tekst-only redeneerexpert en een multimodaal model als een "redeneringsrichting" (prior) en gebruikt dit om de optimalisatietraject tijdens standaard SFT te beïnvloeden.

Belangrijkste Stappen

1. Pre-computatie van Redeneringsprior ($\Delta$):

   • Bereken het parameterverschil tussen een tekst-only redeneermodel ($\phi_{reason}$) en het doel multimodale model ($\phi_{VL}$):
     $$\Delta = \phi_{reason} - \phi_{VL}$$
   • Dit verschil wordt beperkt tot redeneringsrelevante modules (MLP-projecties, attention-projecties en normalisatielagen).
   • $\Delta$ wordt één keer berekend en opgeslagen op de CPU.

2. Gradiënt Injectie tijdens SFT:

   • Tijdens de supervised fine-tuning van de MLLM op een kleine hoeveelheid multimodale data, wordt de standaardgradiënt ($g$) aangepast.
   • De geleide gradiënt ($\tilde{g}$) wordt berekend als:
     $$\tilde{g} = g + \alpha \cdot \text{scale}(g, \Delta)$$
   • Schalingsstrategieën: Het artikel onderzoekt drie varianten:
     • Absoluut: Voegt $\Delta$ direct toe.
     • Grad-Norm: Richt de update-richting uit met $\Delta$ terwijl de grootte van $g$ behouden blijft.
     • Grad-Norm met Adaptieve $\alpha$: Past de injectiesterkte dynamisch aan op basis van de cosinus-similariteit tussen de huidige gradiënt en de prior ($\Delta$).

3. Efficiëntie:

   • DRIFT introduceert geen extra trainbare parameters.
   • Het wijzigt alleen de backward pass (gradiëntberekening), waarbij de forward pass ongewijzigd blijft.
   • Het vereist slechts een klein gecurateerd dataset (4K voorbeelden) in vergelijking met de enorme datasets die nodig zijn voor standaard SFT of RL.

3. Belangrijkste Bijdragen

1. Empirische Analyse van Merging: De auteurs tonen rigoureus aan dat parameter-ruimte merging geen "gratis lunch" is. Het is zeer gevoelig voor model-families; terwijl het werkt voor sommige (bijvoorbeeld LLaMA/Mistral), degradeert het vaak de prestaties in andere (bijvoorbeeld Qwen) door parameter-misalignement.
2. DRIFT Framework: Introductie van een nieuwe, lichtgewicht methode die redeneringsprioriteiten injecteert via gradiëntgeleiding in plaats van gewichtsinterpolatie, waardoor multimodale uitlijning behouden blijft terwijl redeneren wordt verbeterd.
3. Efficiëntie en Prestaties: Aangetoond dat DRIFT redeneercapaciteiten bereikt die vergelijkbaar zijn met trainingsintensieve methoden (SFT + RL), maar met ordes van grootte minder data en rekentijd (ongeveer 2 uur versus >1 dag).

4. Experimentele Resultaten

De methode werd geëvalueerd op benchmarks waaronder MathVista, MathVision, MathVerse, WeMath en LogicVista.

• T.o.v. Parameter Merging: DRIFT presteert consequent beter dan naïef merging en geavanceerde merging-technieken (Task Arithmetic, TIES, DARE). Waar merging vaak scores verlaagde (bijvoorbeeld -2.1 op MathVista voor Qwen2.5-VL), verbeterde DRIFT deze (+2.0).
• T.o.v. Standaard SFT: DRIFT presteert beter dan standaard SFT getraind op hetzelfde kleine dataset, wat bewijst dat de redeneringsprior waardevolle complementaire signalen biedt.
• T.o.v. Trainingsintensieve Methodes: DRIFT komt overeen met of overtreft zware methoden zoals R1-OneVision en X-Reasoner (die dagenlange training en enorme CoT-datasets vereisen), terwijl het voltooid wordt in ~2 uur met slechts 4K hoogwaardige voorbeelden.
• Generalisatie:
  • Perceptie: In tegenstelling tot standaard SFT, dat soms algemene perceptie verslechterde (bijvoorbeeld op RealWorldQA), behield DRIFT of verbeterde het lichtjes de multimodale perceptiecapaciteiten.
  • Robuustheid: DRIFT toonde betere robuustheid tegen ruis in data in vergelijking met standaard SFT.
  • Generaliteit: De methode werkte over verschillende backbone/expert-koppelingen heen (bijvoorbeeld LLaVA + DART, Qwen + DeepSeek-R1).

5. Betekenis

• Democratisering van Redeneren: DRIFT verlaagt de instapdrempel voor het creëren van redeneer-capabele MLLM's. Het elimineert de behoefte aan dure, grootschalige multimodale CoT-datacollectie en meerdaagse RL-training.
• Stabiliteit: Het lost de instabiliteitsproblemen op die geassocieerd zijn met naïef model merging, en biedt een robuuste manier om het "zicht" van MLLM's te combineren met het "redeneren" van tekst-only experts.
• Praktijktoepasbaarheid: De methode naadloos integreert in bestaande SFT-pijplijnen (bijvoorbeeld via LLaMA-Factory) met verwaarloosbare overhead, waardoor het zeer schaalbaar is voor zowel onderzoek als industriële implementatie.

Concluderend toont DRIFT aan dat gradiënt-ruimte priors een superieur mechanisme zijn voor het overdragen van redeneercapaciteiten in vergelijking met parameter-ruimte merging, en biedt een zeer efficiënte, stabiele en effectieve weg om de redeneerkloof in multimodale modellen te overbruggen.