DRIFT: Transferring Reasoning Priors for Efficient MLLM Fine-Tuning

1. Enunciato del Problema

I Modelli Linguistici Multimodali di grandi dimensioni (MLLM) hanno compiuto progressi significativi nella percezione e nell'allineamento, ma rimangono costantemente indietro rispetto ai Modelli Linguistici di grandi dimensioni (LLM) basati solo su testo per quanto riguarda le capacità di ragionamento (ad esempio, ragionamento matematico e logico).

• Colli di bottiglia attuali: Colmare questo divario richiede tipicamente:
  1. Fine-Tuning Supervisionato (SFT) Multimodale su larga scala: La raccolta di dati di alta qualità con Catena di Pensiero (CoT) per le immagini è costosa e laboriosa.
  2. Apprendimento per Rinforzo (RL): Aggiunge sovraccarico computazionale e instabilità nell'addestramento.
• Il limite del merging di modelli: Un'alternativa promettente è il merging di modelli nello spazio dei parametri (interpolazione dei pesi tra un esperto di ragionamento basato solo su testo e un MLLM). Tuttavia, gli autori dimostrano che un merging ingenuo è fragile. Spesso fallisce nel trasferire efficacemente il ragionamento e può degradare severamente la percezione multimodale e l'allineamento, in particolare quando i modelli sottostanti (ad esempio, la serie Qwen) hanno distribuzioni dei parametri divergenti.

2. Metodologia: DRIFT

Gli autori propongono DRIFT (Directional Reasoning Injection for Fine-Tuning), un metodo leggero basato sul gradiente che trasferisce conoscenze di ragionamento senza destabilizzare il modello.

Concetto Chiave

Invece di interpolare direttamente i pesi nello spazio dei parametri, DRIFT opera nello spazio dei gradienti. Tratta la differenza tra un esperto di ragionamento basato solo su testo e un modello multimodale come una "direzione di ragionamento" (priorità) e la utilizza per orientare la traiettoria di ottimizzazione durante lo SFT standard.

Passaggi Chiave

1. Pre-calcolo della Priorità di Ragionamento ($\Delta$):

   • Calcolo della differenza dei parametri tra un modello di ragionamento basato solo su testo ($\phi_{reason}$) e il modello multimodale target ($\phi_{VL}$):
     $$\Delta = \phi_{reason} - \phi_{VL}$$
   • Questa differenza è limitata ai moduli rilevanti per il ragionamento (proiezioni MLP, proiezioni di attenzione e livelli di normalizzazione).
   • $\Delta$ viene calcolato una volta e memorizzato sulla CPU.

2. Iniezione del Gradiente durante lo SFT:

   • Durante il fine-tuning supervisionato dell'MLLM su una piccola quantità di dati multimodali, il gradiente standard ($g$) viene modificato.
   • Il gradiente guidato ($\tilde{g}$) è calcolato come:
     $$\tilde{g} = g + \alpha \cdot \text{scale}(g, \Delta)$$
   • Strategie di Scalatura: Il paper esplora tre varianti:
     • Assoluta: Aggiunge direttamente $\Delta$.
     • Grad-Norm: Allinea la direzione di aggiornamento con $\Delta$ preservando la magnitudine di $g$.
     • Grad-Norm con $\alpha$ Adattivo: Regola dinamicamente la forza dell'iniezione in base alla similarità coseno tra il gradiente corrente e la priorità ($\Delta$).

3. Efficienza:

   • DRIFT non introduce parametri addestrabili aggiuntivi.
   • Modifica solo il passaggio di retropropagazione (calcolo del gradiente), lasciando invariato il passaggio in avanti.
   • Richiede solo un piccolo dataset curato (4K esempi) rispetto ai dataset massicci necessari per lo SFT standard o il RL.

3. Contributi Chiave

1. Analisi Empirica del Merging: Gli autori dimostrano rigorosamente che il merging nello spazio dei parametri non è una "pagnotta gratis". È altamente sensibile alle famiglie di modelli; mentre funziona per alcune (ad esempio, LLaMA/Mistral), spesso degrada le prestazioni in altre (ad esempio, Qwen) a causa di un disallineamento dei parametri.
2. Framework DRIFT: Introduzione di un metodo nuovo e leggero che inietta priorità di ragionamento tramite guida del gradiente piuttosto che interpolazione dei pesi, preservando l'allineamento multimodale mentre potenzia il ragionamento.
3. Efficienza e Prestazioni: Dimostrazione che DRIFT raggiunge capacità di ragionamento comparabili ai metodi ad alta intensità di addestramento (SFT + RL) ma con ordini di grandezza meno dati e tempo di calcolo (circa 2 ore vs >1 giorno).

4. Risultati Sperimentali

Il metodo è stato valutato su benchmark inclusi MathVista, MathVision, MathVerse, WeMath e LogicVista.

• vs. Merging di Parametri: DRIFT supera costantemente il merging ingenuo e le tecniche di merging avanzate (Task Arithmetic, TIES, DARE). Mentre il merging spesso riduceva i punteggi (ad esempio, -2.1 su MathVista per Qwen2.5-VL), DRIFT li ha migliorati (+2.0).
• vs. SFT Standard: DRIFT supera lo SFT standard addestrato sullo stesso piccolo dataset, dimostrando che la priorità di ragionamento fornisce segnali complementari preziosi.
• vs. Metodi ad Alta Intensità di Addestramento: DRIFT eguaglia o supera metodi pesanti come R1-OneVision e X-Reasoner (che richiedono giorni di addestramento e dataset CoT massicci) completando l'operazione in ~2 ore con soli 4K esempi di alta qualità.
• Generalizzazione:
  • Percezione: A differenza dello SFT standard che talvolta degradava la percezione generale (ad esempio, su RealWorldQA), DRIFT ha preservato o leggermente migliorato le capacità di percezione multimodale.
  • Robustezza: DRIFT ha mostrato una migliore robustezza ai dati rumorosi rispetto allo SFT standard.
  • Generalità: Il metodo ha funzionato attraverso diverse combinazioni backbone/esperto (ad esempio, LLaVA + DART, Qwen + DeepSeek-R1).

5. Significato

• Democratizzazione del Ragionamento: DRIFT abbassa la barriera all'ingresso per la creazione di MLLM capaci di ragionamento. Elimina la necessità di costose raccolte di dati CoT multimodali su larga scala e di addestramento RL di più giorni.
• Stabilità: Risolve i problemi di instabilità associati al merging ingenuo dei modelli, offrendo un modo robusto per combinare la "visione" degli MLLM con il "ragionamento" degli esperti basati solo su testo.
• Praticità: Il metodo si integra perfettamente nelle pipeline SFT esistenti (ad esempio, tramite LLaMA-Factory) con un sovraccarico trascurabile, rendendolo altamente scalabile sia per la ricerca che per il deployment industriale.

In conclusione, DRIFT dimostra che le priorità nello spazio dei gradienti sono un meccanismo superiore per trasferire capacità di ragionamento rispetto al merging nello spazio dei parametri, offrendo una via altamente efficiente, stabile ed efficace per colmare il divario di ragionamento nei modelli multimodali.