RL makes MLLMs see better than SFT

Lo studio dimostra che l'addestramento tramite Reinforcement Learning (RL) migliora significativamente le rappresentazioni visive dei modelli linguistici multimodali rispetto al fine-tuning supervisionato, portando alla proposta di PIVOT, un metodo efficiente per ottimizzare gli encoder visivi con costi computazionali inferiori all'1% rispetto al pre-addestramento standard.

L'essenziale

Immagina che un Multimodal Large Language Model (MLLM) sia come un detective molto colto. Questo detective ha due strumenti principali:

1. Una mente brillante (il modello linguistico o LLM) che sa leggere, ragionare e parlare benissimo.
2. Un cervello visivo (il vision encoder) che gli permette di "vedere" le foto.

Fino a poco tempo fa, la comunità scientifica pensava che il detective fosse intelligente solo grazie alla sua mente brillante. Si pensava che il cervello visivo fosse solo una telecamera passiva, che non cambiava mai.

Questa ricerca, intitolata "RL makes MLLMs see better than SFT", cambia completamente questa storia. Ecco la spiegazione semplice, con qualche metafora.

1. Il Problema: Due modi per addestrare il detective

Per rendere il detective più bravo, gli si mostrano migliaia di foto con le relative domande e risposte. Ci sono due metodi principali per farlo:

• SFT (Supervised Fine-Tuning): È come un professore severo. Ti mostra una foto, ti dà la risposta corretta e ti dice: "Ripetila". È un apprendimento per imitazione. Il detective impara a ripetere ciò che gli viene detto, ma spesso copia solo la risposta senza capire davvero la foto.
• RL (Reinforcement Learning - in questo caso DPO): È come un allenatore sportivo. Ti mostra una foto e due risposte: una buona e una cattiva. Ti chiede: "Quale delle due è meglio e perché?". Il detective deve confrontare le due opzioni, capire gli errori e imparare a distinguere il buono dal cattivo.

2. La Scoperta Sorprendente: Chi vede meglio?

Gli scienziati hanno scoperto che il metodo dell'allenatore (RL) rende il detective molto più bravo a vedere, specialmente nei compiti difficili (come leggere un testo scritto su un'immagine complessa o analizzare un grafico).

Ma la vera sorpresa è questa: non è solo la mente del detective a migliorare.
Quando si usa l'allenatore (RL), anche il cervello visivo (la telecamera) cambia fisicamente.

• Con il professore (SFT), il cervello visivo diventa un po' confuso: guarda l'immagine in modo dispersivo, come se cercasse di indovinare.
• Con l'allenatore (RL), il cervello visivo diventa super preciso. Impara a focalizzarsi esattamente sulla parte della foto che serve per rispondere alla domanda (ad esempio, se chiedi "Cosa tiene in mano la donna?", il cervello visivo impara a guardare solo le mani, ignorando il resto).

L'analogia:
Immagina di insegnare a un bambino a riconoscere un gatto.

• Con l'SFT, gli mostri 100 foto di gatti e gli dici "Questo è un gatto". Il bambino memorizza l'immagine.
• Con l'RL, gli mostri una foto di un gatto e una di un cane, e gli chiedi "Qual è il gatto?". Il bambino è costretto a guardare davvero le differenze (le orecchie, la coda, i baffi). Alla fine, il suo occhio impara a vedere i dettagli che prima ignorava.

3. La Soluzione Magica: PIVOT

Gli autori hanno preso questa intuizione e hanno creato una ricetta semplice chiamata PIVOT.
Invece di addestrare il cervello visivo da solo (cosa che richiede anni e computer costosissimi), usano l'allenatore (RL) per "aggiornare" il cervello visivo mentre lavora insieme al detective.

Il risultato è incredibile:

• Hanno preso un cervello visivo "vecchio" e piccolo (come un modello del 2023).
• Gli hanno fatto fare un po' di allenamento con l'allenatore (RL).
• Risultato: Questo cervello visivo "aggiornato" è diventato più bravo di un cervello visivo "nuovo" e gigantesco (del 2025) che è stato addestrato con i metodi vecchi.
• E il costo? Hanno usato meno dell'1% delle risorse computazionali necessarie per addestrare i modelli giganti. È come trasformare una Fiat 500 in una Ferrari con un semplice intervento meccanico, invece di costruire una nuova auto da zero.

In sintesi

Questa ricerca ci insegna che:

1. Il modo in cui impariamo conta più di quanto pensiamo: Non basta ripetere le risposte (SFT); confrontare e scegliere tra opzioni (RL) cambia fisicamente come vediamo il mondo.
2. Il cervello visivo non è statico: Può essere "riprogrammato" per vedere meglio, diventando più preciso e focalizzato.
3. Efficienza: Possiamo ottenere risultati da "supercomputer" con metodi intelligenti e poco costosi, semplicemente cambiando la strategia di allenamento.

È come scoprire che per diventare un grande chef non serve solo avere ingredienti costosi (modelli giganti), ma sapere come cucinarli con la tecnica giusta (Reinforcement Learning).

Sommario tecnico

1. Il Problema e il Contesto

La ricerca attuale sui Modelli Linguistici Multimodali (MLLM) si basa spesso sull'assunzione dominante che le prestazioni del modello derivino principalmente dal "backbone" del Large Language Model (LLM), a causa della sua enorme scala di parametri. Di conseguenza, c'è una significativa lacuna nella comprensione del codificatore visivo (vision encoder), che determina come l'MLLM percepisce le immagini.

Con il recente spostamento dei paradigmi di addestramento dai MLLM dal Fine-Tuning Supervisionato (SFT) al Reinforcement Learning (RL), questo oversight è stato amplificato. La comunità non ha ancora analizzato sistematicamente come queste diverse strategie di addestramento (SFT vs RL) ridisegnino le rappresentazioni visive sottostanti. La domanda centrale è: l'uso del RL (in particolare tecniche come DPO) migliora solo la capacità di seguire le istruzioni o modifica anche la qualità della percezione visiva?

2. Metodologia

Gli autori hanno condotto un'analisi rigorosa e controllata per confrontare SFT e RL, focalizzandosi su Direct Preference Optimization (DPO) come rappresentante principale del RL.

• Setup Sperimentale:

  • Hanno utilizzato l'architettura LLaVA-OneVision con diversi backbone LLM (Qwen2.5 da 0.5B a 7B) e diversi codificatori visivi (SigLIP2 da 86M a 1B parametri).
  • Fase 1 (Pre-training): Allineamento degli spazi di embedding visivo e linguistico e pre-training su dataset multimodali.
  • Fase 2 (Post-training): Confronto diretto tra due strategie sullo stesso modello base:
    1. SFT: Addestramento sulla risposta scelta ($y_c$).
    2. DPO: Addestramento sulle coppie di preferenze (risposta scelta $y_c$ vs risposta rifiutata $y_r$) per allineare il modello alle preferenze umane.
  • Valutazione: Hanno testato le prestazioni su 16 benchmark VQA (Visual Question Answering) divisi in quattro categorie: Generale, Conoscenza, OCR & Grafici, e Vision-Centric (fortemente visive).

• Analisi delle Rappresentazioni Visive:

  • Per isolare l'impatto sul codificatore visivo, hanno "staccato" l'encoder visivo dall'MLLM dopo il post-training e ne hanno valutato le prestazioni su compiti puramente visivi (classificazione ImageNet, segmentazione semantica su ADE20K) tramite linear probing.
  • Hanno utilizzato Grad-CAM per visualizzare i gradienti ricevuti dall'encoder visivo durante l'addestramento, analizzando come i segnali di ottimizzazione si propagano.

• Proposta PIVOT:

  • Sulla base dei risultati, hanno riformulato il processo di addestramento RL come una strategia specifica per l'evoluzione dei codificatori visivi, chiamata PIVOT (Preference-Instructed Vision OpTimization). Questo metodo addestra un encoder visivo esistente utilizzando un "head" LLM e ottimizzazione DPO, per poi congelare l'encoder e utilizzarlo in nuovi MLLM.

3. Contributi Chiave e Risultati

A. Superiorità del RL (DPO) sui Compiti Visivi

I risultati mostrano che il DPO supera nettamente lo SFT, specialmente nei compiti che richiedono una comprensione visiva fine-granulare:

• VQA Fortemente Visivi: Il DPO ottiene guadagni significativi su benchmark come OCR, ChartQA e Vision-Centric (es. +4.2% su OCR & Chart, +2.4% su Vision-Centric rispetto allo SFT).
• VQA di Conoscenza: Su compiti basati sulla conoscenza (es. ScienceQA), il divario è minimo, suggerendo che il vantaggio del RL risiede nella capacità di elaborazione visiva, non solo nella conoscenza linguistica.
• Efficienza dei Dati: Il DPO raggiunge alte prestazioni con meno dati rispetto allo SFT (es. DPO con 3K campioni supera SFT con 40K campioni).

B. Ridisegno delle Rappresentazioni Visive

L'analisi delle rappresentazioni visive è il contributo più innovativo:

• Miglioramento delle Feature: Gli encoder visivi addestrati con DPO mostrano prestazioni superiori su ImageNet (+1.83% Top-1 accuracy) e segmentazione rispetto a quelli addestrati con SFT.
• Localizzazione e Granularità: Le visualizzazioni Grad-CAM rivelano che i segnali gradiente del DPO sono più focalizzati e localizzati sulle regioni rilevanti della domanda, mentre quelli dello SFT sono più dispersi. Il DPO guida l'encoder verso un'analisi visiva più fine-granulare.
• Impatto della Scala LLM: LLM più grandi forniscono segnali di ottimizzazione più informativi all'encoder visivo durante il backpropagation, migliorando ulteriormente le rappresentazioni visive.

C. PIVOT: Una Ricetta per Encoder Visivi Potenti

Gli autori dimostrano che è possibile migliorare encoder visivi esistenti (come SigLIP1 o CLIP) utilizzando PIVOT:

• Superamento di Modelli Più Grandi: Un encoder SigLIP1-So/14 potenziato con PIVOT supera un modello più grande e recente come SigLIP2-So/16.
• Efficienza Computazionale: PIVOT richiede meno dell'1% del costo computazionale (GPU) rispetto al pre-training standard di visione (es. SigLIP2 addestrato su 2000 TPUv5).
• Generalità: Il metodo funziona su encoder addestrati sia con supervisione immagine-testo (CLIP, SigLIP) che con auto-supervisione (MAE, DINOv2).

4. Significato e Impatto

Questo lavoro ribalta la narrazione comune secondo cui le prestazioni degli MLLM dipendono esclusivamente dalla scala dell'LLM. Dimostra che:

1. Il RL è superiore allo SFT non solo per l'allineamento linguistico, ma per l'evoluzione delle capacità visive stesse.
2. Le strategie di post-training modificano la "visione" del modello: Il DPO induce rappresentazioni visive più robuste, localizzate e informative.
3. PIVOT offre una via efficiente: Permette di ottenere encoder visivi di stato dell'arte per MLLM con costi di addestramento minimi, rendendo accessibile il miglioramento delle backbones visive senza la necessità di pre-training massicci.

In sintesi, il paper stabilisce che l'uso del Reinforcement Learning (in particolare DPO) è fondamentale non solo per "parlare" meglio, ma per "vedere" meglio, fornendo una metodologia pratica (PIVOT) per evolvere le fondamenta visive dei futuri modelli multimodali.