Self-Rewarding Vision-Language Model via Reasoning Decomposition

1. Enunciato del Problema

I Modelli Vision-Language (VLM) affrontano attualmente due limitazioni critiche nelle loro capacità di ragionamento:

• Allucinazioni Visive: Generazione di descrizioni o risposte non coerenti con l'input visivo.
• Scorciatoie Linguistiche: Elusione completa della comprensione visiva e affidamento a priori testuali (scorciatoie linguistiche) per indovinare la risposta corretta.

I metodi di post-training esistenti, in particolare gli approcci di Reinforcement Learning (RL) come i modelli di tipo R1, spesso aggravano questi problemi. Tipicamente si basano sul matching della risposta finale come unico segnale di ricompensa. Questa supervisione sparsa non riesce a guidare il processo intermedio di ragionamento visivo, causando ai modelli la priorità del ragionamento basato sul linguaggio rispetto alla percezione visiva. Inoltre, i metodi che tentano di aggiungere supervisione visiva spesso si affidano a:

• Annotazioni Umane: Che sono laboriose, costose e difficili da scalare.
• Modelli di Ricompensa Esterni: Che introducono alta latenza, richiedono risorse GPU aggiuntive e soffrono di spostamenti distribuzionali o bias ereditati dalla fonte di distillazione.

2. Metodologia: Vision-SR1

Gli autori propongono Vision-SR1, un framework RL auto-ricompensante a tre stadi che migliora il ragionamento visivo senza supervisione esterna. L'innovazione centrale è la decomposizione del ragionamento in componenti visive e linguistiche distinte, verificate dallo stesso modello.

A. Decomposizione del Ragionamento (Formato See-Think)

Il modello viene sollecitato a generare un output strutturato che separa tre componenti:

1. Ragionamento Visivo ($c$): Una descrizione visiva autonoma che cattura tutti i dettagli necessari dall'immagine per risolvere il compito.
2. Ragionamento Linguistico ($t$): Ragionamento Chain-of-Thought (CoT) basato sulla descrizione visiva.
3. Risposta ($a$): La risposta finale.

B. Il Processo di Addestramento a Tre Stadi

L'addestramento coinvolge due passaggi di rollout e un obiettivo di ottimizzazione specifico:

1. Primo Passaggio (Rollout Standard):

   • Input: Immagine ($i$) + Query ($q$).
   • Output: Risposta strutturata ($c, t, a$).
   • Ricompensa: Viene calcolata una Ricompensa per la Risposta ($r_{ans}$) basata sulla correttezza della risposta finale rispetto alla verità fondamentale (ground truth).

2. Secondo Passaggio (Rollout Auto-Ricompensante):

   • Input: Query ($q$) + Ragionamento Visivo Generato ($c$) solamente. L'immagine originale è esclusa.
   • Processo: Il modello tenta di derivare la risposta corretta utilizzando solo la descrizione testuale generata nel primo passaggio.
   • Ricompensa: Viene assegnata una Ricompensa Visiva ($r_{visual}$). Se il modello può rispondere correttamente alla domanda utilizzando solo la descrizione generata, la descrizione è considerata "autonoma" e "fedele". Questo agisce come una ricompensa intrinseca per una percezione visiva accurata.

3. Ottimizzazione della Politica Multi-Ricompensa:

   • Invece di sommare semplicemente le ricompense (il che intreccia i segnali), Vision-SR1 utilizza una strategia di Ottimizzazione della Politica Multi-Ricompensa basata sulla Group Relative Policy Optimization (GRPO).
   • Vantaggi Disaccoppiati: Il vantaggio ($\hat{A}$) e le log-probabilità sono calcolati separatamente per la generazione della risposta e per la generazione del ragionamento visivo.
   • Funzione di Perdita: La perdita totale combina i gradienti della politica per entrambe le ricompense ($L_{actor}$) e penalità separate di divergenza KL ($L_{KL}$) per ogni componente. Questo garantisce un'attribuzione chiara del gradiente, permettendo al modello di ottimizzare la percezione visiva e il ragionamento linguistico indipendentemente.

C. Efficienza Computazionale

• Nessun Modello Esterno: Vision-SR1 non richiede modelli di ricompensa esterni o annotatori umani.
• Nessuna GPU Aggiuntiva: Il meccanismo auto-ricompensante riutilizza lo stesso modello di politica, evitando l'overhead dell'hosting di modelli giudici separati.
• Overhead: Il rollout a due stadi aggiunge solo un ~10-15% di overhead computazionale rispetto alla GRPO a singolo stadio standard, rendendolo altamente scalabile.

3. Contributi Chiave

1. Framework Auto-Ricompensante: Introduce un metodo in cui il VLM convalida il proprio ancoraggio visivo riproponendosi la descrizione generata, eliminando la necessità di supervisione visiva esterna.
2. Decomposizione del Ragionamento: Isola esplicitamente la percezione visiva dal ragionamento linguistico, costringendo il modello a produrre descrizioni visive autonome prima di ragionare.
3. Ottimizzazione della Politica Multi-Ricompensa: Propone una funzione di perdita disaccoppiata che calcola vantaggi e penalità KL separatamente per le componenti visive e linguistiche, prevenendo l'intreccio delle ricompense e consentendo un'ottimizzazione fine.
4. Metrica Tasso di Scorciatoia Linguistica (LSR): Introduce una nuova metrica per quantificare quanto spesso un modello risponde correttamente nonostante abbia un ragionamento visivo errato o non autonomo, fornendo un modo per misurare l'affidamento alle scorciatoie linguistiche.

4. Risultati Sperimentali

Il metodo è stato valutato su diversi benchmark utilizzando i backbones Qwen2.5-VL (3B e 7B) e Mimo-VL-7B.

• Miglioramenti delle Prestazioni: Vision-SR1 ha superato le linee di base (inclusi Vision-R1 e Perception-R1) nella comprensione visiva generale (MMMU, RealWorldQA), nel ragionamento matematico (MathVerse, MATH-Vision) e nel rilevamento di allucinazioni (HallusionBench).
  • Esempio: Sul backbone 7B, Vision-SR1 ha ottenuto un punteggio medio di 52,2, rispetto a 44,5 per Vision-R1.
• Mitigazione delle Allucinazioni: Il modello ha ridotto significativamente le allucinazioni visive e migliorato la robustezza contro le scorciatoie linguistiche.
• Riduzione LSR: Vision-SR1 ha dimostrato un Tasso di Scorciatoia Linguistica (LSR) inferiore rispetto alle linee di base, indicando un affidamento più forte sulla percezione visiva genuina piuttosto che sui priori testuali.
• Studi di Ablazione:
  • La rimozione del meccanismo auto-ricompensante ha portato a un calo delle prestazioni, confermando la necessità del segnale di ricompensa visiva.
  • Il metodo ha migliorato il ragionamento spaziale (MMSI-Bench, OmniSpatial) e i compiti di conoscenza generale senza degradare le capacità solo testuali così severamente come altri metodi RL.
• Analisi dell'Attenzione: L'analisi livello per livello ha mostrato che il post-training ha aumentato l'attenzione sui token visivi nei livelli di estrazione delle caratteristiche iniziali e di integrazione tardiva, confermando che il modello ha imparato a elaborare meglio le informazioni visive.

5. Significato e Impatto

• Scalabilità: Rimuovendo la dipendenza da modelli di ricompensa esterni e annotazioni umane, Vision-SR1 offre un percorso scalabile per migliorare i VLM senza i costi proibitivi dell'etichettatura dei dati o dell'infrastruttura di inferenza.
• Affrontare il "Pensare invece di Vedere": Il framework contrasta direttamente la tendenza nell'addestramento RL in cui i modelli imparano a "pensare" (ragionare tramite linguaggio) senza "vedere" (percepire l'immagine). Costringe il modello a dimostrare di aver visto l'immagine generando una descrizione sufficiente.
• Efficienza: L'approccio ottiene risultati all'avanguardia con un overhead computazionale minimo, rendendo il ragionamento visivo avanzato accessibile per modelli con risorse limitate.
• Direzione Futura: Il paper evidenzia che i guadagni di accuratezza nel RL possono talvolta essere spurii (sfruttando scorciatoie); Vision-SR1 fornisce un meccanismo per disaccoppiare il vero ancoraggio visivo dall'apprendimento delle scorciatoie linguistiche, stabilendo un nuovo standard per la valutazione del ragionamento dei VLM.