All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models

1. Il Problema: Il Collasso della Diversità nel RL

Il lavoro parte dall'osservazione che, sebbene l'Apprendimento per Rinforzo (RL), e in particolare l'ottimizzazione della politica relativa di gruppo (GRPO), abbia migliorato le capacità di ragionamento dei Modelli Vision-Language (VLM), esistono limiti fondamentali non ancora pienamente esplorati.

Gli autori identificano una distinzione comportamentale cruciale:

• Modelli Base: Mostrano un pensiero divergente. Anche se il ragionamento lungo un singolo percorso può essere meno raffinato, esplorano strategie alternative e diverse, offrendo una copertura più ampia delle possibili soluzioni.
• Modelli RL (GRPO): Tendono a un pensiero convergente. Sebbene dimostrino un ragionamento più profondo lungo un singolo percorso, diventano conservativi e si aggrappano a una strategia dominante.

Il problema centrale è il "collasso della diversità" (diversity collapse) durante l'addestramento con GRPO. Gli autori osservano che, nelle fasi iniziali dell'addestramento, la diversità delle strategie di ragionamento crolla drasticamente. Il modello converge prematuramente su un sottoinsieme limitato di strategie, scartando la maggior parte delle alternative potenziali. Questo porta a:

1. Ottimi locali: Il modello ottimizza una strategia specifica ma fallisce su problemi che richiedono approcci diversi.
2. Scarsa scalabilità: La capacità di migliorare le prestazioni aumentando il budget di calcolo (test-time scaling) è limitata perché il modello non esplora nuovi percorsi.

2. Metodologia: Multi-Group Policy Optimization (MUPO)

Per risolvere il problema del collasso della diversità, gli autori propongono MUPO (Multi-Group Policy Optimization), un algoritmo di sostituzione diretta per GRPO progettato per incentivare il pensiero divergente mantenendo la profondità del ragionamento.

I componenti chiave di MUPO sono:

• Partizionamento in Gruppi: Invece di calcolare i vantaggi (advantages) globalmente su tutti i campioni generati, MUPO partiziona le risposte in K gruppi distinti basandosi sullo spazio degli embedding del ragionamento (utilizzando clustering vincolato). Ogni gruppo rappresenta una modalità di ragionamento diversa.
• Stima Localizzata dei Vantaggi: All'interno di ogni gruppo, il vantaggio viene calcolato localmente. Questo permette a ciascuna modalità di ragionamento di essere raffinata indipendentemente, evitando che una strategia dominante soffochi le altre.
• Ricompensa per la Diversità (Diversity Reward): Viene introdotta una ricompensa aggiuntiva che premia la separazione tra i gruppi. Per ogni traiettoria in un gruppo, si calcola la distanza media (cosine distance) rispetto alle traiettorie degli altri gruppi.
  • La ricompensa totale è: $R = R_{acc} + R_{fmt} + \lambda \cdot R_{div}$.
  • La ricompensa di diversità è attivata solo se la risposta è corretta ($R_{acc}=1$) per evitare "reward hacking" (generare risposte diverse ma errate).
• Annealing del Peso ($\lambda$): Il peso della ricompensa per la diversità ($\lambda$) segue un calendario di annealing cosinoidale. Inizia alto per favorire l'esplorazione ampia nelle fasi iniziali e diminuisce gradualmente verso la fine dell'addestramento per spostare il focus sull'ottimizzazione delle soluzioni globali (sfruttamento).
• Bilanciamento del Carico: Un fattore di scala ($w_k$) assicura che gruppi più grandi non dominino l'obiettivo di ottimizzazione rispetto a gruppi più piccoli.

3. Contributi Chiave

1. Analisi Comportamentale: Dimostrazione empirica che i modelli RL tendono a sacrificare la diversità strategica a favore della profondità su un singolo percorso, mentre i modelli base mantengono una maggiore varietà di approcci che è cruciale per risolvere problemi complessi.
2. Identificazione del Collasso: Analisi dinamica che rivela come GRPO causi un collasso della diversità nelle prime fasi di addestramento, portando a ottimi locali e limitando la scalabilità.
3. Proposta MUPO: Sviluppo di un algoritmo semplice ma efficace che integra il pensiero parallelo (divergente) nel RL, permettendo ai modelli di esplorare molteplici strategie di ragionamento simultaneamente.
4. Nuovo Stato dell'Arte (SOTA): Validazione sperimentale che MUPO supera i modelli RL esistenti e i modelli base su una vasta gamma di benchmark.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli di dimensioni 3B e 7B (basati su Qwen2.5-VL) su nove benchmark di ragionamento (inclusi MathVerse, MathVista, HallusionBench, ecc.).

• Prestazioni Generali:
  • MUPO-Thinker-7B ha raggiunto un miglioramento medio del 2.5% (da 49.1% a 51.6%) su benchmark matematici e del 2.3% su benchmark generici rispetto ai migliori risultati precedenti (acc@1).
  • MUPO-Thinker-3B ha superato i modelli di riferimento della stessa scala con guadagni significativi (fino al 5.9% in media su acc@4).
• Scalabilità (Test-Time Scaling):
  • Il vero vantaggio emerge quando si permettono più tentativi (acc@4). MUPO-Thinker-7B supera i modelli RL esistenti del 6.0% sui benchmark matematici e del 6.2% su quelli generici.
  • Questo dimostra che MUPO riesce a sfruttare meglio il budget di calcolo, trovando soluzioni corrette attraverso percorsi diversi che i modelli GRPO tradizionali non riescono a generare.
• Analisi Qualitativa:
  • Le visualizzazioni t-SNE mostrano che mentre GRPO produce embedding densamente raggruppati (convergenza), MUPO mantiene una struttura multimodale ampia.
  • In casi di fallimento per GRPO (dove la strategia dominante fallisce), MUPO riesce a trovare la soluzione corretta utilizzando strategie alternative (es. esclusione invece di conteggio sequenziale, o validazione invece di equazioni complesse).

5. Significato e Impatto

Questo lavoro è significativo perché sfida la narrazione secondo cui il RL per il ragionamento deve necessariamente convergere su una singola strategia "ottimale". Gli autori dimostrano che:

• La diversità è una risorsa critica per la risoluzione di problemi complessi, specialmente in contesti visivi dove i percorsi di ragionamento possono essere molteplici.
• L'approccio MUPO offre un meccanismo pratico per bilanciare esplorazione e sfruttamento, permettendo ai modelli di apprendere un "repertorio" di strategie invece di specializzarsi in una sola.
• Il metodo è scalabile e può essere applicato come drop-in replacement per GRPO, offrendo un percorso chiaro per migliorare le capacità di ragionamento dei futuri VLM senza richiedere architetture radicalmente nuove, ma piuttosto ottimizzando il processo di addestramento.

In sintesi, il paper suggerisce che per raggiungere un'intelligenza artificiale più robusta e versatile, i modelli non devono solo "pensare più a fondo", ma anche "pensare in modo più vario", imitando la capacità umana di approcciare lo stesso problema da diverse angolazioni.