NoisyGRPO: Incentivizing Multimodal CoT Reasoning via Noise Injection and Bayesian Estimation

Titolo: NoisyGRPO: Incentivare il Ragionamento Multimodale CoT tramite Iniezione di Rumore e Stima Bayesiana

1. Il Problema

I modelli linguistici multimodali (MLLM) stanno mostrando progressi significativi grazie al Reinforcement Learning (RL), in particolare con metodi come il Group Relative Policy Optimization (GRPO), che migliorano le capacità di ragionamento "Chain-of-Thought" (CoT) senza richiedere un modello di valore separato. Tuttavia, l'applicazione del GRPO standard al ragionamento CoT generale presenta due limitazioni critiche:

1. Esplorazione della Politica Limitata: Durante l'addestramento, il campionamento basato sulla temperatura tende a generare rollout (sequenze di risposta) quasi identici, portando a una scarsa diversità esplorativa e a una convergenza prematura verso politiche deterministiche.
2. Mancanza di Supervisione del Processo: I reward basati su regole valutano solo la correttezza della risposta finale, ignorando i passaggi intermedi di ragionamento. Questo porta il modello a imparare scorciatoie o allucinazioni visive che non generalizzano bene al di fuori della distribuzione di addestramento.
3. Problema di Generalizzazione: I modelli addestrati con GRPO standard spesso mostrano prestazioni di valutazione inferiori rispetto ai reward di addestramento, indicando una scarsa capacità di generalizzazione.

2. Metodologia: NoisyGRPO

Gli autori propongono NoisyGRPO, un framework di RL multimodale unificato che affronta le limitazioni sopra citate attraverso due componenti principali, senza aggiungere un sovraccarico computazionale significativo:

A. Politica di Esplorazione con Iniezione di Rumore (Noise-Injected Exploration Policy)

Per forzare una maggiore diversità esplorativa, il metodo introduce rumore controllato negli input visivi durante la fase di raccolta dei rollout:

• Meccanismo: Vengono applicati livelli di rumore gaussiano variabile (campionati da una distribuzione uniforme) alle immagini di input prima che il modello generi le risposte.
• Obiettivo: Questo simula scenari visivi diversi, costringendo il modello a esplorare un ventaglio più ampio di percorsi di ragionamento.
• Gestione dell'Off-Policy: Poiché il modello raccoglie dati su immagini rumorose ma viene aggiornato su immagini pulite, si crea uno spostamento di distribuzione (distribution shift). Il rumore agisce come un "prior" sulla difficoltà del ragionamento.

B. Stima Bayesiana del Vantaggio (Bayesian Advantage Estimation)

Per mitigare il bias introdotto dall'iniezione di rumore e correggere la stima del vantaggio, viene formulato un problema di inferenza bayesiana:

• Formulazione:
  • Prior (Priori): Il livello di rumore iniettato ($n_i$) viene trattato come una stima a priori della qualità della traiettoria (maggiore rumore implica potenziale difficoltà o incertezza).
  • Likelihood (Verosimiglianza): Il reward semantico osservato (basato sulla correttezza della risposta finale e sul formato) funge da osservazione rumorosa della qualità reale.
• Aggiornamento Bayesiano: Il vantaggio della traiettoria viene calcolato come la media posteriore, che fonde dinamicamente il prior (rumore) e l'osservazione (reward).
  • Se i reward sono simili nonostante livelli di rumore diversi, l'incertezza del prior rimane alta.
  • Se i reward variano significativamente con il rumore, l'incertezza diminuisce.
• Risultato: Questo approccio produce una stima del vantaggio più robusta, guidando il modello a preferire traiettorie visivamente fondate rispetto a quelle che dipendono da artefatti o allucinazioni.

3. Contributi Chiave

1. Framework NoisyGRPO: Un nuovo framework di RL progettato specificamente per migliorare il ragionamento CoT multimodale su compiti generali, superando i limiti di esplorazione del GRPO standard.
2. Strategia di Iniezione di Rumore: Un metodo strutturato per perturbare gli input visivi, promuovendo una diversità di generazione essenziale per l'apprendimento robusto.
3. Stima Bayesiana del Vantaggio: Una tecnica innovativa che integra il livello di rumore e il reward osservato per correggere i bias di stima, permettendo un aggiornamento della politica più preciso in condizioni di incertezza visiva.
4. Efficienza: Il metodo non richiede modelli di valore aggiuntivi né costi computazionali significativi rispetto al GRPO standard.

4. Risultati Sperimentali

Il framework è stato valutato su modelli MLLM di diverse dimensioni (in particolare Qwen2.5-VL 3B e 7B) su tre dimensioni principali:

• Qualità del CoT (Benchmark MME-CoT):
  • NoisyGRPO supera costantemente il GRPO standard.
  • Sul modello 3B, si registra un miglioramento di +4.4 nella qualità CoT e un aumento significativo nella robustezza e nell'efficienza.
  • Il modello addestrato con NoisyGRPO-7B ottiene punteggi di robustezza superiori a modelli proprietari come GPT-4o e Kimi K1.5.
• Capacità Generali (Benchmark MMStar):
  • Miglioramenti consistenti in domini come ragionamento logico, instance reasoning e percezione fine.
  • Sul modello 3B, si ottiene un guadagno di +3.7 nel punteggio medio su MMStar.
• Allucinazioni (Benchmark AMBER):
  • Riduzione delle allucinazioni generative e discriminative, dimostrando una maggiore affidabilità nelle risposte.
• Efficienza Computazionale:
  • I tempi di addestramento e l'utilizzo della memoria GPU sono comparabili al GRPO standard (es. 6h40min vs 6h12min per il modello 3B), confermando la scalabilità del metodo.

5. Significato e Impatto

Il lavoro di NoisyGRPO è significativo per diversi motivi:

• Generalizzazione: Dimostra che è possibile migliorare la capacità di ragionamento generale degli MLLM, non solo su compiti specifici (come la matematica), ma su scenari visivi complessi e aperti.
• Robustezza: L'approccio bayesiano offre una soluzione elegante al problema dello spostamento di distribuzione causato dall'iniezione di rumore, rendendo l'addestramento RL più stabile e meno soggetto a overfitting su scorciatoie.
• Efficienza per Modelli Piccoli: I risultati sono particolarmente rilevanti per modelli di dimensioni ridotte (es. 3B), che spesso faticano a generalizzare con metodi RL tradizionali. NoisyGRPO permette a questi modelli di competere con architetture più grandi o proprietarie.
• Qualità del Ragionamento: Il metodo incoraggia non solo risposte corrette, ma processi di ragionamento più concisi e fondati sulla realtà visiva, riducendo le allucinazioni e i passaggi ridondanti.

In sintesi, NoisyGRPO rappresenta un avanzamento metodologico cruciale nell'addestramento RL per modelli multimodali, bilanciando esplorazione e ottimizzazione attraverso un framework teorico solido (bayesiano) e pratico (iniezione di rumore).