From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training

1. Il Problema

L'apprendimento per rinforzo con ricompense verificabili (RLVR) per i Modelli Linguistici Multimodali (MLLM) ha dimostrato grande successo in compiti come il ragionamento matematico, la generazione di codice e la comprensione visiva. Tuttavia, l'efficacia del RLVR dipende fortemente dalla disponibilità di dati etichettati di alta qualità.

In scenari reali, i dataset sono spesso affetti da rumore nelle annotazioni (etichette errate). Le sfide principali identificate sono:

• Sovradattamento alle etichette errate: I metodi RLVR esistenti tendono a convergere prematuramente su etichette sbagliate quando il rumore è presente.
• Soppressione della diversità: Metodi come la Group Relative Policy Optimization (GRPO) richiedono una certa diversità nelle risposte generate all'interno di un gruppo per stimare correttamente il "vantaggio" (advantage). Se il modello diventa troppo deterministico (bassa entropia) troppo presto, perde questa diversità, rendendo il segnale di ricompensa meno informativo.
• Limiti dei metodi attuali:
  • I metodi basati su segnali esterni (es. compilatori, LLM come giudici) sono costosi o specifici per dominio.
  • I metodi basati su segnali interni (ricompense casuali o di formato) offrono flessibilità ma scarsa allineamento con gli obiettivi specifici.
  • I metodi basati sull'entropia esistenti tendono a massimizzare o minimizzare l'entropia in modo statico, fallendo nel bilanciare l'esplorazione e lo sfruttamento durante le diverse fasi dell'addestramento.

2. Metodologia Proposta

Gli autori propongono un approccio innovativo chiamato Two-Stage Entropy-Guided RLVR (Guidato dall'Entropia in Due Fasi). L'idea centrale è gestire dinamicamente l'entropia a livello di token per guidare il modello da una fase di esplorazione a una di sfruttamento.

A. Entropia a Livello di Token

Invece di considerare l'entropia dell'intera sequenza, il metodo calcola l'entropia per ogni token generato. Questo permette una misura più granulare dell'incertezza del modello durante la generazione.

B. La Strategia a Due Fasi

L'obiettivo di ottimizzazione totale combina la perdita GRPO standard con un termine di regolarizzazione basato sull'entropia, il cui coefficiente $\lambda(\tau)$ cambia nel tempo:

1. Fase 1: Esplorazione (Massimizzazione dell'Entropia)

   • Obiettivo: All'inizio dell'addestramento, si massimizza l'entropia dei token ($+\lambda L_{entropy}$).
   • Effetto: Questo incoraggia il modello a generare output diversificati e meno deterministici.
   • Vantaggio: Previene il sovradattamento alle etichette rumorose e garantisce una sufficiente variazione intra-gruppo, essenziale per una stima affidabile del vantaggio nella GRPO.

2. Fase 2: Sfruttamento (Minimizzazione dell'Entropia)

   • Obiettivo: Dopo un punto di transizione ($\tau_{switch}$), si passa alla minimizzazione dell'entropia ($-\lambda L_{entropy}$).
   • Effetto: Il modello viene spinto a produrre output più confidenziali e deterministici.
   • Vantaggio: Consolida le conoscenze apprese durante la fase di esplorazione, affinando la precisione delle previsioni e convergendo verso la soluzione ottimale.

L'equazione dell'obiettivo unificato è:
$$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{GRPO}} + \lambda(\tau)\, \mathcal{L}_{\text{entropy}}$$
Dove $\lambda(\tau)$ è positivo nella prima fase e negativo nella seconda.

3. Contributi Chiave

• Analisi della Robustezza: Gli autori hanno condotto esperimenti sistematici su diversi livelli di rumore (da 0% a 100% di etichette errate), diverse architetture di modelli (Qwen2-VL, Qwen2.5-VL, InternVL) e molteplici compiti (grounding GUI, classificazione fine-granulare, rilevamento oggetti open-vocabulary).
• Identificazione dei Limiti: Hanno dimostrato che la massimizzazione o minimizzazione statica dell'entropia è subottimale sotto supervisione rumorosa. La massimizzazione pura impedisce la convergenza, mentre la minimizzazione pura intrappola il modello in comportamenti deterministici errati.
• Metodo a Due Fasi: L'introduzione di un programma di entropia dinamico che passa dall'esplorazione allo sfruttamento, offrendo un compromesso controllato senza sacrificare la stabilità della convergenza.
• Superiorità Empirica: Il metodo proposto supera sia la GRPO standard che le varianti basate su segnali esterni, interni o entropia statica in quasi tutte le configurazioni di rumore.

4. Risultati Sperimentali

I risultati sono stati ottenuti su modelli come Qwen2.5-VL-3B e InternVL-3.5-2B su dataset come ScreenSpot (GUI grounding) e Pets37 (classificazione).

• Robustezza al Rumore:
  • Con il 50% di rumore nelle etichette, il metodo proposto ha raggiunto un'accuratezza del 80.2% su ScreenSpot, superando la GRPO standard (76.2%) e avvicinandosi alle prestazioni ottenute con dati puliti.
  • Con il 100% di rumore (tutte le etichette errate), il metodo ha mostrato un miglioramento significativo (+9.6% rispetto alla GRPO standard), dimostrando una capacità eccezionale di filtrare il rumore.
• Generalizzazione Out-of-Distribution (OOD):
  • Il metodo ha mantenuto prestazioni superiori su dataset di test non visti durante l'addestramento (es. ScreenSpot-Pro, OS-World-G), indicando che la strategia a due fasi migliora il trasferimento della conoscenza.
• Analisi Qualitativa:
  • Le tracce di ragionamento (reasoning traces) generate dal metodo a due fasi mostrano una diversità sufficiente per resistere al rumore nella fase iniziale, ma diventano coerenti e precise nella fase finale, a differenza della GRPO standard che collassa su percorsi errati o della massimizzazione pura che rimane troppo dispersiva.
• Scalabilità: Il metodo ha mostrato benefici crescenti su modelli più grandi (es. Qwen2-VL-7B), suggerendo una buona scalabilità.

5. Significato e Impatto

Questo lavoro è significativo perché:

1. Rende il RLVR praticabile nel mondo reale: Dimostra che è possibile addestrare modelli multimodali complessi con RLVR anche in assenza di dati perfettamente etichettati, un requisito fondamentale per applicazioni industriali dove l'annotazione manuale è costosa o soggetta a errori.
2. Nuova prospettiva sull'Entropia: Sposta il paradigma dall'uso statico dell'entropia come semplice regolarizzatore a un meccanismo dinamico di scheduling che gestisce attivamente il trade-off esplorazione-sfruttamento.
3. Validità Generale: La strategia si è dimostrata efficace su diversi modelli e compiti, suggerendo che l'ottimizzazione della politica consapevole dell'entropia è uno strumento potente per l'apprendimento da dati imperfetti in scenari multimodali.

In sintesi, il paper propone una soluzione elegante e robusta al problema del rumore nei dati per l'addestramento RLVR, utilizzando una strategia temporale intelligente per bilanciare la diversità delle risposte e la precisione finale.