EvoLMM: Self-Evolving Large Multimodal Models with Continuous Rewards

1. Il Problema

I recenti progressi nei Modelli Multimodali di Grande Dimensione (LMM) hanno migliorato notevolmente le capacità di ragionamento e percezione. Tuttavia, le pipeline di addestramento esistenti presentano due dipendenze fondamentali che ne limitano l'autonomia e la scalabilità:

1. Dipendenza da dati curati dall'uomo: La maggior parte dei modelli richiede annotazioni, metadati o dataset di addestramento supervisionati (SFT).
2. Dipendenza da modelli di ricompensa esterni: I metodi di auto-miglioramento spesso si basano su valutatori esterni, modelli di ricompensa derivati dalla conoscenza (knowledge-distilled) o feedback umani per determinare la correttezza delle risposte.

Queste dipendenze ostacolano la generalizzazione di dominio e rendono difficile il dispiegamento in scenari dove le annotazioni sono costose o inesistenti. Esistono approcci precedenti nel dominio del solo testo (LLM) che tentano l'auto-evoluzione, ma spesso falliscono nel dominio multimodale a causa della complessità della percezione visiva e della natura discreta delle ricompense (es. voto a maggioranza), che portano a segnali di apprendimento instabili o a collasso del modello.

2. Metodologia: EvoLMM

Gli autori propongono EvoLMM, un framework di auto-evoluzione puramente non supervisionato che permette a un LMM di migliorare le proprie capacità di ragionamento senza alcuna annotazione umana, metadati o modelli di ricompensa esterni.

Il framework si basa su un meccanismo di auto-consistenza continua e utilizza un singolo modello di base (backbone) istanziato in due ruoli cooperativi:

A. Agenti Cooperativi

1. Proposer (Propositore): Genera domande diverse e radicate visivamente (visually grounded) partendo da immagini non etichettate.
2. Solver (Risolutore): Cerca di rispondere alle domande generate dal Proposer.

B. Meccanismo di Ricompensa Continua (Continuous Self-Rewarding)

La novità fondamentale risiede nel modo in cui viene calcolata la ricompensa, evitando segnali discreti (come il voto a maggioranza) che sono troppo rigidi per il ragionamento visivo complesso.

• Ricompensa del Solver ($r_{sol}$): Invece di richiedere che tutte le risposte siano identiche, il Solver genera $N$ campioni di risposta indipendenti. La ricompensa è una funzione continua basata sulla probabilità di accordo tra i campioni e una penalità per la lunghezza.

  • Formula: $r_{sol}^i = (p(y_i | x, q))^\gamma \cdot (1 - \lambda_{len} \cdot \max\{0, (w_i - \tau)/\tau\})$
  • Questo fornisce un gradiente significativo anche quando c'è solo un accordo parziale, stabilizzando l'ottimizzazione nelle fasi iniziali di incertezza.

• Ricompensa del Proposer ($r_{prop}$): È basata sull'entropia della distribuzione delle risposte del Solver.

  • Il Proposer viene premiato se genera domande che portano a un livello di incertezza "moderato" (né troppo facile, né impossibile).
  • Formula: $r_{prop} = \exp\left(-\frac{(H(x, q) - \mu_H)^2}{2\sigma_H^2}\right)$
  • Questo crea un curricolo automatico: man mano che il Solver migliora, il Proposer è spinto a generare domande progressivamente più difficili ma ancora risolvibili, mantenendo l'entropia in una banda ottimale.

C. Ottimizzazione

L'addestramento avviene tramite un ciclo di Reinforcement Learning (RL) online (algoritmo REINFORCE) con:

• Baseline in media mobile: Per ridurre la varianza.
• Regolarizzazione KL: Per monitorare e limitare la deviazione dal modello pre-addestrato di base, prevenendo il "catastrophic forgetting" o il collasso del modello.

3. Contributi Chiave

1. Framework di Auto-Evoluzione Puro: Introduzione di EvoLMM, il primo framework che permette a un LMM di auto-migliorarsi esclusivamente tramite coerenza interna, senza alcun segnale esterno o supervisione umana.
2. Meccanismo di Ricompensa Continua: Sostituzione delle ricompense discrete (voto a maggioranza) con un segnale continuo basato sulla coerenza delle risposte. Questo risolve il problema della sparsità del segnale e dell'instabilità tipica del ragionamento multimodale.
3. Curricolo Emergente: Dimostrazione che il sistema sviluppa naturalmente un curricolo di difficoltà, dove il Proposer impara a generare problemi sempre più complessi man mano che il Solver affina le sue capacità di ragionamento strutturato.
4. Validazione Empirica: Dimostrazione che l'approccio funziona su diversi backbones (Qwen, InternVL, Gemma, Llama) e scala efficacemente da modelli piccoli (7B) a grandi (72B).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando immagini grezze da benchmark matematici e scientifici (ChartQA, MathVista, MathVision, ScienceQA, ecc.), senza utilizzare le coppie domanda-risposta originali per l'addestramento.

• Prestazioni: Utilizzando Qwen2.5-VL-7B come modello base, EvoLMM ha ottenuto miglioramenti consistenti su tutti i benchmark:
  • ChartQA: +2.7% (da 84.00% a 86.70%).
  • MathVista: +2.06% (da 68.46% a 70.52%).
  • ScienceQA: +1.2% (da 88.30% a 89.50%).
• Confronto con Baseline: Il modello addestrato con ricompense discrete (voto a maggioranza) ha mostrato miglioramenti marginali o addirittura regressi, confermando l'inefficacia dei segnali discreti in questo contesto.
• Scalabilità: L'approccio è stato testato su modelli da 7B a 72B (Qwen2.5-VL) e su diverse architetture (InternVL, Gemma, Llama), mostrando miglioramenti uniformi (+1-3%) indipendentemente dalla dimensione o dal backbone.
• Generalizzazione: Il modello auto-evoluto ha mostrato miglioramenti anche su benchmark non visti durante l'addestramento (es. RefCOCOg, DocVQA), indicando che il miglioramento riguarda la capacità di ragionamento strutturale e non solo l'adattamento ai dati.

5. Significato e Impatto

EvoLMM rappresenta un passo significativo verso l'intelligenza multimodale autonoma.

• Indipendenza dai Dati: Dimostra che è possibile addestrare modelli complessi di ragionamento visivo utilizzando solo immagini grezze, eliminando il collo di bottiglia delle annotazioni umane.
• Stabilità dell'Apprendimento: La transizione da ricompense discrete a continue risolve un problema fondamentale nell'RL multimodale, permettendo un apprendimento graduale e stabile anche in presenza di incertezza percettiva.
• Futuro della Ricerca: Il lavoro apre la strada a sistemi di apprendimento a lungo termine (long-horizon reasoning) e all'emergere di curricoli auto-generati, riducendo la necessità di supervisione esterna in scenari di deployment reali dove i dati etichettati sono scarsi.

In sintesi, EvoLMM dimostra che la coerenza interna può fungere da segnale di supervisione sufficiente per far evolvere modelli multimodali, rendendoli più capaci, robusti e scalabili.