Riepilogo Tecnico: MARS – Normalizzazione del Vantaggio Ancorata a Singola Fonte per il Ragionamento Visivo Multi-Fonte

Enunciato del Problema

Sebbene l'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) abbia fatto progredire il ragionamento visivo, i metodi esistenti faticano quando elaborano input multi-sorgente (ad esempio, RGB, infrarossi, profondità, multi-vista). Gli approcci attuali trattano tipicamente i dati multi-sorgente come una semplice accumulazione di informazioni, operando sotto l'assunzione che "vedere di più significhi sapere di più". Tuttavia, questo lavoro identifica una limitazione critica: quando le sorgenti differiscono significativamente nelle proprietà fisiche e nella semantica, un'integrazione ingenua può introdurre interferenze o rumore anziché un guadagno informativo.

In scenari in cui una sorgente possiede un segnale dominante e affidabile (ad esempio, infrarossi in condizioni di scarsa illuminazione) mentre altre sono degradate o irrilevanti, i framework RLVR standard spesso non riescono a distinguere tra fusione benefica e conflitto dannoso. Di conseguenza, le prestazioni del ragionamento multi-sorgente possono degradare al di sotto del livello di un ragionamento mono-sorgente forte. I framework esistenti mancano di meccanismi espliciti per modellare l'interazione dinamica tra le sorgenti o per quantificare se l'integrazione di una sorgente aggiuntiva produca un guadagno informativo positivo rispetto a una baseline mono-sorgente.

Metodologia: MARS

Per affrontare queste sfide, gli autori propongono MARS (Normalizzazione del Vantaggio Ancorata a Singola Fonte per il Ragionamento Multi-Sorgente). Questo framework tratta ogni modalità visiva come una sorgente di informazioni indipendente e modella esplicitamente il guadagno informativo introdotto dalla fusione multi-sorgente.

Meccanismo Centrale

L'innovazione centrale di MARS è l'uso di ricompense mono-sorgente come ancoraggi dinamici per normalizzare i vantaggi dei rollout multi-sorgente durante l'addestramento RLVR.

1. Generazione di Rollout Duali: Per una data istanza di addestramento (domanda $q$ e multiple immagini $i$), il modello di policy $\pi_\theta$ genera due tipi di traiettorie:

   • Rollout multi-sorgente ($G_{multi}$): Il modello elabora tutte le immagini disponibili congiuntamente.
   • Rollout mono-sorgente ($G_{mono}$): Il modello elabora ogni immagine individualmente accoppiata all'input testuale.

2. Normalizzazione Ibrida del Vantaggio: Invece di calcolare le statistiche del vantaggio esclusivamente dalle traiettorie multi-sorgente, MARS calcola una media e una deviazione standard ibride utilizzando l'unione delle ricompense mono-sorgente e multi-sorgente ($G_{multi} \cup G_{mono}$). Il vantaggio $A_j$ per una traiettoria multi-sorgente è calcolato come:
   $$A_j^{hy} = \frac{r(q, i, o_j^{multi}) - \text{mean}(G_{multi} \cup G_{mono})}{\text{std}(G_{multi} \cup G_{mono})}$$

3. Regolazione Adattiva:

   • Soppressione del Conflitto: Se una specifica sorgente è dominante e la fusione multi-sorgente introduce rumore (risultando in ricompense inferiori rispetto all'ancoraggio mono-sorgente), le statistiche di normalizzazione si spostano per sopprimere il segnale multi-sorgente conflittuale, guidando il modello verso il comportamento affidabile mono-sorgente.
   • Enfasi sulla Promozione: Se la fusione multi-sorgente produce una ricompensa superiore alla baseline mono-sorgente (indicando un genuino guadagno informativo), l'algoritmo incoraggia l'esplorazione oltre i segnali mono-sorgente, quantificando efficacemente il "guadagno informativo multi-sorgente".

Fondamento Teorico

Gli autori forniscono un'analisi teorica a supporto del metodo:

• Imparzialità: L'algoritmo proposto garantisce che l'aspettativa della stima del gradiente rimanga equivalente all'ottimizzazione on-policy standard, assicurando che non venga introdotta alcuna distorsione.
• Decomposizione del Gradiente: L'aggiornamento del gradiente è mostrato come equivalente alla massimizzazione della ricompensa multi-sorgente standard più un termine di regolarizzazione basato sul Guadagno Informativo Multi-Sorgente ($\Delta IG$). Questo termine rappresenta la differenza tra le ricompense attese delle traiettorie multi-sorgente e mono-sorgente. Un $\Delta IG$ negativo indica conflitto tra le modalità, mentre un valore positivo indica promozione reciproca.

Contributi Chiave

1. Identificazione di una Limitazione Centrale: Il lavoro rivela che il ragionamento visivo multi-sorgente esistente può degradare sistematicamente le prestazioni a causa di interferenze tra modalità non modellate, sfidando l'assunzione che più input equivalgano sempre a conoscenze migliori.
2. Framework Innovativo (MARS): Gli autori progettano un metodo che introduce le ricompense mono-sorgente come ancoraggi per misurare quantitativamente il guadagno informativo durante la normalizzazione del vantaggio. Ciò consente una regolazione adattiva delle diverse sorgenti senza richiedere una riprogettazione architetturale o correzioni off-policy.
3. Validazione Empirica: Esperimenti estesi su dataset diversificati (profondità, infrarossi, multi-vista, ricchi di testo) e algoritmi RL (GRPO, DAPO) dimostrano miglioramenti coerenti delle prestazioni.

Risultati Sperimentali

Gli autori hanno valutato MARS su quattro compiti multi-sorgente utilizzando i modelli Qwen2.5-VL-3B e 7B. Le scoperte chiave includono:

• Guadagni di Prestazione: MARS ha ottenuto miglioramenti significativi rispetto ai metodi RLVR di baseline. Nello specifico, ha prodotto guadagni di prestazione medi del 3,2% e del 4,9% sui framework GRPO e DAPO, rispettivamente, sulla metrica di ragionamento multi-sorgente.
• Miglioramenti Specifici per Compito: Sono stati osservati guadagni notevoli nei dataset infrarossi (3,8%) e multi-vista (7,0%).
• Robustezza: Il metodo ha dimostrato una robustezza superiore contro le degradazioni visive (rumore gaussiano, sfocatura da movimento, occlusione), mantenendo un'alta accuratezza laddove le baseline subivano cali di prestazione.
• Efficienza: L'approccio richiede un solo modello di policy e genera campioni mono-sorgente modificando gli input, evitando il sovraccarico di archiviazione del replay esperienziale o della correzione off-policy. Il sovraccarico computazionale è moderato, con il beneficio chiave derivante dal meccanismo di ancoraggio piuttosto che da un aumento del volume delle traiettorie.
• Analisi Qualitativa: Gli studi di caso hanno mostrato che MARS riesce a dare priorità alle sorgenti informative (ad esempio, infrarossi in condizioni di scarsa illuminazione) e a sopprimere le sorgenti irrilevanti o rumorose (ad esempio, immagini di profondità completamente bianche), portando a un ragionamento e a un grounding più accurati rispetto al GRPO standard.

Significato e Affermazioni

Il lavoro afferma che MARS offre una soluzione generale ed efficace per migliorare le prestazioni del ragionamento visivo in scenari multi-sorgente. Modellando esplicitamente l'interazione dinamica tra le sorgenti e quantificando il guadagno informativo, il metodo risolve il conflitto tra "vedere di più" e "sapere di più".

Gli autori sottolineano che il loro approccio:

• Non dipende da framework di addestramento specifici (compatibile con GRPO e DAPO).
• Non richiede modifiche architetturali al modello sottostante.
• Fornisce un modo principiato per gestire conflitti e promozioni tra modalità, portando a traiettorie di ottimizzazione più stabili e interpretabili.
• Convalida che sfruttare dinamicamente le ricompense mono-sorgente come ancoraggi guida efficacemente i modelli a concentrarsi sulle sorgenti informative sopprimendo il rumore, confermando che un ragionamento multi-sorgente efficace richiede di distinguere tra guadagno informativo e interferenza.