Riepilogo Tecnico: CASHEW – Stabilizzare il Ragionamento Multimodale tramite l'Aggregazione Iterativa delle Traiettorie

1. Definizione del Problema

I modelli vision-language (VLM) hanno ottenuto un successo significativo nei compiti di comprensione e ragionamento multimodale. Tuttavia, i loro processi di ragionamento multi-step rimangono fragili e instabili. Le problematiche chiave includono:

• Instabilità: Il campionamento ripetuto sullo stesso input genera spesso traiettorie di ragionamento divergenti e previsioni finali incoerenti.
• Allucinazioni: I modelli sono soggetti ad allucinazioni visive, in cui i passaggi di ragionamento non sono radicati nell'effettiva evidenza visiva.
• Limitazioni dell'attuale Scaling al Tempo di Test: Gli approcci esistenti seguono spesso un paradigma "campiona-e-seleziona", generando molteplici catene indipendenti e scartando gli insight parziali delle traiettorie rifiutate. Inoltre, aumentare semplicemente la lunghezza del ragionamento o il numero di campionamenti senza un grounding esplicito può amplificare gli errori percettivi iniziali anziché correggerli, portando i modelli a "pensare più a lungo" ma non a "pensare meglio".

2. Metodologia

Il documento propone due approcci complementari per affrontare queste limitazioni: CASHEW (un framework di inferenza) e CASHEW-RL (una variante appresa).

CASHEW: Framework di Aggregazione Iterativa

CASHEW tratta il ragionamento come un processo evolutivo in cui una popolazione di traiettorie candidate viene iterativamente sintetizzata e raffinata. Opera in quattro fasi:

1. Inizializzazione della Popolazione: Il VLM di base genera una popolazione iniziale di $N$ traiettorie di ragionamento candidate.
2. Campionamento di Sottoinsiemi: In ogni iterazione, viene campionato un sottoinsieme casuale di traiettorie tra pari come candidati di riferimento per introdurre diversità e prevenire il collasso in un singolo modo di ragionamento.
3. Verifica Visiva: Prima dell'aggregazione, un modulo leggero di grounding visivo-testuale (implementato tramite Grounding DINO) verifica le affermazioni relative a oggetti e attributi rispetto all'input visivo. Solo l'evidenza verificata viene mantenuta per guidare i passaggi successivi.
4. Aggregazione Fondata (Grounded Aggregation): Il modello sintetizza le traiettorie campionate e la loro evidenza visiva verificata per generare una traiettoria di ragionamento aggiornata e di qualità superiore. Questo processo si ripete per $T$ iterazioni, culminando in una traiettoria consolidata finale.

CASHEW-RL: Aggregazione Appresa tramite GSPO

CASHEW-RL interiorizza il comportamento di aggregazione in un singolo modello attraverso un processo di post-training in due fasi:

1. Supervised Fine-Tuning (SFT): Il modello viene addestrato su un formato di aggregazione strutturato contenente tre componenti: una traccia di ragionamento (<thought>), un set di chiavi visive verificate (<visual_keys>) e la risposta finale (<answer>). Ciò stabilisce una politica di riferimento ($\pi_{ref}$) e insegna al modello di articolare l'evidenza e formattare gli output.
2. Reinforcement Learning (RL) tramite Group Sequence Policy Optimization (GSPO): Il modello è ottimizzato utilizzando una funzione di ricompensa composita che bilancia tre obiettivi:
   • Correttezza della Risposta ($R_{acc}$): Corrispondenza esatta con la verità di base (ground truth).
   • Qualità della Selezione dell'Evidenza ($R_{key}$): Una formulazione bilanciata di precisione-richiamo che incoraggia la selezione di chiavi visive rilevanti evitando una proliferazione indiscriminata.
   • Penalità di Lunghezza Consapevole della Difficoltà ($R_{len}$): Una penalità adattiva che scoraggia l'eccessiva verbosità sui compiti facili (dove si osservano alti tassi di risoluzione) pur permettendo flessibilità per i compiti difficili.

L'addestramento impiega un mix basato su curriculum di traiettorie generate da un insegnante offline e traiettorie on-policy, aumentando gradualmente la proporzione di dati auto-generati per migliorare la robustezza e ridurre lo shift della distribuzione.

3. Contributi Chiave

• CASHEW: Un framework di inferenza plug-and-play che stabilizza il ragionamento multimodale aggregando iterativamente le traiettorie candidate con verifica visiva esplicita, filtrando efficacemente le allucinazioni e radicando il ragionamento nell'evidenza.
• CASHEW-RL: Una variante appresa che interiorizza l'aggregazione delle traiettorie tramite GSPO e una ricompensa composita, consentendo al modello di eseguire un'aggregazione robusta e visivamente fondata con un controllo adattivo sullo sforzo di ragionamento.
• Validazione Empirica: Esperimenti estesi che dimostrano miglioramenti costanti delle prestazioni attraverso diversi backbone di modelli e modalità.

4. Risultati Sperimentali

I metodi sono stati valutati su 13 benchmark che coprono la comprensione dell'immagine, la comprensione del video e il ragionamento sul video.

• Guadagni di Prestazione:
  • Benchmark d'Immagine: CASHEW-RL ha ottenuto miglioramenti significativi, inclusi +26,2 punti percentuali su ScienceQA (Qwen3-VL-4B) e +9,1 punti percentuali su EgoSchema (InternVL3.5-8B).
  • Benchmark Video: Guadagni costanti sono stati osservati in Video-MME, LongVideoBench e MVBench. Ad esempio, CASHEW-RL ha migliorato i punteggi di EgoSchema di +9,1 punti per InternVL3.5-8B.
• Confronto con lo Stato dell'Arte (SOTA): CASHEW ha superato le basi di scaling al tempo di test esistenti (Self-Consistency, Self-Selector e Self-Synthesizer) in tutti i parametri. In particolare, sul benchmark MME, ha superato il baseline più forte (Self-Synthesizer) di +48,2 e +82,6 punti rispettivamente nei punteggi di percezione e cognizione.
• Studi di Ablazione: Rimuovendo il modulo di grounding visivo (Grounding DINO), si ottengono comunque miglioramenti rispetto al VLM di base, indicando che l'aggregazione iterativa è il driver primario delle prestazioni, con il grounding visivo che ne aumenta ulteriormente l'affidabilità.
• Efficienza: CASHEW-RL ha raggiunto prestazioni paragonabili a configurazioni CASHEW più profonde con meno iterazioni di aggregazione, suggerendo un'efficienza di aggregazione migliorata.

5. Significato e Rivendicazioni

Il documento afferma che CASHEW e CASHEW-RL offrono una soluzione robusta all'instabilità del ragionamento multimodale. Passando da un paradigma "campiona-e-seleziona" a un paradigma di "aggregazione iterativa", i metodi assicurano che il consenso del ragionamento sia ancorato all'evidenza visiva. Gli autori sottolineano che il loro approccio consente ai modelli di "pensare insieme" piuttosto che semplicemente "pensare più a lungo", mitigando efficacementmente le allucinazioni e migliorando la coerenza. L'integrazione della verifica visiva e dello sforzo di ragionamento adattivo tramite GSPO consente al modello di produrre risposte che siano non solo corrette, ma anche radicate in un'evidenza visiva minima ma sufficiente.

6. Limitazioni

Gli autori riconoscono che l'attuale lavoro utilizza un budget di aggregazione fisso per consentire confronti controllati, il che potrebbe non essere ottimale per applicazioni con risorse limitate dove gli esempi facili potrebbero non richiedere un'aggregazione estesa. Sebbene CASHEW-RL affronti parzialmente questo aspetto interiorizzando il comportamento di aggregazione, uno studio sistematico sull'allocazione adattiva del budget è identificato come lavoro futuro.