Sintesi Tecnica: iVGR – Internalizzazione del Ragionamento Visivamente Fondato per gli MLLM tramite Reinforcement Learning

1. Definizione del Problema

I Modelli Linguistici Multimodali (MLLM) hanno compiuto progressi significativi nel ragionamento generale, tuttavia faticano con la percezione fine in scene visive ad alta risoluzione o complesse. Sebbene il Ragionamento Chain-of-Thought (CoT) Visivamente Fondato sia emerso come un paradigma promettente per migliorare la percezione (ancorando esplicitamente il ragionamento a regioni visive tramite ritagli dinamici o bounding box), la sua efficacia durante la fase di inferenza rimane poco esplorata.

L'analisi empirica in questo lavoro rivela un reperto controintuitivo: imporre l'uso esplicito di box di oggetti o strumenti di ritaglio durante l'inferenza spesso degrada le prestazioni rispetto al CoT testuale standard.

• Gli approcci basati su strumenti (es. DeepEyes) che invocano strumenti di ritaglio esterni soffrono quando la localizzazione del ritaglio è scarsa, introducendo rumore visivo che danneggia la predizione della risposta.
• Gli approcci di grounding esplicito (es. TreeVGR) che richiedono la generazione di bounding box all'interno del CoT performano costantemente peggio del CoT testuale in tutti gli intervalli di qualità della localizzazione.

Gli autori ipotizzano che la capacità di localizzazione visiva possa essere internalizzata nel processo di ragionamento testuale. La generazione obbligatoria di coordinate esplicite durante l'inferenza introduce un'interferenza non necessaria, distraendo il modello dal suo obiettivo primario di predizione della risposta.

2. Metodologia: iVGR

Per affrontare questo problema, gli autori propongono iVGR (Internalizing Visually Grounded Reasoning), un nuovo framework di reinforcement learning (RL) progettato per trasferire le capacità di localizzazione da un flusso fondato a un flusso di ragionamento puramente testuale.

Strategia di Addestramento a Doppio Flusso (Dual-Stream)

Il cuore di iVGR è un meccanismo di addestramento a doppio flusso in cui, per ogni query di addestramento, il policy MLLM genera due flussi distinti di rollout:

1. Flusso Fondato (Grounded Stream): Il modello viene istruito a predire esplicitamente bounding box (<box>[x1, y1, x2, y2]</box>) quando si riferisce agli oggetti. Questo flusso viene premiato per il formato, l'accuratezza della risposta e la qualità della localizzazione (IoU).
2. Flusso Testuale (Textual Stream): Il modello esegue uno standard ragionamento in linguaggio naturale senza vincoli di grounding espliciti.

Reward di Consistenza (Consistency Reward)

L'innovazione critica è il Reward di Consistenza, che allinea il flusso testuale con il ragionamento di alta qualità proveniente dal flusso fondato.

• Selezione del Riferimento: Un "Archivio di Rollout" mantiene il CoT fondato di qualità più elevata (basato su IoU e accuratezza) trovato finora per ogni query.
• Allineamento Semantico: Un LLM esterno agisce da giudice valutando la consistenza semantica tra il CoT testuale e il riferimento fondato archiviato. Il giudice assegna un punteggio (da 0.0 a 1.0) in base al fatto che la descrizione testuale corrisponda ai fatti visivi stabiliti nel riferimento fondato (es. omissione di dettagli, aggiunta di allucinazioni o contraddizione dei fatti).
• Ottimizzazione: Il flusso testuale è ottimizzato per massimizzare questo reward di consistenza, imparando efficacemente a "vedere" e localizzare gli oggetti implicitamente nel proprio testo senza output di coordinate.

Scalabilità del Test-Time Assistita da Strumenti

Sebbene il modello sia addestrato per internalizzare il grounding, iVGR mantiene la flessibilità di utilizzare strumenti esterni. Al tempo del test, viene proposto un workflow in cui il modello genera prima un CoT fondato per estrarre i bounding box. Questi box vengono poi utilizzati per ritagliare l'immagine (incluso un "ritaglio unione" di tutte le regioni), e il modello esegue il ragionamento su questi input multi-vista utilizzando lo standard CoT testuale.

3. Contributi Chiave

• Analisi Empirica: Il paper dimostra che il grounding visivo esplicito durante l'inferenza spesso danneggia le prestazioni, suggerendo che le capacità di localizzazione possono essere trasferite implicitamente al CoT testuale.
• Framework iVGR: Una strategia di addestramento a doppio flusso basata sul reinforcement learning che utilizza un reward di consistenza per internalizzare il grounding visivo nel ragionamento testuale, eliminando la necessità di generazione esplicita di coordinate durante l'inferenza.
• Scalabilità e Compatibilità: Il metodo è validato sui modelli Qwen2.5-VL e Qwen3-VL, mostrando miglioramenti significativi attraverso benchmark fine-grained e di ragionamento generale, rimanendo compatibile con i workflow assistiti da strumenti.

4. Risultati Sperimentali

Sono stati condotti estesi esperimenti su benchmark VQA fine-grained (V*, HR4K, HR8K) e task di ragionamento generale (MME-RW-Lite, POPE, RealWorldQA, ecc.).

• Guadagni di Performance: iVGR supera significativamente i baseline esistenti. Sul modello Qwen2.5-VL-7B, iVGR ottiene un miglioramento medio del 6,5% tra i benchmark, con guadagni sostanziali nei task fine-grained (es. +10,4% su HR8K).
• Confronto con SOTA: Supera sia i metodi basati su strumenti (come DeepEyes) che i metodi di grounding esplicito (come TreeVGR) senza richiedere strumenti esterni durante la fase primaria di inferenza.
• Evidenza di Internalizzazione: L'analisi dei punteggi di attenzione mostra che il flusso testuale di iVGR presta attenzione ai token dell'immagine più fortemente rispetto alla variante con solo flusso fondato, confermando che il modello ha internalizzato con successo il grounding visivo.
• Sinergia con gli Strumenti: Quando equipaggiato con la proposta scalabilità del test-time assistita da strumenti (usando i ritagli), le prestazioni migliorano ulteriormente (es. +1,5% su HR4K per Qwen3-VL-8B), dimostrando la flessibilità del metodo.

5. Significato e Rivendicazioni

Il paper sostiene che iVGR offra un paradigma più efficiente e robusto per il ragionamento visivo fine-grained. Internalizzando la capacità di localizzazione, il modello evita il rumore e l'interferenza causati dalla generazione obbligatoria di coordinate esplicite durante l'inferenza.

Gli autori posizionano iVGR come un metodo che:

1. Decoppia la capacità di localizzazione visiva dalla necessità di formati di output espliciti.
2. Migliora la percezione fine-grained senza sacrificare la flessibilità dello standard ragionamento testuale.
3. Mantiene la compatibilità con strumenti esterni, permettendo un approccio ibrido dove gli strumenti possono essere sfruttati al tempo del test se è richiesta una maggiore precisione.

Il lavoro suggerisce che il futuro del ragionamento visivamente fondato non risieda nel forzare i modelli a produrre coordinate, ma nell'addestrarli a ragionare con una comprensione implicita e internalizzata dello spazio visivo.