Riepilogo Tecnico: Il Flusso e Riflusso del Focus Multimodale

1. Definizione del Problema

I modelli visione-linguaggio (VLM) hanno dimostrato forti capacità di ragionamento, ma soffrono frequentemente di una degradazione dell'evidenza visiva durante l'inferenza multi-step. Una volta che l'informazione visiva viene assorbita nello stack linguistico, la sua influenza spesso si attenua con la profondità, si intreccia con l'organizzazione del linguaggio o deriva man mano che la generazione procede. Ciò porta al "neglect visivo", in cui i modelli si affidano ai priori linguistici piuttosto che a un'evidenza visiva fondata, causando allucinazioni e fallimenti nel ragionamento.

Sebbene lavori precedenti abbiano tentato di mitigare questi problemi attraverso il decoding contrastivo, la riallocazione dell'attenzione o lo steering delle attivazioni, rimane poco chiaro un'analisi unificata di come l'evidenza visiva venga organizzata e utilizzata attraverso la profondità della rete. Nello specifico, non è noto se questi modi di fallimento derivino da un singolo processo evolutivo o da segnali separati, né come l'intervento debba tracciare il cambiamento del ruolo dell'evidenza visiva con l'avanzare del ragionamento.

2. Metodologia

2.1 Analisi Meccanicistica: La Finestra di Relay Visivo (VRW)

Gli autori investigano innanzitutto la dinamica interna dei VLM attraverso una lente meccanicistica. Tracciando due specifiche sonde di attenzione attraverso i layer dei Transformer, scoprono una ridistribuzione stabile in tre fasi del focus multimodale:

1. Fase Iniziale (Organizzazione Condizionata dalla Domanda): Il modello allinea l'input visivo con la query. L'attenzione è dominata dalla sonda diretta alla domanda ($M_{A \to Q}$), mentre l'attenzione intra-visiva ($M_{I \to I}$) è bassa.
2. Fase Intermedia (Relay Dominante Visivo): Una fase critica in cui l'equilibrio cambia. L'attenzione intra-visiva aumenta significativamente mentre il modello consolida l'evidenza visiva e assembla strutture rilevanti per la risposta. La sonda diretta alla domanda recede.
3. Fase Finale (Formazione della Risposta): Il calcolo ritorna sul lato linguistico per generare la risposta finale, consegnando il supporto visivo assemblato.

Gli autori operazionalizzano la fase intermedia come la Finestra di Relay Visivo (Visual Relay Window - VRW). Definiscono un punteggio di dominanza del relay $R(l) = M_{I \to I}^{(l)} - M_{A \to Q}^{(l)}$ (dopo normalizzazione congiunta) per identificare l'intervallo $[s, e]$ in cui la consolidazione visiva domina.

Risultati Chiave dell'Analisi:

• Geometria Dipendente dal Task: La VRW non è fissa; la sua ampiezza e la profondità di terminazione si adattano alle richieste del task. I task "ricchi di dettagli" (es. conteggio) mostrano finestre di relay più ampie e tardive, mentre i task "ricchi di ragionamento" mostrano finestre più brevi con handoff più precoci.
• Mismatch del Relay: Le risposte allucinate (non supportate) sono collegate causalmente a un mismatch nella geometria del relay. Queste traiettorie spesso escono dalla fase di relay troppo presto (finestre strette) o non riescono a mantenere un forte ancoraggio visivo dopo l'handoff, derivando verso i priori linguistici.
• Validazione Causale: Perturbare gli stati specificamente all'interno della VRW stimata di una traiettoria non supportata recupera significativamente le risposte fondate (tasso di recupero del 41,4%), mentre le perturbazioni al di fuori di questa finestra hanno un effetto minimo.

2.2 Il Framework TRACE

Sulla base di queste scoperte, gli autori propongono TRACE (Task-adaptive Relay Anchoring and Controlled Evidence Scheduling), un framework di controllo durante l'inferenza composto da tre moduli leggeri e addestrati:

1. Relay Predictor Appreso: Un MLP leggero che predice un "punteggio di relay" per ogni layer di prefill basandosi su statistiche di attenzione compatte (massa di auto-attenzione visiva, sua variazione, attenzione domanda-visivo e profondità del layer). Identifica quali layer sono probabilmente coinvolti nel relay.
2. Task-Aware Relay Scheduling:
   • Prefill: Utilizzando l'output del predittore, lo scheduler modula dinamicamente i bias di attenzione visivo-visivo. Può espandere la fase di relay per task sensibili al grounding o contrarla per task ricchi di ragionamento.
   • Selezione Dinamica: Mantiene un sottoinsieme di token visivi rilevanti per il task (basato su Top-P rispetto alla rilevanza domanda-visivo) per concentrare l'intervento sull'evidenza reclutata.
3. Post-Handoff Anchoring: Una volta terminata la fase di relay (identificata da una regola di stop sogliata), il framework applica un bias additivo con decadimento di profondità ai logit risposta-visivo. Ciò assicura che il supporto visivo assemblato rimanga accessibile durante la fase di decoding, impedendo al modello di allontanarsi dall'evidenza.

Il framework è addestrato tramite ottimizzazione congiunta del predittore, dello scheduler e della perdita di ancoraggio su triple supervisionate, mantenendo congelati i parametri del VLM di base.

3. Contributi Chiave

1. Identificazione Strutturale: Il paper identifica una ridistribuzione stabile del focus multimodale attraverso la profondità e formalizza la fase intermedia come Visual Relay Window (VRW), fornendo una misura strutturale per l'assemblaggio dell'evidenza.
2. Spiegazione Meccanicistica: Stabilisce un legame causale tra l'ottimale timing del relay e la generazione fondata, dimostrando che le allucinazioni derivano spesso da un mismatch tra le richieste di evidenza del task e la geometria del relay del modello.
3. Intervento Unificato (TRACE): Gli autori introducono un framework che rimodella l'allocazione del relay durante il prefill e preserva il supporto durante il decoding. Questo approccio affronta sia la mitigazione delle allucinazioni che il ragionamento complesso sotto un unico principio di controllo, invece di progettare correzioni separate per ciascuno.

4. Risultati Sperimentali

TRACE è stato valutato su quattro backbone VLM open-weight (Qwen3-VL-4B/8B, InternVL3.5-4B/8B) su sette benchmark che coprono la sensibilità al grounding, l'evidenza fine-grained e i task ricchi di ragionamento.

• Settings Sensibili al Grounding: TRACE ha fornito guadagni significativi su HallusionBench, VlmsAreBlind e CountBench, migliorando le prestazioni di una media di 4,33 punti e fino a 6,6 punti su specifiche coppie modello-benchmark (es. InternVL3.5-8B su HallusionBench).
• Task Ricchi di Ragionamento: Ha inoltre migliorato le prestazioni su MathVista (guadagno medio di 3,05 punti), dimostrando che l'aggiustamento della geometria del relay avvantaggia i task di ragionamento permettendo un handoff più precoce al ragionamento lato linguaggio una volta organizzata l'evidenza.
• Confronto: TRACE ha superato l'inferenza vanilla, la self-consistency, la Chain-of-Thought e vari baseline di controllo al tempo di inferenza (VCD, PAI, MARINE, PTI, DMAS).
• Ablation: Rimuovere uno qualsiasi dei tre componenti core (Predictor, Scheduler, Anchoring) ha causato cali di prestazioni, confermando che il meccanismo specifico di rimodellamento della geometria del relay è cruciale, non solo l'aggiunta di parametri addestrabili.

5. Significato e Claim

Il paper sostiene che il controllo esplicito del focus multimodale attraverso la profondità offre un meccanismo unificato ed efficace per rafforzare il ragionamento fondato sull'evidenza. Vedendo i diversi task a valle attraverso la lente di un unico ritmo computazionale sottostante (il relay), TRACE evita la necessità di euristiche specifiche per il task.

Gli autori sottolineano che il loro lavoro fornisce una spiegazione meccanicistica per le tipiche allucinazioni (terminazione precoce del relay) e le differenze di capacità tra i modelli standard e quelli "Thinking" (migliore matching del relay). Sebbene l'analisi attuale si basi su sonde derivate dall'attenzione e setting a singola immagine, il lavoro propone un paradigma generale per un ragionamento multimodale più affidabile, allineando il processo interno di assemblaggio dell'evidenza del modello con le specifiche richieste del task.