Sintesi Tecnica: Mitigare la fuga di informazioni tra immagini nel multi-image understanding con i Large Vision-Language Models

Problema

Sebbene i Large Vision-Language Models (LVLM) dimostrino prestazioni elevate nei compiti a singola immagine, le loro capacità degradano significativamente quando elaborano più immagini simultaneamente. Sebbene lavori precedenti abbiano notato questo calo di prestazioni, i meccanismi sottostanti sono rimasti poco compresi.

Gli autori identificano empiricamente un fenomeno specifico denominato fuga di informazioni tra immagini (cross-image information leakage). Nei contesti multi-immagine, le rappresentazioni visive del modello si intrecciano, causando una miscelazione dei segnali visivi provenienti da immagini diverse invece di interpretarli indipendentemente. Come illustrato dalla motivazione del paper, quando vengono presentate due immagini (ad esempio, una con tulipani gialli e un'altra con rose rosse) e una query relativa alla prima immagine, il modello spesso non riesce a isolare l'obiettivo. Inveve di selezionare l'opzione corretta ("tulipani gialli"), sceglie erroneamente un'opzione fusa ("tulipani gialli e rose rosse").

Questa fuga è attribuita alla gestione standard di più immagini come una sequenza di token visivi concatenati. Il meccanismo di attenzione causale inter-immagine fa sì che i token di immagini diverse interagiscano fortemente, mescolando le rappresentazioni latenti e portando a allucinazioni in cui il contenuto delle immagini non target contamina la risposta.

Il paper nota anche che una soluzione ingenua — elaborare ogni immagine indipendentemente e aggregare i risultati — fallisce perché sacrifica le relazioni inter-immagine (ad esempio, confronti, riferimenti incrociati) che sono essenziali per i complessi compiti di ragionamento multi-immagine.

Metodologia: FOCUS

Per affrontare questa sfida senza richiedere addestramenti aggiuntivi o modifiche architettoniche, gli autori propongono FOCUS, un metodo di inferenza privo di addestramento (training-free) e agnostico rispetto all'architettura. Il metodo opera sulla osservazione che gli LVLM ragionano bene su singole immagini e mira a guidare il modello a concentrarsi su un'immagine alla volta preservando al contempo il contesto posizionale dell'input multi-immagine.

FOCUS consiste in tre fasi sequenziali:

1. Mascheramento Visivo (Visual Masking):
   Per un set di $N$ immagini di input, il metodo genera $N$ input parzialmente mascherati e un riferimento completamente mascherato.

   • Per ogni immagine target $I_i$, tutte le altre immagini $I_j$ ($j \neq i$) vengono corrotte con rumore casuale (scala $\lambda$), mentre $I_i$ rimane pulita.
   • Viene creato anche un input completamente mascherato dal rumore ($I_{noise}$) in cui tutte le immagini sono corrotte.
   • Ciò costringe il modello ad attendere principalmente a una singola immagine pulita in ogni passaggio in avanti (forward pass), mantenendo l'ordine originale delle immagini.

2. Inferenza Focalizzata per Immagine (Image-wise Focused Inference):
   Il modello esegue l'inferenza su ciascuno dei $N$ input parzialmente mascherati per ottenere una distribuzione di logit $\ell_i$ per ogni immagine target $I_i$. Inoltre, viene calcolata una distribuzione di logit di riferimento del rumore $\ell_{noise}$ utilizzando l'input completamente mascherato. Questo passaggio cattura il ragionamento del modello quando focalizzato su specifiche immagini all'interno del contesto congiunto.

3. Aggregazione Contrastiva (Contrastive Aggregation):
   L'output finale viene derivato aggregando i logit focalizzati e sopprimendo gli artefatti residui del rumore. La formula utilizzata è:
   $$\ell_{final} = \sum_{i=1}^{N} (\ell_i - \alpha \cdot \ell_{noise})$$
   Qui, $\alpha$ è un iperparametro ottimizzato tramite validazione. Sottrarre il riferimento del rumore ($\ell_{noise}$) aiuta a isolare e rimuovere i segnali visivi spurii che persistono anche dopo il mascheramento, garantendo che la previsione finale si basi sul contenuto dell'immagine pulita piuttosto che sugli artefatti indotti dal rumore.

Contributi Chiave

• Identificazione della Fuga di Informazioni tra Immagini: Il paper fornisce prove empiriche che il degrado delle prestazioni multi-immagine è strettamente legato all'intreccio delle rappresentazioni visive tra le immagini, portando a risposte fuse e errate.
• Metodo FOCUS: Una nuova strategia di inferenza training-free che mitiga la fuga di informazioni utilizzando il mascheramento del rumore e l'aggregazione contrastiva dei logit. Preserva le relazioni inter-immagine (a differenza dell'inferenza indipendente) pur evitando la miscelazione dei contenuti.
• Generalizzazione: Il metodo si dimostra efficace su diverse famiglie di LVLM (InternVL3, Qwen2.5-VL, LLaVA-OneVision, Qwen3-VL) e scale (da <7B a >30B parametri).
• Estensione alla Comprensione Video: Gli autori dimostrano che FOCUS si generalizza oltre gli input di immagini statiche ai compiti di comprensione video (Vinoground), suggerendo che il meccanismo affronta un problema fondamentale nel ragionamento visivo temporale e sequenziale.

Risultati Sperimentali

Gli autori hanno valutato FOCUS su cinque benchmark multi-immagine: Winoground, VisMin (Easy e Hard), Mantis-Eval, MuirBench e MIRB.

• Guadagni di Prestazione: FOCUS ha migliorato costantemente lo Image Score (I) e il Group Score (G), che riflettono direttamente le capacità di ragionamento multi-immagine, lasciando lo Text Score (T) ampiamente invariato.
  • Su Winoground, i guadagni hanno raggiunto fino a +18.8 nello Image score e +16.8 nello Group score.
  • Su VisMin-Easy, i miglioramenti sono stati sostanziali, ad esempio InternVL3-2B ha visto un aumento dello Image Score da 29.96 a 74.33.
  • Su Mantis-Eval, l'accuratezza è migliorata fino a +5.5 punti percentuali.
  • Su MuirBench e MIRB, sono stati osservati guadagni costanti, sebbene minori, in tutti i modelli.
• Confronto con le Alternative: FOCUS ha superato gli approcci alternativi, tra cui:
  • Elaborazione Indipendente (Independent Processing): Elaborare le immagini separatamente e concatenare il testo, il che non riusciva a catturare le relazioni inter-immagine.
  • Decodifica Contrastiva Convenzionale (VCD): I metodi contrastivi standard progettati per singole immagini hanno degradato le prestazioni in contesti multi-immagine.
  • SoFA: Un metodo mirato al bias di posizione, che non ha migliorato costantemente le prestazioni, indicando che il bias di posizione e la fuga di informazioni sono problemi distinti.
• Studi di Ablazione: Rimuovere l'iniezione di rumore o il passaggio di sottrazione del riferimento del rumore ha degradato significativamente le prestazioni, confermando che entrambi i componenti sono essenziali.
• Latenza: Il metodo introduce un overhead di latenza moderato (richiede $N+1$ passaggi di inferenza per $N$ immagini), un compromesso che gli autori ritengono giustificabile per i guadagni in termini di accuratezza.

Significato e Rivendicazioni

Il paper afferma che FOCUS offre una soluzione pratica e generalizzabile a tempo di inferenza per migliorare il ragionamento multi-immagine. Caratterizzando empiricamente la fuga di informazioni tra immagini e fornendo un metodo per mitigarla senza riaddestramento, il lavoro affronta un limite critico degli attuali LVLM.

Gli autori sottolineano che il loro approccio:

1. Non richiede dati di addestramento aggiuntivi o cambiamenti architettonici.
2. Funziona su una vasta gamma di dimensioni e famiglie di modelli.
3. Si estende alla comprensione video, suggerendo che il problema dell'intreccio visivo non è limitato alle immagini statiche.
4. Fornisce una soluzione generale per migliorare l'affidabilità del ragionamento multi-immagine, essenziale per le applicazioni reali in cui gli utenti forniscono più immagini contemporaneamente.

Il paper conclude che, sebbene FOCUS migliori significativamente le prestazioni, non è una panacea per tutti i compiti a lungo contesto o ad alta intensità di recupero (retrieval-heavy), dove il collo di bottiglia può risiedere nella localizzazione delle informazioni rilevanti piuttosto che nella disambiguazione del contenuto visivo. Tuttavia, per i compiti che richiedono l'integrazione e il confronto di molteplici input visivi, FOCUS offre un potenziamento robusto.