Visual Funnel: Resolving Contextual Blindness in Multimodal Large Language Models

1. Definizione del Problema: Cecità Contestuale

Il paper identifica una modalità di fallimento critica nei Modelli Linguistici Multimodali di Grande Dimensione (MLLM) definita "Cecità Contestuale".

• Il Fenomeno: Sebbene gli MLLM eccellano nel ragionamento di alto livello, spesso falliscono nel percepire dettagli visivi fini (ad esempio, testo piccolo, attributi di oggetti distanti, differenze di stato sottili).
• Il Limite delle Soluzioni Attuali: I metodi esistenti tentano di risolvere questo problema ritagliando le regioni salienti di un'immagine per fornire dettagli ad alta fedeltà. Tuttavia, questi approcci "single-crop" creano una disconnessione strutturale tra il dettaglio isolato e il contesto globale più ampio.
• L'Insight Fondamentale: Il fallimento non è dovuto a una mancanza di quantità di informazioni (i pixel esistono nell'immagine originale e nel ritaglio), ma a una mancanza di Diversità Strutturale nell'input. Il modello non riesce a colmare il divario tra il "dettaglio focale" e la "visione globale" perché manca di un contesto a scala intermedia (l'ambiente circostante immediato) necessario per il ragionamento relazionale.
• Conseguenza: Senza questo contesto intermedio, i modelli interpretano erroneamente gli attributi (ad esempio, confondendo un "parcheggio" con una "corsia" perché mancano i segnaletici stradali circostanti) o non riescono a sintetizzare informazioni tra elementi spazialmente distinti (ad esempio, leggere un grafico senza le sue intestazioni).

2. Metodologia: Visual Funnel

Gli autori propongono Visual Funnel (VF), un approccio senza addestramento, eseguito al momento dell'inferenza in due fasi, progettato per costruire un portafoglio informativo adattivo e multi-scala che preserva il contesto gerarchico.

Fase 1: Ancoraggio Contestuale (Localizzazione)

Invece di chiedere al modello di rispondere direttamente alla domanda (il che può portare a allucinazioni se mancano i dettagli), VF utilizza un prompt specializzato focalizzato sulla localizzazione: "Per rispondere a {domanda}, dove nell'immagine dovrei guardare?"

• Meccanismo: Il modello genera una mappa di attenzione spaziale precisa da un singolo passaggio in avanti.
• Estrazione: I pesi dell'attenzione incrociata vengono estratti dagli strati interni dell'MLLM (specificamente dal primo token di risposta ai token dell'immagine) per creare una distribuzione di probabilità $A_{norm}$ sullo spazio dell'immagine, indicando la regione di interesse (ROI).

Fase 2: Generazione del Portafoglio Scalata per Entropia (Integrazione)

Questa è l'innovazione centrale. Invece di fornire un singolo ritaglio stretto, VF costruisce un portafoglio multi-scala composto da tre ritagli (più l'immagine originale) che colmano il divario tra dettaglio e contesto.

• Determinazione della Scala Guidata dall'Entropia:
  • Il metodo calcola l'entropia di Shannon della mappa di attenzione.
  • Bassa Entropia: Indica un'attenzione localizzata e sicura $\rightarrow$ Espansione minima del contesto (ad esempio, $1.2\times$).
  • Alta Entropia: Indica un'attenzione diffusa o ambiguità $\rightarrow$ Espansione aggressiva del contesto (ad esempio, fino a $2.8\times$) per catturare relazioni più ampie.
• Raffinamento Gerarchico del Centro:
  • I metodi multi-scala standard assumono che l'attenzione sia centrata. VF affronta l'attenzione asimmetrica (comune nei documenti o negli oggetti negli angoli) affinando iterativamente il centro del ritaglio.
  • Il centro per ogni livello di scala viene calcolato in base alla media ponderata dell'attenzione all'interno della regione del ritaglio genitore, garantendo che il ritaglio sia posizionato in modo ottimale per catturare il contesto rilevante.
• Il Portafoglio: L'input finale all'MLLM consiste in:
  1. Immagine Originale: Contesto globale.
  2. Ritaglio Focale: Dettaglio ad alta risoluzione ($S \times S$).
  3. Ritaglio $\alpha_1$: Contesto immediato ($\alpha_1 \cdot S$).
  4. Ritaglio $\alpha_2$: Contesto più ampio ($\alpha_2 \cdot S$).
     Tutti i ritagli vengono ridimensionati alla risoluzione di input del modello e concatenati con i token dell'immagine originale.

3. Contributi Chiave

1. Identificazione della "Cecità Contestuale": Il paper definisce formalmente una nuova modalità di fallimento in cui gli MLLM falliscono a causa di disconnessioni strutturali piuttosto che scarsità di informazioni, sostenendo che la Diversità Strutturale > Quantità di Informazioni.
2. Framework Visual Funnel: Una metodologia innovativa e senza addestramento che adatta dinamicamente dimensioni e posizioni dei ritagli in base all'entropia dell'attenzione e al raffinamento gerarchico.
3. Scoperta della "Penalità da Ridondanza": Attraverso esperimenti, gli autori dimostrano che aggiungere semplicemente più ritagli non strutturati (aumentando la quantità) può effettivamente peggiorare le prestazioni rispetto ai metodi single-crop. Questo dimostra che la struttura gerarchica dell'input è il fattore critico per il successo.
4. Ablazione Completa: Lo studio isola i contributi della localizzazione (Fase 1) rispetto alla generazione del portafoglio (Fase 2), mostrando che, sebbene una migliore localizzazione aiuti, la struttura gerarchica del portafoglio è il fattore decisivo nel risolvere compiti di ragionamento complessi.

4. Risultati Sperimentali

Il metodo è stato valutato su sette benchmark attraverso tre MLLM (LLaVA-1.5-7B, InstructBLIP-7B, Qwen2.5-VL-3B).

• Visual QA con Fondamento (Alta Sensibilità alla Cecità Contestuale):
  • TextVQA, DocVQA, InfoVQA: Visual Funnel ha ottenuto guadagni significativi rispetto ai baseline.
    • Esempio: Su DocVQA con InstructBLIP-7B, VF ha migliorato l'accuratezza dal 9,2% (Base) al 18,5% (+9,3 punti), superando ampiamente il baseline single-crop (ViCrop) al 9,9%.
    • Esempio: Su InfoVQA con LLaVA-1.5, VF è passato dal 12,0% al 15,1% (+3,1 punti).
  • Confronto con i Baseline "Quantità": Il baseline "w/ViCrop (Top-3)" (che aggiunge 3 ritagli non strutturati) ha spesso ottenuto prestazioni inferiori o uguali al baseline single-crop, confermando la "Penalità da Ridondanza". VF ha costantemente superato questo, validando l'importanza della struttura.
• Visual QA di Riconoscimento (Bassa Sensibilità alla Cecità Contestuale):
  • Su benchmark come POPE, AOKVQA e VQAv2, dove il contesto relazionale fine è meno critico, VF ha mostrato miglioramenti modesti (circa +0,5 a +1,0 punti), confermando che il metodo è specificamente mirato a risolvere il problema del "dettaglio piccolo" senza danneggiare le prestazioni generali.

5. Significato

• Cambiamento di Paradigma: Il paper sfida l'assunto prevalente secondo cui "più token/ritagli visivi" equivale a migliori prestazioni. Stabilisce che come le informazioni visive sono strutturate (gerarchica, multi-scala) è più importante del mero volume dei dati.
• Efficienza: Come metodo senza addestramento, Visual Funnel può essere applicato agli MLLM esistenti senza ri-addestramento, rendendolo immediatamente deployabile per compiti ad alta precisione come l'analisi di documenti, la lettura di grafici e l'ispezione visiva fine.
• Robustezza: Colmando esplicitamente il divario tra dettagli locali e contesto globale, Visual Funnel permette agli MLLLM di eseguire ragionamenti compositivi che erano precedentemente impossibili, ampliando significativamente la loro applicabilità in scenari reali che richiedono precisione.