Riassunto Tecnico: System-Mediated Attention Imbalances Make Vision-Language Models Say Yes

Problema: L'ipotesi "Image-Centric" vs. "System-Mediated"

Il paper affronta il problema delle allucinazioni nei modelli Vision-Language (VLM), con un focus specifico sul cosiddetto "yes-bias": una tendenza sistematica dei modelli a rispondere indiscriminatamente "sì" in compiti di classificazione binaria (yes/no), indipendentemente dal contenuto dell'immagine o del testo.

Attualmente, la letteratura scientifica segue un'ipotesi "image-centric", secondo la quale le allucinazioni derivano da un'attenzione insufficiente verso la modalità visiva. Di conseguenza, le strategie di mitigazione si concentrano quasi esclusivamente sull'aumento dei pesi di attenzione assegnati all'immagine. Gli autori sostengono che questa visione sia incompleta perché ignora il ruolo della modalità "system" (che include token come <BOS> e messaggi di sistema), la quale spesso accumula un'attenzione sproporzionata ma semanticamente ridondante (i cosiddetti attention sinks).

Metodologia: Interventi Causali e Ridistribuzione Proporzionale

Per testare la loro ipotesi "system-mediated", gli autori propongono che l'allucinazione non sia causata solo dalla mancanza di attenzione all'immagine, ma dal fatto che l'eccessiva attenzione alla modalità system sottrae risorse sia all'immagine che al testo, impedendo un'analisi fine-grained.

La metodologia si basa su interventi causali di ridistribuzione dell'attenzione nel decoder testuale del modello (nello specifico LLaVA-1.5 7B):

1. Identificazione del target: Gli interventi vengono applicati nell'ultimo quarto del decoder (Q4, layer 25-32), identificato come la zona critica per la generazione delle risposte.
2. Ridistribuzione Proporzionale: Invece di limitarsi ad aumentare l'attenzione dell'immagine, gli autori applicano una tecnica in due fasi:
   • Ablazione: Si azzerano i pesi di attenzione della modalità sorgente (es. system).
   • Riallocazione: I pesi azzerati vengono ridistribuiti tra le modalità rimanenti (es. image e text) in proporzione ai loro pesi originali.
3. Confronto tra ipotesi: Vengono confrontati tre scenari di trasferimento di pesi:
   • System $\to$ Image/Text (Verifica l'ipotesi system-mediated).
   • Text $\to$ Image (Verifica l'ipotesi image-centric).
   • System $\to$ Image (Verifica l'ipotesi image-centric).

Contributi Chiave

1. Nuovo Framework Teorico: Introduzione dell'ipotesi system-mediated, che vede l'allucinazione come un disequilibrio causato da pesi di sistema ridondanti che privano le altre modalità di attenzione necessaria.
2. Dimostrazione dell'Inefficacia dell'Approccio Image-Centric: Dimostrano che aumentare solo l'attenzione dell'immagine non è la strategia ottimale per risolvere il yes-bias.
3. Analisi Meccanicistica: Forniscono prove che l'eccessiva attenzione di sistema favorisce una "rappresentazione grossolana" (coarse) degli input, portando il modello a fare affidamento su risposte di default (il "sì") quando i dettagli fini non sono accessibili.

Risultati Principali

• Superiorità della Ridistribuzione di Sistema: Gli esperimenti su benchmark come HallusionBench, SugarCrepe e Winoground mostrano che la ridistribuzione dell'attenzione dalla modalità system verso image e text riduce il yes-bias in modo molto più efficace rispetto a qualsiasi strategia focalizzata solo sull'immagine.
• Validazione dell'Ipotesi: I risultati confermano che i trasferimenti System $\to$ Text e System $\to$ Image superano sistematicamente i trasferimenti Text $\to$ Image. Ciò prova che il problema non è solo la carenza di attenzione visiva, ma l'eccesso di attenzione di sistema.
• Analisi degli Errori (Comprensione Fine-grained vs. Coarse): Gli autori notano che l'intervento migliora le prestazioni nei compiti che richiedono analisi composizionali e dettagli fini (es. distinguere tra due immagini quasi identiche), ma può addirittura peggiorare le prestazioni in compiti che richiedono solo una comprensione globale o di alto livello (es. benchmark MME).
• Evidenza Rappresentazionale: La ridistribuzione dell'attenzione di sistema riduce significativamente la similarità coseno tra le rappresentazioni immagine-testo, confermando che l'attenzione di sistema agisce come un "collante" che forza una fusione eccessivamente grossolana delle informazioni.

Significato e Implicazioni

Il lavoro sposta il paradigma della mitigazione delle allucinazioni nei VLM: non basta "guardare meglio l'immagine", è necessario "distogliere lo sguardo dai token di sistema ridondanti".

Questa ricerca ha implicazioni profonde per lo sviluppo di modelli più affidabili, suggerendo che la gestione dell'attenzione nelle fasi finali del decoding è una leva cruciale per prevenire risposte automatiche e superficiali. Inoltre, apre la strada a studi su come l'attenzione di sistema influenzi le allucinazioni anche nei modelli linguistici (LLM) puramente testuali.