Riepilogo Tecnico: Circuiti a Doppio Percorso per le Allucinazioni di Oggetti nei Modelli Vision-Language

Enunciato del Problema

I Modelli Vision-Language (VLM) hanno raggiunto prestazioni notevoli nel colmare il divario tra percezione visiva e comprensione del linguaggio naturale. Tuttavia, soffrono frequentemente di allucinazioni di oggetti, in cui i modelli descrivono entità, attributi o relazioni assenti dall'immagine di input. Questo comportamento riflette un'eccessiva dipendenza da prior centrati sul testo piuttosto che da evidenze visive, limitando l'affidabilità e l'interpretabilità del modello.

Le strategie di mitigazione esistenti (ad esempio, allineamento durante l'addestramento, vincoli di decodifica, correzioni a posteriori) trattano largamente i VLM come scatole nere, modificando gli input o le procedure di decodifica senza indagare i calcoli interni che guidano le allucinazioni. Di conseguenza, questi metodi sono spesso specifici del modello e non riescono a generalizzare attraverso diverse architetture. Inoltre, mentre l'interpretabilità meccanica è stata applicata ai modelli linguistici per identificare circuiti per comportamenti come il richiamo fattuale, la sua applicazione ai VLM è impegnativa a causa dell'integrazione di rappresentazioni visive e componenti linguistiche, nonché della diversità architetturale dei moderni VLM.

Metodologia

Gli autori propongono l'Analisi dei Circuiti a Doppio Percorso, un framework progettato per identificare e caratterizzare circuiti legati alle allucinazioni attraverso VLM architettonicamente diversificati. Lo studio impiega una strategia di analisi in tre fasi su cinque VLM (Qwen3-VL, LLaVA, Llama-3.2-Vision, InternVL3-8B e InternVL3-14B) utilizzando il benchmark avversario POPE.

1. Patching delle Attivazioni per la Scoperta dei Circuiti

Gli autori estendono il patching delle attivazioni ai VLM corrompendo gli embedding dei token visivi con rumore gaussiano (3σ) al livello di input, portando l'accuratezza a livelli casuali. Successivamente, ripristinano componenti specifici (sottostrati di attenzione o sottostrati MLP) da una esecuzione "pulita" nell'esecuzione "corrotta".

• Effetto Indiretto (IE): Calcolato come la differenza nelle differenze dei logit tra l'esecuzione patchata e l'esecuzione corrotta.
• Estrazione del Circuito: I componenti sono classificati in due percorsi basandosi sul segno della d di Cohen (dimensione dell'effetto) confrontando campioni corretti rispetto a campioni allucinati:
  • Percorso di Ancoraggio Visivo ($d > 0$): Componenti con effetti indiretti maggiori sui campioni corretti.
  • Percorso di Allucinazione ($d < 0$): Componenti con effetti indiretti maggiori durante l'allucinazione.

2. Analisi del Percorso Condizionale (CPA)

Per andare oltre l'analisi del singolo componente, gli autori introducono la CPA per caratterizzare le interazioni a livello di percorso.

• Ridondanza vs. Sinergia: Confrontando l'effetto congiunto del ripristino simultaneo di tutti i componenti del percorso contro la somma degli effetti individuali, determinano se i componenti trasportano informazioni sovrapposte (ridondanza) o frammenti complementari (sinergia).
• Rilevamento dell'Inversione di Polarità: La CPA indaga specificamente se il contributo causale dei componenti cambia segno tra campioni corretti e campioni allucinati, una firma invisibile all'analisi standard a livello di componente.

3. Validazione Causale e Trasferimento

• Soppressione Mirata: Gli autori eseguono interventi causali scalando le uscite dei componenti del percorso di allucinazione ($s \in \{0.0, 0.25, 0.5, 0.75\}$) durante l'inferenza senza riaddestramento.
• Baseline: Confrontano la scalatura per componente contro interventi a direzione statica (Proiezione della Differenza di Media e Intervento al Tempo di Inferenza [ITI]) e controlli con componenti casuali.
• Generalizzazione: I circuiti identificati sono testati su diverse partizioni POPE e sul benchmark AMBER (che copre allucinazioni di esistenza, attributi e relazioni) per valutare la trasferibilità.

Risultati Chiave

1. Scoperta di un'Organizzazione Condivisa a Doppio Percorso

In tutti e cinque i VLM diversificati, l'analisi rivela una struttura a doppio percorso coerente:

• Percorso di Ancoraggio Visivo: Concentrato negli strati centrali e tardivi.
• Percorso di Allucinazione: Concentrato negli strati iniziali e ai confini della rete.
  Questa organizzazione persiste attraverso diverse famiglie di backbone, strategie di integrazione visiva (ad esempio, cross-attention vs. proiettore) e scale di modello, suggerendo che la struttura emerge durante l'addestramento piuttosto che essere ereditata da architetture specifiche.

2. Inversione di Polarità e Ridondanza

La CPA rivela due scoperte critiche:

• Inversione di Polarità del Percorso di Ancoraggio: Su campioni corretti, i componenti di ancoraggio supportano la verità fondamentale ($d > 0$). Su campioni allucinati, gli stessi componenti invertono la polarità ($d < 0$), supportando attivamente la risposta allucinata. Ciò indica che le rappresentazioni di "ancoraggio" non sono assenti ma sono state indotte ai prior non visivi dell'output del modello.
• Ridondanza Coerente: Entrambi i percorsi mostrano una forte ridondanza all'interno del sottoinsieme (l'entità dell'effetto congiunto è significativamente inferiore alla somma degli effetti individuali) sia nei campioni corretti che in quelli allucinati. La ridondanza non si dissolve durante l'allucinazione; piuttosto, le copie ridondanti vengono reindirizzate.

3. Efficacia dell'Intervento Causale

• Successo della Soppressione: La soppressione mirata dei componenti del percorso di allucinazione riduce le allucinazioni di oggetti del 40% al 76% (riduzione relativa) con un costo minimo di accuratezza ($\le 2$ punti percentuali).
• Superiorità rispetto alle Direzioni Statiche: La scalatura per componente supera le baseline a direzione statica (ITI e Proiezione della Differenza di Media). Gli autori attribuiscono ciò al fatto che il segnale di allucinazione è multidirezionale; la direzione singolare principale cattura solo il 45–69% della varianza, limitando l'efficacia degli interventi a singola direzione.
• Specificità: Sopprimere il percorso di ancoraggio fa crollare l'accuratezza a livelli casuali, confermando una doppia dissociazione: la soppressione del percorso di allucinazione riduce gli errori senza distruggere le prestazioni del compito, mentre l'ablazione del percorso di ancoraggio distrugge il compito.

4. Trasferimento Selettivo

I circuiti identificati si trasferiscono selettivamente attraverso i tipi di allucinazione:

• Allucinazione Relazionale: L'intervento si trasferisce bene alle allucinazioni relazionali (riduzione del 36–47%), suggerendo meccanismi condivisi con le allucinazioni di esistenza degli oggetti.
• Allucinazione di Attributo: L'intervento non riesce in gran parte a ridurre le allucinazioni di attributo, implicando che gli errori di attributo coinvolgono circuiti distinti (ad esempio, estrazione imprecisa delle caratteristiche visive) non catturati dal percorso di esistenza degli oggetti.

Significato e Affermazioni

Il documento afferma di fornire la prima caratterizzazione meccanica dell'allucinazione di oggetti attraverso diverse architetture VLM. I suoi contributi principali sono:

1. Intuito Meccanico: Identifica che l'allucinazione di oggetti è guidata da una struttura condivisa a doppio percorso in cui i componenti di ancoraggio subiscono un'inversione di polarità, reindirizzando l'evidenza visiva verso i prior linguistici durante gli errori.
2. Avanzamento Metodologico: Dimostra che l'analisi a livello di percorso (CPA) rivela firme critiche (inversioni di polarità) che il patching a singolo componente non coglie.
3. Validazione Causale: Stabilisce che la soppressione mirata di componenti specifici può ridurre causalmente le allucinazioni, validando l'ipotesi del circuito.
4. Limiti e Ambito: Gli autori notano modestamente che, sebbene la loro estrazione del circuito e la soppressione validino il meccanismo, il metodo di scalatura proposto è una sonda causale piuttosto che una strategia di mitigazione deployabile. Sottolineano che il trasferimento selettivo alle allucinazioni relazionali ma non a quelle di attributo indica che diversi tipi di allucinazione potrebbero richiedere estrazioni di circuiti distinte.

Il lavoro conclude che l'allucinazione di oggetti nei VLM non è un artefatto architetturale ma una struttura meccanica appresa, e che un intervento efficace richiede di affrontare la natura multidirezionale del segnale di allucinazione piuttosto che affidarsi a direzioni lineari statiche.