Sintesi Tecnica: GridVQA-X

Problematica

Il rapido progresso dei Large Vision-Language Models (LVM) ha superato lo sviluppo di protocolli di valutazione affidabili per la Multimodal Explainable AI (MxAI). Sebbene gli attuali metodi di MxAI sostengano di attribuire le decisioni a interazioni cross-modali, i benchmark esistenti mancano della verità fondamentale (ground truth) necessaria per distinguere tra un reale ragionamento cross-modale (es. composizione spaziale) e scorciatoie cross-modali superficiali (es. Bag-of-Words attribute matching).

L'attuale valutazione si basa su dataset naturali in cui le distribuzioni delle caratteristiche sono rumorose e causalmente non definite, o su annotazioni umane che possono essere spurieamente correlate con elementi visivi. Di conseguenza, rimane ignoto se i metodi di MxAI catturino fedelmente le interazioni sinergiche o se si limitino ad allucinare il ragionamento su modelli che agiscono come semplici rilevatori di caratteristiche. Esiste una lacuna critica nel valutare rigorosamente se gli esplicatori possano distinguere tra un modello che utilizza un vero ragionamento spaziale e uno che sfrutta scorciatoie statistiche.

Metodologia: Il Framework GridVQA-X

Per affrontare questo problema, gli autori introducono GridVQA-X, un framework diagnostico che utilizza una logica di sintesi a mondo chiuso per generare spiegazioni matematicamente garantite. Il framework opera su una pipeline a quattro stadi:

1. Generazione del Dataset con Maschere di Verità Fondamentale (Ground-Truth Masks)

Gli autori generano due dataset sintetici, $D_{pure}$ e $D_{spur}$, parametrizzati da una quadrupla: Profondità ($D$), Tipo di Domanda ($Q$), Forma ($F$) e Densità ($\rho$).

• $D_{pure}$ (Pure): Rimuove sistematicamente tutte le scorciatoie euristiche enumerate. Impone l'Indipendenza Spaziale popolando le "regioni di confusione" con distrattori avversari che corrispondono agli attributi target ma violano i vincoli spaziali. Ciò garantisce matematicamente che l'unica spiegazione causale valida per una query sia la specifica intersezione tra oggetti target e anchor.
• $D_{spur}$ (Spurious): Preserva intenzionalmente la più pervasiva scorciatoia cross-modale (Caso-1: Bag-of-Words alignment). Il generatore assicura che non esistano oggetti corrispondenti al target al di fuori della regione spaziale valida, rendendo la scorciatoia perfettamente predittiva ($P(Y_{ans} | \text{Target Attrs}) = 1.0$).

2. Addestramento di Modelli Coppia

Due modelli di riferimento, $M_{pure}$ e $M_{spur}$, vengono addestrati su architetture identiche (MDETR) ma sui rispettivi dataset.

• $M_{pure}$: Apprende un ragionamento spaziale-relazionale robusto per ottenere un'alta accuratezza su $D_{pure}$.
• $M_{spur}$: È strutturalmente costretto a fare affidamento su scorciatoie cross-modali. Quando valutato su $D_{pure}$, le sue prestazioni crollano (scendendo a circa il 49% complessivo e l'8% sulle query multi-hop), confermando che opera tramite una scorciatoia unimodale piuttosto che un vero ragionamento.

3. Generazione dell'Attribuzione

Metodi di MxAI post-hoc vengono applicati a entrambi i modelli. Il framework valuta se gli esplicatori producono percorsi di ragionamento distinti per $M_{pure}$ (vero ragionamento) rispetto a $M_{spur}$ (affidamento su scorciatoie).

4. Metriche di Valutazione

Gli autori adattano le metriche esistenti e ne introducono di nuove:

• Relevance Mass Accuracy (RMA): Misura la massa di rilevanza assegnata alle maschere di verità fondamentale rispetto alle maschere dei distrattori. Un esplicatore fedele dovrebbe assegnare una massa vicina allo zero ai distrattori per $M_{pure}$, ma un'alta massa a essi per $M_{spur}$.
• Controllo della Fallacia Additiva (Additive Fallacy Check): Per i metodi globali, il punteggio di sinergia ($S_{score}$) deve aumentare monotonicamente con la complessità della query (Profondità) per $M_{pure}$, pur rimanendo invariante per $M_{spur}$.

Contributi Chiave

1. Dataset GridVQA-X: L'introduzione di $D_{pure}$ e $D_{spur}$, che forniscono caratteristiche di verità fondamentale unicamente garantite matematicamente e una tassonomia che isola diversi gradi di interazioni del mondo reale. Questi dataset dimostrano esplicitamente l'assenza (in $D_{pure}$) o la presenza (in $D_{spur}$) di note correlazioni spurie.
2. Modelli di Riferimento ($M_{pure}$ e $M_{spur}$): Il rilascio di due modelli addestrati tramite dinamiche guidate dalla spiegazione. I loro meccanismi di ragionamento verificabili (ragionamento spaziale vero vs. scorciatoia cross-modale) permettono la valutazione degli esplicatori con zero ambiguità riguardo alle attese di attribuzione della verità fondamentale.
3. Nuovo Protocollo di Valutazione: L'adattamento delle metriche MxAI al dominio multimodale e l'introduzione del controllo della Fallacia Additiva per valutare gli scalari di interazione cross-modale sulla complessità composizionale.

Risultati e Analisi

La valutazione dei metodi MxAI allo stato dell'arte (inclusi DIME, MultiSHAP, MultiViz, EMAP e InterSHAP) rivela fallimenti significativi:

• Incapacità di Distinguere i Modelli: La maggior parte degli esplicatori locali non riesce a differenziare tra $M_{pure}$ e $M_{spur}$.
  • MultiViz mostra una "cecità assoluta del modello", producendo una Relevance Mass Accuracy (RMA) statisticamente identica per entrambi i modelli, nonostante i loro distinti percorsi causali.
  • DIME soffre di una "fedeltà accidentale", dove le sue mappe di calore diffuse intersecano accidentalmente i target reali in $M_{spur}$, mascherando la scorciatoia.
  • MultiSHAP preferisce strutturalmente il modello spurio ($M_{spur}$), producendo una RMA più alta per esso rispetto al modello fedele, probabilmente perché i margini game-theoretic si allineano meglio con i rilevatori di caratteristiche indipendenti (scorciatoie) che con le intersezioni intrecciate.
• Incapacità di Catturare i Vincoli Spaziali: I metodi locali spesso ricorrono a un rilevamento superficiale delle caratteristiche. MultiSHAP evidenzia tutti gli oggetti che corrispondono agli attributi target (inclusi i distrattori avversari), fallendo nell'applicare i vincoli spaziali binari.
• Sinergia Allucinata: I metodi globali falliscono il controllo della Fallacia Additiva. EMAP e InterSHAP allucinano un'alta sinergia cross-modale per il modello di scorciatoia ($M_{spur}$) e, viceversa, mostrano una diminuzione dell'interazione stimata all'aumentare della complessità per il modello fedele ($M_{pure}$), provando che i loro stimatori sono disallineati con il grafo causale.

Significato e Rivendicazioni

L'articolo sostiene che GridVQA-X espone un punto cieco critico nella ricerca attuale su MxAI: gli esplicatori allo stato dell'arte falliscono fondamentalmente nel catturare la vera sinergia cross-modale.

Gli autori argomentano che gli attuali metodi creano un "illusione di interpretabilità" che maschera il comportamento distorto del modello. Fornendo un ambiente strettamente controllato con una verità fondamentale matematicamente verificabile, GridVQA-X offre un banco di prova definitivo e privo di ambiguità. Il framework mira a spostare il campo dalle metriche di plausibilità superficiale verso lo sviluppo di esplicatori capaci di diagnosticare verificabilmente l'ancoraggio relazionale cross-modale. Gli autori non pretendono di aver risolto il problema della spiegabilità, quanto piuttosto di aver fornito lo strumento diagnostico necessario per identificare dove i metodi attuali falliscono.