Sintesi Tecnica: Assegnazione del Credito Visivo per il Ragionamento Spaziale Multimodale

Definizione del Problema

I Modelli Linguistici Multimodali (MLLM) sono sempre più valutati su benchmark di ragionamento spaziale (es. VSR, GSR-COCO) utilizzando domande chiuse sì/no. Tuttavia, le metriche di accuratezza standard confondono due fenomeni distinti: rispondere correttamente grazie a una reale evidenza visiva rispetto al rispondere correttamente grazie a forti prior testuali, bias del dataset o abitudini nel seguire le istruzioni. Un modello può rispondere "sì" alla domanda "La TV è sopra il gatto?" correttamente, eppure l'immagine potrebbe non fornire più supporto per questa decisione di quanto farebbe un prompt solo testuale o un'immagine vuota. I metodi esistenti di debiasing e controfattuali spesso si concentrano sulla riduzione dei prior linguistici o sul miglioramento dell'accuratezza generale, ma non analizzano esplicitamente se una specifica decisione spaziale fissa riceve un supporto incrementale dall'immagine rispetto ai controlli senza immagine, mantenendo simultaneamente la coerenza della relazione.

Metodologia: Visual Credit Audit (VCA)

Il presente lavoro propone il Visual Credit Audit (VCA), un framework di audit a livello di decisione, privo di addestramento (training-free), che separa il successo del benchmark in tre componenti: correttezza, supporto d'immagine aggiuntivo e risposta coerente con la relazione. VCA opera su un'interfaccia binaria fissa (es. Sì/No) e congela l'MLLM, analizzando i margini di log-likelihood sotto contesti corrispondenti.

Framework di Audit a Due Assi

VCA identifica due estimandi distinti:

1. Dipendenza Immagine Relativa (Asse del Supporto):

   • Obiettivo: Determinare se l'immagine originale fornisce più supporto per la decisione dichiarata dal modello rispetto ai controlli solo testuali ($t$) o vuoti ($b$).
   • Metrica: Il gap di dipendenza VCA ($G^{\text{img}}_i$) è definito come la differenza tra il supporto allineato alla predizione dell'immagine originale ($r_{i,o}$) e il massimo supporto dei controlli senza immagine ($\max(r_{i,t}, r_{i,b})$).
   • Definizione: Una decisione è "accreditata" ($D_i=1$) se $G^{\text{img}}_i > 0$. Fondamentalmente, ciò non richiede che i controlli senza immagine favoriscano la risposta opposta, ma solo che l'immagine offra più supporto rispetto ai controlli.
   • Decomposizione: Questo porta a una decomposizione a quattro celle dell'accuratezza:
     • D-CC (Dependence-Credited Correct): Decisioni corrette con vantaggio di supporto dell'immagine.
     • C-U (Correct-but-Uncredited): Decisioni corrette dove l'immagine non offre alcun vantaggio rispetto ai controlli testuali/vuoti.
     • Errori Avvantaggiati dal Supporto: Decisioni errate dove l'immagine ha effettivamente fornito un supporto più forte rispetto ai controlli (una categoria spesso nascosta nelle metriche basate solo sul gold standard).
     • Errori Non Accreditati: Decisioni errate senza vantaggio di supporto dell'immagine.

2. Coerenza della Relazione (Asse dell'Interazione):

   • Obiettivo: Determinare se il modello distingue la vera relazione spaziale dalle false alternative su pixel fissi.
   • Metrica: Il Semantic Relation Contrast (SRC) confronta il margine della query della relazione vera ($q_{r+}$) rispetto al margine massimo delle alternative false ($q_{r-}$).
   • PairCredit: Misura se la separazione specifica dell'immagine ($G_{\text{int}}$) eccede la separazione trovata nei controlli senza immagine.
   • Joint: Una congiunzione che richiede sia la coerenza assoluta della relazione che la dipendenza accoppiata.

Interventi Diagnostici

Per validare questi estimandi e affrontare i limiti dei controlli nulli (che non possono identificare la reattività alla relazione), gli autori impiegano:

• Permutazione dell'Immagine Corrispondente: Sostituzione dell'immagine originale con un'immagine non correlata, deterministica e dello stesso split, per calibrare la metrica D-CC.
• Fattore di Evidenza-Fonte Controllato: Un design fattoriale $3 \times 3$ che varia l'evidenza visiva (supporto alla relazione, opposta alla relazione, neutra) e l'evidenza testuale (supportante, opposta, neutra) per isolare se le decisioni non accreditate rispondono ancora ai cambiamenti della relazione visiva.
• Audit Umano di Edizioni: Un set di 108 edizioni di immagini naturali compatibili con la geometria per verificare la corrispondenza tra gli interventi controllati e i cambiamenti delle immagini naturali.

Contributi Chiave

1. Audit a Livello di Decisione Senza Etichette: Ha introdotto un metodo che assegna il credito alle decisioni dichiarate senza fare affidamento sulle etichette di ground-truth per l'audit stesso. Questo recupera il guadagno allineato al gold su elementi corretti, ma mantiene unicamente gli "errori avvantaggiati dal supporto", fornendo una decomposizione completa dell'accuratezza.
2. Separazione del Supporto Marginale dalla Risposta alla Relazione: Ha stabilito che i controlli nulli (testo/vuoto) non possono identificare se un modello risponde a inversioni di relazione. Il paper dimostra che una decisione può essere "non accreditata" (nessun vantaggio marginale dell'immagine) ma comunque "reattiva alla relazione" (cambia correttamente quando la relazione visiva viene invertita).
3. Analisi Empirica Completa: Ha applicato VCA su quattro MLLM open-source (Qwen, InternVL, LLaVA, Ministral) e due benchmark (VSR, GSR-COCO), utilizzando 1.800 input fattoriali per modello e 108 audit di edizioni indipendenti.

Risultati

• Prevalenza della Correttezza Non Accreditata: In tutti i modelli e dataset, tra il 12,73% e il 26,25% delle decisioni corrette sono "non accreditate" (C-U), il che significa che l'immagine non ha fornito alcun vantaggio di supporto rispetto ai controlli solo testuali o vuoti.
• Specificità dell'Immagine: La permutazione dell'immagine corrispondente riduce la D-CC di 21,25 - 47,80 punti in tutte le esecuzioni, con intervalli di confidenza al 95% strettamente sopra lo zero. Ciò conferma che il vantaggio dell'immagine originale è specifico per il suo contenuto, non solo per la presenza di qualsiasi immagine.
• Reattività alla Relazione nei Casi Non Accreditati: Tra le decisioni corrette ma non accreditate, tra l'81,57% e il 100,00% dei modelli rispondono correttamente alle inversioni di relazione nel setup fattoriale. Inoltre, il 32,11% di queste decisioni non accreditate invertono effettivamente la loro risposta binaria quando la relazione viene invertita, provando che non sono puramente guidate dal testo.
• Corrispondenza Naturale: Nelle edizioni di immagini naturali auditate da umani, il 25,00% delle decisioni corrette ma non accreditate cambia con successo in base alla visibilità, confermando che i casi reattivi non accreditati esistono nelle immagini naturali, non solo nei render procedurali.
• Decomposizione: Il framework rivela che l'accuratezza aggregata maschera una significativa varianza nel modo in cui i modelli utilizzano l'evidenza visiva. Ad esempio, su GSR-COCO, Qwen raggiunge il 90,91% di accuratezza, ma solo il 78,18% degli esempi è sia corretto che supportato dall'immagine.

Significato e Rivendicazioni

Il paper sostiene che VCA fornisca una decomposizione necessaria del successo dei benchmark che l'accuratezza da sola non può offrire.

• Oltre l'Accuratezza: Argomenta che "correttezza" e "supporto visivo" sono dimensioni distinte. Un modello può essere accurato ma fare affidamento sui prior (C-U), o può essere inaccurato ma utilizzare correttamente l'evidenza visiva (errori avvantaggiati dal supporto).
• Rigore Metodologico: Separando l'estimando di "supporto marginale" dall'estimando di "reattività alla relazione", VCA evita la confusione presente nei metodi di controllo nullo esistenti. Dimostra che i controlli nulli sono insufficienti per identificare le risposte visive specifiche della relazione.
• Utilità Pratica: VCA funge da compagno post-hoc all'accuratezza, offrendo un "report a strati" che aiuta a diagnosticare se i miglioramenti nel ragionamento spaziale derivino da una reale evidenza visiva o da prior di risposta più forti. Non pretende di sostituire l'accuratezza, ma di raffinarne l'interpretazione.
• Limitazioni: Gli autori notano con modestia che VCA misura il supporto relativo sotto controlli prestabiliti, non i percorsi causali interni o l'attribuzione a livello di pixel. È progettato per interfacce a scelta forzata predefinite e non affronta direttamente la generazione aperta e non vincolata.