Technische Samenvatting: GridVQA-X

Probleemstelling

De snelle vooruitgang van Large Vision-Language Models (LVLMs) heeft de ontwikkeling van betrouwbare Multimodale Explainable AI (MxAI) evaluatieprotocollen ingehaald. Hoewel huidige MxAI-methoden beweren beslissingen toe te schrijven aan cross-modale interacties, missen bestaande benchmarks de ground truth die nodig is om onderscheid te maken tussen echte cross-modale redenering (bijv. ruimtelijke compositie) en oppervlakkige cross-modale shortcuts (bijv. Bag-of-Words attribuut-matching).

Huidige evaluaties vertrouwen op natuurlijke datasets waar de feature-distributies ruis bevatten en causaal niet gedefinieerd zijn, of op menselijke annotaties die spurius gecorreleerd kunnen zijn met visuele elementen. Bijgevolg blijft het onbekend of MxAI-methoden werkelijk synergetische interacties vastleggen of louter redeneringen hallucineren op modellen die fungeren als eenvoudige feature-detectoren. Er is een kritiek gat in het rigoureus beoordelen of explainers in staat zijn om te differentiëren tussen een model dat echte ruimtelijke redenering gebruikt en een model dat statistische shortcuts exploiteert.

Methodologie: Het GridVQA-X Framework

Om dit aan te pakken, introduceren de auteurs GridVQA-X, een diagnostisch framework dat gebruikmaakt van een closed-world synthese-logica om wiskundig gegarandeerde verklaringen te genereren. Het framework werkt via een vierfasen-pipeline:

1. Datasetgeneratie met Ground-Truth Maskers

De auteurs genereren twee synthetische datasets, $D_{pure}$ en $D_{spur}$, geparametriseerd door een 4-tuple: Diepte ($D$), Vraagtype ($Q$), Vorm ($F$) en Dichtheid ($\rho$).

• $D_{pure}$ (Pure): Verwijdert systematisch alle geïnnumereerde heuristische shortcuts. Het dwingt Ruimtelijke Onafhankelijkheid af door "confuser regio's" te vullen met adversariële distractoren die wel overeenkomen met de doelattributen, maar de ruimtelijke beperkingen schenden. Dit garandeert wiskundig dat de enige geldige causale verklaring voor een query de specifieke intersectie van de doel- en ankerobjecten is.
• $D_{spur}$ (Spurious): Behoudt opzettelijk de meest hardnekkige cross-modale shortcut (Geval-1: Bag-of-Words alignment). De generator zorgt ervoor dat er geen objecten die overeenkomen met het doel buiten de geldige ruimtelijke regio bestaan, waardoor de shortcut perfect voorspellend is ($P(Y_{ans} | \text{Target Attrs}) = 1.0$).

2. Gepaard Model Training

Twee referentiemodellen, $M_{pure}$ en $M_{spur}$, worden getraind op identieke architecturen (MDETR), maar op de respectieve datasets.

• $M_{pure}$: Leert robuuste ruimtelijke-relationele redenering om een hoge nauwkeurigheid op $D_{pure}$ te bereiken.
• $M_{spur}$: Is structureel gedwongen om te vertrouwen op cross-modale shortcuts. Wanneer geëvalueerd op $D_{pure}$, stort de prestatie in (dalend naar ~49% totaal en ~8% op multi-hop queries), wat bevestigt dat het opereert via een unimodale shortcut in plaats van echte redenering.

3. Attributiegeneratie

Post-hoc MxAI-methoden worden toegepast op beide modellen. Het framework evalueert of de explainers onderscheidende redeneerpaden produceren voor $M_{pure}$ (echte redenering) versus $M_{spur}$ (afhankelijkheid van shortcuts).

4. Evaluatiemetrieken

De auteurs passen bestaande metrieken aan en introduceren nieuwe:

• Relevance Mass Accuracy (RMA): Meet de relevante massa toegewezen aan ground-truth maskers versus distractor maskers. Een getrouwe explainer zou bijna nul massa moeten toewijzen aan distractoren voor $M_{pure}$, maar een hoge massa aan hen voor $M_{spur}$.
• Additive Fallacy Check: Voor globale methoden moet de synergie-score ($S_{score}$) monotoon toenemen met de complexiteit van de query (Diepte) voor $M_{pure}$, terwijl deze invariant moet blijven voor $M_{spur}$.

Belangrijkste Bijdragen

1. GridVQA-X Datasets: De introductie van $D_{pure}$ en $D_{spur}$, die wiskundig gegarandeerde unieke ground-truth features bieden en een taxonomie die diverse gradaties van real-world interacties isoleert. Deze datasets bewijzen expliciet de afwezigheid (in $D_{pure}$) of aanwezigheid (in $D_{spur}$) van bekende spuriuse correlaties.
2. Referentiemodellen ($M_{pure}$ en $M_{spur}$): De release van twee modellen die getraind zijn via explanation-guided dynamiek. Hun verifieerbare redeneermechanismen (ware ruimtelijke redenering versus cross-modale shortcut) maken de evaluatie van explainers mogelijk zonder ambiguïteit over de verwachte ground-truth attributies.
3. Nieuw Evaluatieprotocol: De adaptatie van MxAI-metrieken naar het multimodale domein en de introductie van de Additive Fallacy check om cross-model interactie scalairen op compositionele complexiteit te beoordelen.

Resultaten en Analyse

De evaluatie van state-of-the-art MxAI-methoden (inclusief DIME, MultiSHAP, MultiViz, EMAP en InterSHAP) onthult significante tekortkomingen:

• Onvermogen om Modellen te Onderscheiden: De meeste lokale explainers falen in het differentiëren tussen $M_{pure}$ en $M_{spur}$.
  • MultiViz vertoont "absolute model blindheid", waarbij het statistisch identieke Relevance Mass Accuracy (RMA) oplevert voor beide modellen, ondanks hun verschillende causale paden.
  • DIME lijdt aan "accidentele getrouwheid", waarbij de diffuse heatmaps per ongeluk overlappen met de ware targets in $M_{spur}$, waardoor de shortcut wordt gemaskeerd.
  • MultiSHAP geeft structureel de voorkeur aan het spuriuse model ($M_{spur}$), waarbij het een hogere RMA voor dit model oplevert dan voor het getrouwe model, waarschijnlijk omdat de speltheoretische marginalen beter aansluiten bij onafhankelijke feature-detectoren (shortcuts) dan bij verstrengelde intersecties.
• Onvermogen om Ruimtelijke Beperkingen te Vangen: Lokale methoden vervallen vaak in oppervlakkige feature-detectie. MultiSHAP markeert alle objecten die overeenkomen met de doelattributen (inclusief adversariële distractoren), en faalt hierdoor in het toepassen van binaire ruimtelijke beperkingen.
• Gehallucineerde Synergie: Globale methoden falen voor de Additive Fallacy check. EMAP en InterSHAP hallucineren een hoge cross-modale synergie voor het shortcut-model ($M_{spur}$) en tonen daarentegen juist een afname in de geschatte interactie naarmam de complexiteit schaalt voor het getrouwe model ($M_{pure}$), wat bewijst dat hun estimators niet in lijn zijn met de causale graaf.

Betekenis en Claims

Het artikel beweert dat GridVQA-X een kritiek blinde vlek in huidig MxAI-onderzoek blootlegt: state-of-the-art explainers falen fundamenteel in het vastleggen van ware cross-modale synergie.

De auteurs stellen dat huidige methoden een "illusie van interpreteerbaarheid" creëren die bevooroordeeld modelgedrag maskeert. Door een strikt gecontroleerde omgeving te bieden met wiskundig verifieerbare ground truth, biedt GridVQA-X een definitieve, unambiguous testomgeving. Het framework beoogt het veld te verschuiven van oppervlakkige plausibiliteitsmetrieken naar de ontwikkeling van explainers die in staat zijn om verifieerbaar relationele cross-modale grounding te diagnosticeren. De auteurs beweren niet het probleem van verklaarbaarheid te hebben opgelost, maar hebben eerder het noodzakelijke diagnostische instrument geleverd om te identificeren waar huidige methoden tekortschieten.