Technische Samenvatting: Visuele Krediettoedeling voor Multimodale Ruimtelijke Redenering

Probleemstelling

Multimodale Large Language Models (MLLM's) worden steeds vaker geëvalueerd op benchmarks voor ruimtelijke redenering (bijv. VSR, GSR-COCO) met behulp van gesloten ja/nee-vragen. Standaard nauwkeurigheidsmetingen verwarren echter twee verschillende fenomenen: een model dat correct antwoordt dankzij echt visueel bewijs versus een model dat correct antwoordt dankzij sterke tekstuele priors, dataset-biases of instructievolgende gewoonten. Een model kan correct antwoorden op "Is de tv boven de kat?", terwijl de afbeelding niet meer ondersteuning biedt voor deze beslissing dan een tekstuele prompt alleen of een lege afbeelding zou doen. Bestaande de-biasing en contrafactische methoden richten zich vaak op het verminderen van taal-priors of het verbeteren van de algemene nauwkeurigheid, maar ze auditeren niet expliciet of een specifieke, vaste ruimtelijke beslissing incrementele ondersteuning ontvangt van de afbeelding vergeleken met controles zonder afbeelding, terwijl ze tegelijkertijd de relationele consistentie behouden.

Methodologie: Visual Credit Audit (VCA)

Het artikel stelt Visual Credit Audit (VCA) voor, een training-vrij, beslissingsniveau-auditframework dat benchmarksucces scheidt in drie componenten: correctheid, aanvullende afbeelding-ondersteuning en relationeel consistente respons. VCA werkt op een vaste binaire interface (bijv. Ja/Nee) en bevriest de MLLM, waarbij de log-likelihood marges onder gematchte contexten wordt geanalyseerd.

Twee-assig Auditframework

VCA identificeert twee verschillende estimanden:

1. Relatieve Afhankelijkheid van de Afbeelding (Ondersteuningsas):

   • Doel: Bepalen of de originele afbeelding meer ondersteuning biedt voor de verklaarde beslissing van het model dan tekst-alleen ($t$) of lege ($b$) controles.
   • Metriek: De VCA afhankelijkheidskloof ($G^{\text{img}}_i$) wordt gedefinieerd als het verschil tussen de op de voorspelling afgestemde ondersteuning van de originele afbeelding ($r_{i,o}$) en de maximale ondersteuning van de controles zonder afbeelding ($\max(r_{i,t}, r_{i,b})$).
   • Definitie: Een beslissing wordt "gecrediteerd" ($D_i=1$) als $G^{\text{img}}_i > 0$. Cruciaal is dat dit niet vereist dat de controles zonder afbeelding de tegenovergestelde kant bevoordelen, alleen dat de afbeelding meer ondersteuning biedt dan de controles.
   • Decompositie: Dit leidt tot een viercellige decompositie van nauwkeurigheid:
     • D-CC (Dependence-Credited Correct): Correcte beslissingen met een voordeel in afbeelding-ondersteuning.
     • C-U (Correct-but-Uncredited): Correcte beslissingen waarbij de afbeelding geen voordeel biedt ten opzichte van tekst/lege controles.
     • Support-Advantaged Errors: Onjuiste beslissingen waarbij de afbeelding feitelijk sterkere ondersteuning bood dan de controles (een categorie die vaak verborgen blijft in gold-only metrieken).
     • Uncredited Errors: Onjuiste beslissingen zonder voordeel in afbeelding-ondersteuning.

2. Relationele Consistentie (Interactieas):

   • Doel: Bepalen of het model de ware ruimtelijke relatie onderscheidt van valse alternatieven op vaste pixels.
   • Metriek: Semantic Relation Contrast (SRC) vergelijkt de marge van de ware relatie-query ($q_{r+}$) met de maximale marge van de valse alternatieven ($q_{r-}$).
   • PairCredit: Meet of de afbeelding-specifieke separatie ($G_{\text{int}}$) groter is dan de separatie gevonden in controles zonder afbeelding.
   • Joint: Een conjunctie die zowel absolute relationele consistentie als gepaarde afhankelijkheid vereist.

Diagnostische Interventies

Om deze estimanden te valideren en de beperkingen van null-controles (die niet in staat zijn om relationele responsiviteit te identificeren) aan te pakken, gebruikt de auteur:

• Matched Image Permutation: Het vervangen van de originele afbeelding door een deterministische, ongerelateerde afbeelding uit dezelfde split om de D-CC metriek te kalibreren.
• Controlled Evidence-Source Factorial: Een $3 \times 3$ design dat visueel bewijs (relatie-ondersteunend, relatie-tegenovergesteld, neutraal) en tekstueel bewijs (ondersteunend, tegenovergesteld, neutraal) varieert om te isoleren of niet-gecrediteerde beslissingen nog steeds reageren op visuele relatieveranderingen.
• Human-Audited Edits: Een set van 108 geometrie-compatibele natuurlijke beeld-edits om de correspondentie tussen gecontroleerde interventies en natuurlijke beeldveranderingen te verifiëren.

Belangrijkste Bijdragen

1. Label-vrije Beslissingsniveau-Audit: Introduceerde een methode die krediet toewijst aan verklaarde beslissingen zonder afhankelijk te zijn van grondwaarheid-labels voor de audit zelf. Dit herstelt de gold-aligned winst op correcte items, maar behoudt uniek "support-advantaged errors", wat een volledige decompositie van nauwkeurigheid biedt.
2. Scheiding van Marginale Ondersteuning en Relationele Respons: Stelde vast dat null-controles (tekst/leeg) niet kunnen identificeren of een model reageert op relatie-omkeringen. Het artikel demonstreert dat een beslissing "ongecrediteerd" kan zijn (geen marginale afbeelding-voordeel) maar toch "relationeel responsief" kan zijn (correct verandert wanneer de visuele relatie wordt omgekeerd).
3. Uitgebreide Empirische Analyse: Toegepast de VCA op vier open MLLM's (Qwen, InternVL, LLaVA, Ministral) en twee benchmarks (VSR, GSR-COCO), gebruikmakend van 1.800 factoriale inputs per model en 108 onafhankelijke edit-audits.

Resultaten

• Prevalentie van Ongecrediteerde Correctheid: Over modellen en datasets heen zijn 12,73% tot 26,25% van de correcte beslissingen "ongecrediteerd" (C-U), wat betekent dat de afbeelding geen extra ondersteuning bood ten opzichte van tekst-alleen of lege controles.
• Beeld-specificiteit: Matched image permutation vermindert D-CC met 21,25 tot 47,80 punten over alle runs, met 95% betrouwbaarheidsintervallen die strikt boven nul liggen. Dit bevestigt dat het voordeel van de originele afbeelding specifiek is voor de inhoud, en niet slechts voor de aanwezigheid van een willekeurige afbeelding.
• Relationele Responsiviteit in Ongecrediteerde Gevallen: Onder de correct-maar-ongecrediteerde beslissingen reageren 81,57% tot 100,00% van de modellen nog steeds correct op relatie-omkeringen in de factoriale setup. Bovendien flippen 32,11% van deze ongecrediteerde beslissingen daadwerkelijk hun binaire antwoord wanneer de relatie wordt omgekeerd, wat bewijst dat ze niet puur tekst-gestuurd zijn.
• Natuurlijke Correspondentie: Bij menselijk gecontroleerde natuurlijke beeld-edits flippen 25,00% van de bron-correcte maar ongecrediteerde beslissingen succesvol met de zichtbaarheid, wat bevestigt dat responsieve ongecrediteerde gevallen bestaan in natuurlijke beelden, en niet alleen in procedurele renders.
• Decompositie: Het framework onthult dat geaggregeerde nauwkeurigheid een aanzienlijke variantie maskeert in hoe modellen visueel bewijs gebruiken. Bijvoorbeeld, op GSR-COCO behaalt Qwen 90,91% nauwkeurigheid, maar slechts 78,18% van de voorbeelden zijn zowel correct als beeld-ondersteund.

Betekenis en Claims

Het artikel beweert dat VCA een noodzakelijke decompositie van benchmarksucces biedt die nauwkeurigheid alleen niet kan bieden.

• Voorbij Nauwkeurigheid: Het beargumenteert dat "correctheid" en "visuele ondersteuning" verschillende dimensies zijn. Een model kan accuraat zijn maar vertrouwen op priors (C-U), of accuraat zijn maar onjuist door visueel bewijs te gebruiken (support-advantaged errors).
• Methodologische Rigor: Door het scheiden van de "marginale ondersteuning" estimand van de "relationele responsiviteit" estimand, vermijdt VCA de verwarring die voorkomt bij bestaande null-controle methoden. Het demonstreert dat null-controles onvoldoende zijn om de relationele visuele respons te identificeren.
• Praktisch Nut: VCA dient als een post-hoc begeleider van nauwkeurigheid, die een "gelaagd rapport" biedt dat helpt diagnosticeren of verbeteringen in ruimtelijke redenering voortkomen uit echt visueel bewijs of uit sterkere antwoord-priors. Het claimt niet de vervanging te zijn van nauwkeurigheid, maar de interpretatie van benchmarksucces te verfijnen.
• Beperkingen: De auteurs merken bescheiden op dat VCA relatieve ondersteuning meet onder vooraf gespecificeerde controles, en geen interne causale paden of pixel-niveau attributie meet. Het is ontworpen voor vaste forced-choice interfaces en richt zich niet direct op onbeperkte open-ended generatie.