Technische Samenvatting: Mechanistische Diagnostiek van Spatiële Lexicale Bias in Multimodale Large Language Model Ruimtelijk Redeneren

1. Probleemstelling

Multimodale Large Language Models (MLLM's) falen frequent bij ruimtelijke redeneertaken, met name in formaten met meerkeuzevragen (MCQ). Waar eerder werk vaak deze fouten toeschrijft aan zwakke visuele gronding, ontbrekend visueel bewijs of incorrecte visuele aandacht, identificeert dit artikel een complementaire en systematische foutmodus: Spatiële Lexicale Bias.

Het kernfenomeen dat wordt waargenomen is Binair-Stabiel maar Ternair-Fragiel (BSTF) gedrag. In BSTF-gevallen geeft een MLLM een binaire ruimtelijke vraag (bijv. "Is het object links of rechts?") correct weer, maar faalt het consistent wanneer een derde, plausibele ruimtelijke optie wordt toegevoegd (bijv. "links, rechts, achter"), zelfs als het juiste antwoord hetzelfde blijft. Het model selecteert systematisch het nieuw toegevoegde ruimtelijke woord als het antwoord, ongeacht de volgorde van de opties. Dit suggereert dat de fout niet te wijten is aan een verlies van visuele informatie, maar aan een verstoring van het taalzijdig besluitvormingsproces getriggerd door de semantische structuur van de toegevoegde ruimtelijke vocabulaire.

2. Methodologie

2.1 Diagnostisch Kader

De auteurs construeerden een gecontroleerde evaluatiepijplijn met behulp van negen open-source MLLM's (uit de LLaVA, Qwen en InternVL families) en drie synthetische datasets (Sphere–Cube, Sphere–Dog, en Sphere–Dog Outdoor).

• Strikte Scoring: Om positiebias te elimineren, wordt een monster als correct beschouwd als het model correct antwoordt over alle permutaties van de optievolgorde (bijv. alle 6 permutaties voor ternaire vragen).
• BSTF Selectie: Gevallen werden gefilterd waarbij de binaire robuuste nauwkeurigheid perfect was (1.00), maar het toevoegen van een specifieke ruimtelijke optie zorgde voor een daling van ten minste 80 procentpunten in de ternaire nauwkeurigheid. Dit leverde 55 hoog-betrouwbare diagnostische gevallen op over 7 modellen.

2.2 Mechanistische Interpreteerbaarheid

Om de locatie van de fout te bepalen, gebruikten de auteurs drie diagnostische instrumenten:

1. Visuele Aandachtsanalyse: Het vergelijken van aandachtskaarten tussen binaire-correcte en ternaire-foute prompts om te verifiëren of het model de focus verlegt van relevante objecten.
2. Residual Stream Probing: Het trainen van lineaire probes op de last-token residual stream vectoren om te controleren of de correcte ruimtelijke relatie nog steeds decodeerbaar is, zelfs wanneer het model een foutief antwoord geeft.
3. Activation Patching & Sparse Intervention:
   • Patching: Het wisselen van residual stream staten tussen binaire-correcte en ternaire-foute prompts laag-voor-laag om te identificeren waar het beslissingssignaal switcht.
   • Sparse Knockout: Het op nul zetten van specifieke residual-stream kanalen en MLP-neuronen op de positie van de toegevoegde optie-token om te zien of de fout gecorrigeerd kan worden.

2.3 Mitigatiestrategie

De auteurs testten of de bias hersteld kon worden via LLM-only Direct Preference Optimization (DPO).

• Data: Een minimale synthetische voorkeursdataset afgeleid van een enkele objectpaar (torus–piramide) met vier relatievarianten.
• Training: Alleen de LLM-decoder werd bijgewerkt met behulp van LoRA-adapters; de visuele encoder en projector bleven bevroren.
• Doel: Om te verifiëren of het aanpassen van het taalzijdig besluitvormingsproces alleen de bias kon mitigeren zonder nieuwe visuele supervisie.

3. Belangrijkste Bevindingen

3.1 Visueel Bewijs is Herstelbaar

• Aandacht: De aandachtskaarten voor binaire-correcte en ternaire-foute prompts focussen op dezelfde objectregio's. De toegevoegde ruimtelijke optie leidt de visuele aandacht niet weg van het relevante bewijs.
• Probing: Lineaire probes herstellen de ware ruimtelijke relatie uit de last-token residual stream met bijna 100% nauwkeurigheid (macro nauwkeurigheid 0.998), zelfs in de gevallen waar de ternaire prompt foutief is. Dit bevestigt dat de visuele informatie intern aanwezig is, maar niet wordt gebruikt voor de uiteindelijke beslissing.

3.2 De Bias is Taalzijdig en Gestructureerd

• Specificiteit: Het vervangen van de toegevoegde ruimtelijke optie door een irrelevant woord (bijv. "viool") veroorzaakte slechts een bescheiden daling in nauwkeurigheid (16,7 pp), terwijl het toevoegen van een ruimtelijke optie een enorme daling veroorzaakte (97,8 pp). Dit bevestigt dat de bias voortkomt uit de semantische interactie tussen ruimtelijke woorden, en niet louter uit het verhoogde aantal keuzes.
• Lokalisatie:
  • Laag-gewijs: Activation patching onthulde dat de beslissingsovergang plaatsvindt in de midden- tot laat-liggende lagen (ongeveer 60–64% diepte) van de LLM.
  • Component-gewijs: Sparse knockout van slechts 100 residual kanalen of 200 MLP neuronen op de positie van de toegevoegde optie-token (in de vroeg- tot midden-lagen) kon de correcte voorspellingen herstellen, wat specifieke "leverage points" voor de bias identificeert.

3.3 LLM-Only Reparatie is Effectief

• Synthetische Data: Het toepassen van LoRA-DPO op de LLM-decoder met behulp van de enkele paar-dataset verbeterde de vier-weg robuuste nauwkeurigheid op de synthetische testset met tot wel 100 procentpunten (bijv. van bijna 0% naar ~80-100%).
• Generalisatie: De reparatie vertaalde zich naar bredere, ruisgevoelige publieke benchmarks:
  • WhatsUp: +68,0 punten
  • SpatialMQA-Direct: +32,6 punten
  • VSR: +20,1 punten
• Preservatie: De reparatie behield de binaire nauwkeurigheid terwijl de ternaire en vier-weg fouten werden gecorrigeerd, wat aangeeft dat het model leerde de lexicale bias te weerstaan zonder zijn oorspronkelijke ruimtelijke redeneervermogen te verliezen.

4. Betekenis en Claims

Het artikel claimt het begrip van de falende ruimtelijke redenering van MLLM's te verschuiven van een puur visueel tekort naar een taalzijdig lexicale bias.

• Mechanistisch Inzicht: Het biedt causaal bewijs dat specifieke LLM-zijde componenten (residual kanalen en MLP neuronen) de selectie van ruimtelijke opties moduleren, en dat de correcte visuele relatie intern beschikbaar blijft tijdens deze fouten.
• Actiegerichtheid: De studie demonstreert dat deze bias actiegericht is. Een lichtgewicht, LLM-only update op minimale synthetische data kan de foutmodus substantieel herstellen, wat suggereert dat de robuustheid van ruimtelijke redenering kan worden verbeterd door het besluitvormingsproces van het taalmodel te tunen, in plaats van de gehele multimodale architectuur opnieuw te trainen.
• Beperkingen: De auteurs merken op dat hun bevindingen specifiek zijn voor gecontroleerde vier-richting ruimtelijke relaties. Hoewel het mechanisme lokaliseerbaar is, claimt de studie niet een volledig circuit te hebben in kaart gebracht, en blijft de effectiviteit van de reparatie op complexe, open-wereld scènes met rijkere ruimtelijke relaties een openstaande vraag.

Samenvattend stelt het werk vast dat MLLM's vaak de correcte ruimtelijke relatie "weten", maar worden misleid door de lexicale structuur van de antwoordopties, en dat deze specifieke foutmodus gediagnosticeerd en gemitigeerd kan worden door gerichte interventies op de taalmodel-zijde.