CVT-Bench: Counterfactual Viewpoint Transformations Reveal Unstable Spatial Representations in Multimodal LLMs

Titel: CVT-Bench: Contrafactuele Zichtpunttransformaties onthullen Instabiele Ruimtelijke Representaties in Multimodale LLM's

1. Het Probleem

Multimodale Large Language Models (MLLM's) presteren over het algemeen goed op ruimtelijke redeneertaken binnen een enkel vast beeld (episodisch). Ze kunnen objecten identificeren en relaties zoals "links van" of "achter" beschrijven vanuit het gegeven perspectief. Echter, het is onduidelijk of deze modellen een stabiele interne ruimtelijke representatie bezitten die consistent blijft onder veranderingen van het gezichtspunt.

In realistische scenario's (zoals robotica of autonoom rijden) moeten agenten niet alleen de huidige situatie waarnemen, maar ook redeneren over hoe ruimtelijke relaties veranderen als de waarnemer beweegt of vanuit een ander perspectief kijkt (bijvoorbeeld: "Geef mij de kubus links van de bol" vanuit het perspectief van een tegenoverstaande persoon). Bestaande benchmarks testen zelden of modellen deze contrafactuele perspectiefovername (visual perspective taking) betrouwbaar kunnen uitvoeren zonder extra visuele input. De auteurs vermoeden dat hoge prestaties op statische taken de kwetsbaarheid van deze modellen voor perspectiefveranderingen maskeren.

2. Methodologie: CVT-Bench

De auteurs introduceren CVT-Bench, een diagnostisch benchmark dat specifiek is ontworpen om de stabiliteit van ruimtelijke representaties te testen onder contrafactuele zichtpunttransformaties.

• Dataverzameling:

  • Gebaseerd op 100 synthetische CLEVR-scènes (tafelbladscènes met geometrische vormen).
  • Scènes variëren in complexiteit: Sparce (3-5 objecten) en Dense (7-10 objecten).
  • Inclusief verschillende occlusie-niveaus (5% tot 70%).
  • Totaal ongeveer 6.000 relationele queries.

• Twee Evaluatieprotocollen:

  1. Episodisch: Elke scène wordt onafhankelijk gepresenteerd zonder context van eerdere scènes.
  2. Sequentieel: Meerdere scènes worden in één prompt samengevoegd. Het model moet de ruimtelijke toestand behouden over meerdere scènes heen zonder interne staat te resetten. Dit test de stabiliteit over een lange context.

• Taken en Queries:

  • Het model krijgt een scène gezien vanuit een basisviewpoint ($v_0$, 0°).
  • Vervolgens krijgt het een query over de relatie tussen objecten onder een hypothetische rotatie ($v_\theta$), bijvoorbeeld 90°, 180°, of 360°.
  • Cruciaal: Het model ontvangt geen nieuwe afbeelding voor het nieuwe perspectief. Het moet de relatie afleiden uit zijn interne representatie van de scène.
  • De output is een multi-label classificatie van relaties (links, rechts, voor, achter).

• Input Representaties:
  Om te bepalen of fouten ontstaan door perceptie of redenering, worden drie inputmodi getest:

  1. Visueel: De originele afbeelding met object-tags.
  2. Tekstueel: Een gestructureerde tekstuele beschrijving van objecten en hun coördinaten (geen afbeelding).
  3. Scene Graph: Een tekstuele beschrijving aangevuld met een expliciet graaf van ruimtelijke relaties (knooppunten en gelabelde randen).

• Metingen:

  • F1-score: Voor nauwkeurigheid van de voorspelde relaties.
  • Ruimtelijke Overlevingsrate (Spatial Survival Rate): Een nieuwe metric die meet hoe lang een model correcte relaties behoudt naarmate de interactie dieper wordt (sequentiële stabiliteit).
  • Cyclusconsistentie: Vergelijking van antwoorden bij 0° en 360° (dezelfde fysieke staat) om zelfconsistentie te testen.

3. Belangrijkste Bijdragen

1. CVT-Bench Benchmark: Een nieuw, groot schaalbaar benchmark voor het evalueren van contrafactueel ruimtelijk redeneren en visuele perspectiefovername in MLLM's.
2. Unificatie van Protocollen: Een protocol dat onderscheid maakt tussen episodisch (eenmalig) en sequentieel (lange context) redeneren, waardoor de stabiliteit van ruimtelijke staten over tijd kan worden geanalyseerd.
3. Representatie-gecontroleerde Evaluatie: Het isoleren van de rol van inputstructuur (beeld vs. tekst vs. graaf) in ruimtelijk redeneren.
4. Grootschalige Analyse: Een dataset van 100 scènes en 6.000 queries met precieze ruimtelijke annotaties voor reproduceerbare evaluatie.

4. Resultaten

De experimenten omvatten state-of-the-art modellen zoals GPT-5.2, Gemini 3.1 Pro, Qwen 3.5 en Kimi K2.5.

• Episodische Prestaties:

  • Modellen presteren uitstekend bij het directe gezichtspunt (0°), met F1-scores vaak boven de 90%.
  • Daling bij Rotatie: Zodra het model moet redeneren vanuit een contrafactueel perspectief (bijv. 90° of 270°), daalt de prestatie systematisch. Er is een kenmerkende "U-vormige" curve: prestaties dalen bij orthogonale hoeken en herstellen deels bij 180° of 360°.
  • Modellen lijken te vertrouwen op heuristieken of "brittle" transformatiestrategieën in plaats van een stabiele interne rotatie van de ruimtelijke staat.

• Sequentiële Instabiliteit:

  • Bij sequentiële evaluatie (lange context) stort de prestatie in, zelfs voor vragen bij het oorspronkelijke gezichtspunt.
  • De Overlevingsrate daalt snel: modellen kunnen hun ruimtelijke staat niet consistent behouden naarmate het aantal scènes in de context toeneemt.
  • Er treedt "context drift" op: latere scènes in een prompt worden minder nauwkeurig beantwoord dan eerdere, ondanks identieke structuur.

• Invloed van Representatie:

  • Tekstuele input (zonder afbeelding) presteert vaak robuuster dan visuele input, wat suggereert dat een deel van de instabiliteit voortkomt uit multimodale perceptieproblemen in plaats van puur geometrisch redeneren.
  • Scene Graphs verbeteren de stabiliteit in sommige gevallen, maar de resultaten zijn modelafhankelijk. In lange contexten neemt het voordeel af.

• Foutpatronen:

  • Inversie: Systematische verwisseling van links/rechts of voor/achter, vooral bij 90° rotaties.
  • Associatiefouten: Bij gebruik van scene graphs koppelen modellen relaties aan de verkeerde objectparen.
  • Cyclusbreuk: Modellen geven tegenstrijdige antwoorden voor 0° en 360° in lange prompts, wat aantoont dat ze geen stabiel intern wereldmodel behouden.

5. Betekenis en Conclusie

De studie concludeert dat hoge nauwkeurigheid op statische, single-view taken de robuustheid van ruimtelijke representaties in MLLM's overschat.

• Geen Stabiele Representatie: Moderne MLLM's lijken te vertrouwen op view-afhankelijk redeneren dat gekoppeld is aan individuele waarnemingen, in plaats van een persistente, transformeerbare ruimtelijke staat.
• Kritiek op Bestaande Evaluaties: Bestaande benchmarks zijn ontoereikend voor het beoordelen van modellen voor toepassingen die dynamische interactie vereisen (zoals robotica), omdat ze de kwetsbaarheid voor perspectiefverandering en contextuele interferentie niet blootleggen.
• Toekomstige Richting: Betrouwbaar ruimtelijk redeneren vereist waarschijnlijk expliciete mechanismen voor het behoud en de transformatie van relationele staten, en niet alleen betere perceptie. De auteurs pleiten voor evaluaties die verder gaan dan episodische taken en de stabiliteit over tijd en perspectief testen.

Kortom, CVT-Bench onthult dat multimodale modellen nog geen echte "ruimtelijke intelligentie" bezitten die bestand is tegen contrafactuele veranderingen, wat een belangrijke beperking is voor hun inzet in autonome systemen.