Multimodal Language Models Cannot Spot Spatial Inconsistencies

Probleemstelling

De kern van dit onderzoek is de beperkte ruimtelijke redeneringscapaciteit van Multimodale Grootte Taalmodellen (MLLMs). Hoewel deze modellen individuele beelden vaak gedetailleerd kunnen beschrijven, lijken ze te worstelen met het begrijpen van 3D-geometrie en fysieke consistentie over meerdere weergaven heen.

• Definitie: Ruimtelijke consistentie is een fundamentele eigenschap van de fysieke wereld; objecten veranderen op voorspelbare manieren (schaling, occlusie, vorm) wanneer het camerapunt verandert.
• Hypothese: MLLMs missen een robuust intern model van ruimtelijke geometrie. Ze kunnen visuele statistieken beschrijven, maar falen bij het herkennen van configuraties die fysiek onmogelijk zijn (bijvoorbeeld een object dat op een onnatuurlijke manier is gepositioneerd ten opzichte van de achtergrond bij een camera-beweging).
• Uitdaging: Het genereren van hoogwaardige datasets met "counterfactual" scènes (fysiek onmogelijke situaties) is moeilijk. Bestaande methoden (zoals Zero123 of SEVA) zijn computatie-intensief en introduceren vaak onrealistische artefacten die de evaluatie verstoren.

Methodologie

1. Synthese van Ruimtelijke Inconsistenties

De auteurs stellen een eenvoudige, schaalbare en volledig automatische methode voor om realistische, ruimtelijk inconsistente beeldparen te genereren zonder handmatige annotatie.

• Input: Drie weergaven ($V_1, V_2, V_3$) van dezelfde statische scène uit de Hypersim-dataset (met pixel-perfect segmentatie en dieptemaskers).
• Selectie: Een object $O$ wordt geselecteerd dat zichtbaar is in alle drie de weergaven. De camera-posities moeten voldoende verschillen om 3D-consistentie te testen.
• Het "Cut-and-Paste" Proces:
  1. Verwijdering: Het object $O$ wordt uit weergave $V_2$ verwijderd en het ontbrekende gebied wordt ingevuld (inpainting) met een model (LaMa) om een schone achtergrond te creëren.
  2. Herplaatsing: Het object $O$ wordt uit weergave $V_3$ (een ander camerapunt) geknipt en in de ingevulde regio van $V_2$ geplakt.
  3. Resultaat: Omdat $V_3$ een ander perspectief heeft, heeft het geplakte object een 3D-oriëntatie en schaal die in strijd is met de geometrie die wordt geïmpliceerd door de overgang van $V_1$ naar $V_2$. Alle andere objecten blijven consistent.
• Schaalbaarheid: De methode genereert meer dan 5 paren per seconde op een enkele GPU.

2. Benchmark en Evaluatie

• Dataset: Er is een dataset van 615 handmatig gecontroleerde paren gegenereerd (uit een automatisch gegenereerde set van >10.000).
• Taak: Een "forced-choice" taak. Gegeven een paar beelden ($V_1$ en de bewerkte $V'_2$), moet het model het specifieke object identificeren dat de 3D-consistentie schendt. Objecten krijgen letterlabels (A-Z).
• Controles: Om te verifiëren dat modellen niet gewoon inpainting-artefacten detecteren, voerden de auteurs controletests uit:
  • Self-pasting: Het object uit $V_2$ wordt in $V_2$ teruggeplakt (artefacten wel, inconsistentie niet).
  • No-change: Geen wijzigingen.
  • Resultaat: Modellen presteren niet beter op de "self-pasting" variant dan op de "no-change" variant, wat aantoont dat ze daadwerkelijk naar 3D-structurele fouten zoeken en niet naar visuele artefacten.

Key Contributions

1. Nieuwe Benchmark: Een schaalbaar framework voor het genereren van realistische, ruimtelijk inconsistente beeldparen.
2. Evaluatie van 3D-Redenering: Een directe test die de kloof tussen menselijke waarneming en MLLM-capaciteit blootlegt op het gebied van projectieve geometrie.
3. Uitgebreide Analyse: Een diepgaand onderzoek naar hoe factoren zoals diepte, belichting, fysieke plausibiliteit en objectcategorie de prestaties van modellen beïnvloeden.

Resultaten

Algemene Prestaties

• Mensen vs. Modellen: Mensen behalen een nauwkeurigheid van 84,8%. De beste geteste modellen (GPT-5 met "low" reasoning budget) halen slechts 34,2%. Zelfs gespecialiseerde ruimtelijke modellen (zoals SpaceQwen) falen op deze taak.
• Rekenkracht: Het verhogen van het "reasoning budget" (meer denkkracht/tijd) leidt niet tot betere prestaties; soms verslechtert de prestatie zelfs.

Analyse van Variabiliteit

• Diepte en Belichting: Mensen zijn robuust over verschillende dieptes en lichtomstandigheden. Modellen vertonen sterke bias: ze presteren beter op verre objecten dan op close-up objecten en hebben specifieke voorkeuren voor belichtingsniveaus die niet overeenkomen met menselijke waarneming.
• Fysieke Plausibiliteit: Modellen herkennen "onmogelijke" poses (bijv. zwevende stoel) beter dan subtiele geometrische schendingen, maar hun prestaties fluctueren sterk.
• Object- en Scènecategorie: Mensen zijn consistent over alle categorieën. Modellen vertonen enorme variatie; een model kan goed zijn op "lampen" maar volledig falen op "stoelen" of "woonkamers".
• Foutenanalyse:
  • Modellen en mensen maken vaak fouten op dezelfde moeilijke voorbeelden (hoge overlap in welke vragen ze fout hebben).
  • Echter, wanneer ze fouten maken, kiezen ze niet voor hetzelfde verkeerde antwoord. Dit suggereert dat er geen coherent alternatief wereldmodel is, maar dat de fouten model-specifiek en instabiel zijn.

Significantie en Conclusie

Het paper concludeert dat huidige state-of-the-art MLLMs slechts een oppervlakkig begrip van 3D-structuren hebben. Ze kunnen scènes beschrijven, maar falen in het fundamentele redeneren over fysieke onmogelijkheden.

• Kritieke Beperking: De afhankelijkheid van statistische patronen in plaats van een robuust intern model van de fysieke wereld is een bottleneck voor toepassingen die fysieke realiteit moeten begrijpen of synthetiseren.
• Toekomstvisie: De auteurs pleiten voor nieuwe benaderingen die MLLMs niet alleen leren visuele beschrijvingen te genereren, maar hen ook fundamentele fysieke en ruimtelijke beperkingen laten internaliseren. De gepresenteerde methode biedt een cruciale diagnostische tool om deze kloof te meten en te dichten.