LRR-Bench: Left, Right or Rotate? Vision-Language models Still Struggle With Spatial Understanding Tasks

Dit paper introduceert LRR-Bench, een synthetische benchmark die aantoont dat Vision-Language-modellen aanzienlijk tekortschieten in het begrijpen van ruimtelijke relaties en bewegingen vergeleken met menselijke prestaties.

De kern

Samenvatting: Waarom VLM's (Visuele Taalmodellen) nog steeds "links" en "rechts" verwarren

Stel je voor dat je een superintelligente robot hebt die alles kan lezen en begrijpen, maar die als een peuter door de kamer loopt. Hij ziet een stoel en een tafel, maar hij heeft geen flauw idee of de stoel links of rechts van de tafel staat, of dat de camera naar links draait.

Dit is precies wat de auteurs van dit paper, LRR-Bench, hebben ontdekt. Ze hebben een nieuwe test ontwikkeld om te kijken hoe goed moderne AI-modellen (die zowel naar plaatjes kijken als tekst begrijpen) echt ruimtelijk inzicht hebben.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Blinde" Supercomputer

Vandaag de dag zijn AI-modellen (zoals GPT-4 of Qwen) geweldig in het beschrijven van een foto. Ze kunnen zeggen: "Hier zie ik een hond." Maar als je ze vraagt: "Draait de hond naar links of rechts?" of "Is de hond voor of achter de boom?", raken ze in de war.

De auteurs zeggen: "Het is alsof je iemand een kaart geeft die perfect is, maar die persoon heeft geen kompas en geen gevoel voor diepte."

2. De Oplossing: Een "Minecraft" en "AI-Schilderij" Test

Om dit te testen, hebben de onderzoekers geen echte foto's van de wereld gebruikt (want dan zou de AI de antwoorden misschien al uit zijn geheugen kennen). In plaats daarvan bouwden ze een volledig kunstmatige test:

• De Schilderijen (Absolute Positie): Ze gebruikten een AI-schilderijtool (Diffusion Model) om plaatjes te maken met specifieke instructies, zoals "een motorfiets in de linkeronderhoek". Vervolgens keken ze of de AI echt zag dat de motor daar zat, of dat hij maar wat radelde.
• De Videospelletjes (3D Ruimte): Voor de moeilijkere vragen (beweging en rotatie) gebruikten ze Minecraft. Ze lieten de camera ronddraaien of een schaapje bewegen. Omdat het spelletje is gebouwd op strikte wiskundige regels, wisten ze precies wat er gebeurde. Als de AI dit niet snapte, was het echt een tekortkoming in het "ruimtelijk inzicht" en niet alleen een probleem met het herkennen van de beelden.

3. De Uitdagingen: Van "Links/Rechts" tot "Roteren"

De test bestaat uit twee grote categorieën, die we kunnen vergelijken met twee verschillende vaardigheden:

• Categorie A: De Vaste Positie (2D)

  • Vergelijking: Kijk naar een foto en zeg: "Is de kat links of rechts?"
  • Resultaat: De AI doet het hier redelijk goed, net als een kind dat net leren lezen heeft. Maar zodra je het complexer maakt (bijvoorbeeld: "Kijk naar deze drie plaatjes in een rij en zeg of de volgorde klopt"), zakken de scores dramatisch.

• Categorie B: De 3D Ruimte (Beweging & Rotatie)

  • Vergelijking: Stel je voor dat je in een auto zit en om je heen kijkt. Als de auto naar links draait, lijken de bomen naar rechts te bewegen.
  • Resultaat: Hier faalt de AI totaal. Het is alsof je een mens vraagt om de wereld omver te draaien zonder dat ze duizelig worden. De AI kan niet begrijpen of de camera draait of dat het object beweegt. In sommige taken scoorden de slimste AI-modellen nabij nul.

4. De Verassende Bevindingen

De onderzoekers deden een aantal verrassende ontdekkingen:

• Hoe groter, hoe niet beter: Je zou denken dat een AI met meer "hersencellen" (meer parameters) slimmer is. Maar nee! Soms presteerden de gigantische modellen slechter dan de kleinere. Alsof een professor soms vergeten is hoe je een deur opent, terwijl een kind het wel weet.
• Nadenken helpt niet altijd: Mensen denken vaak: "Als ik de AI vraag om eerst na te denken (Chain of Thought) voordat hij antwoordt, wordt hij slimmer." Voor deze ruimtelijke taken is dat niet waar. Soms maakt het "nadenken" de AI alleen maar verwarder en hallucineert hij meer. Het is alsof je iemand vraagt om een ingewikkeld wiskundig probleem op te lossen, maar door te veel na te denken, vergeet hij dat 2+2=4.
• Mens vs. Machine: Mensen deden bijna perfect mee (90-100% goed). De beste AI-modellen haalden alleen maar een goed cijfer op de aller-eenvoudigste vragen. Bij de moeilijke vragen scoorden ze vaak lager dan een raden met een muntje.

5. Conclusie: We Hebben Nog Een Lange Weg Te Gaan

De boodschap van dit paper is duidelijk: AI is nog niet klaar voor de echte wereld.

Als we AI willen gebruiken voor zelfrijdende auto's of robots die dingen moeten pakken, moeten ze niet alleen kunnen "zien", maar ze moeten ook echt begrijpen hoe de wereld in elkaar zit. Ze moeten snappen wat "links", "rechts", "voor", "achter", "rotatie" en "beweging" betekenen in een 3D-ruimte.

Op dit moment is de AI als een zeer geleerde bibliothecaris die alle boeken kent, maar als je hem vraagt om een boek van de bovenste plank te halen, hij de trap niet kan beklimmen of niet weet welke kant de ladder op moet.

Kortom: We hebben een nieuwe test (LRR-Bench) gemaakt die laat zien dat AI's nog steeds worstelen met de basis van ruimtelijk inzicht, en dat "slimmer maken" van de modellen op de huidige manier niet direct de oplossing is.

Technische samenvatting

Probleemstelling

Real-world toepassingen zoals autonoom rijden en robotmanipulatie vereisen nauwkeurige ruimtelijke waarneming. Hoewel Vision-Language Models (VLMs) indrukwekkende prestaties leveren op veel gebieden, is hun vermogen om ruimtelijke relaties te herkennen en ruimtelijke beweging waar te nemen onderbelicht. Bestaande benchmarks focussen voornamelijk op het afleiden van relatieve posities (bijv. "links van", "voor") in statische natuurlijke afbeeldingen. Ze missen echter complexere en realistischere vaardigheden zoals bewegingsperceptie, relatieve beweging (van objecten of camera) en sequentiële beweging. Er is een gebrek aan een gestructureerde evaluatie die VLMs test op zowel absolute posities als 3D-ruimtelijk begrip (rotatie en translatie).

Methodologie: LRR-Bench

De auteurs introduceren LRR-Bench, een volledig synthetisch benchmark-pipeline om ruimtelijk begrip te evalueren. Het gebruik van synthetische data voorkomt dataset-vervuiling (contaminatie) door bestaande trainingsdata en maakt goedkope generatie van testcases mogelijk.

1. Categorisatie van Ruimtelijk Begrip:
Het benchmark verdeelt ruimtelijk begrip in twee hoofdcategorieën:

• Absolute Ruimtelijk Begrip: Het bepalen van de absolute positie van een object binnen een afbeelding (bijv. linksboven, centrum).
• 3D Ruimtelijk Begrip: Het begrijpen van beweging en rotatie, onderverdeeld in perspectieven van de camera en het object.

2. Data Generatie Pipeline:

• Statische Taken (Positie & Diepte): Gebruikmakend van een diffusiemodel (Flux.1-S) om afbeeldingen te genereren op basis van prompts. GroundingDINO wordt gebruikt voor filtering (verificatie van objecten en bounding boxes) en SAM/Depth-Anything-V2 voor segmentatie en diepteanalyse.
• Dynamische Taken (Beweging & Rotatie): Gebruikmakend van Minecraft om beeldsequenties te genereren. Dit stelt de auteurs in staat om exacte controles uit te voeren over camera-rotatie, camerabeweging, objectrotatie en objectbeweging, waarbij de ruimtelijke logica identiek is aan de realiteit, hoewel de visuele domein synthetisch is.

3. De 9 Taken:
De benchmark bestaat uit negen specifieke taken:

• Absolute Positie: Positie (Pos.), Positie Combinatie (Pos. C.), Positie Sequentie (Pos. S.).
• 3D Ruimte: Diepte (Dep.), Camera Rotatie (Ca. R.), Camera Beweging (Ca. M.), Object Hoofdrichting (Obj. H. D.), Object Bewegingsrichting (Obj. M. D.), Object Beweging (Obj. M.).

4. Evaluatie:
Er zijn experimenten uitgevoerd met meer dan 20 state-of-the-art VLMs (waaronder GPT-4o, Qwen-VL, InternVL, LLaVA-reeks), variërend van 3B tot 72B parameters. Er zijn twee prompting-strategieën getest: direct antwoorden en antwoorden na redenering (Chain-of-Thought).

Belangrijkste Bijdragen

1. Nieuwe Benchmark: De ontwikkeling van LRR-Bench, een volledig synthetische dataset en pipeline die kostenefficiënt schaalbaar is en dataset-vervuiling uitsluit.
2. Gedetailleerde Taxonomie: Een decompositie van 3D ruimtelijk begrip in rotatie en beweging, toegepast op zowel camera- als objectperspectieven.
3. Uitgebreide Evaluatie: Een grondige analyse van de prestaties van moderne VLMs, inclusief modellen met voorkeuroptimalisatie (MPO) en fine-tuning op 3D-datasets.

Resultaten

De resultaten tonen een grote kloof tussen menselijke prestaties en die van VLMs:

• Menselijke Prestaties: Mensen behalen bijna perfecte scores (rond de 90-100%) op alle taken.
• VLM Prestaties:
  • VLMs presteren goed op de eenvoudigste taak (Absolute Positie), maar hun prestaties dalen drastisch bij complexere taken.
  • Op de meeste 3D-taken (zoals Camera Beweging en Camera Rotatie) scoren de beste modellen dicht bij nul (random guessing).
  • Zelfs de grootste modellen (tot 72B parameters) bereiken niet menselijk niveau op complexe ruimtelijke redenering.
• Invloed van Redenering (CoT): Het afdwingen van redenering (Chain-of-Thought) verbetert de prestaties niet consistent. Bij complexe taken (zoals Camera Rotatie) leidt redenering vaak tot hallucinaties en een verslechtering van de prestaties.
• Invloed van Schaal en Training:
  • Het vergroten van het model leidt niet automatisch tot betere ruimtelijk begrip.
  • Fine-tuning op specifieke 3D-datasets (zoals bij SpaceQwen of Llava-3D) resulteert vaak in geen verbetering of zelfs een prestatiedaling ten opzichte van de basismodellen.
  • Voorkeuroptimalisatie (MPO) kan negatieve effecten hebben op ruimtelijk begrip.

Betekenis en Conclusie

Het paper concludeert dat ruimtelijk begrip fundamenteel anders is dan andere redeneertaken waar VLMs goed in zijn.

• Fundamentele Beperking: Huidige VLMs missen een intrinsiek begrip van 3D-geometrie en het integreren van multi-view informatie tot een coherent ruimtelijk model. Ze hebben moeite met het onderscheiden van beweging van het object versus beweging van de camera.
• Risico op Hallucinaties: Het afdwingen van "redeneren" kan contraproductief zijn bij ruimtelijke taken, omdat het de kans op hallucinaties vergroot.
• Toekomstige Richting: Er is een dringende behoefte aan nieuwe architecturen of trainingsmethoden die specifiek gericht zijn op ruimtelijke logica en 3D-representatie, in plaats van alleen het vergroten van modelgrootte of het toevoegen van meer tekstuele data.

Kortom, LRR-Bench onthult dat Vision-Language Models nog aanzienlijk moeten verbeteren om veilig en betrouwbaar te kunnen worden ingezet in toepassingen die nauwkeurige ruimtelijke waarneming vereisen.