From Perception to Action: An Interactive Benchmark for Vision Reasoning

Deze paper introduceert CHAIN, een interactieve 3D-benchmark die de evaluatie van Vision-Language-modellen verschuift van passieve waarneming naar actief redeneren over fysische structuren en causale beperkingen, en onthult dat huidige state-of-the-art-modellen moeite hebben met het plannen van betrouwbare lang-horizon acties in dynamische omgevingen.

De kern

Van Kijken naar Doen: Een Nieuwe Test voor Slimme Robots

Stel je voor dat je een robot bouwt die niet alleen naar een foto kan kijken, maar ook echt dingen kan vastpakken, verplaatsen en oplossen in de echte wereld. Dat is het doel van dit onderzoek. De auteurs van dit papier hebben een nieuwe test ontwikkeld genaamd CHAIN.

Hier is een uitleg in gewone taal, met een paar leuke vergelijkingen om het duidelijk te maken.

1. Het Probleem: Kijken is niet genoeg

Tot nu toe werden slimme computerprogramma's (zoals die in je telefoon of chatbot) getest op een heel simpele manier: ze kregen een foto te zien en moesten een vraag beantwoorden.

• De oude manier: Je ziet een foto van een ingewikkeld houten puzzelstuk. De computer zegt: "Dat is een sleutelblok." En klaar.
• Het probleem: Dit zegt niets over of de computer begrijpt hoe het stuk werkt. Als je het echt moet oplossen, moet je weten welk stuk je eerst moet draaien, welk stuk vastzit, en wat er gebeurt als je er per ongeluk aan trekt.

Het is alsof je iemand vraagt om een auto te repareren, maar je geeft ze alleen een foto van de motor. Ze kunnen de onderdelen benoemen, maar ze kunnen de auto niet echt repareren.

2. De Oplossing: CHAIN (De Interactieve Speelplaats)

De auteurs hebben CHAIN bedacht. Dit is geen statische test, maar een interactieve 3D-wereld (een soort virtueel laboratorium).

• De Analogie: Stel je voor dat je een kind een Legoblokje geeft. In de oude test mocht het kind alleen zeggen: "Dat is een rood blokje." In de CHAIN-test moet het kind het blokje pakken, het ergens in de buurt van andere blokjes zetten, en kijken of het blijft staan of omvalt. Als het omvalt, moet het kind opnieuw proberen.

CHAIN heeft twee soorten taken:

1. De Puzzels (Interlock): Denk aan de klassieke Chinese "Kongming-sloten" of "Luban-puzzels". Dit zijn blokken die in elkaar zitten zonder schroeven of lijm. Je moet ze in de juiste volgorde draaien en schuiven om ze uit elkaar te halen. Als je de verkeerde volgorde kiest, zit je vast.
2. Het Stapelen (Stacking): Je moet verschillende vormen van blokken in een doos proppen. Het is niet zomaar "in de doos gooien"; je moet rekening houden met zwaartekracht, balans en of er nog ruimte is voor het volgende blokje.

3. Wat hebben ze ontdekt? (De Resultaten)

De onderzoekers hebben de slimste computers van dit moment (zoals de nieuwste versies van GPT, Claude en andere AI-modellen) deze test laten doen. Het nieuws is niet zo goed als we hoopten.

• De "Kijk-en-Vertel" AI's: De beste modellen konden de puzzels soms oplossen als ze heel veel tijd kregen, maar ze faalden bijna volledig bij de moeilijkste puzzels.
• Het Grootste Probleem: De AI's begrijpen de fysica niet echt. Ze kunnen zien dat twee blokken in elkaar zitten, maar ze kunnen niet voorspellen wat er gebeurt als je het ene blokje een beetje naar links duwt.
  • Vergelijking: Het is alsof een AI een boek over zwemmen heeft gelezen en alle theorie kent, maar als je hem in het zwembad gooit, zinkt hij omdat hij niet begrijpt hoe water werkt.
• De "Wereldmodellen" (Video AI's): Ze testten ook modellen die video's kunnen maken. Ze vroegen hen om een video te maken van het uit elkaar halen van een puzzel. Het resultaat? Catastrofaal. De AI's maakten video's waarbij blokken door elkaar heen zweefden, verdwenen of veranderden in iets anders. Ze konden de regels van de fysica niet vasthouden.

4. Waarom is dit belangrijk?

Deze test laat zien dat er een groot gat is tussen "zien" en "doen".

• Huidige AI's zijn goed in het herkennen van beelden (wat is dit?).
• Maar ze zijn nog heel slecht in het plannen van acties in een veranderende wereld (wat moet ik doen om dit op te lossen?).

Voor de toekomst, als we robots willen die echt helpen in huishoudens, fabrieken of ziekenhuizen, moeten we ze leren om niet alleen te kijken, maar om te voelen hoe dingen in elkaar zitten en wat er gebeurt als je ze beweegt.

Samenvatting in één zin

Deze paper introduceert een nieuwe, moeilijke test waarin AI's moeten bewijzen dat ze niet alleen naar foto's kunnen kijken, maar ook echt begrijpen hoe de fysieke wereld werkt door interactieve puzzels op te lossen – en tot nu toe faalt de slimste AI hier nog opvallend vaak in.

Technische samenvatting

Titel: Van Perceptie naar Actie: Een Interactieve Benchmark voor Visueel Redeneren

1. Het Probleem

Huidige evaluaties van Vision-Language Models (VLM's) zijn grotendeels beperkt tot statische, single-turn taken zoals Visual Question Answering (VQA). Deze benaderingen meten het vermogen van modellen om objecten te herkennen of feitelijke vragen te beantwoorden op basis van een enkel beeld. Ze falen echter in het beoordelen van het vermogen om te redeneren over fysieke structuren en causale beperkingen in dynamische omgevingen.

In real-world scenario's (zoals embodied agents of interactief ontwerp) moet een agent niet alleen zien wat er is, maar voorspellen welke acties fysiek haalbaar zijn. Dit hangt af van:

• Geometrische structuren.
• Contactrelaties tussen objecten.
• Ondersteuningsrelaties (bijv. zwaartekracht en stabiliteit).
• Hoe vroege keuzes de toekomstige ruimte van haalbare acties beperken of openhouden.

Bestaande benchmarks testen dit "sluitende lus" (closed-loop) redeneren niet, waardoor ze de moeilijkheid van fysiek redeneren in interactieve scenario's onderschatten. Ook diffusion-based modellen (voor video-generatie) worden zelden getest op complexe 3D-geometrie en contactbeperkingen.

2. Methodologie: De CHAIN Benchmark

Om deze kloof te dichten, introduceren de auteurs CHAIN (Causal Hierarchy of Actions and Interactions), een interactieve, 3D-benchmark die wordt aangedreven door een fysica-engine (Unity en een Python-engine).

Opdracht Families:
CHAIN bestaat uit twee hoofdtaken die complementaire aspecten van gestructureerd fysiek redeneren testen:

1. Interlockende Mechanische Puzzels: Geïnspireerd op klassieke Chinese sloten (zoals Kongming- en Lu Ban-sloten). Agents moeten structuren in elkaar zetten of uit elkaar halen via fijnmazige manipulaties (pikken, draaien, invoegen). De uitdaging ligt in het begrijpen van kinematische haalbaarheid, botsingsvermijding en verborgen geometrische beperkingen.
   • Data: 32 instances (10 makkelijk, 12 medium, 10 moeilijk).
2. 3D Stapelen en Verpakken: Agents moeten blokken met diverse vormen in een vaste container plaatsen. Dit test ruimtelijk redeneren, stabiliteit onder zwaartekracht en het vermogen om globale haalbaarheid te behouden over lange reeksen stappen.
   • Data: 77 instances (10 makkelijk, 20 medium, 47 moeilijk), gegenereerd via code om schaalbaarheid te garanderen.

Evaluatie Protocol:

• Interactieve Lus: In plaats van één antwoord, moet de agent iteratief waarnemen, een actie kiezen, feedback ontvangen en het plan aanpassen.
• Metingen:
  • Taak Succes (Pass@1): Wordt de taak opgelost?
  • Efficiëntie: Gemiddeld aantal stappen, afstand tot de optimale oplossing (Dist2Opt).
  • Kosten-efficiëntie: Token-gebruik en financiële kosten per opgeloste taak.
• Vergelijking: De benchmark vergelijkt gesloten bronmodellen (bijv. GPT-5.2, Claude-Opus, Gemini-3) en open-source modellen (bijv. Qwen3-VL, Kimi-k2.5) onder dezelfde interactieve voorwaarden.

3. Belangrijkste Bijdragen

1. Introductie van CHAIN: Een open-source, interactieve 3D-benchmark die de evaluatie verschuift van passieve perceptie naar gesloten-lus fysiek probleemoplossen. Het bevat 109 unieke interactieve levels met duidelijke moeilijkheidsgraden.
2. Universele Empirische Studie: Een uitgebreide evaluatie van state-of-the-art VLM's en diffusion-based image-to-video modellen. De studie onthult systematische tekortkomingen in het internaliseren van fysieke structuren en causale beperkingen.
3. Analyse van Falen: Het paper identificeert specifiek waarom modellen falen (bijv. gebrek aan planning voor lange reeksen, inability om verborgen beperkingen te infereren) en toont aan dat interactie essentieel is voor succes, in tegenstelling tot "one-shot" benaderingen.

4. Resultaten

De resultaten tonen aan dat zelfs de beste modellen moeite hebben met gestructureerd 3D-fysiek redeneren:

• Algemene Prestaties: Gesloten bronmodellen presteren over het algemeen beter dan open-source modellen, maar de absolute successcores blijven laag.
  • GPT-5.2 behaalde de hoogste scores (Pass@1 = 22,9%), maar dit betekent nog steeds dat het merendeel van de taken faalt.
  • Er is een groot gat tussen Stapelen (waar modellen redelijk presteren, ~31% voor GPT-5.2) en Puzzels (waar prestaties instorten, ~3,1% voor GPT-5.2). Dit suggereert dat interlockende 3D-structuren een fundamentele bottleneck zijn.
• Interactie vs. One-Shot: Interactieve evaluatie levert aanzienlijk betere resultaten op dan "one-shot" (één beeld, volledig plan). Voor puzzels daalt de succesratio van 3,1% (interactief) naar 0% (one-shot), wat aantoont dat iteratieve constraint-discovery noodzakelijk is.
• Wereldmodellen (Video Generatie): Modellen zoals SORA 2, WAN 2.6 en VEO 3.1 faalden catastraal bij het genereren van fysiek geldige demontage-video's. Ze vertoonden hallucinaties (objecten die door elkaar heen gaan, objecten die verdwijnen of veranderen) en konden de causale volgorde van interlockende delen niet volgen.
• Kosten vs. Kwaliteit: Zwaardere modellen zijn duurder per opgeloste taak, maar lichte "Flash"-modellen zijn vaak te onbetrouwbaar. Er is een duidelijke trade-off tussen token-kosten en succesratio.

5. Betekenis en Impact

Het paper benadrukt een fundamentele kloof tussen "zien" en "handelen" in huidige AI-modellen. Hoewel modellen goed zijn in het herkennen van objecten, missen ze het vermogen om de gevolgen van acties in een fysieke wereld te simuleren en plannen te maken die rekening houden met complexe beperkingen.

• Voor de Gemeenschap: CHAIN biedt een reproduceerbare basislijn en een uitdagende testomgeving om de ontwikkeling van fysiek onderbouwde, structureel bewuste interactieve agents te versnellen.
• Toekomstige Richting: De resultaten wijzen erop dat toekomstige modellen niet alleen meer data nodig hebben, maar ook betere mechanismen voor lang-horizon planning, causaal redeneren en het internaliseren van fysieke wetten in hun representaties.

Kortom, CHAIN toont aan dat het oplossen van fysieke problemen in de echte wereld veel meer vereist dan statische beeldherkenning; het vereist een diep begrip van hoe de wereld werkt en hoe acties deze wereld veranderen.