🤖 AI

LEGO-Puzzles: How Good Are MLLMs at Multi-Step Spatial Reasoning?

Het artikel introduceert LEGO-Puzzles, een benchmark die de meerstaps ruimtelijke redeneervaardigheden van Multimodale Grote Taalmodellen (MLLM's) evalueert door middel van elementaire taken en assemblageplanning, waarbij wordt onthuld dat zelfs de sterkste modellen aanzienlijk ondermaats presteren in vergelijking met mensen en moeite hebben om de nauwkeurigheid te behouden naarmate de planningscomplexiteit toeneemt.

Oorspronkelijke auteurs: Kexian Tang, Junyao Gao, Yanhong Zeng, Haodong Duan, Yanan Sun, Zhening Xing, Wenran Liu, Kai Chen, Kaifeng Lyu

Gepubliceerd 2026-08-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kexian Tang, Junyao Gao, Yanhong Zeng, Haodong Duan, Yanan Sun, Zhening Xing, Wenran Liu, Kai Chen, Kaifeng Lyu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een complex kasteel van blokken moet bouwen, maar je kunt alleen met hem praten en hem plaatjes laten zien. Dit is de wereld van Multimodale Large Language Models (MLLMs). Denk aan deze modellen als superintelligente digitale hersenen die tekst kunnen lezen en afbeeldingen kunnen "zien", en proberen de wereld te begrijpen zoals mensen dat doen. Een van de lastigste dingen voor elk brein om te leren is ruimtelijk redeneren—het vermogen om te begrijpen hoe objecten in een 3D-ruimte in elkaar passen, weten welk blok bovenop moet, welk blok gedraaid moet worden, en hoe de hele structuur verandert naarmate je stukken toevoegt. Hoewel deze AI-modellen steeds beter worden in chatten en het beschrijven van plaatjes, vragen wetenschappers zich nog af: kunnen ze ook daadwerkelijk een reeks bewegingen plannen om iets te bouwen? Het is één ding om naar een voltooide toren te kijken en te zeggen: "Die is hoog," maar het is een heel andere uitdaging om de exacte volgorde van 50 stappen te bedenken om deze vanaf het begin op te bouwen. Als we willen dat robots onze auto's repareren of ons helpen bij het assembleren van meubels, moeten ze dit soort stapsgewijs denken beheersen.

Maak kennis met LEGO-Puzzles, een nieuwe "examen"-test die door onderzoekers is ontworpen om precies deze vaardigheid te testen. In plaats van echte plastic steentjes te gebruiken, creëerden de onderzoekers een enorme digitale speeltuin met LEGO-instructies om te zien hoe goed de slimste AI-modellen ter wereld met ruimtelijke puzzels kunnen omgaan. Ze deelden de test op in twee hoofdniveaus. Het eerste niveau, de Elementary Set, is als een warming-up. Het stelt de AI eenvoudige vragen over een enkele afbeelding: "Welk blok is hoger?" "Raken deze twee stukken elkaar?" of "Als ik dit onderdeel draai, hoe ziet het er dan vanaf de zijkant uit?" Dit test het basisniveau van "ruimtelijk begrip". Het tweede niveau, de Planning Set, is de echte eindbaas. Hier is de AI niet alleen bezig met het beantwoorden van vragen; het moet optreden als een meesterbouwer. De AI krijgt een beginstapel blokken en een afbeelding van het uiteindelijke doel, en moet een stapsgewijs plan genereren om daar te komen. De onderzoekers testten 29 van de meest geavanceerde AI-modellen die beschikbaar zijn, inclusief grote namen zoals GPT-5 en Gemini, en vroegen zelfs menselijke experts om dezelfde test af te leggen.

De resultaten waren een harde realiteitscrisis voor de AI-wereld. Zelfs de sterkste modellen hadden moeite met de basis. Bij de elementaire vragen bleven de beste AI-modellen minstens 20% achter op menselijke prestaties. Wanneer ze bijvoorbeeld moesten beoordelen hoe hoog blokken in een 3D-ruimte waren, raakten veel modellen in de war; ze keken naar de platte 2D-afbeelding op het scherm in plaats van de echte 3D-vorm voor te stellen. Maar de problemen werden veel groter naarmate de taken langer werden. Wanneer de AI een reeks stappen moest plannen met behulp van meerkeuzevragen, begon de nauwkeurigheid aanzienlijk te dalen zodra het plan langer dan 3 stappen was, waarbij het onder de 50% zakte. Tegen de tijd dat een plan 8 stappen vereiste, was de nauwkeurigheid van de beste modellen gedaald naar 0%. In tegenstelling hiertoe losten menselijke deelnemers elke enkele planningsopdracht perfect op, ongeacht hoe lang de reeks stappen ook was.

De onderzoekers probeerden ook iets nog moeilijkers: de AI vragen om niet alleen de stappen te beschrijven, maar om ook de tussenliggende afbeeldingen van het bouwproces daadwerkelijk te tekenen. Ze wilden zien of de AI zich kon voorstellen hoe het kasteel eruitziet na stap 1, dan stap 2, enzovoort. De resultaten waren schrijnend. Zelfs voor een kort plan van slechts 3 stappen faalden de modellen volledig in het genereren van de juiste visuele sequentie. Ze konden soms wel een plaatje tekenen dat leek op een LEGO-steentje, maar ze konden het niet op de juiste plek plaatsen of de oriëntatie niet correct krijgen. De paper merkt op dat omdat de modellen zo slecht presteerden bij het genereren van afbeeldingen voor slechts 3 stappen, de onderzoekers niet eens langere tijdspannen voor deze specifieke taak hebben getest. Dit suggereert dat hoewel deze modellen goed zijn in het herkennen van patronen, ze niet het vermogen hebben om de gevolgen van hun acties in de loop van de tijd te "voorstellen". Ze kunnen geen mentaal evenbeeld van het bouwproces in hun hoofd houden zonder de draad kwijt te raken.

Kortom, LEGO-Puzzles laat zien dat hoewel onze huidige AI-modellen indrukwekkend zijn, ze nog mijlenver verwijderd zijn van echte ruimtelijke intelligentie. Ze kunnen niet betrouwbaar een proces van meerdere stappen plannen, en ze falen spectaculair wanneer ze gevraagd wordt de toekomstige toestanden van een object te visualiseren. De paper concludeert dat we nog een lange weg te gaan hebben voordat AI de fysieke wereld echt goed genoeg kan begrijpen om ons te helpen dingen te bouwen, kapotte voorwerpen te repareren of zelfstandig door complexe omgevingen te navigeren. De kloof tussen menselijke intuïtie en machinale berekening in de fysieke wereld is nog steeds groot, en deze nieuwe benchmark geeft ons een duidelijke kaart van de punten waar de modellen de mist in gaan.

Technische Samenvatting: LEGO-Puzzles

Probleemstelling

Hoewel Multimodale Large Language Models (MLLM's) vooruitgang hebben getoond in ruimtelijke intelligentie, blijft hun vermogen voor meerstaps sequentiële ruimtelijke redenering grotendeels onverkend. Bestaande benchmarks richten zich vaak op statisch ruimtelijk begrip (bijv. het identificeren van objectattributen of relaties in een enkele afbeelding) of enkelvoudige actieplanning. Echter, real-world toepassingen zoals robotbesturing, autonoom rijden en geautomatiseerde assemblage vereisen het vermogen om een scène waar te nemen, de gevolgen van hypothetische acties te visualiseren en ruimtelijk begrip sequentieel toe te passen over meerdere stappen. Huidige evaluaties missen een systematisch kader om MLLM's te testen van basis ruimtelijke perceptie tot complexe, langdurige planning.

Methodologie

De auteurs introduceren LEGO-Puzzles, een benchmark die is ontworpen om de ruimtelijke redeneer-capaciteiten van MLLM's te evalueren via een progressief framework geïnspireerd door LEGO-constructie. De benchmark bestaat uit twee primaire taken sets afgeleid van open-source LEGO-projecten met stap-voor-stap assemblage-instructies:

1. De Elementaire Set

Deze set bevat meer dan 1.100 zorgvuldig gecureerde Visual Question-Answering (VQA) paren verspreid over 11 verschillende taken, georganiseerd in drie niveaus van toenemende complexiteit:

Niveau 1: Ruimtelijk Begrip: Test de basisperceptie van 3D-relaties, inclus\u00zaand hoogteverschillen, nabijheid, rotatiehoeken en multiview-voorspelling.
Niveau 2: Enkelvoudige Sequentiële Redenering: Vereist redeneren over directe assemblage-acties, zoals het bepalen van de rotatiestatus, het identificeren van correcte assemblageposities, het voorspellen van de volgende staat en het identificeren van afhankelijkheden.
Niveau 3: Meerstapss-sequentiële Redenering: Beoordeelt het vermogen om te redeneren over meerdere sequenties, inclusief achterwaartse redenering (het identificeren van tussenstappen vanuit een doeltoestand), het ordenen van assemblage-sequenties en het detecteren van uitschieters in een sequentie.

2. De Planning Set

Deze set evalueert het vermogen van het model om expliciete meerstapsplannen te genereren voor het assembleren van een doelstructuur. Het bevat twee taaltypen:

Plan-k-Step-VQA: Een multiple-choice taak waarbij modellen $k$ correcte tussenstappen moeten selecteren en ordenen uit een set van $2k$ opties (inclusief afleiders) om van een begintoestand naar een doeltoestand te gaan. De planning-horizon $k$ varieert van 1 tot 8.
Plan-k-Step-Generation: Een generatieve taak waarbij modellen stap-voor-stap afbeeldingen van tussenliggende assemblage-toestanden moeten produceren in een multi-turn dialoog, geconditioneerd op eerdere outputs, om een volledige planning-traject te simuleren.

Datacuratie

De dataset werd geconstrueerd met behulp van een pipeline bestaande uit:

Dataverzameling: Het verzamelen van diverse open-source LEGO-projecten (dieren, voertuigen, meubels) en het filteren op matige complexiteit.
Rendering & Transformatie: Het gebruik van Studio1 om projecten te renderen naar PDF's met vaste camerastandpunten, terwijl transformaties worden toegepast (bijv. aanpassingen in verlichting, bewuste fouten) om specifieke taakscenario's te creëren.
Metadata Extractie & Unificatie: Het extraheren van gestructureerde informatie (onderdelen, objecten) en het organiseren van assets voor QA-generatie.
Kwaliteitscontrole: Een multi-stage human-in-the-loop proces inclusief duplicatenfiltering, beeldkwaliteitsverificatie en annotatievalidatie door drie getrainde annotatoren.

Belangrijkste Bijdragen

Omvattend Evaluatiekader: Een benchmark die een spectrum bestrijkt van basis ruimtelijk begrip tot meerstaps planning met progressief toenemende complexiteit.
Natuurlijke maar Uitdagende Taken: Taken geconstrueerd uit echte door mensen ontworpen LEGO-projecten die aanzienlijke uitdagingen vormen voor state-of-the-art MLLM's, waarmee zij verder gaan dan de vereenvoudigde of zeer abstracte omgevingen die in eerder werk werden gevonden.
Multi-Turn Beeldgeneratie Evaluatie: Een nieuwe evaluatie van het vermogen van MLLM's om geplande tussenliggende toestanden als afbeeldingen te genereren, een capaciteit die cruciaal is voor real-world toepassingen zoals robotmanipulatie, maar voorheen niet getest in ruimtelijke redeneer-benchmarks.

Experimentele Resultaten

De auteurs evalueerden 29 state-of-the-art MLLM's, inclusief propriëtaire modellen (bijv. GPT-5, Gemini-2.5-Pro) en open-source alternatieven (bijv. Qwen, InternVL, LLaVA-series).

Prestaties Elementaire Set: Zelfs de sterkste modellen (GPT-5) blijven achter bij menselijke prestaties met ten minste 20% op elementaire taken. Veel open-source modellen presteren slechts marginaal beter dan willekeurig gokken. Specifieke fouten zijn:
- Hoogte Taak: Modellen vertrouwen vaak op 2D-projecties in plaats van echt 3D-perspectief.
- Rotatie Taak: Modellen hebben moeite met het betrouwbaar waarnemen van oriëntatieveranderingen.
- Meerstapss Redenering: De nauwkeurigheid daalt significant naarmate taken overgaan van enkelvoudige stappen naar ordenen of achterwaartse redenering.
Prestaties Planning Set (VQA): Naarmate de planning-horizon $k$ $k$ toeneemt, degradeert de nauwkeurigheid snel.
- Voor $k > 3$ daalt de nauwkeurigheid voor alle modellen onder de 50%.
- Bij $k = 8$ nadert de nauwkeurigheid voor de meeste modellen de 0%, terwijl menselijke deelnemers een nauwkeurigheid van 100% bereiken.
- Propriëtaire modellen vertonen een betere "set match" (het identificeren van de juiste elementen) dan open-source modellen, maar hebben nog steeds moeite met het correct ordenen ervan.
Prestaties Planning Set (Beeldgeneratie): Wanneer men overschakelt van multiple-choice naar beeldgeneratie, stort de prestatie in.
- Zelfs voor $k=3$ daalt de nauwkeurigheid naar 0%.
- Modellen genereren vaak afbeeldingen met een correct algemeen uiterlijk, maar falen in het plaatsen van LEGO-onderdelen in de juiste posities of oriëntaties.
- Fouten verschijnen frequent in de allereerste stap van de generatie, wat wijst op een gebrek aan consistente visuele verbeelding en temporele redenering.

Betekenis en Claims

Het artikel beweert dat LEGO-Puzzles kritieke beperkingen blootlegt in de ruimtelijke redeneer-capaciteiten van huidige MLLM's. De bevindingen benadrukken dat:

Huidige modellen worstelen met langdurige planning en sequentiële ruimtelijke redenering, waarbij ze falen in het volgen en integreren van ruimtelijke transformaties over meerdere stappen.
Er een aanzienlijke kloof bestaat tussen visueel begrip en precieze generatie; modellen kunnen ruimtelijke relaties herkennen in statische afbeeldingen, maar kunnen deze redenering niet betrouwbaar toepassen om coherente, stap-voor-stap visuele outputs te generen.
De benchmark dient als een proxy voor real-world ruimtelijk begrip, gevalideerd door sterke positieve correlaties (Pearson $r > 0.9$ ) tussen prestaties op LEGO-Puzzles en natuurlijke beeld-benchmarks (3DSRBench).

De auteurs concluderen dat substantiële vooruitgang nodig is om de kloof tussen huidige MLLM's en menselijk niveau van ruimtelijke intelligentie te overbruggen, met name op het gebied van sequentiële redenering en generatieve planning.