🤖 AI

Grounding Spatial Relations in a Compact World Model: Instruction Leakage and a Goal-Free Dynamics Fix

Dit artikel onthult dat doelgeconditioneerde compacte wereldmodellen vaak falen in het werkelijk funderen van ruimtelijke relaties vanwege "instructielekkage", waarbij het model simpelweg de instructie transcribeert in plaats van de scène waar te nemen, en stelt een oplossing voor die het doel scheidt van de dynamiek om ware, instructie-onafhankelijke fundering te herstellen.

Oorspronkelijke auteurs: Yufeng Wang, Lu Wei, Haibin Ling

Gepubliceerd 2026-07-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yufeng Wang, Lu Wei, Haibin Ling

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Spiekbriefjes"-valstrik

Stel je voor dat je een robot leert om blokken op een tafel te rangschikken. Je geeft een specifieke instructie: "Zet het rode blok links van het blauwe blok."

De onderzoekers bouwden een slimme robot (een "world model") die bedoeld is om naar de tafel te kijken, te begrijpen waar de blokken staan, en vervolgens te bedenken waar de rode blok moet komen. Ze gaven de robot een speciaal hulpmiddel: een set "ankers" (zoals onzichtbare plaknotities) om het te helpen precies te onthouden waar de dingen staan.

De Verrassing:
Toen ze de robot testten, leek hij perfect. Hij had in 90% van de gevallen het juiste antwoord. Het team dacht: "Wauw, onze robot is geweldig in het zien en begrijpen van de ruimte!"

De Werkelijkheid:
Ze realiseerden zich dat de robot niet echt naar de tafel keek. Hij was aan het spieken.

Omdat de instructie zei: "Zet het rode blok naar de links", hoefde de robot niet naar de scène te kijken om het antwoord te weten. Hij las gewoon het woord "links" in jouw zin en schreef "links" op zijn plaknotities. Hij was de instructie aan het transcriberen, niet de wereld aan het waarnemen.

Als je de instructie weg zou halen, zou de robot bijna elke keer het fout hebben (de nauwkeurigheid zou dalen van 90% naar willekeurig gokken). Als je een valse instructie zou geven zoals "Zet het naar de rechts", zou de robot braaf het blok naar rechts bewegen, zelfs als dat geen zin maakte in de echte scène.

De Analogie: De Student die een Toets Maakt

Denk aan de robot als een student die een wiskundetoets maakt.

Het Echte Doel: De student moet de wiskundevraag oplossen met behulp van de getallen op de pagina.
De Sjoemelmethode: De docent schrijft het antwoord direct naast de vraag in grote letters.
Het Resultaat: De student haalt een 10 voor de toets.
Het Probleem: Als je het antwoord wegstreept (de instructie verwijdert), zakt de student volledig onderuit. De student heeft geen wiskunde geleerd; hij heeft alleen geleerd het antwoord over te schrijven.

In dit artikel is de "antwoordsleutel" de tekstuele instructie. De robot kopieerde de tekst in plaats van naar de "wiskundevraag" (de visuele scène) te kijken.

Het Onderzoek: Hoe Ze de Sjoemelaar Betrapten

De onderzoekers gebruikten twee slimme trucs om te bewijzen dat de robot aan het spieken was:

De "Stille" Test: Ze vertelden de robot dat hij het probleem moest oplossen, maar gaven hem de instructie niet.
- Resultaat: De prestaties van de robot stortten in naar het niveau van toeval. Dit bewees dat hij niet naar de scène keek; hij vertrouwde volledig op de tekst.
De "Leugenaar" Test: Ze gaven de robot een valse instructie (bijv. "Zet het aan de rechterkant") terwijl de scène duidelijk liet zien dat het aan de linkerkant moest.
- Resultaat: De robot volgde de leugen in 94% van de gevallen op. Hij negeerde de werkelijkheid om de tekst te bevredigen.

De Oplossing: Het Scheiden van de "Planner" en de "Predictor"

De onderzoekers realiseerden zich dat de robot probeerde twee taken tegelijk uit te voeren, en dat deze door elkaar liepen:

Voorspellen (Predicting): "Wat gebeurt er als ik dit blok duw?" (Dit zou alleen naar de scène moeten kijken).
Plannen (Planning): "Ik wil dat het blok links staat." (Dit is het doel).

De robot liet het Doel (de tekst) binnensluipen in het deel dat de Voorspelling doet. Het was als een weerman die zijn weerbericht aanpast op basis van wat de President wil dat het weer wordt, in plaats van op basis van hoe de wolken er daadwerkelijk uitzien.

De Oplossing:
Ze herstelden de architectuur van de hersenen van de robot:

De Predictor (het deel dat voorspelt wat er gebeurt) is nu blind voor het doel. Het kijkt alleen naar de scène en de actie.
De Planner (het deel dat beslist wat te doen) krijgt het doel. Het gebruikt het doel om verschillende opties te beoordelen, maar vertelt de predictor niet wat hij moet voorspellen.

Het Resultaat:

Vóór de fix: De robot leek slim, maar kopieerde eigenlijk gewoon tekst.
Na de fix: De robot leerde daadwerkelijk de blokken te zien. Hij kon de ruimtelijke relatie (links/rechts) correct identificeren, zelfs als je het antwoord niet in de instructie vertelde.

De Kanttekening (Wat het Artikel Eigenlijk Zegt)

Het artikel is heel eerlijk over wat deze fix heeft bereikt:

Het heeft het "zien" gerepareerd: De robot begrijpt de scène nu echt. Hij is niet meer aan het spieken.
Het heeft de robot geen "super-planner" gemaakt: Zelfs met de fix is de robot niet perfect in het daadwerkelijk bewegen van de blokken naar het doel. Het blijft nog steeds een beetje moeite hebben omdat zijn interne model van de natuurkunde (hoe blokken bewegen) nog niet 100% perfect is.
De belangrijkste les: Het probleem was niet dat de robot "dom" was; het probleem was dat de instructie te makkelijk te kopiëren was. Door de robot te verbieden de instructie te kopiëren, dwongen ze hem om daadwerkelijk te leren kijken.

Samenvatting in één zin

Het artikel ontdekte dat sommige AI-robots "spieken" door het antwoord in de instructies te lezen in plaats van naar de wereld te kijken, en ze losten dit op door de "ogen" van de robot (die de instructies moeten negeren) te scheiden van de "hersenen" (die de instructies gebruiken om te plannen).

Technische Samenvatting: Gronding van Ruimtelijke Relaties in een Compact Wereldmodel

1. Probleemstelling

Het artikel onderzoekt een kritieke foutmodus in compacte, doelgeconditioneerde wereldmodellen ontworpen voor belichaamde controle (embodied control). Deze modellen, vaak gebaseerd op Joint-Embedding Predictive Architectures (JEPA), streven ernaar om ruimtelijke relaties (bijv. "plaats het rode blok links van het blauwe blok") te representeren met behulp van een combinatie van een globale latente staat en expliciete metrische referentie-ankers.

Het centrale probleem dat wordt geïdentificeerd is Instructielekkage (Instruction Leakage). De auteurs demonstreren dat wanneer de transitiedynamiek van een wereldmodel geconditioneerd is op een taaldoel dat de beoordeelde relatie expliciet benoemt (bijv. de instructie "beweeg X naar links van Y" bevat het woord "links"), het model niet leert de ruimtelijke relatie uit de scène te percipiëren. In plaats daarvan leert het de instructie direct te transcriberen naar de voorspelde ankercoördinaten.

Dit creëert een misleidende illusie van gronding:

Hoge Readout-nauwkeurigheid: Modellen bereiken een hoge nauwkeurigheid (bijv. 0,90) op relatie-readouts.
Fragiliteit: Deze nauwkeurigheid stort in naar het niveau van toeval (bijv. 0,27) wanneer het doel wordt weggelaten.
Counterfactual Falen: Wanneer een tegenfeitelijke (counterfactual) instructie wordt gepresenteerd (bijv. "beweeg X naar rechts" terwijl de scène "links" toont), volgen de voorspelde ankers van het model in 94,5% van de gevallen de valse instructie, waarbij de werkelijke scène wordt genegeerd.

De auteurs betogen dat deze lekkage optreedt omdat de voorspeller de instructie kan exploiteren als een afkorting (shortcut), waardoor de niet-instructie inputs (staat, actie) irrelevant worden voor de specifieke taak van de relatie-readout.

2. Methodologie

Experimentele Opzet

De auteurs maken gebruik van een gecontroleerde 2D relationele tafelomgeving (geïnspireerd door CLEVR) waar:

Scènes: Bevatten $N=4$ gekleurde vormen.
Taak: Een doelobject moet relatief ten opzichte van een ankerobject worden verplaatst (relaties: links, rechts, boven, onder).
Ambiguïteit: Het aantal duplicerende distractoren ( $a \in \{0, \dots, 4\}$ ) is aanpasbaar om referentiële ambiguïteit te testen.
Modelarchitectuur (PrismWM): Een JEPA-gebaseerd model dat de staat factoriseert in:
- Een globale latente $z$ (gecodeerd door ViT-tiny).
- Sparse metrische punt-ankers $p$ (gelezen uit patch-features).
- Een doel-embedding $g$ .
- Een actie-geconditioneerde transformer-voorspeller die $(z, p)$ vooruit rolt.

Detectieprotocol

Om onderscheid te maken tussen echte perceptie en instructietranscriptie, gebruiken de auteurs twee specifieke controles op de trainingsrenderdistributie:

Goal-Withheld Control (Doel Weggelaten): De doel-tokens worden op nul gezet tijdens de readout-fase. Een echt perceptueel model zou de nauwkeurigheid moeten behouden; een transcriërend model zou instorten naar het niveau van toeval.
Counterfactual Control (Tegenfeitelijke Controle): Het model krijgt een instructie die een andere relatie benoemt dan de ware scène. Een echt model volgt de scène; een transcriërend model volgt de valse instructie.

Modelvarianten

De auteurs trainen en vergelijken verschillende varianten om de oorzaak te isoleren:

GoalDyn: Het doel wordt gevoed in de dynamiek (voorspeller).
GoalDyn+Read: Doel in de dynamiek, plus een gesuperviseerd read-pad voor geobserveerde ankers.
GoalFree (De Fix): Het doel wordt verwijderd uit de dynamiek (de voorspeller ziet het doel nooit) en wordt alleen gebruikt in de kostenfunctie van de planner. Het read-pad is gesuperviseerd.
NoGoal: Baseline zonder doel-conditionering.
Externe Benchmarks: Het fenomeen wordt gevalideerd op BabyAI (MiniGrid) en Language-Table (Google), waarbij wordt gevarieerd of instructies de relatie benoemen of alleen de referenten.

3. Belangrijkste Bijdragen

Karakterisering van Instructielekkage: Het artikel stelt vast dat lekkage wordt beheerst door transcribeerbaarheid. Het treedt op wanneer de instructie de gescoorde grootheid (de relatie) benoemt en is in essentie onafhankelijk van de voorspellende kracht van niet-instructie inputs (staat/actie). Dit werd geverifieerd in drie settings (Tabletop, BabyAI, Language-Table) en een actie-ablatie dose-respons.
Gevalideerd Detectieprotocol: De auteurs stellen een rigoureus testprotocol voor (Goal-Withheld en Counterfactual probes) dat perceptie en transcriptie helder scheidt. Ze tonen aan dat de hoge nauwkeurigheid van een doel-geconditioneerd model een "pure transcriptie"-artefact is.
Architecturale Fix (Goal-Free Dynamics): Het artikel schrijft een fix voor en valideert deze: verwijder het doel uit de transitiedynamiek. Door de voorspeller te dwingen relaties uitsluitend uit de scène te extraheren (zonder het doel te zien) en het anker read-pad te superviseren, bereikt het model echte, instructie-onafhankelijke gronding.
Controle-analyse: De studie onthult dat doel-conditionering in de dynamiek de controleprestaties actief verslechtert. Het verwijderen van het doel uit de dynamiek herstelt de controleprestaties naar het niveau van de eenvoudigste "NoGoal"-baseline, wat bevestigt dat het doel de bron van de degradatie was, en niet een gebrek aan features.

4. Resultaten

Representatie en Gronding

Lekkage: Het standaard doel-geconditioneerde model (GoalDyn) bereikt ~0,90 voorspelde-anker nauwkeurigheid met het doel aanwezig, maar dit daalt naar ~0,27 (toeval) wanneer het doel wordt weggelaten. Onder tegenfeitelijke instructies volgt het de valse instructie in 94,5% van de gevallen.
Echte Gronding: Het GoalFree model (doel verwijderd uit de dynamiek) bereikt een hoge nauwkeurigheid (~0,88) die identiek is of het doel nu aanwezig is of niet. Dit bewijst dat de ankers de relatie coderen op basis van perceptie, niet van instructietranscriptie.
Ambiguïteitsgrens: Echte gronding bestaat bij lage en medium ambiguïteit, maar stort in naar toeval bij maximale ambiguïteit ( $a=4$ ), wat aangeeft dat de geleerde gronding nauw is afgestemd op de cues van de trainingsdistributie in plaats van een algemene relationele waarnemer te zijn.
Externe Validatie:
- BabyAI: Instructies die de relatie benoemen veroorzaken lekkage (counterfactual score 1,00).
- Language-Table: Instructies die alleen de referenten benoemen (geen relatienaam) vertonen geen lekkage. Het uitbreiden van deze instructies om de richting te benoemen, induceert lekkage.

Controleprestaties

Monotone Degradatie: Het succespercentage van de controle neemt monotoon af naarmate het doel meer invloed krijgt op de dynamiek:
- NoGoal / GoalFree: ~0,30
- GoalDyn (doel als voorspeller): ~0,14
- GoalDyn (doel in de rollout): ~0,03 (random floor)
De Winst van de Fix: Het GoalFree-model koppelt de "NoGoal"-baseline qua controleprestaties. Het artikel stelt expliciet dat het geen aanspraak maakt op een controle-winst ten opzien van de baseline; de waarde van de fix is eerder het herstel van gegronde perceptie (die de NoGoal-baseline mist) en het verwijderen van de actieve schade veroorzaakt door doel-conditionering.
Residuele Kloof: Alle varianten presteren aanzienlijk onder de Oracle (ware dynamiek), wat de auteurs toeschrijven aan dynamische getrouwheid (multi-step rollout drift) in plaats van aan het representatie- of grondingsmechanisme.

5. Betekenis en Claims

De betekenis van het artikel ligt in het identificeren van een subtiele maar hardnekkige "shortcut" in doel-geconditioneerde wereldmodellen, waarbij de instructie fungeert als een vals signaal dat de noodzaak voor visuele perceptie omzeilt.

Methodologische Les: Hoge relatie-readout nauwkeurigheid in doel-geconditioneerde modellen is geen bewijs van gronding als de instructie de relatie benoemt. Het moet gevalideerd worden met goal-withheld en counterfactual controles.
Architecturale Les: Het doel behoort in de kostenfunctie van de planner te staan, niet in de transitiedynamiek. Het conditioneren van de dynamiek op de instructie creëert een pad voor het model om het antwoord te kopiëren in plaats van de scène te voorspellen.
Scope: De auteurs zijn bescheiden over hun claims. Ze beweren niet 3D-gronding of real-world robotica te hebben opgelost. Ze demonstreren dat voor taken waarbij de instructie de naam geeft, de huidige "receptuur" van het conditioneren van dynamiek op taal onveilig is. De fix (Goal-Free dynamiek) herstelt echte perceptie, maar verbetert de controle niet inherent boven de eenvoudigste baseline; de resterende bottleneck is de getrouwheid van de geleerde dynamiek.

Het artikel concludeert dat deze lekkage een structureel probleem is in ontwerpen die voorspellers conditioneren op taal wanneer de taal de geëvalueerde grootheid benoemt, en dat het voorgestelde detectie- en fix-mechanisme toepasbaar is op elk dergelijk doel-geconditioneerd wereldmodel.