Technische Samenvatting: CST-WM: Een Causaal Gestructureerd Wereldmodel voor Belichaamde Visuele Tracking

1. Probleemdefinitie

Belichaamde visuele tracking vereist dat een robot een bewegend doelwit volgt vanuit egocentrische observaties, terwijl de zichtbaarheid wordt behouden, de volgafstand wordt gereguleerd en de veiligheid in rommelige, gedeeltelijk observeerbare omgevingen wordt gewaarborgd. De kernuitdaging ontstaat niet wanneer het doelwit duidelijk zichtbaar is, maar tijdens tijdelijke occlusies, drift buiten het gezichtsveld, of wanneer het doelwit verwarrend kan zijn met afleiders. In deze scenario's moet de robot voorspellende beslissingen nemen over toekomstige observeerbaarheid en schijnbare schaal voordat er weer betrouwbaar bewijs beschikbaar is.

De auteurs identificeren een specifieke foutmodus in bestaande actie-geconditioneerde sequentiële voorspellingsmodellen, getiteld causale hallucinatie. In standaard wereldmodellen kan de sterke correlatie tussen robotcontroleacties en doelwit-gerelateerde observaties ertoe leiden dat het model een directe causale effecten van de huidige actie op het doelwit-bewijs hallucineert. In plaats van acties toe te staan de toekomstige doelwit-bewijsvoering alleen te beïnvloeden via het fysieke mechanisme van robotbeweging die de observatie verandert, kan het model een "shortcut" nemen door actie-informatie direct in de doelwit-toestand te injecteren. Dit resulteert in plausibele toekomstige rollouts die onjuiste semantiek bezitten voor tracking-georiënteerde planning, waardoor het model niet in staat is om onderscheid te maken tussen actiesequenties die de zichtbaarheid behouden en die dat niet doen.

2. Methodologie: CST-WM

Om causale hallucinatie aan te pakken, stellen de auteurs CST-WM (Causally Structured World Model) voor, die een structurele beperking oplegt aan de planning-representatie.

2.1 Causale Decompositie en Toestandsrepresentatie

Het model decomponeert de latente toestand $S_\ell$ in drie afzonderlijke takken:

1. Doelwit-Bewijs Tak ($H_\ell$): Een compacte representatie afgeleid van de huidige observatie, bestaande uit een detectie-betrouwbaarheidsscore (van GroundingDINO) en een genormaliseerd doelwitoppervlak (als proxy voor schijnbare schaal/afstand). Cruciaal is dat deze tak geen volledige externe toestandsschatting is, maar een samenvatting van observeerbaarheid en schaal.
2. Robot Tak ($x_\ell$): Representeert de kinematische toestand van de robot, geïntegreerd vanuit de geschiedenis van acties.
3. Observatie Tak ($Z_\ell$): Een visuele latente representatie gecodeerd via een voorgetrainde VAE.

2.2 Causaal Gestructureerde Transitie

De kerninnovatie is de factorisatie van de transitiedynamiek om directe actie-injectie in de doelwit-bewijstak te voorkomen. De transitie wordt gedefinieerd als:
$$p(H_{\ell+1}, x_{\ell+1}, Z_{\ell+1} | H_\ell, Z_\ell, x_\ell, a_\ell) = p(H_{\ell+1} | H_\ell, Z_\ell, x_\ell) \cdot p(x_{\ell+1} | x_\ell, a_\ell) \cdot p(Z_{\ell+1} | Z_\ell, H_{\ell+1}, x_{\ell+1})$$

Belangrijke architecturale beperkingen zijn onder meer:

• Non-Leakage Beperking: De update van de doelwit-bewijstak $H_{\ell+1}$ is geconditioneerd op de vorige toestand en de robottoestand, maar sluit de huidige actie $a_\ell$ expliciet uit. Wiskundig gezien geldt: $\frac{\partial \hat{H}_{\ell+1}}{\partial a_\ell} = 0$.
• Actiepad: Acties beïnvloeden toekomstig doelwit-bewijs alleen indirect: $a_\ell \to x_{\ell+1} \to Z_{\ell+1}$ (en vervolgens $H_{\ell+1}$ via observatie).
• Single-Layer Architectuur: De takken worden bijgewerkt in een vaste volgorde (Doelwit-Bewijs $\to$ Robot $\to$ Observatie) met strikte maskering om ervoor te zorgen dat geen actie-dragende representatie de doelwit-bewijstap wordt binnengekomen.

2.3 Training en Planning

• Training: Het model wordt getraind met een Diffusion Probabilistic Model (DDPM) op transitie-tuples $(O_\ell, a_\ell, O_{\ell+1})$. Een aanvullende afstand-bewuste loss wordt geïntroduceerd, gesuperviseerd door enkel in de simulator beschikbare relatieve afstand-labels, om de correlatie tussen de doelwit-bewijs proxy en de werkelijke afstand te verbeteren. Deze supervisie wordt alleen tijdens de training gebruikt; tijdens de testfase is er geen geprivilegieerde geometrische signalen beschikbaar.
• Planning: Het systeem maakt gebruik van Model Predictive Control (MPC) met de Cross-Entropy Method (CEM). De planner voert kandidaat-actiesequenties uit met de geleerde dynamica en scoort deze op basis van een waardefunctie die doelwit-zichtbaarheid ($H_{vis}$), passende schijnbare schaal ($H_{area}$), actie-geldigheid en veiligheid beloont. De eerste actie van de beste sequentie wordt uitgevoerd in een receding-horizon wijze.

3. Belangrijkste Bijdragen

1. Formulering van Causale Hallucinatie: Het artikel identificeert en formaliseert "causale hallucinatie" als een specifieke structurele fout in actie-geconditioneerde wereldmodellen voor tracking, waarbij modellen controle-signalen verwarren met doelwit-bewijs.
2. CST-WM Architectuur: De voorstel van een causaal gestructureerd wereldmodel dat direct actie-injectie in de doelwit-bewijstak expliciet blokkeert, waardoor wordt gegarandeerd dat doelwit-bewijs alleen evolueert door de gevolgen van ego-beweging op observaties.
3. Compacte Planning-Georiënteerde Representatie: De introductie van een doelwit-bewijs proxy (detectie-betrouwbaarheid + genormaliseerd oppervlak) die observeerbaarheid en schaal samenvat voor planning zonder volledige geometrische toestandherstel of geprivilegieerde supervisie tijdens inferentie nodig te hebben.
4. Uitgebreide Evaluatie: Een rigoureuze evaluatie op EVT-Bench en Habitat 3.0, inclusief standaard tracking, target-loss recovery, cross-dataset transfer en offline diagnostiek (rollout fidelity, planning-value consistentie en leakage analyse).

4. Experimentele Resultaten

De auteurs evalueerden CST-WM tegen reactieve baselines (bijv. TrackVLA, Uni-NaVid) en aangepaste wereldmodellen (bijv. Navigation World Models) over drie instellingen:

• Standaard Tracking: Op EVT-Bench behaalde CST-WM de hoogste Success Rate (88,7%), Tracking Rate (83,4%) en laagste Collision Rate (1,41%). Op Habitat 3.0 verbeterde het de Following Rate (0,53), Distance-Range Success (0,70) en Episode Success (0,61) vergeleken met de baselines.
• Target-Loss Recovery: In scenario's met korte/lange occlusie, out-of-FOV drift en distractor crossing, vertoonde CST-WM superieur succes bij herverwerving (bijv. 0,84 vs. 0,71 voor korte occlusie) en snellere hersteltijden.
• Offline Diagnostiek:
  • Rollout Fidelity: CST-WM vertoonde een lagere latente voorspellingsfout en een hogere target-visibility AUROC over lange horizonten vergeleken met baselines, waarbij het prestatieverschil groter werd naarmate de horizon toenam.
  • Planning-Value Consistentie: Het model bereikte een hogere rangcorrelatie (Spearman's $\rho$ = 0,68) met door de simulator geïnduceerde rangschikkingen van kandidaat-sequenties, wat wijst op een betere vergelijkende evaluatie van toekomstige gedragingen.
  • Leakage Analyse: Jacobian-gebaseerde diagnostiek bevestigde dat directe actie-lekkage naar de doelwit-bewijstak werd gereduceerd tot bijna nul ($\approx 0,001$), terwijl baselines significante lekkage vertoonden.

5. Betekenis en Claims

Het artikel betoogt dat voor belichaamde visuele tracking toekomstige voorspelling alleen onvoldoende is; de voorspellende structuur zelf moet overeenkomen met hoe doelwit-bewijs in de planning terechtkomt.

De auteurs beweren dat door een causale structuur af te dwingen waarbij doelwit-bewijs wordt bijgewerkt zonder directe actie-injectie, het model de semantische fouten vermijdt die geassocieerd worden met causale hallucinatie. Deze structurele afstemming maakt stabielere tracking, betere afstandcontrole en een betrouwbaardere doelwit-herverwerving onder occlusie mogelijk. De resultaten suggereren dat de voorgestelde factorisatie zowel de downstream controleprestaties als de interne kwaliteit van geïmagineerde toekomsten verbetert.

De auteurs blijven bescheiden over hun claims en merken op dat:

• De methode vertrouwt op een detector (GroundingDINO), en de prestaties verslechteren als de detector faalt (bijv. bij hevige onscherpte, extreme gezichtspunten).
• De doelwit-bewijs proxy geen metriek afstand-estimator is, maar een schaal-gebaseerde proxy die effectief is binnen een specifiek bereik (1–3m).
• Het primaire bewijs afkomstig is van simulatie (EVT-Bench, Habitat 3.0), en hoewel kwalitatieve real-world resultaten worden getoond, worden grote schaal fysieke robotstatistieken niet gerapporteerd.
• De non-leakage beperking een structurele vereiste is voor de planning-representatie, en geen claim is voor volledige causale herwinning van externe humanoïde dynamica.