🤖 AI

Traj-LeWM: Path-Aware World-Model Planning via Latent Trajectory Cost

Traj-LeWM verbetert het lichtgewicht visuele wereldmodel LeWM door een doelgeconditioneerde latente trajectkosten te introduceren die de afstand tot het eindpunt aanvult met padbewuste informatie tijdens zowel de training als de planning, wat resulteert in significante prestatieverbeteringen over meerdere benchmarks voor robotmanipulatie.

Oorspronkelijke auteurs: Xiaodi Huang, Ziyi Ding, Jingtian Wan, Yuchen Liu, Yuan Zhang, Xiao-Ping Zhang, Jiayu Chen, Zhang Zhang, Tao Huang

Gepubliceerd 2026-08-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaodi Huang, Ziyi Ding, Jingtian Wan, Yuchen Liu, Yuan Zhang, Xiao-Ping Zhang, Jiayu Chen, Zhang Zhang, Tao Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert hoe hij door een doolhof moet navigeren of een blok naar een specifieke plek moet duwen. In de wereld van kunstmatige intelligentie wordt dit vaak gedaan met iets dat een "wereldmodel" wordt genoemd. Denk aan een wereldmodel als de interne dagdromer van een robot. In plaats van alleen te reageren op wat hij op dit moment ziet, gebruikt de robot deze dagdromer om de toekomst te simuleren: "Als ik mijn arm naar links beweeg, hoe ziet de wereld er dan over één seconde uit? En over twee seconden?"

Lange tijd hebben wetenschappers geprobeerd om deze dagdromen nauwkeuriger te maken. Een recente aanpak genaamd LeWM (Lightweight World Model) was een grote stap voorwaarts. Het leerde de toekomst direct vanuit camerapixels te voorspellen, waardoor de noodzaak voor complexe 3D-kaarten werd overgeslagen. Echter, zelfs LeWM had een blinde vlek. Het was als een GPS die alleen om je eindbestemming gaf. Het keek naar een lijst met mogelijke routes en koos de route die er het meest op leek dat het eindpunt dichtbij het doel zou zijn, zonder echt te controleren of de weg halverwege vol kuilen, doodlopende wegen of files zat. Als twee routes bij hetzelfde punt eindigden, kon de robot niet het verschil zien tussen welke route eigenlijk veiliger of soepeler zou zijn. Deze paper, Traj-LeWM, probeert deze blinde vlek te verhelpen door de robot te leren om om de hele reis te geven, en niet alleen om de finishlijn.

Het Probleem: De "Finishlijn"-valstrik

De auteurs van deze paper merkten een grappig probleem op in de manier waarop robots zoals LeWM beslissingen nemen. Stel je voor dat je een videogame speelt waarin je een personage naar een schatkist moet leiden. Je hebt twee paden om uit te kiezen:

Pad A: Een recht, helder pad dat rechtstreeks naar de kist leidt.
Pad B: Een kronkelend, gevaarlijk pad dat door een bos vol vallen gaat, maar ook precies naast de kist eindigt.

Ouderwetse AI (zoals LeWM) kijkt naar het einde van beide paden, ziet dat ze even dicht bij de kist zijn, en kiest er willekeurig één. Het realiseert zich niet dat het personage halverwege Pad B tegen een boom kan botsen. De paper stelt dat dit gebeurt omdat de robot alleen de "eindpuntafstand" controleert. Het negeert het "tussenliggende pad"—het rommelige, lastige gedoe dat in het midden van de actie gebeurt.

De onderzoekers ontdekten dat in complexe taken, zoals het duwen van een T-vormig object of het navigeren door een kamer met obstakels, twee verschillende reeks acties precies op dezelfde plek kunnen eindigen, terwijl de ene wel slaagt en de andere spectaculair faalt. De oude robot kon het verschil niet zien omdat hij te gefocust was op de finishlijn.

De Oplossing: De "Hele Reis" Scorekaart

Om dit te verhelpen, introduceerde het team Traj-LeWM. Ze behielden het vermogen van de robot om de toekomst te voorspellen, maar voegden een nieuwe "scorekaart" toe genaamd de Latent Trajectory Cost (LTC).

Beschouw LTC als een strenge coach die niet alleen kijkt waar de atleet eindigt, maar de hele race volgt.

De Oude Manier: De coach zegt: "Goed gedaan! Je bent 1 meter van de finishlijn af."
De Nieuwe Manier (Traj-LeWM): De coach zegt: "Je bent 1 meter van de lijn, maar je bent drie keer gestruikeld, bent tegen een muur gelopen en hebt een vreemde omweg genomen. Dat was een slechte loop. Laten we naar de andere loper kijken die op dezelfde plek eindigde maar soepel liep."

Het nieuwe systeem leert een "kost" voor elk mogelijk pad. Als een pad eruitziet alsof het tegen een muur zal botsen of een vreemde bocht zal maken, gaat de kost omhoog. Als het pad vloeiend en logisch is, blijft de kost laag. De robot combineert deze "soepelheidsscore" vervolgens met de oude "afstand tot het doel"-score om de beste actie te kiezen.

Hoe ze de Robot Leerden

Het is lastig om een robot te leren om om het midden van de reis te geven. Je kunt niet simpelweg zeggen "bots niet tegen muren", want de robot weet nog niet wat een muur is. Daarom gebruikten de onderzoekers een slimme truc genoteel preference learning (voorkeursleren).

Ze toonden de robot paren van verhalen:

Het Goede Verhaal: Een perfect pad waarbij de robot het blok succesvol naar het doel duwt.
Het Slechte Verhaal: Een pad dat op het goede pad lijkt, maar een fout bevat (zoals tegen een muur botsen) of een pad dat naar een totaal verkeerd doel leidt.

De robot kreeg de opdracht om te raden welk verhaal beter was. Door duizenden van deze "dit is beter dan dat"-lessen te krijgen, leerde de robot om een lage kost toe te wijzen aan goede paden en een hoge kost aan slechte paden. Ze lieten de robot zelfs plannen in een gesimuleerde omgeving, en als hij crashte, sloegen ze die crash op als een "slecht verhaal" om van te leren. Dit is als een gamer die leert niet van een klif af te springen omdat hij daar doodging, maar dit keer leert de robot van zijn eigen gesimuleerde fouten.

Wat ze Vonden

Het team testte deze nieuwe robot in vier verschillende gesimuleerde werelden:

Push-T: Het duwen van een T-vormig object naar een doel.
OGBench-Cube: Het bewegen van een kubus naar een specifieke plek.
Reacher: Een robotarm die naar een doel reikt.
Two-Room: Navigeren door een doolhof met twee kamers.

In deze simulatiesjes was de nieuwe Traj-LeWM robot aanzienlijk beter dan de oude LeWM robot.

Op de Cube-taak verbeterde het succespercentage met 14 procentpunten (van 74% naar 88%).
Op Reacher verbeterde het met 7 procentpunten (van 86% naar 93%).
Op Two-Room verbeterde het met 7 procentpunten (van 87% naar 94%).
Op Push-T verbeterde het met 3 procentpunten (van 96% naar 99%).

Ze testten het ook op een echte fysieke robot (een Franka FR3 arm) in de echte wereld. In 20 realtime taken slaagde de oude robot 10 keer (50%), terwijl de nieuwe Traj-LeWM robot 14 keer slaagde (70%). Hoewel dit een kleine test is, suggereert het dat de methode ook buiten de computersimulatie werkt.

Waarom dit Belangrijk is

De paper laat zien dat voor robots om echt slim te zijn, ze niet alleen naar de bestemming kunnen kijken; ze moeten ook de reis respecteren. Door de robot te leren om het gehele pad dat hij plant te evalueren, in plaats van alleen de eindplek, wordt hij veel beter in het vermijden van vallen en het navigeren door complexe omgevingen.

De onderzoekers bevestigden dat deze verbetering voortkomt uit twee dingen:

Beter Leren: De robot leerde een betere interne kaart van de wereld omdat hij getraind werd om om het hele pad te geven, niet alleen om het einde.
Beter Plannen: Zelfs wanneer de voorspelling van de robot over de toekomst iets onnauwkeurig was, hielp de "score van de hele reis" om de veiligere optie te kiezen.

Kortom, Traj-LeWM bewijst dat het in de wereld van robotplanning niet alleen gaat om waar je eindigt; het gaat om hoe je er komt. Door de robot een manier te geven om een soepel, veilig pad te verkiezen boven een hobbelig, riskant pad, hebben de auteurs een belangrijke stap gezet naar het maken van robots die de chaotische, onvoorspelbare echte wereld aan kunnen.

Technische Samenvatting van Traj-LeWM: Path-Aware World-Model Planning via Latent Trajectory Cost

1. Probleemstelling

Het artikel behandelt twee specifieke beperkingen in LeWM (Lightweight Visual World Model), een joint-embedding predictive architectuur (JEPA) die latente dynamiek leert van pixels om doelgestuurd plannen (goal-conditioned planning) uit te voeren. Hoewel LeWM sterke prestaties levert op eenvoudige taken, daalt het succespercentage aanzienlijk in complexere omgevingen (bijv. van 96% op Push-T naar 74% op OGBench-Cube). De auteurs identificeren twee grondoorzaken voor deze degradatie:

Ontbrekende Traject-niveau Supervisie: Het trainingsdoel van LeWM vertrouwt op de voorspelling van de volgende stap (lokale transities) en een regularisatieterm (SIGReg) om representatie-instorting te voorkomen. Geen van beide componenten vereist expliciet dat de gedeelde encoder informatie behoudt over het volledige traject in relatie tot het taaldoel. Gevolgelijk wordt de latente ruimte niet direct getraind om de kwaliteit van een volledig kandidaat-traject te beoordelen.
Gevoeligheid voor Endpoint-only Scoring: Tijdens het plannen rangschikt LeWM kandidaat-actiesequenties uitsluitend op basis van de Euclidische afstand tussen de voorspelde latente eindpunten en de doelrepresentatie. Deze aanpak negeert intermediaire padinformatie. Twee trajecten met identieke eindpunten maar verschillende intermediaire evoluties (één succesvol, één falend) ontvangen dezelfde score, wat leidt tot suboptimale selectie van kandidaten wanneer modelvoorspellingen afwijken van de werkelijke uitvoering.

2. Methodologie: Traj-LeWM

De auteurs stellen Traj-LeWM voor, een framework dat de oorspronkelijke lokale dynamiek-doelstelling en endpoint scoring van LeWM behoudt, maar een Goal-Conditioned Latent Trajectory Cost (LTC) introduceert. De methode werkt in drie stadia:

A. Goal-Conditioned Latent Trajectory Cost (LTC)
De kerninnovatie is een leerbare scalaire kostenfunctie, $S_\psi(\tau | g)$ , die een volledig latent traject $\tau$ evalueert gegeven een doel $g$ . In tegenstelling tot endpoint afstand, aggregeert LTC informatie over het gehele pad. Het is gedefinieerd als:
$S_\psi(\tau | g) = \frac{1}{T} \sum_{t=0}^{T-1} \ell_\psi(z_t, \Delta z_t, d^g_t, \eta_t)$
Waar:

$z_t$ : Huidige latente staat.
$\Delta z_t$ : Lokale evolutie (verschil tussen opeenvolgende staten).
$d^g_t = z_g - z_t$ : Doel-relatieve grootheid (conditionering).
$\eta_t$ : Genormaliseerde temporele fase.
$\ell_\psi$ : Een leerbare, niet-negatieve per-stap bijdragefunctie.

Deze structuur maakt het mogelijk dat de kosten variëren op basis van hoe een staat wordt bereikt, en niet alleen waar deze eindigt.

B. Trajectory-Preference Supervision
Om de LTC te trainen en de gedeelde encoder vorm te geven, introduceren de auteurs een preferentie-gebaseerd leermechanisme met behulp van pairwise logistic loss. Het systeem leert lagere kosten toe te kennen aan "geprefereerde" (expert-overeenkomende) trajecten en hogere kosten aan "negatieve" trajecten. Twee soorten negatieve voorbeelden worden gebruikt:

Synthetische Preferenties:
- Doel-mismatch: Een expert-traject gekoppeld aan een verschoven, ongerelateerd doel.
- Endpoint-Preserving Perturbatie: Een expert-traject waarbij ruis is toegevoegd aan intermediaire staten (terwijl start en eindpunt vast blijven). Dit dwingt het model om onderscheid te maken tussen verschillende intermediaire paden, zelfs als de eindpunten identiek zijn.
Closed-Loop Failure Preferenties:
- Het huidige model voert planning uit met enkel endpoint scoring (zonder LTC) en voert het plan uit in de omgeving.
- Mislukte executies worden verzameld en gekoppeld aan expert-trajecten die dezelfde start en hetzelfde doel hebben.
- Deze real-world fouten bieden negatieve voorbeelden die de endpoint-only metriek niet had kunnen identificeren, waardoor de LTC wordt gekalibreerd tegen de specifieke faalmodi van het model.

C. Gezamenlijke Training en Planning

Training: De totale loss combineert de oorspronkelijke LeWM voorspellingsloss ( $L_{LeWM}$ ), de synthetische preferentieloss ( $L_{path}$ ), en de verzamelde failure loss ( $L_{mined}$ ). De synthetische tak werkt zowel de LTC als de gedeelde encoder bij, terwijl de verzamelde tak alleen de LTC bijwerkt (via detached gradients) om te voorkomen dat de dynamiek-lerende voorspeller wordt verstoord.
Planning: Kandidaten worden gerangschikt met een Joint Score:
$C_\lambda(\hat{\tau}, g) = C_0(\hat{\tau}, g) + \lambda \tilde{S}_\psi(\hat{\tau} | g)$
Waar $C_0$ de oorspronkelijke endpoint afstand is, en $\tilde{S}_\psi$ een gekalibreerde LTC score. Dit stelt de planner in staat om intermediaire padinformatie te gebruiken wanneer endpoint-voorspellingen ambigu of onnauwkeurig zijn.

3. Belangrijkste Bijdragen

Latent Trajectory Cost (LTC): Introductie van een geleerde, doel-geconditioneerde kostenfunctie die volledige voorspelde trajecten evalueert door de doel-relatieve latente evolutie te aggregeren voor een pad-gevoelig planningssignaal.
Trajectory-Preference Learning: Ontwikkeling van een mechanisme met behulp van synthetische negatieven (doel-mismatches en intermediaire perturbaties) en verzamelde closed-loop failures om de LTC te trainen en de gedeelde representatie vorm te geven zonder het oorspronkelijke predictor-doel te wijzigen.
Uitgebreide Evaluatie: Uitgebreide testen op vier gesimuleerde taken (Push-T, OGBench-Cube, Reacher, Two-Room) en een fysieke Franka FR3 robot, die verbeteringen laten zien ten opzien van de baseline.

4. Experimentele Resultaten

Simulatie-resultaten:
Traj-LeWM presteert beter dan LeWM over alle vier de taken, met verbeteringen in succesratio van:

Push-T: +3% (96% $\to$ 99%)
OGBench-Cube: +14% (74% $\to$ 88%)
Reacher: +7% (86% $\to$ 93%)
Two-Room: +7% (87% $\to$ 94%)

Evaluatie met de fysieke robot:
Op een fysieke Franka FR3 met 20 start-doel taken behaalde Traj-LeWM een succespercentage van 70% (14/20) vergeleken met 50% (10/20) voor LeWM. Fouten door botsingen namen af van 20% naar 10%.

Gecontroleerde Experimenten & Ablaties:

Representatie Vormgeving (Gap 1): Zelfs wanneer LTC tijdens de testtijd wordt verwijderd, produceert de gedeelde encoder van Traj-LeWM (getraind met traject-preferenties) endpoint scores met een hogere AUC voor het onderscheiden van succes versus falen vergeleken met LeWM.
Pad-bewustzijn (Gap 2): Wanneer endpoint-voorspellingen onnauwkeurig zijn, verbetert het toevoegen van LTC de juiste ordening van kandidaten. In "endpoint-gecontroleerde" tests (waar start- en eindstaten identiek zijn), onderscheidt LTC succesvolle van mislukte trajecten in >94% van de gevallen op Reacher, wat bewijst dat het intermediaire padinformatie gebruikt.
Complementariteit: Ablatie-studies tonen aan dat traject-supervisie (training) en expliciete LTC ranking (planning) complementair zijn. De joint score levert de beste resultaten, wat aangeeft dat ze niet uitwisselbaar zijn.

5. Betekenis en Claims

Het artikel claimt dat Traj-LeWM erin slaagt de beperkingen van lokaal-dynamica-gebaseerde wereldmodellen aan te pakken door traject-niveau informatie te integreren in zowel representatie-leren als kandidaat-ranking.

Bescheiden Claims: De auteurs stellen expliciet dat de resultaten met de fysieke robot "voorlopig bewijs van real-robot haalbaarheid zijn in plaats van een concluderend prestatievoordeel" vanwege het beperkte aantal gepaarde taken (20).
Kerninzicht: Het werk demonstreert dat endpoint afstand alleen onvoldoende is voor betrouwbaar plannen in complexe omgevingen. Door een kostenfunctie over volledige latente rollouts te leren, kan het model intermediaire pad-bewijslast gebruiken om kandidaten effectiever te rangschikken, vooral wanneer endpoint-voorspellingen onzeker zijn.
Efficiëntie: De methode voegt minder dan 1 miljoen parameters toe aan het model, waardoor de lichtgewicht architectuur vergelijkbaar met de oorspronkelijke LeWM blijft, terwijl het de prestaties op uitdagende manipulatie- en navigatietaken aanzienlijk verbetert.