🤖 AI

Sword: Style-Robust World Models as Simulators via Dynamic Latent Bootstrapping for VLA Policy Post-Training

Het artikel stelt Sword voor, een robuust World Model-framework dat Structure-Guided Style Augmentation en Dynamic Latent Bootstrapping inzet om generalisatiefouten en foutaccumulatie in gesloten-lusrollouts te mitigeren, waardoor de fideliteit en het succes van het na-trainen met versterkende leer van Vision-Language-Action-beleid op de LIBERO-benchmark aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Jiaxuan Gao, Yongjian Guo, Zhong Guan, Wen Huang, Wanlun Ma, Xi Xiao, Junwu Xiong, Sheng Wen

Gepubliceerd 2026-05-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jiaxuan Gao, Yongjian Guo, Zhong Guan, Wen Huang, Wanlun Ma, Xi Xiao, Junwu Xiong, Sheng Wen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot een taak leert, zoals het oppakken van een kopje. Meestal moet je de robot in de echte wereld laten oefenen, wat traag, duur en riskant is als het iets breekt. Om dit op te lossen, gebruiken wetenschappers "Wereldmodellen". Denk aan een Wereldmodel als een super-intelligente videospel-engine die de robot kan gebruiken om binnenin zijn eigen geest te oefenen. In plaats van zijn echte arm te bewegen, "imagineert" de robot de toekomst: "Als ik mijn arm zo beweeg, zal het kopje er zo uitzien."

Echter, huidige videospel-engines voor robots hebben twee grote problemen:

Ze zijn te kieskeurig over de omgeving. Als je de verlichting of de kleur van de tafel in de echte wereld verandert, raakt de verbeelding van de robot in de war en begint het te hallucineren (dingen zien die er niet zijn).
Ze worden slechter naarmate ze langer spelen. Als de robot probeert een lange reeks gebeurtenissen te imaginingen, stapelen kleine fouten in de eerste paar seconden zich op, waardoor de rest van de video een wazige, onzinnige puinhoop wordt.

Het artikel introduceert een nieuw systeem genaamd Sword om deze problemen op te lossen. Hier is hoe het werkt, met eenvoudige analogieën:

1. De "Stijlveranderende" Gym (Structuurgeleide Stijlverrijking)

Het Probleem: Stel je een robot voor die alleen heeft geoefend in een kamer met blauwe muren en felle lichten. Als je het in een kamer met gele muren en gedempt licht zet, raakt het in paniek omdat het nooit heeft geleerd dat "muren" muren zijn, ongeacht hun kleur. Het heeft de verf gememoriseerd in plaats van de fysica.

De Sword-oplossing: De auteurs plaatsen de robot in een "stijlveranderende gym". Ze gebruiken een speciaal hulpmiddel om de uitstraling van de trainingsvideo's constant te veranderen – waardoor de muren rood worden, het licht gedempt, het tafelblad een houtnerf krijgt, of de robotarm een andere kleur heeft.

De Vangst: Ze veranderen de kleuren niet zomaar willekeurig; ze gebruiken een "veiligheidsnet" (geometrische geleiding) om ervoor te zorgen dat de robot niet uit het oog verliest waar de objecten zich bevinden. De tafel kan van kleur veranderen, maar kan niet plotseling veranderen in een zwevende wolk.
Het Resultaat: De robot stopt met het memoriseren van specifieke kleuren en begint de echte regels van de fysica te leren. Het leert dat "als ik het kopje duw, het glijdt", ongeacht hoe het kopje eruitziet. Dit maakt de robot veel beter in het omgaan met nieuwe, onbekende omgevingen.

2. De "Zelfcorrigerende Repetitie" (Dynamische Latente Bootstrapping)

Het Probleem: Stel je een student voor die een toets maakt. In de klas (training) geeft de leraar hen de antwoorden op de vorige vragen zodat ze zich kunnen focussen op de volgende. Dit heet "Teacher Forcing". Maar op de echte toets (inference) moet de student zijn eigen vorige antwoorden onthouden om het volgende probleem op te lossen. Als ze vroeg een kleine fout maken, raken ze vast in een lus van fouten.

De Sword-oplossing: De auteurs creëerden een methode genaamd "Zelfcorrigerende Repetitie" die Dynamische Latente Bootstrapping heet.

In plaats van de robot tijdens de oefening altijd de perfecte "ground truth"-antwoorden te geven, beginnen ze langzaam de robot zijn eigen voorspellingen te laten gebruiken als startpunt voor de volgende stap.
De "Geheugentruc": Om dit te doen zonder dat het geheugen van de robot explodeert (wat enorme computeropslag zou vereisen), comprimeren ze de "gedachten" van de robot tot een tiny, efficiënt cache (zoals een hoogwaardig notitieblok) in plaats van volledige videoframes op te slaan.
Het Resultaat: De robot leert om zich te herstellen van zijn eigen fouten terwijl het nog leert. Het oefent op precies dezelfde manier als het zal presteren in de echte wereld, dus wanneer het de taak daadwerkelijk moet uitvoeren, valt het niet na een paar seconden uit elkaar.

De Resultaten

Het team testte Sword op een standaard robot-benchmark genaamd LIBERO.

Visuele Kwaliteit: Wanneer gevraagd werd om een lange reeks gebeurtenissen te imaginingen, hield Sword de video scherp en helder. De oude methode (WoVR) werd wazig en begon dingen te zien die er niet waren (hallucinaties).
Robuustheid: Wanneer de verlichting of achtergrond veranderde, bleef Sword perfect werken. De oude methode faalde onmiddellijk.
Succespercentage: Toen ze Sword gebruikten om een robotbeleid te trainen met Reinforcement Learning, slaagde de robot veel vaker in taken dan wanneer het was getraind met de oude simulator.

Kortom: Sword is een betere "droommachine" voor robots. Het leert hen om oppervlakkige afleidingen (zoals veranderingen in verlichting) te negeren en traint hen om met hun eigen fouten om te gaan, wat resulteert in een robot die de toekomst nauwkeurig kan imaginingen en veilig kan handelen in de echte wereld.

Technische Samenvatting: Sword – Robuuste Wereldmodellen als Simulatoren via Dynamische Latente Bootstrapping

1. Probleemstelling

De integratie van Vision-Language-Action (VLA)-modellen met Wereldmodellen is een veelbelovend paradigma voor robotmanipulatie naar voren gekomen, waarbij beleidsoptimalisatie binnen "imaginatie" (gesimuleerde omgevingen) de prohibitieve kosten van fysieke interactie omzeilt. Echter, bestaande Wereldmodellen, wanneer ingezet als simulatoren voor specifieke benchmarks zoals LIBERO, staan voor twee kritieke beperkingen die hun betrouwbaarheid ondermijnen:

Slechte Generalisatie en Gevoeligheid voor Verstoringen: Huidige modellen overfitten vaak op de specifieke visuele texturen en statische configuraties van hun trainingsomgevingen. Wanneer ze worden blootgesteld aan verstoringen buiten de verdeling (OOD), zoals veranderingen in achtergrondkleur, verlichting of objectverschijning, falen deze modellen om te generaliseren. In plaats van onderliggende fysieke dynamica te modelleren, vertrouwen ze op oppervlakkige statistische correlaties, wat leidt tot catastrofale, zich opstapelende hallucinaties (bijvoorbeeld ernstige wazigheid, overbelichting of structurele instorting) tijdens gesloten-lus rollouts.
Autoregressieve Foutaccumulatie (Exposure Bias): Standaard trainingsmethodieken maken gebruik van Teacher Forcing, waarbij ground-truth frames worden gebruikt als context om toekomstige toestanden te voorspellen. Tijdens inferentie moet het model echter conditioneren op zijn eigen onvolmaakte voorspellingen. Deze verdelingsschift zorgt ervoor dat kleine initiële fouten zich ophopen en versterken tijdens lang-horizon rollouts, wat de fideliteit van de voorspelde toekomstige toestanden verslechtert en de simulator onbetrouwbaar maakt voor versterkingslering (RL) na training.

2. Methodologie: Het Sword Framework

Om deze kwetsbaarheden aan te pakken, stellen de auteurs Sword voor, een robuust Wereldmodel-framework dat is ontworpen om omgevingssemantiek te ontkoppelen van taakrelevante dynamica en trainings- en inferentieverdelingen op elkaar af te stemmen. Het framework bestaat uit twee kerncomponenten:

2.1 Structuurgeleide Stijlaugmentatie

Om generalisatie te verbeteren en overfitten op laag-niveau visuele texturen te voorkomen, introduceert Sword een stochastische stijlaugmentatiepijplijn tijdens training.

Mechanisme: Gebaseerd op de Cosmos-Transfer 2.5-architectuur, past de methode continue stijltransformaties toe (bijvoorbeeld helderheid, verzadiging, kleur van de robotarm, uiterlijk van de tafel) op observaties.
Structuurgeleiding: Om ervoor te zorgen dat deze transformaties fysiek plausibel en semantisch consistent blijven, wordt de augmentatie geleid door geometrische en taakpriors. Auxiliaire modaliteiten, zoals dieptekaarten en semantische segmentatiemaskers (geëxtraheerd via DepthAnything, GroundingDINO en SAM2), worden geïnjecteerd in de geometrische controlevertakking. Een gezamenlijke prompt die taaksemantiek en stijldoelen combineert, leidt de tekstcontrolevertakking.
Doel: Dit dwingt het model om invariante fysieke dynamica ( $S_{env}$ ) en geometrische beperkingen ( $G_{env}$ ) te leren in plaats van oppervlakkige pixel-niveau aanwijzingen, waardoor de robuustheid onder OOD-omstandigheden wordt versterkt.

2.2 Dynamische Latente Bootstrapping (DLB)

Om de exposure bias te mitigeren die wordt veroorzaakt door het verschil tussen Teacher Forcing (training) en autoregressieve generatie (inferentie), stelt Sword Dynamische Latente Bootstrapping voor.

Mechanisme: In plaats van abrupt over te schakelen van Teacher Forcing naar zelf-conditionering, implementeert DLB een geleidelijke overgang. Het onderhoudt een Dynamische Latente Cache in de VAE-latente ruimte (wat de geheugenoverhead verlaagt van honderden GB's naar minder dan 20 GB in vergelijking met pixel-ruimte uitrollen).
Proces: Tijdens training worden de eigen voorspelde latents van het model continu naar deze cache geschreven. Het trainingsdoel verhoogt geleidelijk de waarschijnlijkheid om deze gecachete voorspellingen te gebruiken als historische contextsignalen, in plaats van ground-truth frames.
Doel: Dit creëert een "gebootstrapte" trainingslus waarin het model leert fouten die door zijn eigen voorspellingen worden veroorzaakt te corrigeren, waardoor de trainingsverdeling wordt afgestemd op de inferentieverdeling en lang-horizon rollouts worden gestabiliseerd.

2.3 Modelarchitectuur

Het framework maakt gebruik van Wan 2.2 TI2V als ruggengraat, een op diffusie gebaseerde generatieve Transformer. Acties worden geïnjecteerd als tekst om framevoorspelling te sturen. Het model werkt in een latente ruimte waar een enkele context-latent twee toekomstige latents voorspelt (gedecodeerd naar 8 frames), waarbij het eerste frame van een episode wordt geconcateneerd als een globale voorwaarde om temporele consistentie te versterken.

3. Belangrijkste Bijdragen

Het paper vat zijn bijdragen als volgt samen:

Structuurgeleide Stijlaugmentatie: Een pijplijn die visuele condities diversifieert terwijl geometrische structuur en taaksemantiek worden behouden, waardoor het leren van transitie-relevante dynamica wordt aangemoedigd in plaats van oppervlakkige texturen.
Dynamische Latente Bootstrapping: Een geheugenefficiënt mechanisme dat het model tijdens training geleidelijk conditioneert op zijn eigen voorspelde latents, wat effectief de train-inferentie mismatch inherent aan Teacher Forcing mitigeert.
Uitgebreide Evaluatie: Een systematische evaluatie op de LIBERO-benchmark die aantoont dat Sword de state-of-the-art WoVR-baseline overtreft op generalisatie, generatiekwaliteit, simulatortrouw en het slagingspercentage van VLA-beleid na training.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de LIBERO-Spatial-benchmark met behulp van een dataset van 1.600 rollout-episodes (1.500 voor training, 100 voor evaluatie). De evaluatie omvatte een OOD-testset (LIBERO-Mixed) met onbekende stijlvariaties.

Generalisatie: Onder OOD-omstandigheden (bijvoorbeeld verlichtings- en kleurschommelingen) vertoonde de baseline WoVR ernstige degradatie, waarbij voorspellingen wazig werden en structureel instortten tegen Frame 30. Daarentegen behield Sword stabiele, accurate voorspellingen en stijlconsistentie gedurende lange horizons.
Voorspellingskwaliteit: Kwantitatieve metrics (LPIPS, FID, FVD, FloLPIPS) lieten zien dat Sword consequent beter presteerde dan WoVR. Opvallend was dat op de gemengde OOD-dataset Sword een significante reductie in FVD behaalde (32,59 versus 119,62 voor WoVR), wat wijst op superieure mitigatie van wazigheid en trillingen.
Robuustheid en Fideliteit: In gesloten-lus simulaties die fysieke interacties omvatten (bijvoorbeeld grijpen), faalde WoVR om actieseries nauwkeurig te volgen, waarbij het vaak grijpers te vroeg sloot of objecttracking verloor. Sword toonde superieure actiecontroleerbaarheid, waarbij het correct de grijpers open hield tot uitlijning was bereikt en succesvol corrigerende grijpacties uitvoerde.
Beleidssuccespercentage: Wanneer gebruikt als simulator voor RL na training (met GRPO en OpenVLA-OFT), stelde Sword VLA-agenten in staat om hogere succespercentages te behalen (61,72% bij Stap 172) in vergelijking met de WoVR-baseline (53,12%).

Ablatiestudies

DLB-effectiviteit: Het verwijderen van DLB resulteerde in consistente prestatiedegradatie over alle metrics, met name in lang-horizon stabiliteit en verlichtingsconsistentie, wat zijn rol in het verminderen van exposure bias bevestigt.
Cache-ontwerp: Een ablatie op cache-strategieën (leesplanningen en schrijf-terugmechanismen) toonde aan dat de lees-cache-planning (specifiek Lineaire Decay) de grootste impact had op de prestaties, terwijl schrijf-terugstrategieën (Direct versus EMA, Single versus Alle chunks) minder regelmatige invloed vertoonden. De optimale configuratie combineerde Lineaire Decay, Directe Vervanging en Alle Chunks.

5. Betekenis en Claims

Het paper claimt dat Sword de kritieke kwetsbaarheden van het gebruik van Wereldmodellen als simulatoren voor VLA-beleidsoptimalisatie aanpakt. Door het model succesvol te beperken tot het leren van invariante fysieke dynamica via stijlaugmentatie en de train-inferentie kloof op te lossen via Dynamische Latente Bootstrapping, elimineert het framework de zich opstapelende fouten die prevalent zijn in bestaande benaderingen.

De auteurs stellen dat Sword een hoogtrouw, robuust generatief simulatormodel biedt dat de generalisatie en het algehele succespercentage van geoptimaliseerde beleidslijnen in onbekende omgevingen aanzienlijk verbetert. Zij positioneren dit werk als een stap in de richting van het maken van "imaginatie-gebaseerde" versterkingslering een haalbaar alternatief voor fysieke robotinteractie, hoewel ze bescheiden opmerken dat hun huidige vergelijkingen beperkt zijn tot de WoVR-baseline vanwege computatiebeperkingen, met plannen voor bredere vergelijkingen in toekomstig werk.