💻 computer science

Native Video-Action Pretraining for Generalizable Robot Control

LingBot-VA 2.0 is een video-actie fundatiemodel dat vanaf de grond af aan is ontworpen voor robotische belichaming, met een semantische visuele-actie tokenizer, causale pretraining, een sparse MoE-backbone en een asynchroon inferentieschema om robuuste, few-shot generaliseerbare controle in real-world omgevingen te bereiken.

Oorspronkelijke auteurs: Qihang Zhang, Lin Li, Luyao Zhang, Shuai Yang, Yiming Luo, Shuaiting Li, Ruilin Wang, Junke Wang, Jiahao Shao, Gangwei Xu, Jiaming Zhou, Yishu Shen, Yudong Jin, Fangyi Xu, Shuailei Ma, Jiaqi Liao, Gua

Gepubliceerd 2026-07-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qihang Zhang, Lin Li, Luyao Zhang, Shuai Yang, Yiming Luo, Shuaiting Li, Ruilin Wang, Junke Wang, Jiahao Shao, Gangwei Xu, Jiaming Zhou, Yishu Shen, Yudong Jin, Fangyi Xu, Shuailei Ma, Jiaqi Liao, Guanxing Lu, Zifan Shi, Yongkun Wen, Yujie Zhao, Weixuan Tang, Xinyang Wang, Chaojian Li, Jiapeng Zhu, Ka Leong Cheng, Nan Xue, Xing Zhu, Yujun Shen, Yinghao Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een videogame moet spelen. De meeste mensen proberen dit tegenwoordig door een superintelligente AI voor het maken van films te nemen, deze een paar extra knoppen te geven voor "naar links bewegen" of "oppakken", en te hopen dat de rest vanzelf lukt. De auteurs van dit artikel stellen echter dat dit is alsof je een vis probeert te leren fietsen door er simpelweg een zadel op te bevestigen. Het is het verkeerde gereedschap voor de klus.

In plaats daarvan hebben ze LingBot-VA 2.0 gebouwd, een robotbrein dat vanaf de grond af aan is ontworpen om specifiek te begrijpen hoe de fysieke wereld beweegt en reageert. Zie het niet als een filmregisseur, maar als een "toekomstvisie"-coach die een scène observeert, precies voorspelt hoe deze een fractie van een seconde later zal veranderen, en de robot vertelt wat hij precies moet doen om die toekomst werkelijkheid te maken.

Waarom de oude manier niet werkte

Het artikel voert expliciet argumenten aan tegen de huidige trend van het "hergebruiken" van videogeneratoren. Deze oude modellen waren getraind om mooie films te maken waarbij het doel simpelweg is om er realistisch uit te zien. Ze zijn "bidirectioneel", wat betekent dat ze naar de toekomst kunnen kijken om het verleden te helpen voorspellen, wat geweldig is voor het bewerken van een film maar verschrikkelijk voor een robot die nu moet handelen op basis van wat hij nu ziet.

De auteurs vonden drie grote problemen met de oude aanpak:

Het is te mooi, niet fysiek genoeg: De oude modellen focussen erop dat pixels er goed uitzien, niet op het begrip dat als je een kopje een duwtje geeft, het gaat schuiven. Ze "begrijpen" oorzaak en gevolg niet echt.
Het is te traag: Echte robots moeten honderden keren per seconde nadenken. De oude modellen doen er te lang over om een videokader te "denoisen" (opschonen), waardoor de robot bevriest of vertraging oploopt.
Het vergeet de regels: Het proberen te dwingen van een filmmaker om robotbewegingen te leren, zorgt er vaak voor dat het de algemene kennis vergeet die het heeft geleerd door miljarden uren aan internetvideo's te bekijken.

Het Nieuwe Geheime Recept: Vier Magische Trucs

Om dit op te lossen, bouwde het team LingBot-VA 2.0 met behulp van vier slimme ontwerpprincipes:

1. De "Betekenisvolle Vertaler" (Semantic Tokenizer)
Stel je voor dat je een vertaler hebt die niet alleen woorden vertaalt, maar ook het gevoel van de zin vertaalt. De oude modellen vertaalden video naar een verzameling minuscule pixel-patches. LingBot-VA 2.0 gebruikt een nieuwe "tokenizer" die de video vertaalt naar een compacte, hoogwaardige samenvatting die begrijpt wat dingen zijn en hoe ze bewegen. Het stemt de visie van de robot af op een enorme, vooraf getrainde "visuele hersenen", zodat de robot begrijpt dat een "kopje" een kopje is, en niet slechts een verzameling kleuren. Cruciaal is dat het ook "latente acties" leert — een geheime code die de verandering tussen twee momenten vertegenwoordigt, zoals de onzichtbare kracht van een hand die een kopje vastgrijpt, zonder dat er een mens nodig is om elke beweging te labelen.

2. De "Eenrichtingsweg" (Causal Pretraining)
Filmredacteuren kunnen heen en weer springen in de tijd. Robots kunnen dat niet. De auteurs trainden hun model op een strikt "eenrichtingsweg" (causaal) pad. Het leert alleen van het verleden om de toekomst te voorspellen. Ze hebben niet alleen een oud model aangepast; ze hebben dit hele systeem vanaf nul getraind op web-schaal data. Dit zorgt ervoor dat het brein van de robot van nature bedraad is om vooruit in de tijd te denken, waardoor de "amnesie" wordt vermeden die optreedt wanneer je probeert een achterwaarts kijkend model voorwaarts te laten handelen.

3. Het "Drukke Bij"-netwerk (Sparse MoE)
Om de robot snel genoeg te maken om een vliegende bal te vangen, gebruikt het model een "Mixture of Experts" (MoE) ruggengraat. Stel je een enorme bibliotheek voor waar, in plaats van dat elke bibliothecaris elk boek leest, alleen de specifieke expert die nodig is voor de taak wordt opgeroepen. Dit maakt het model enorm groot en slim (13 miljard parameters!), maar het "activeert" slechts een klein deel van zijn brein (ongeveer 1,9 miljard) voor elke stap. Dit houdt het razendsnel zonder aan intelligentie in te boeten.

4. De "Kristallen Bol" Inferentie (Foresight Reasoning)
Dit is het coolste deel. Normaal gesproken wacht een robot tot de computer klaar is met nadenken, beweegt dan, wacht vervolgens tot de camera is bijgewerkt, en denkt dan opnieuw. Dit is te traag. LingBot-VA 2.0 gebruikt "Foresight Reasoning". Terwijl de robot fysiek zijn arm beweegt om Taak A uit te voeren, voorspelt de computer alvast Taak B op de achtergrond.
Maar hier is het vangnet: als de voorspelling van de robot afwijkt (bijvoorbeeld als hij zich voorstelt dat de beker nog op tafel staat terwijl deze eigenlijk op de grond ligt), "re-groundt" het systeem zichzelf onmiddellijk met behulp van het nieuwste echte camerabeeld. Het is also$ een piloot die een vliegtuig bestuurt door zowel uit het raam te kijken als tegelijkertijd de instrumenten te controleren, waarbij de koers direct wordt gecorrigeerd als de realiteit niet overeenkomt met de voorspelling.

Hoe goed werkt het eigenlijk?

De auteurs hebben dit niet alleen bedacht; ze hebben het rigoureus getest.

In de echte wereld: Ze plaatsten de robot in een lab om taken uit te voeren zoals het sorteren van fruit, het verzamelen van pennen en het opruimen van laden. LingBot-VA 2.0 versloeg de vorige beste modellen (zoals $\pi0.5$ en de originele LingBot-VA) aanzienlijk. Bijvoorbeeld, in "Fruit Sorting" slaagde het in 77% van de gevallen, vergeleken met 64% voor het op één na beste model.
In simulatie: Ze testten het in een complexe simulatie met twee robotarmen genaamd RoboTwin. Het behaalde een succespercentage van 93,6%, waarmee het alle andere concurrenten versloeg.
Snelheid: Dankzij hun snelheidstricks kan de robot beslissingen nemen met een piekfrequentie van 225 Hz. Dat is meer dan 200 keer per seconde — snel genoeg om airhockey te spelen of een vallend object te vangen.
Snel leren: De robot kan nieuwe taken leren met zeer weinig voorbeelden. In één test leerde de robot borden en kopjes te organiseren na het zien van slechts 15 demonstraties per taak, en hij kon zelfs generaliseren naar nieuwe combinaties van objecten die hij nog nooit had gezien door simpelweg naar een menselijke video te kijken (een techniek genaamd "in-context learning").

De Kern van het Verhaal

Het paper suggereert dat om een echt algemeen inzetbare robot te bouwen, we niet simpelweg oude videotools op robotarmen kunnen plakken. We hebben een nieuw soort brein nodig dat fysica begrijpt, snel beweegt en leert van de enorme hoeveelheid internetvideo's én echte robotdata tegelijkertijd. LingBot-VA 2.0 bewijst dat dit mogelijk is, en laat zien dat een robot zowel een snelle denker als een nauwkeurige uitvoerder kan zijn, klaar om rommelige, echte huishoudelijke taken aan te pakken met slechts een paar instructies.

Technische Samenvatting: Native Video-Action Pretraining voor Generaliseerbare Robotcontrole (LingBot-VA 2.0)

Probleemstelling

Huidige video-actie-modellen voor robotcontrole hergebruiken grotendeels generieke video-generatiearchitecturen (ontworpen voor digitale contentcreatie) door achteraf actiemodules toe te voegen. De auteurs stellen dat deze aanpak inherent ontoereikend is voor fysieke omgevingen vanwege drie primaire beperkingen:

Representatie-mismatch: Standaard Variational Autoencoders (VAEs) optimaliseren voor pixelreconstructie, waardoor visuele details behouden blijven maar het falen om semantische structuren of fysieke dynamiek te vangen. Gevolgen daarvan blijven wereldtoestanden en acties in slecht uitgelijnde latente ruimtes.
Inferentie-latentie: Hoogdimensionale videotokens en iteratieve denoising-processen maken bestaande modellen te traag voor de hoogfrequente closed-loop controle die vereist is voor echte robots.
Misalignement van Pretraining-signalen: Web-schaal video-pretraining doelstellingen leren niet hoe acties de wereld hervormen. Het aanpassen van bidirectionele videomodellen naar causale controle via fine-tuning leidt vaak tot catastrofale vergetelheid van brede priors of vertrouwt op schaarse robotdata, wat de schaal van de verworven controlekennis beperkt.

Bovendien is er een structurele mismatch tussen de bidirectionele aandachtmechanismen van gepretrainde video-backbones en de strikt causale, voorwaarts gerichte aard van closed-loop robotcontrole.

Methodologie

Het artikel presenteert LingBot-VA 2.0, een video-actie fundatiemodel dat vanaf de grond af aan ("from the ground up") is gebouwd voor belichaming (embodiment). De architectuur volgt een native pretraining-route en vermijdt het achteraf aanpassen van generieke video-generatoren. Het systeem bestaat uit vier kernprincipes van ontwerp:

1. Semantische Visuele-Actie Tokenizer

Afwijkend van reconstructie-georiënteerde VAE's, introduceren de auteurs een tokenizer die visuele representaties uitlijnt met semantiek en acties.

Visuele Uitlijning: De visuele tokenizer lijnt reconstructie-georiënteerde latents uit met een bevroren visueel fundatiemodel (Perceptie Encoder) met behulp van een semantisch uitlijningsobjectief. Dit produceert compacte, semantisch rijke representaties in plaats van louter pixelbenaderingen.
Latente Actie-extractie: Zonder expliciete actielabels te gebruiken, leert de tokenizer latente acties ( $\ell_t$ ) via zelfgesuperviseerde inverse en forward dynamica. Een Inverse Dynamics Model (IDM) voorspelt een compacte transformatie tussen opeenvolgende visuele latents, en een Forward Dynamics Model (FDM) reconstrueert de volgende latent. Dit plaatst wereldtoestanden en acties in een gedeelde semantische latente ruimte, waardoor ongelabelde webvideo kan dienen als actie-relevante supervisie.

2. Causaal Pretraining Paradigma

Het model hanteert een causale pretraining-strategie om de catastrofale vergetelheid te omzeilen die geassocieerd wordt met het aanpassen van bidirectionele architecturen.

Architectuur: De backbone is een Causal Diffusion Transformer (DiT). Het maakt gebruik van een Mixture-of-Experts (MoE) structuur voor de videostroom (sparse routing) terwijl de actiestroom dicht (dense) blijft. Dit vergroot de modelcapaciteit zonder de efficiëntie van de inferentie in gevaar te brengen.
Trainingsdoelstelling: Het model wordt getraind op web-schaal beeld- en videodata met een causale next-latent doelstelling. Dit zorgt ervoor dat het model brede priors op natuurlijke wijze in een causale vorm verwart.
Multi-Chunk Predictie (MCP): Om te voorkomen dat het model enkel korte-termijn visuele verschijnselen kopieert, wordt MCP geïntroduceerd als een hulpdoelstelling. Het superviseert de voorspelling van meerdere toekomstige chunks simultaan, wat het model dwingt de latente ruimte te coderen voor traject-niveau dynamica in plaats van enkel lokale continuïteit.

3. Hiërarchische Planning en In-Context Learning

Hiërarchische Planner: Een high-level Vision-Language Model (VLM) planner deelt langetermijn-doelen op in gestructureerde subtaken (instructies, generatieve cues, scènebeschrijvingen). Deze planner draait asynchroon en biedt context aan de low-level policy zonder de control loop te blokkeren.
In-Context Learning (ICL): Het model ondersteunt video-gebaseerde taakspecificatie. Menselijke demonstratievideo's worden gecodeerd in de gedeelde latente ruimte en gebruikt als visuele prompts, waardoor de robot procedurele aanwijzingen voor zeldzame of complexe taken kan afleiden zonder parameterupdates.
Human-Robot Co-training: Het model wordt gezamenlijk getraind op robotdata en egocentrische menselijke manipulatievideo's. Menselijke handposities worden gemapt naar een functionele robot grijperruimte (6-DoF root pose + scalaire apertuur), waardoor het gedeelde wereldmodel cross-embodiment dynamica kan leren terwijl het domeinspecifieke heads gebruikt voor low-level actie-decoding.

4. Foresight Reasoning voor Real-Time Controle

Om de seriële bottleneck aan te pakken waarbij model-latentie een controle-latentie wordt, stellen de auteurs Foresight Reasoning voor, een asynchroon inferentie-schema.

Parallelle Executie: Terwijl de robot de huidige actie-chunk uitvoert, voorspelt de predictie-stream simultaan de volgende visuele latent en actie-chunk.
Re-grounding: Om drift door gehallucineerde toestanden te voorkomen, re-groundt het systeem elke voorspelling op de nieuwste echte observatie. Een geleerd forward-dynamics stap binnen de policy zelf stelt de uitkomst van de huidige actie voor, die vervolgens wordt gecorrigeerd door de werkelijke sensorfeedback voordat de volgende stap plaatsvindt.
Acceleratie: Het systeem maakt gebruik van few-step consistency distillation, low-precision (FP8) gecompileerde executie (TensorRT), paged/ragged KV-cache management en reductie van runtime overhead om real-time prestaties te bereiken.

Belangrijkste Bijdragen

Native Video-Action Pretraining: De eerste full-stack pretraining van een video-actie fundatiemodel (inclusief een semantische tokenizer en causale DiT) specifiek voor robotcontrole via schaalbare zelf-supervisie, in plaats van het aanpassen van generieke video-generatie componenten.
Gedeelde Semantische Representatie: Een verenigde latente ruimte voor wereldtoestanden en acties, verankerd aan een taal-uitgelijnd visueel fundatiemodel, wat de visie-taal-actie uitlijning aanscherpt voor verbeterde instructie-opvolging en precisie.
Generale, Snelle en Precieze Controle: De combinatie van sparse MoE inferentie, few-step distillation, Foresight Reasoning en gekwantiseerde deployment maakt real-time closed-loop executie mogelijk (tot 225 Hz asynchrone frequentie). Het model vertoont sterke few-shot en zero-shot generalisatie-eigenschappen.

Experimentele Resultaten

Het artikel valideert LingBot-VA 2.0 over simulatie- en real-world benchmarks:

Real-World Deployment: Geëvalueerd op een in-house robot benchmark (Fruit Sorting, Pen Collection, Drawer Tidying, Plate Handover). LingBot-VA 2.0 presteerde beter dan sterke baselines, inclus\n bij de VLA-modellen $\pi0.5$ en het vorige VA-model LingBot-VA, met hogere succespercentages en taakprogressie-scores, met name in continue, langdurige taken.
Simulatie (RoboTwin): Op de bimanuele RoboTwin benchmark behaalde het model een gemiddeld succespercentage van 93,6%, waarmee het $\pi0.5$ (79,8%) en de eerdere LingBot-VA (92,2%) versloeg. Het demonstreerde robuustheid met een minimaal prestatieverschil tussen clean en domain-randomized settings.
In-Context Learning: Het model slaagde erin procedurele aanwijzingen van menselijke video-demonstraties over te dragen naar ongeziene taakcomposities en object-arrangementen zonder fine-tuning.
Ablatie Studies:
- Tokenizer: Het vervangen van de standaard VAE door de semantische visuele-actie tokenizer verbeterde de prestaties aanzienlijk, vooral voor langere voorspellingshorizonten.
- MCP: Multi-chunk predictie versnelde de convergentie (2,3x snelheidswinst in trainingsstappen) en verbeterde de uiteindelijke nauwkeurigheid.
- Acceleratie: De inferentie-pipeline reduceerde de latentie van 927ms naar 142ms per chunk, waardoor de asynchrone controlefrequentie steeg van 35 Hz naar 225 Hz.

Betekenis en Claims

De auteurs beweren dat LingBot-VA 2.0 een verschuiving vertegenwoordigt van het "hergebruiken" van digitale video-generatoren naar het "bouwen" van modellen die natief zijn ontworpen voor fysieke belichaming. Door de pretraining-doelstelling, de representatieruimte en de inferentie-architectuur af te stemmen op de strikte causale en dynamische vereisten van robotcontrole, bereikt het model:

Schaalbaarheid: Het verwerven van controlekennis op de schaal van webvideo in plaats van beperkt te zijn tot schaarse robotdemonstraties.
Generalisatie: Het vermogen om zich aan te passen aan nieuwe taken met weinig demonstraties (10–15) en te transfereren over verschillende belichamingen zonder grootschalige herverzameling.
Real-Time Leefbaarheid: Het bewijs dat complexe video-actie fundatiemodellen kunnen opereren binnen de strikte latentie-beperkingen van real-world closed-loop controle.

Het artikel concludeert dat hoewel het huidige systeem een robuuste basis is, toekomstig werk de mogelijkheden kan verkennen van nauwere gezamenlijke training van planners en policies, het integreren van interactieve reinforcement-signalen en het opschalen naar bredere typen belichaming.