💻 computer science

From Foundation to Application: Improving VLA Models in Practice

Het artikel introduceert LingBot-VLA 2.0, een VLA-fundamentmodel dat de kloof tussen laboratoriumonderzoek en realistische toepassingen overbrugt door de generalisatie te verbeteren via massale multi-embodiment pretraining, de actieruimtes uit te breiden om whole-body manipulatie te ondersteunen, en het temporele redeneren te verbeteren via voorspellende dynamische modellering.

Oorspronkelijke auteurs: Wei Wu, Fangjing Wang, Fan Lu, He Sun, Shi Liu, Yunnan Wang, Yibin Yan, Yong Wang, Shuailei Ma, Xinyang Wang, Yibin Liu, Shuai Yang, Tianxiang Zhou, Kejia Zhang, Lei Zhou, Cheng Su, Nan Xue, Bin Tan

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wei Wu, Fangjing Wang, Fan Lu, He Sun, Shi Liu, Yunnan Wang, Yibin Yan, Yong Wang, Shuailei Ma, Xinyang Wang, Yibin Liu, Shuai Yang, Tianxiang Zhou, Kejia Zhang, Lei Zhou, Cheng Su, Nan Xue, Bin Tan, Han Zhang, Youchao Zhang, Fei Liao, Xing Zhu, Yujun Shen, Kecheng Zheng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante robotstudent hebt die jarenlang heeft gestudeerd in een perfect gecontroleerde, stille klaslokaal (het "laboratorium"). Ze zijn geweldig in het oplossen van puzzels wanneer het licht fel is, de tafel leeg is en de leraar exacte instructies geeft. Maar zodra je ze meeneemt naar een drukke, lawaaierige keuken om echt het avondeten te koken, bevriezen ze. Ze weten niet hoe ze om moeten gaan met een wiebelige stoel, een gladde lepel of een bewegende vloer.

Dit artikel introduceert LingBot-VLA 2.0, een grote upgrade die ontworpen is om die "klaslokaal-robot" te veranderen in een "keuken-klare robot". De auteurs beargumenteren dat om robots nuttig te maken in de echte wereld, we drie specifieke problemen moeten oplossen: variatie, beweging en vooruitziendheid.

Zo hebben ze het gedaan, uitgelegd via eenvoudige analogieën:

1. Het "Super-Student" Trainingskamp (Generalisatie)

Het Probleem: Eerdere robots werden getraind op zeer specifieke, beperkte data. Het was alsof je een student leerde rijden op slechts één, lege racebaan. Ze konden niet omgaan met een andere auto of een regenachtige weg.
De Oplossing: Het team bouwde een enorme "trainingskamp" met 60.000 uur aan beelden.

De Mix: Ze gebruikten niet alleen één type robot. Ze verzamelden data van 20 verschillende robotlichamen (sommigen met één arm, sommigen met twee, sommigen met wielen, sommigen met benen).
De Menselijke Aanraking: Ze voegden ook 10.000 uur aan video's toe gefilmd vanuit het perspectief van een mens (zoals een GoPro op je hoofd), die laten zien hoe mensen op natuurlijke wijze hun handen en lichamen bewegen om taken uit te voeren.
Het Resultaat: Door de robot deze "dieet" van diverse ervaringen te voeren, leerde het een generalist te zijn. Het is niet langer een specialist in één kamer; het is een alleskunner die kan aanpassen aan verschillende robotlichamen en rommelige omgevingen.

2. De "Full-Body Dans" (Uitgebreide Actieruimte)

Het Probleem: De meeste robots werden getraind om alleen hun armen te bewegen, zoals een persoon die in een stoel zit met de handen vastgebonden aan een bureau. Ze konden hun hoofd niet bewegen om rond te kijken, hun middel niet draaien, niet rollen op wielen of delicate vingers gebruiken.
De Oplossing: LingBot-VLA 2.0 leerde om zijn hele lichaam te bewegen.

De Analogie: Stel je een pianist voor die voorheen alleen geoorloofd was om toetsen met de vingers aan te raken. Nu kan hij ook opstaan, naar de piano lopen, de bank aanpassen, zijn hoofd draaien om de bladmuziek te lezen en zijn tenen gebruiken om de ritme te tikken.
De Capaciteit: Het nieuwe model bestuurt het hoofd, de taille, de mobiele basis (wielen) en de behendige handen van de robot. Dit stelt de robot in staat om complexe taken aan te pakken die coördinatie vereisen, zoals naar een koelkast lopen, de deur openen en een fles pakken, allemaal in één vloeiende beweging.

3. De "Kristallen Bol" (Voorspellende Dynamiek)

Het Probleem: Oude robots reageerden op wat ze nu zagen. Als een bal begon te rollen, wachtten ze tot de bal hen raakte voordat ze reageerden. Ze misten "temporele redenering"—het vermogen om na te denken over wat er volgt.
De Oplossing: Het team leerde de robot om de toekomst te voorspellen.

De Analogie: In plaats van alleen naar een schaakbord te kijken en een stuk te bewegen, speelt de robot nu een spel waarbij hij moet raden hoe het bord er drie zetten vanaf zal uitzien voordat hij de zet zelfs maar doet.
Hoe het werkt: Ze gebruikten twee "leraren" om de robot te helpen leren:
1. Een Diepte-leraar: Laat de robot zien hoe ver objecten weg zijn (geometrie).
2. Een Video-leraar: Laat de robot zien hoe dingen in de loop van de tijd bewegen (causaliteit).
Het Resultaat: De robot kan nu de toekomstige staat van een scène "voorstellen". Hij weet dat als hij een kopje duwt, het zal glijden; dat als hij een deur opent, deze zal zwaaien. Dit helpt bij het plannen van voren, in plaats van alleen maar te reageren.

Het Bewijs: De "Real-World Examen" Afleggen

Om te testen of deze veranderingen daadwerkelijk werkten, lieten de onderzoekers de robot een reeks moeilijke uitdagingen doorlopen die de GM-100 benchmark worden genoemd.

De Taken: Dit waren geen simpele dingen zoals "pak een blok". Het waren complexe, meerstaps-taken zoals "snacks sorteren in bakjes", "speeltjesbotjes uit een bord halen" of "een kom uit de magnetron halen".
De Uitkomst: LingBot-VLA 2.0 presteerde aanzienlijk beter dan eerdere versies en andere topmodellen. Het voerde de taken niet alleen vaker correct uit; het ging veel beter om met de rommelige, real-world variaties. Het toonde ook aan dat het lange, ingewikkelde sequenties kon afhandelen (zoals van de ene kamer naar de andere bewegen om een fornuis schoon te maken) zonder de weg kwijt te raken.

Samenvatting

Kortom, LingBot-VLA 2.0 is een robotbrein dat is geüpgraded om te zijn:

Aanpasbaarder (getraind op 20 verschillende robottypen en menselijke video's).
Mobieler (kan zijn hele lichaam bewegen, niet alleen zijn armen).
Vooruitziender (kan voorspellen hoe de wereld zich in de volgende paar seconden zal veranderen).

Het artikel beweert dat dit de robotintelligentie verplaatst van "laboratoriumsucces" naar "praktische toepassing", waardoor ze klaar zijn om ons daadwerkelijk te helpen in onze huizen en werkplekken.

Technische Samenvatting: LingBot-VLA 2.0

Probleemstelling

Ondanks recente vooruitgang in Vision-Language-Action (VLA) fundamentmodellen, blijft er een aanzienlijk verschil bestaan tussen laboratoriumbenchmarks en de inzet in de echte wereld. Huidige VLA-systemen kampen vaak met drie primaire beperkingen bij de overgang naar praktische toepassingen:

Beperkte Generalisatie: Bestaande modellen falen vaak bij het generaliseren over diverse robot-embodiments (heterogene configuraties) en databronnen, omdat ze vaak getraind zijn op smalle taken of specifieke hardware.
Beperkte Actieruimtes: Veel systemen zijn beperkt tot standaard dual-arm manipulatie en missen het vermogen om de vrijheidsgraden (DoF) van het hele lichaam aan te sturen, zoals mobiele bases, tailles, hoofden en behendige handen, die essentieel zijn voor complexe taken in de echte wereld.
Zwakke Temporele Redenering: Huidige modellen reageren vaak op onmiddellijke observaties in plaats van toekomstige scène-evolutie en de gevolgen van acties te anticiperen, wat hun effectiviteit in dynamische omgevingen beperkt.

Methodologie

De auteurs presenteren LingBot-VLA 2.0, een verbeterd VLA-systeem dat is ontworpen om de kloof tussen fundamentele capaciteiten en praktische inzet te overbruggen. De methodologie richt zich op drie functionele domeinen:

1. Grootschalige, Multi-Embodiment Datacuratie

Om de generalisatie te verbeteren, hebben de auteurs de dataprocessing-pipeline herontworpen om een pretraining-corpus van ongeveer 60.000 uur te cureren:

Robotdata: ~50.000 uur aan trajecten verspreid over 20 verschillende robotconfiguraties (inclusief single-arm, dual-arm, half-humanoid en full-humanoid platforms) met variërende DoF's (armen, handen, tailles, mobiele bases).
Egocentrische Data: ~10.000 uur aan menselijke video's.
Processing Pipeline: De pipeline maakt gebruik van strikte filtering, inclusief:
- Kwaliteitscontrole: Het verwijderen van episodes met traject-discontinuïteiten, abnormale snelheden/versnellingen (jerk), of statische signalen (>95% duur).
- Uitlijning Verificatie: Het gebruik van URDF-projectie en menselijke annotatie om consistentie tussen videoframes en status-signalen te waarborgen.
- Egocentrische Reconstructie: Voor actievrije menselijke video's gebruikt het systeem SLAM voor camera-pose schatting en hand-pose schatting (MANO-parameters) om continue handtrajecten in het wereldcoördinatenstelsel te reconstrueren.
Uniforme Representatie: Een 55-dimensionale canonieke vectorrepresentatie wordt gebruikt om heterogene controles (armen, grijpers, handen, tailles, hoofden, mobiliteit) te verenigen in een enkele actieruimte, waarbij padding wordt toegepast voor ontbrekende dimensies.

2. Uitgebreide Actieruimte en Architectuur

Het model wordt uitgebreid om een bredere actieruimte te ondersteunen dan de standaard dual-arm opstellingen, met accommodatie voor:

Whole-Body Control: Hoofd (2D), Taille (4D), Mobiele Basis (3D), Behendige Handen (6D/12D), en Armen (6D/7D).
Mixture-of-Experts (MoE) Architectuur: De auteurs introduceren een token-level, loss-free sparse MoE binnen de actie-expert.
- Structuur: Vervangt standaard Feed-Forward Networks (FFN's) door een combinatie van één gedeelde expert (voor universele priors) en meerdere gerouteerde experts (voor gespecialiseerde modellering).
- Routing: Maakt gebruik van een sigmoid-gebaseerd routingmechanisme (geïnspireerd door DeepSeek-V3) waardoor tokens onafhankelijk meerdere experts kunnen activeren zonder softmax-geïnduceerde competitie.
- Load Balancing: Gebruikt een auxiliary-loss-free strategie met routing-correctie biases om een gebalanceerd gebruik van experts te garanderen zonder expliciete load-balancing losses in de primaire doelstelling te injecteren.

3. Voorspellende Dynamiek via Dual-Query Distillatie

Om de temporele redenering te verbeteren, formuleert het systeem toekomstige voorspelling als een proxy-taak met behulp van een Dual-Query Distillatie framework:

Dual Queries: Twee leerbare queries, $Q_t$ (huidig) en $Q_{t+T}$ (toekomst), worden toegevoegd aan visuele en tekstuele tokens.
Teachers:
- LingBot-Depth: Biedt geometrische supervisie door diepte-representaties te distilleren voor huidige en toekomstige frames.
- DINO-Video: Een robotics-aware video-representatiemodel (gebouwd op DINOv3 met causale temporele aandacht) die semantische priors en bewegingsbewuste visuele kenmerken biedt.
Doelstelling: Het model wordt getraind om de diepte en video-kenmerken voor zowel de huidige als de toekomstige tijdstappen te voorspellen, wat de VLA stimuleert om na te denken over de evolutie van de toekomstige scène en de gevolgen van acties.

Belangrijkste Bijdragen

Schaal en Diversiteit van Data: De creatie van een 60.000-urige pretraining-dataset die 20 diverse robot-embodiments en egocentrische menselijke video's beslaat, verwerkt via een nieuwe pipeline die heterogene databronnen verenigt.
Whole-Body Action Modeling: De uitbreiding van VLA-capaciteiten naar de controle van complexe, whole-body vrijheidsgraden (hoofd, taille, mobiele basis, behendige handen) via een uniforme actierepresentatie.
Architecturale Innovatie: De implementatie van een token-level, loss-free sparse MoE-architectuur die de modelcapaciteit efficiënt schaalt terwijl een gebalanceerd expertgebruik behouden blijft.
Temporele Redenering: De introductie van een dual-query distillatie-framework dat gebruikmaakt van diepte- en video-representatiemodellen om het vermogen van het model om toekomstige staten te voorspellen en causaal te redeneren te versterken.

Experimentele Resultaten

De auteurs evalueerden LingBot-VLA 2.0 op de GM-100 benchmark (9 bimanuele manipulatietaken) en twee long-horizon mobiele manipulatietaken.

Bimanuele Manipulatie (GM-100):
- Op het Agilex Cobot Magic platform behaalde LingBot-VLA 2.0 een progress score van 66,2% en een succespercentage van 34,4%, waarmee het LingBot-VLA 1.0 (58,2%/30,0%) en $\pi_{0.5}$ (59,1%/32,2%) versloeg.
- Op het Galaxea R1 Pro platform behaalde het 34,6% progress en 15,6% succes, waarmee het $\pi_{0.5}$ (27,4%/8,9%) overtrof.
- De verbeteringen waren het meest significant in taken die precieze object-grounding en doelgerichte uitvoering vereisen (bijv. "Retrieve keychain" bereikte 100% succes op Agilex).
Long-Horizon Mobiele Manipulatie:
- Geëvalueerd op Astribot S1 (refrigerator sorting) en Cobot Magic-ARX X5 (stove cleaning).
- LingBot-VLA 2.0 presteerde consequent beter dan $\pi_{0.5}$ in zowel in-domain als out-of-distribution (OOD) settings.
- In OOD-settings (geperturbueerde initiële posities en onbekende objecten) behield LingBot-VLA 2.0 een duidelijk voordeel in succespercentages, wat de robuustheid demonstreert bij het voltooien van volledige tahtrajecten.
Ablatie Studies:
- Action Targets: Relatieve joint acties presteerden significant beter dan absolute acties (55,0% vs. 33,7% succes).
- Normalisatie: MeanStd normalisatie leverde de beste resultaten op (55,0%) vergeleken met MinMax of Q01-Q99, omdat het de long-tailed structuur van relatieve actieverdelingen behoudt.
- Loss Functie: L2 loss presteerde over het algemeen het best, hoewel L1 superieur was voor contact-rijke taken zoals "Squeeze Ketchup".

Betekenis en Claims

Het artikel beweert dat LingBot-VLA 2.0 een pragmatische stap vertegenwoordigt naar het bevorderen van VLA-fundamentmodellen van laboratoriumsucces naar praktische toepasbaarheid in de echte wereld. De auteurs stellen dat praktische VLA-systemen verder moeten evolueren dan eenvoudige schaling van model- en datagrootte om specifieke eisen uit de echte wereld aan te pakken:

Breder Ondersteuning van Embodiments: Omgaan met heterogene robotconfiguraties.
Rijkere Actieruimtes: Het mogelijk maken van controle over whole-body dynamica.
Voorspellend Begrip: Het versterken van de temporele redenering om dynamische scèneveranderingen te anticiperen.

De resultaten valideren dat het gezamenlijk verbeteren van generalisatie, actieruimte-dekking en voorspellende dynamica-modellering leidt tot consistente verbeteringen in praktische robotische capaciteiten. Dit werk positioneert LingBot-VLA 2.0 niet alleen als een modelverbetering, maar als een framework om de fundamentele VLA-capaciteiten af te stemmen op de complexiteit van inzet in de echte wereld.