A Pragmatic VLA Foundation Model

Dit paper introduceert LingBot-VLA, een pragmatisch Vision-Language-Action-fundatiemodel getraind op 20.000 uur real-world data van negen robotconfiguraties, dat door zijn superieure generalisatie, hoge trainings-efficiëntie en open-source beschikbaarheid een belangrijke stap vormt voor de praktische toepassing van robotleren.

De kern

🤖 De "Super-leraar" voor Robots: LingBot-VLA

Stel je voor dat je een robot wilt leren om te koken, bloemen te schikken of een broodje te maken. In het verleden moest je die robot elke beweging handmatig programmeren, alsof je een poppetje met touwtjes bestuurt. Dat is traag en niet slim.

Deze paper introduceert LingBot-VLA, een nieuw soort "brein" voor robots. Het staat voor Vision-Language-Action (Visie-Taal-Actie). In het kort: het is een robot die kan zien, kan lezen (wat je zegt) en kan handelen.

Hier is hoe het werkt, opgedeeld in drie simpele onderdelen:

1. De "Bibliotheek" van 20.000 Uur (De Data)

Stel je voor dat je een kind wilt leren koken. Als je het alleen maar laat kijken naar één video, leert het misschien hoe je een ei bakt, maar niet hoe je een hele maaltijd maakt.

• Wat ze deden: De onderzoekers hebben een gigantische bibliotheek gecreëerd met 20.000 uur aan video's van echte robots die in de echte wereld aan het werk waren.
• De Analogie: Het is alsof je een student niet alleen laat studeren uit één boek, maar hem duwt in een bibliotheek met duizenden boeken over duizenden verschillende taken. Ze hebben data van 9 verschillende robot-types (sommige met twee armen, sommige met wielen) gebruikt.
• Het resultaat: Hoe meer data je geeft, hoe slimmer de robot wordt. De paper laat zien dat als je de data verdubbelt, de robot ook echt beter wordt. Er is geen punt waarop hij "vol" raakt; hij blijft leren.

2. De "Twee-Hoofdige" Architectuur (Het Brein)

LingBot-VLA is opgebouwd uit twee delen die samenwerken, net als een chef-kok en een sous-chef.

• De Chef (Het Visie-Taal-deel): Dit is een heel slim model dat al veel weet over de wereld. Het kijkt naar de camera's van de robot, leest jouw opdracht ("Maak een boterham") en begrijpt wat er moet gebeuren. Het is de strateeg.
• De Sous-chef (De Actie-expert): Dit deel is gespecialiseerd in de fysieke bewegingen. Het zorgt ervoor dat de armen soepel bewegen, niet trillen en precies op de juiste plek grijpen.
• Samenwerking: Ze praten voortdurend met elkaar. De chef zegt: "Pak het brood," en de sous-chef zorgt ervoor dat de grijper precies de juiste kracht gebruikt om het brood niet te verpletteren.

3. De "Snelle Keuken" (Efficiëntie)

Vaak duurt het trainen van zo'n slim robotbrein maanden en kost het miljoenen aan computerkracht. Dat is alsof je een restaurant moet bouwen voordat je ook maar één maaltijd kunt serveren.

• De Innovatie: De onderzoekers hebben een nieuwe "keuken" (software) gebouwd die ontzettend snel is.
• De Analogie: Stel je voor dat je een recept moet kopiëren. Normaal doet één persoon dit handmatig. Deze nieuwe code is alsof je een fotokopieermachine hebt die 261 pagina's per seconde kan kopiëren.
• Het voordeel: Hierdoor kunnen ze het model veel sneller trainen en aanpassen aan nieuwe taken. Het maakt het veel goedkoper en makkelijker om deze robots in de echte wereld te gebruiken.

🏆 De Grote Test: De "GM-100" Examens

Om te bewijzen dat LingBot-VLA echt iets bijzonders is, hebben ze het niet alleen in een virtuele wereld getest, maar in de echte wereld.

• Ze hebben 100 verschillende taken bedacht (van "schroeven losdraaien" tot "een sjaal om een pop doen").
• Ze hebben dit getest op 3 verschillende robotplatforms.
• De uitslag: LingBot-VLA was duidelijk de beste. Het slaagde veel vaker dan de concurrenten. Zelfs als je de robot in een nieuwe omgeving plaatst met nieuwe objecten, lukt het hem vaak nog steeds.

🌍 Waarom is dit belangrijk?

Vroeger waren robots als papegaaien: ze konden alleen doen wat je ze precies had geleerd. Als je ze iets anders liet doen, faalden ze.
LingBot-VLA is als een menselijk kind: het heeft een brede basis van ervaring opgedaan en kan dat toepassen op nieuwe situaties die het nog nooit heeft gezien.

Conclusie in één zin:
De onderzoekers hebben een robotbrein gebouwd dat door te kijken naar 20.000 uur aan echte robotwerkzaamheden, een "super-leraar" is geworden die sneller, slimmer en goedkoper is dan alles wat we tot nu toe hadden, en die nu openbaar beschikbaar is zodat iedereen er van kan leren.

Je kunt de code, het model en de testdata gratis vinden op hun website en GitHub, zodat de hele wereld mee kan bouwen aan de robots van de toekomst.

Technische samenvatting

Probleemstelling

Hoewel Vision-Language-Action (VLA) foundation modellen veelbelovend zijn voor robotmanipulatie, ontbreekt het aan uitgebreide empirische studies over hoe prestaties op echte robots schalen met toenemende hoeveelheden voortrainingsdata. Daarnaast mist de gemeenschap een geoptimaliseerde trainingscodebasis die efficiënt kan omgaan met massale datasets. De centrale vraag die dit paper adresseert is: Hoe schalen VLA-modellen echt met enorme hoeveelheden real-world robotdata? Er is behoefte aan modellen die niet alleen goed generaliseren over verschillende taken en robotplatforms, maar ook kostenefficiënt zijn in training en inzet.

Methodologie

1. Data Collectie en Voorbereiding

• Schalingsdataset: Het team heeft een dataset van ongeveer 20.000 uur aan real-world manipulatie-data verzameld.
• Robotplatforms: De data komt van 9 verschillende dual-arm robotconfiguraties (o.a. AgiBot G1, AgileX, Galaxea R1Lite/Pro, Realman, Leju KUAVO, Qinglong, ARX Lift2, Bimanual Franka).
• Annotatie: Een hybride aanpak wordt gebruikt waarbij menselijke annotatoren video's opsplitsen in sub-taken en atomische acties. Vervolgens wordt een groot taalmodel (Qwen3-VL) ingezet voor het genereren van precieze taak- en sub-taakinstructies.
• Data Diversiteit: De dataset omvat diverse objectposities, oriëntaties en omgevingscondities om overfitting te voorkomen.

2. Model Architectuur (LingBot-VLA)

• Base: Het model bouwt voort op een voorgetrainde Vision-Language Model (VLM), specifiek Qwen2.5-VL.
• Action Expert: Een geïnitieerde module voor het genereren van acties, gekoppeld aan de VLM.
• Mixture-of-Transformers (MoT): Net als BAGEL gebruikt LingBot-VLA een MoT-architectuur. Visuele, linguïstische en actie-modaliteiten worden verwerkt via aparte transformer-paden, maar worden gekoppeld via een gedeelde self-attention-mechanisme voor laag-voor-laag unificatie. Dit zorgt voor continue semantische sturing zonder kruismodale interferentie.
• Actie-Modellering: Voor continue actiegeneratie wordt Flow Matching gebruikt, wat zorgt voor vloeiende en robuuste besturing.
• Ruimtelijk Bewustzijn: Om dieptewaarneming te verbeteren, wordt een vision distillation techniek toegepast. Learnable queries uit de VLM worden afgestemd op dieptetokens van een gespecialiseerd dieptemodel (LingBot-Depth) via een distillatieverliesfunctie.
• Causale Maskering: Er wordt blockwise causale attention toegepast om te voorkomen dat toekomstige actietokens informatie lekken naar de huidige observaties.

3. Trainingsefficiëntie

• Distributed Training: Er wordt gebruik gemaakt van Fully Sharded Data Parallel (FSDP) met Zero Redundancy Optimizer (ZeRO) om het geheugengebruik te minimaliseren. Specifieke "shard groups" worden aangemaakt voor de action expert-modules om communicatie-overhead te verminderen.
• Operator Optimalisatie: Gebruik van FlexAttention voor sparse attention-processen en operator fusion (via torch.compile) om kernel-launch overhead te reduceren.
• Resultaat: De codebase bereikt een throughput van 261 samples per seconde op een 8-GPU setup, wat een snelheidswinst van 1.5x tot 2.8x oplevert ten opzichte van bestaande VLA-codebases.

Belangrijkste Bijdragen

1. LingBot-VLA Model: Een pragmatisch foundation model getraind op 20.000 uur real-world data, dat state-of-the-art prestaties levert op diverse robotplatforms.
2. Grootschalige Empirische Evaluatie: Een systematische evaluatie op 3 verschillende robotplatforms met in totaal 100 taken (GM-100 benchmark) en 130 episodes per taak. Dit is een van de meest uitgebreide real-world evaluaties tot nu toe.
3. Open Source Infrastructuur: De publicatie van de code, het base model, en de benchmark-data om de gemeenschap te faciliteren bij het ontwikkelen van uitdagendere taken en betere evaluatiestandaarden.
4. Schalingsbewijs: Empirisch bewijs dat prestaties (succesratio en voortgangsscore) lineair blijven verbeteren naarmate de dataomvang toeneemt van 3.000 naar 20.000 uur, zonder verzadiging.

Resultaten

Real-world Benchmark (GM-100)
LingBot-VLA werd vergeleken met sterke baselines zoals WALL-OSS, GR00T N1.6 en $\pi$0.5.

• Prestaties: LingBot-VLA (met diepte-informatie) behaalde een gemiddelde Success Rate (SR) van 17.30% en een Progress Score (PS) van 35.41% over alle platformen.
• Vergelijking: Dit is een aanzienlijke verbetering ten opzichte van de beste concurrent ($\pi$0.5: SR 13.02%, PS 27.65%).
• Generalisatie: Het model toonde superieure prestaties op alle drie de geteste platformen (Agibot G1, AgileX, Galaxea R1Pro), wat aantoont dat het goed generaliseert naar nieuwe hardware.

Simulatie Benchmark (RoboTwin 2.0)

• In schone omgevingen behaalde LingBot-VLA (met diepte) een SR van 88.56% (vs 82.74% voor $\pi$0.5).
• In gerandomiseerde omgevingen (verschillende achtergronden, verlichting, etc.) steeg de SR naar 86.68% (vs 76.76% voor $\pi$0.5).

Training Efficiency

• De geoptimaliseerde codebase toonde een bijna lineaire schaling van throughput naarmate het aantal GPUs toenam (tot 256 GPUs), wat de kosten en tijd voor training aanzienlijk verlaagt.

Significantie

Dit paper is significant omdat het een brug slaat tussen theoretische schaalwetten en praktische inzetbaarheid in de robotica.

• Validatie van Schaling: Het biedt het eerste empirische bewijs dat het verzamelen van enorme hoeveelheden real-world robotdata (tot 20k uur) direct leidt tot betere generalisatie, zonder dat de wetten van afnemende meeropbrengst (diminishing returns) al zijn bereikt.
• Kostenreductie: Door de focus op trainingsefficiëntie maakt het de ontwikkeling van krachtige VLA-modellen toegankelijker voor onderzoekers en bedrijven die beperkte rekenkracht hebben.
• Standaardisatie: De introductie van een rigoureuze, multi-platform evaluatiebenchmark (GM-100 op 3 robots) stelt een nieuwe standaard voor het eerlijk vergelijken van robotpoli's in de echte wereld.
• Open Science: Door alles openbaar te maken (code, modellen, data), versnelt het paper de voortgang van het veld en stimuleert het herhaalbaarheid en verdere innovatie.

Kortom, LingBot-VLA bewijst dat een combinatie van schaalbare data, geoptimaliseerde training en een sterke architectuur leidt tot robuuste, algemeen toepasbare robots die klaar zijn voor complexe taken in de echte wereld.