💻 computer science

InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation

InternVLA-A1 is een unificerend Vision-Language-Action-model dat semantisch begrip, visuele voorspelling en actie-uitvoering combineert via een Mixture-of-Transformers-architectuur, wat leidt tot aanzienlijk betere prestaties dan bestaande modellen bij zowel statische als dynamische robotmanipulatie.

Oorspronkelijke auteurs: Junhao Cai, Zetao Cai, Jiafei Cao, Yilun Chen, Zeyu He, Lei Jiang, Hang Li, Hengjie Li, Yang Li, Yufei Liu, Yanan Lu, Qi Lv, Haoxiang Ma, Jiangmiao Pang, Yu Qiao, Zherui Qiu, Yanqing Shen, Xu Shi, Yan

Gepubliceerd 2026-02-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Junhao Cai, Zetao Cai, Jiafei Cao, Yilun Chen, Zeyu He, Lei Jiang, Hang Li, Hengjie Li, Yang Li, Yufei Liu, Yanan Lu, Qi Lv, Haoxiang Ma, Jiangmiao Pang, Yu Qiao, Zherui Qiu, Yanqing Shen, Xu Shi, Yang Tian, Bolun Wang, Hanqing Wang, Jiaheng Wang, Tai Wang, Xueyuan Wei, Chao Wu, Yiman Xie, Boyang Xing, Yuqiang Yang, Yuyin Yang, Qiaojun Yu, Feng Yuan, Jia Zeng, Jingjing Zhang, Shenghan Zhang, Shi Zhang, Zhuoma Zhaxi, Bowen Zhou, Yuanzhen Zhou, Yunsong Zhou, Hongrui Zhu, Yangkun Zhu, Yuchen Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt bouwen die niet alleen kan kijken en begrijpen wat er om hem heen gebeurt, maar die ook echt voelt hoe de wereld werkt. Dat is precies wat het team achter InternVLA-A1 heeft geprobeerd te doen.

Hier is een uitleg in simpele taal, met een paar leuke vergelijkingen:

Het Probleem: De "Slimme" maar "Stijve" Robot

Tot nu toe waren robots vaak als twee verschillende mensen in één lichaam:

De Filosoof: Een robot die heel goed kan lezen en begrijpen wat je zegt (bijvoorbeeld: "Pak die broodjes"). Hij is slim, maar hij snapt niet hoe zwaar de broodjes zijn of hoe ze bewegen als je ze vastpakt.
De Voorspeller: Een robot die kan kijken naar een video en zeggen wat er misschien gaat gebeuren (bijvoorbeeld: "Als ik die bal duw, rolt hij naar rechts"). Maar deze robot begrijpt vaak niet wat de woorden betekenen of wat het doel is.

De oude robots waren ofwel te dom om de fysieke wereld te begrijpen, ofwel te onzeker om goede beslissingen te nemen als dingen snel bewogen (zoals op een lopende band).

De Oplossing: InternVLA-A1 (De "Drie-in-Één" Robot)

InternVLA-A1 is een nieuwe robotbrein dat deze twee vaardigheden combineert met een derde, heel belangrijke vaardigheid: actie.

Het werkt als een super-team met drie experts die allemaal in één hoofd wonen:

De Begrijper (Understanding): Deze expert kijkt naar de camera en leest je opdracht. Hij zegt: "Ah, je wilt de broodjes pakken." Hij begrijpt de context.
De Dromer (Generation): Dit is het nieuwe, coole deel. Deze expert is een beetje als een filmregisseur in je hoofd. Hij denkt: "Oké, als ik nu die broodjes pak, hoe ziet dat eruit over een seconde? En over twee seconden?" Hij maakt een snelle, mentale film van wat er gaat gebeuren. Hij "droomt" de toekomst na.
De Actievoerder (Action): Deze expert kijkt naar wat de Begrijper zegt én wat de Dromer heeft voorspeld. Hij zegt: "Oké, omdat de Dromer ziet dat de broodjes gaan bewegen, moet ik mijn arm nu iets sneller en iets anders bewegen."

De Vergelijking:
Stel je voor dat je een dansje leert.

De oude robots keken alleen naar de instructie: "Draai links."
InternVLA-A1 doet alsof het voelt hoe de vloer is, voorspelt hoe zijn eigen lichaam zal bewegen als hij draait, en voert de danspas pas uit als hij zeker weet dat hij niet gaat struikelen.

Hoe hebben ze het zo slim gemaakt? (Het Dieet van de Robot)

Om deze robot slim te maken, hebben ze hem niet alleen met echte robot-data gevoerd (dat is duur en lastig). Ze hebben een "hybride dieet" gebruikt:

Echte robot-data: Om te leren hoe de echte wereld voelt (zwaar, wrijving, etc.).
Simulatie-data: Duizenden uren in een virtuele wereld waar ze alles kunnen oefenen, van het hanteren van vloeistoffen tot het openen van deuren. Dit is als een video-game voor de robot.
Menselijke video's: Ze hebben video's van mensen gebruikt die dingen doen (zoals eten bereiden of opruimen). De robot leert hieruit hoe mensen hun handen gebruiken, zonder dat er dure robots nodig zijn.

Door deze drie soorten "voedsel" te mengen, leerde de robot snel, veilig en veelzijdig.

Wat kan hij nu doen?

De tests tonen aan dat InternVLA-A1 veel beter is dan de vorige modellen, vooral in twee situaties:

Stille taken: Als je een robot vraagt om een broodje te maken of een fles te openen, doet hij het netjes en precies.
Bewegende taken (De echte winnaar): Dit is waar het echt schittert. Als er een lopende band is met verpakkingen die bewegen, of als je ingrediënten moet vangen terwijl ze in de lucht vliegen, slaan de oude robots vaak de plank volledig mis. InternVLA-A1 kan echter voorspellen waar het object naartoe gaat en zijn beweging daarop aanpassen.

Kortom:
InternVLA-A1 is de eerste robot die niet alleen kijkt en luistert, maar ook echt voelt hoe de wereld beweegt en denkt over wat er gaat gebeuren voordat hij iets doet. Het is alsof je van een robot die alleen reageert op wat hij ziet, bent gegaan naar een robot die een plan heeft en weet hoe de toekomst eruitziet.

Het resultaat? Een robot die veel minder snel struikelt, sneller leert en echt bruikbaar is in een chaotische, echte wereld.

Probleemstelling

Bestaande Vision-Language-Action (VLA) modellen, die vaak zijn gebaseerd op Multimodale Large Language Models (MLLMs), blinken uit in semantisch begrip maar missen het vermogen om de dynamica van de fysieke wereld af te leiden. Ze zijn geoptimaliseerd voor reactieve perceptie-naar-actie mapping, wat leidt tot gebrek aan aanpassingsvermogen in dynamische omgevingen (zoals lopende banden) waar momentum en contactkrachten cruciaal zijn.

Aan de andere kant proberen benaderingen op basis van "World Models" (vaak via videovoorspelling) deze dynamica te modelleren, maar deze lijden vaak onder gebrek aan semantische gronding en zijn kwetsbaar voor fouten in de videopredictie. Daarnaast is het verzamelen van voldoende real-world robotdata kostbaar en inefficiënt, terwijl simulatiedata lastig overdraagbaar is naar de realiteit (sim-to-real gap). Er is dus behoefte aan een architectuur die semantisch begrip en dynamische voorspelling verenigt, en die efficiënt kan leren van diverse databronnen.

Methodologie: InternVLA-A1

InternVLA-A1 introduceert een unificerend raamwerk dat scene-understanding, visuele vooruitziendheid (foresight) en actie-executie combineert in één model.

1. Architectuur: Mixture-of-Transformers (MoT)
Het model maakt gebruik van een MoT-architectuur met drie gespecialiseerde "experts" die samenwerken via een unificerend gemaskerd self-attention mechanisme:

Understanding Expert: Gebaseerd op bestaande MLLMs (InternVL3 of Qwen3-VL). Deze verwerkt multimodale input (beelden en tekst) om semantische context te extraheren. Deze context dient als gedeeld geheugen voor de andere experts.
Generation Expert: Een lichtgewicht module die toekomstige visuele staten voorspelt (visuele vooruitziendheid). In plaats van zware autoregressieve videomodellen, gebruikt deze een efficiënte aanpak met een VAE-tokenizer (COSMOS), token compressie en parallelle decoding. Dit zorgt voor real-time inferentie (ca. 13 Hz) zonder de noodzaak van iteratieve forward passes.
Action Expert: Gebruikt de semantische context en de voorspelde dynamica om robotacties te genereren. Dit gebeurt via Flow Matching, een methode die beter omgaat met multimodale actie-distributies dan directe regressie.

2. Trainingsstrategie: Hybrid Data Recipe
Het model wordt getraind op een mengsel van drie complementaire databronnen om de diversiteit te maximaliseren en de sim-to-real gap te verkleinen:

Synthetische Data: Grote schaal gesimuleerde robottrajecten (o.a. InternData-A1 en RoboTwin) voor schaalbaarheid en diversiteit in scenario's.
Real-world Robot Data: Demonstraties van echte robots (o.a. AgiBot-World, RoboMind) om fysische dynamica en realisme te waarborgen.
Egocentrische Menselijke Video's: Data zoals EgoDex om complexe manipulatievaardigheden en visuele priors te leren zonder dure teleoperatie.

De training verloopt in twee fasen: pre-training op deze heterogene data, gevolgd door post-training voor specifieke taken. Het totale trainingsdoel is een gewogen som van de verliesfuncties voor visuele generatie en actie-predictie.

Belangrijkste Bijdragen

Unificatie van Semantiek en Dynamica: InternVLA-A1 is de eerste die MLLM-vaardigheden koppelt aan een World Model-stijl "imagination" module binnen één architectuur, waardoor het model zowel begrijpt wat er gebeurt als hoe de toestand zal evolueren.
Efficiënte Architectuur: Door het gebruik van parallelle decoding en token compressie in de generatie-expert, wordt real-time inferentie mogelijk gemaakt, wat essentieel is voor robotbesturing.
Hybride Data-Strategie: Het paper demonstreert dat het combineren van simulatie, real-world data en menselijke video's leidt tot superieure generalisatie en robuustheid, waarbij de voordelen van elke bron worden benut.
Schalbaarheid: Het model is geïmplementeerd in twee varianten (2B en 3B parameters) die presteren op diverse robotplatforms.

Resultaten

InternVLA-A1 werd geëvalueerd op 12 real-world taken (10 statisch, 2 dynamisch) en een simulatiebenchmark (RoboTwin 2.0).

Statische Taken: InternVLA-A1 (3B) behaalde een gemiddelde succesratio van 75,1%, wat een verbetering is van +4,4% ten opzichte van de sterke baseline $\pi_{0.5}$ . Het presteerde vooral goed op langdurige taken zoals "Make Sandwich" (93,3% vs 73,3%).
Dynamische Taken: Hier toonde het model de grootste superioriteit. Op taken met bewegende objecten (zoals "Express Sorting" en "In-motion Ingredient Picking") behaalde de 3B-versie een gemiddelde van 86,7%. Dit is een enorme sprong van +26,7% ten opzichte van $\pi_{0.5}$ .
Simulatie Benchmark: Op de RoboTwin 2.0 benchmark (zowel Easy als Hard settings) overtrof InternVLA-A1 (3B) $\pi_{0.5}$ met +2,6%.
Ablatiestudies:
- Pre-training is cruciaal: zonder pre-training daalde de prestatie met 51,6%.
- De generatie-expert is essentieel: zonder deze expert daalde de gemiddelde succesratio van 77,0% naar 57,6%, met name in dynamische scenario's.
- De combinatie van alle drie de databronnen (Sim + Real + Human) leverde de beste resultaten op.

Betekenis en Impact

InternVLA-A1 markeert een belangrijke stap in de richting van algemene robotica (generalist robots). Door de kloof tussen semantisch begrip en fysieke dynamica te overbruggen, maakt het robots veel robuuster in veranderende en dynamische omgevingen. De succesvolle integratie van synthetische data en menselijke video's biedt een schaalbare route om de afhankelijkheid van kostbare real-world robotdata te verminderen, terwijl de prestaties in de echte wereld worden verbeterd. Dit werk legt de basis voor toekomstige systemen die niet alleen reageren op wat ze zien, maar ook anticiperen op wat er gaat gebeuren.