🤖 machine learning

Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models

Qwen-RobotManip is een generaliseerbaar Vision-Language-Action fundamentaal model dat een verenigd uitlijningskader over representatie-, bewegings- en gedragsdimensies benut om grootschalige training op een open-source corpus van circa 38.100 uur mogelijk te maken, waarbij het de staat van de kunst bereikt en emergente generalisatiecapaciteiten vertoont over diverse robotplatforms en out-of-distribution benchmarks.

Oorspronkelijke auteurs: Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An

Gepubliceerd 2026-06-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Chenfei Wu, Xiong-Hui Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Robots leren "denken" als mensen

Stel je voor dat je een robot wilt leren hoe hij huishoudelijke taken moet uitvoeren. In het verleden probeerden wetenschappers robots te leren door ze duizenden video's te laten zien van andere robots die specifieke taken uitvoeren. Maar dit is als proberen een hond schaken te leren door hem video's te laten zien van andere honden die schaken. Het is duur, de data is zeldzaam, en als de nieuwe robot er iets anders uitziet (een andere vorm van de arm heeft), raakt hij in de war.

Het Qwen-RobotManip-team stelde een andere vraag: Kunnen we robots leren met hetzelfde "scaling recept" dat AI-chatbots zo slim heeft gemaakt?

Chatbots werden slim omdat ze alles op het internet hebben gelezen—boeken, fora, artikels en video's. Ze leerden ideeën te verbinden omdat al die tekst "gealigneerd" was (alles gebruikte dezelfde taal). Het team wilde kijken of ze hetzelfde konden doen voor robots: alle beschikbare robotdata (zelfs van verschillende robots) en alle beschikbare video's van menselijke handbewegingen samenvoegen, en de robot leren om de wereld algemeen te begrijpen, niet slechts één specifieke taak.

Het Probleen: De "Taalbarrière" tussen robots

Het team realiseerde zich dat er een groot probleem was. Tekst is makkelijk te aligneren; "kat" betekent "kat" in elk boek. Maar robotdata is rommelig.

Verschillende lichamen: De ene robot heeft een lange arm; een andere heeft een korte arm. De ene heeft twee handen; een andere heeft er één.
Verschillende perspectieven: Eén camera kijkt van bovenaf; een andere kijkt vanaf de zijkant.
Verschillende talen: Eén robot registreert beweging in "gewrichtshoeken" (hoeveel de elleboog buigt); een andere registreert het in "3D-ruimte" (waar de hand zich in de kamer bevindt).

Als je al deze data gewoon in een blender gooit, krijgt de robot hoofdpijn. Het is alsoam te leren een taal door te luisteren naar Franse, Japanse en Spaanse sprekers die tegelijkertijd tegen elkaar schreeuwen zonder vertaler. De signalen conflicteren, en de robot leert niets.

De Oplossing: De "Universele Vertaler"

Om dit op te lossen, bouwde het team Qwen-RobotManip, een robotbrein dat fungeert als een Universele Vertaler. Ze gooiden niet zoma van de data erin; ze creëerden een strikte set regels om alles te vertalen naar een gemeenschappelijke taal voordat ze de robot leerden.

Ze aligneerden drie dingen:

Het Lichaam (Representatie): Ze creëerden een "gestandaardiseerde lichaamkaart". Of de robot nu een mensachtige arm is of een simpele grijper, het brein vertaalt de bewegingen naar één enkel, gedeeld formaat.
Het Perspectief (Beweging): In plaats van de robot te vertellen "beweeg je elleboog 30 graden", leren ze hem "beweeg je hand naar die beker". Ze verankeren alle bewegingen aan het perspectief van de camera. Als de camera de beker naar links ziet bewegen, leert de robot om naar links te bewegen, ongeacht wat zijn eigen gewrichten doen. Dit is als leren autorijden door naar de weg te kijken, in plaats van uit het hoofd te leren hoeveel je het stuur moet draaien.
De Context (Gedrag): Ze gaven de robot een "geheugenvenster". Voordat de robot een beweging maakt, kijkt hij naar wat hij een seconde geleden deed. Dit helpt hem om ter plekke aan te passen, net zoals een mens zijn grip aanpast als hij voelt dat een doos wegglijdt.

De Data: De "Mens-naar-Robot" Magische Truc

Het team had een enorme hoeveelheid data nodig om dit brein te trainen. Ze hadden geen miljoenen uren aan dure robotopnames. Dus gebruikten ze een slimme truc: Mens-naar-Robot Synthese.

De Bron: Ze verzamelden duizenden uren aan video's van mensen die taken uitvoeren (zoals koken of schoonmaken), gefilmd vanuit een eerste-persoonsperspectief (zoals met een GoPro).
De Magie: Ze gebruikten AI om de menselijke handen in de video te "vervangen" door robotarmen.
- Analogie: Stel je voor dat je een video hebt van een menselijke chef die groenten snijdt. De AI kijkt naar de beweging van de menselijke hand, berekent waar het mes zou moeten zijn, en vervangt vervolgens de menselijke hand digitaal door een robotarm, waarbij de robotarm exact dezelfde snijbeweging maakt.
Het Resultaat: Ze veranderden 1.900 uur aan menselijke video's in 24.800 uur aan robotdata verspreid over 15 verschillende soorten robots.

In totaal bouwden ze een trainingsbibliotheek van 38.100 uur aan data, waarbij ze alleen open-source data gebruikten (geen geheime bedrijfsdata).

De Resultaten: Werkt het echt?

Het team testte dit robotbrein op twee manieren:

De "Textboek" Test: Standaard tests waarbij de robot exact dezelfde kamer en objecten ziet waarop hij getraind is. Hier presteerde de robot goed, maar dat deden veel andere modellen ook.
De "Echte Wereld" Test (OOD): Dit is waar de magie gebeurde. Ze testten de robot in nieuwe kamers, met nieuwe objecten, andere verlichting en zelfs op robots die hij nog nooit eerder had gezien.

De Bevindingen:

Generalisatie: Terwijl andere robots faalden wanneer de lichten veranderden of de tafel verschoof, bleef Qwen-RobotManip gewoon werken. Het begreep het concept van de taak, niet alleen het visuele patroon.
Cross-Body Transfer: Ze trainden de robot op een robot met twee armen (AgileX) en testten hem vervolgens op een compleet andere robot (zoals een Franka of UR5 arm) die hij nog nooit had gezien. Hij slaagde daar waar anderen faalden.
Zelfcorrectie: In tests in de echte wereld, als de robot een object liet vallen, gaf hij niet zomaar op. Hij probeerde het opnieuw en paste zijn grip aan, net zoals een mens dat zou doen.
Instructie-opvolging: Als je zei "Pak de rode beker op", pakte hij de rode beker op, zelfs als de beker op een vreemde plek stond of de verlichting slecht was. Andere modellen negeerden de instructie vaak en pakten gewoon wat het dichtstbij was.

De Kernboodschap

Het artikel betoogt dat het geheim van slimme robots niet alleen het verzamelen van meer data is, maar het eerst correct aligneren van die data.

Denk aan het bouwen van een bibliotheek. Als je boeken uit verschillende talen, maten en formaten op één hoop gooit, kan niemand ze lezen. Maar als je ze allemaal vertaalt naar één standaardtaal en ze op dezelfde planken organiseert, kun je alles lezen.

Qwen-RobotManip bewees dat door alle robot- en mensdata te vertalen naar een "gemeenschappelijke taal" (camera-gealigneerde acties), je een robot kunt trainen om een echte generalist te zijn—in staat om nieuwe taken te leren en op verschillende lichamen te werken zonder dat hij vanaf nul opnieuw getraind hoeft te worden. Ze bereikten dit met alleen gratis, open data, wat suggereert dat de drempel om slimme robots te bouwen lager is dan we dachten, mits we de juiste "vertaaltools" hebben.

Technische Samenvatting: Qwen-RobotManip: Alignment Unlocks Scale voor Robotische Manipulatie Fundatiemodellen

Probleemstelling

Hoewel fundatiemodellen in taal en multimodaliteit sterke generalisatie hebben bereikt door heterogene databronnen onder een verenigde formulering te aligneren, blijft het toepassen van dit "scaling recept" op robotische manipulatie een aanzienlijke uitdaging. In tegenstelling tot tekst is manipulatiedata inherent heterogeen, duur om te verzamelen en beperkt in diversiteit. Huidige Vision-Language-Action (VLA) modellen vertonen vaak oppervlakkige generalisatie; ze presteren goed op standaard in-distributie benchmarks, maar falen wanneer ze worden getest buiten nauwe settings (bijv. verschillende robotische belichamingen, visuele perturbaties of ongeziene instructies). Het kernprobleem is dat zonder een verenigd alignment-framework, het schalen van datavolume over diverse belichamingen leidt tot interferentie in plaats van synergie, omdat incompatibele observatie- en actierepresentaties voorkomen dat het model overdraagbare fysieke vaardigheden leert.

Methodologie

1. Unified Cross-Embodiment Alignment Framework

De kern van Qwen-RobotManip is een verenigd alignment-framework dat ontworpen is om grootschalige multi-source training coherent te maken. Dit framework opereert over drie dimensies:

Representatie-alignment: Het model maakt gebruik van een 80-dimensionale canonieke staat-actie vector. Deze structuur faciliteert diverse robotische morfologieën (single-arm, dual-arm, dexterous hands, mobiele bases) door specifieke vrijheidsgraden te mappen naar vaste semantische slots (gewrichtsposities, end-effector pose, gripper status) en ongebruikte dimensies met nul te vullen (zero-padding). Een per-dimensie binaire maskering zorgt ervoor dat gradiënten alleen stromen door semantisch gevulde entries.
Bewegings-alignment: Om de fragmentatie aan te pakken die wordt veroorzaakt door verschillende coördinatensystemen in datasets, adopteert het model een camera-frame delta pose representatie voor end-effector acties. In plaats van absolute poses in robot-base frames, worden acties uitgedrukt als relatieve deltas in het camera-coördinatensysteem. Dit zorgt ervoor dat visueel vergelijkbare bewegingen numeriek nabij zijn over verschillende belichamingen heen, wat cross-embodiment transfer faciliteert. Camera-geometrie wordt geïnjecteerd in de action expert via Camera Positional Encoding (CaPE).
Gedrags-alignment: Het model maakt gebruik van een in-context policy adaptation mechanisme. Door huidige actievoorspellingen te conditioneren op een gestructureerd venster van recente executiegeschiedenis (observatie-actie paren) uit dezelfde episode, past het beleid zich aan de specifieke kinematische signaturen en gedragsdynamiek van de huidige robot aan zonder parameterupdates. Stochastische context-sampling tijdens training voorkomt dat het model vertrouwt op "recency shortcuts", waardoor het gedwongen wordt consistente gedragsprofielen te leren.

2. Schaalbaar Multi-Source Datacorpus

Om de benodigde schaal te bereiken, hebben de auteurs een ~38.100-urige pretraining corpus geconstrueerd met uitsluitend open-source datasets en menselijke demonstratievideo's, waarbij zij propriëtaire dataverzameling vermijden.

Human-to-Robot Synthese: Een pipeline converteert ~1.933 uur aan egocentrische menselijke handmanipulatievideo's naar robottrajecten over 15 verschillende robotplatforms. Dit omvat actie-retargeting (het mappen van hand-keypoints naar gripper poses), visuele alignment (het inpainten van menselijke handen en het renderen van robotmodellen) en base pose optimalisatie. Dit proces levert ~24.808 uur aan gesynthetiseerde data op.
Data Curatie: Een rigoureuze multi-stage pipeline filtert heterogene data op plotselinge veranderingen, state-action trend alignment, extreme waarden en kinematische consistentie (Forward Kinematics checks). Het bevat ook cross-modale kwaliteitscontroles voor instructie-consistentie en video-state overlap.
Vision-Language Co-training: Om catastrofale vergetelheid van perceptuele en redeneer-capaciteiten te voorkomen, wordt het model getraind via een dual-stream strategie. Het optimaliseert gezamenlijk over de manipulatie-corpus en een gecureerde vision-language (VL) stream (~28M datapunten), die onder meer embodied chain-of-thought (ECoT) redenering, egocentrische video-understanding en algemene ruimtelijke redeneertaken bevat.

3. Modelarchitectuur

Qwen-RobotManip is gebouwd op de Qwen-VL backbone (Qwen3.5-4B), die multimodale inputs encodeert. De generatie van acties wordt afgehandeld door een Flow-Matching Diffusion Transformer (DiT) die fungeert als een action expert. De backbone en de expert zijn gekoppeld via cross-attention, waarbij de expert actievoorspellingen fundeert in zowel ruimtelijke observaties als linguïstische instructies. Het model wordt getraind met een flow-matching objectief om snelheidvelden te voorspellen voor continue actiegeneratie.

Belangrijkste Bijdragen

Unified Alignment Framework: Introductie van een canonieke staat-actie representatie, camera-frame delta pose parametrisatie, en in-context policy adaptation die coherente training mogelijk maakt over diverse belichamingen.
Schaalbaar Data Engine: Een human-to-robot synthese pipeline en curatieproces dat ~38.100 uur aan manipulatiedata aggregeert uit open bronnen, wat aantoont dat grootschalige pretraining haalbaar is zonder propriëtaire data.
Nieuwe Evaluatiestandaard: Een verschuiving van in-distributie benchmarks naar Out-of-Distribution (OOD) evaluatie. Het paper introduceert nieuwe benchmarks (RoboTwin-IF voor instructie-opvolging, RoboTwin-XE voor cross-embodiment transfer) en gebruikt bestaande OOD settings (LIBERO-Plus, RoboCasa365, EBench) om echte generalisatie te meten.
Real-World Validatie: Uitgebreide validatie op vier fysieke platforms (AgileX ALOHA, Franka, UR, ARX) en een eerste plaats in de RoboChallenge Table30-v1 generalist track.

Resultaten

Qwen-RobotManip demonstreert substantiële verbeteringen ten opzichte van eerdere state-of-the-art modellen (inclusief $\pi0.5$ , GR00T-N1.7, en StarVLA) over alle OOD evaluatie-assen:

Taak- en Scène-generalisatie: Presteert beter dan $\pi0.5$ met 7.0 punten op LIBERO-Plus, 21.5 punten op de uitdagende RoboTwin-Clean2Rand Hard setting, en 18.5 punten op EBench.
Instructie-opvolging: Behaalt 72.2% op de nieuwe RoboTwin-IF benchmark, een verbetering van 22.6 punten ten opzichte van $\pi0.5$ , wat duidt op robuuste taal-conditionering.
Cross-Embodiment Transfer: In zero-shot transfer tests (getraind op AgileX, getest op ARX, UR5, Franka) behaalt het model een succespercentage van 23.9% met behulp van camera-frame EEF acties, wat 3.2x hoger is dan $\pi0.5$ (7.5%) en aanzienlijk beter presteert dan joint-space baselines.
Real-World Performance: Op de RoboChallenge Table30-v1 generalist track behaalt het een succespercentage van 45% en een process score van 59.83, waarmee het de eerste plaats inneemt. Het vertoont emergente capaciteiten zoals spontaan herstelgedrag (retry behavior) wanneer grijpen mislukt en robuuste bimanuele coördinatie bij complexe taken zoals het schenken van friet of het aansluiten van kabels.
Scaling Laws: Ablatie studies bevestigen dat met de juiste alignment (UnifiedEEF), de prestaties log-lineair schalen met het datavolume, terwijl niet-gealigneerde representaties geen voordelen in schaling laten zien.

Betekenis en Claims

Het paper betoogt dat alignment een vereiste is voor data scaling in robotica. Zonder een verenigde formulering die fysieke bewegingen numeriek consistent maakt over verschillende belichamingen, produceert het vergroten van de datavolumes conflicterende signalen in plaats van verbeterde capaciteit.

De auteurs claimen dat Qwen-RobotManip een bevestigend antwoord geeft op de vraag of het scaling recept van taalmodellen kan worden toegepast op robotica. Door eerst prioriteit te geven aan alignment, bereikt het model emergente generalisatie-capaciteiten—inclusief zero-shot instructie-opvolging, robuustheid tegen perturbaties, reactief foutherstel en cross-embodiment transfer—met uitsluitend open-source data.

Verder stelt het paper dat standaard in-distributie benchmarks onvoldoende proxies zijn voor de capaciteit van fundatiemodellen, omdat ze vaak patroonmemorisatie belonen boven echte generalisatie. De auteurs pleiten voor OOD evaluatie settings als de "noordster" voor het meten van robotische fundatiemodellen, waarbij zij beargumenteren dat echte generalisatie pas zichtbaar wordt wanneer modellen worden getest op onbekende taken, omgevingen en belichamingen. Het werk suggereert dat de databarrière voor manipulatie fundatiemodellen lager kan zijn dan aangenomen, mits er robuuste synthese- en curatie-infrastructuren aanwezig zijn.