💻 computer science

RoboMIND 2.0: A Multimodal, Bimanual Mobile Manipulation Dataset for Generalizable Embodied Intelligence

Dit artikel introduceert RoboMIND 2.0, een uitgebreide dataset met meer dan 310.000 real-world bimanuele en mobiele manipulatie-trajecten, aangevuld met tactiele data en simulaties, en presenteert het hiërarchische MIND-2-systeem om generaliseerbare embodied intelligence voor complexe taken te realiseren.

Oorspronkelijke auteurs: Chengkai Hou, Kun Wu, Jiaming Liu, Zhengping Che, Di Wu, Fei Liao, Guangrun Li, Jingyang He, Qiuxuan Feng, Zhao Jin, Chenyang Gu, Zhuoyang Liu, Nuowei Han, Xiangju Mi, Yaoxu Lv, Yankai Fu, Gaole Dai

Gepubliceerd 2026-03-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chengkai Hou, Kun Wu, Jiaming Liu, Zhengping Che, Di Wu, Fei Liao, Guangrun Li, Jingyang He, Qiuxuan Feng, Zhao Jin, Chenyang Gu, Zhuoyang Liu, Nuowei Han, Xiangju Mi, Yaoxu Lv, Yankai Fu, Gaole Dai, Langzhe Gu, Tao Li, Yuheng Zhang, Yixue Zhang, Xinhua Wang, Shichao Fan, Meng Li, Zhen Zhao, Ning Liu, Zhiyuan Xu, Pei Ren, Junjie Ji, Haonan Liu, Kuan Cheng, Shanghang Zhang, Jian Tang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren om te koken, de was te doen en tegelijkertijd de auto te besturen. In het verleden waren robots als slimme kinderen die slechts één ding konden: bijvoorbeeld alleen een blokje op een blokje zetten. Ze waren niet flexibel en konden niet goed omgaan met nieuwe situaties.

Dit paper introduceert RoboMIND 2.0, wat je kunt zien als de "grootste en meest complete schoolboekenreeks" die ooit is geschreven voor robots. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Grote Verzameling (RoboMIND 2.0)

Voorheen hadden robot-onderzoekers slechts kleine, losse verzamelingen van voorbeelden. RoboMIND 2.0 is een enorme bibliotheek met 310.000 voorbeelden (trajecten) van robots die werk doen.

Verschillende lichamen: Het is niet alleen voor één type robot. Het bevat data van zes verschillende soorten robots: van vaste armen op een tafel tot mobiele robots met wielen en zelfs mensachtige humanoïden.
Twee handen: In tegenstelling tot oudere datasets die vaak maar één arm gebruikten, leert deze dataset robots om met twee handen te werken, net zoals wij dat doen (bijvoorbeeld: één hand houdt een pot vast, de andere schroeft de dop los).
De "gevoel" toevoegen: Dit is het meest bijzondere: de robots hebben ook tactiele sensoren (gevoel). Het is alsof je een robot niet alleen leert zien, maar ook leert voelen of iets vastzit, of of het glad is. Dit helpt hen om voorzichtig te zijn met breekbare voorwerpen.

2. De Twee Delen van het Brein (MIND-2 Systeem)

Om al deze data te gebruiken, hebben de onderzoekers een nieuw "brein" voor robots bedacht, genaamd MIND-2. Ze vergelijken dit met hoe wij mensen werken: we hebben een traag, denkend deel en een snel, handelend deel.

Het Trage Brein (MIND-2-VLM): Dit is de "chef" of de "planner". Als je zegt: "Maak een boterham," denkt dit deel eerst na: "Eerst brood pakken, dan kaas snijden, dan smeren." Het beseft de grote lijnen en de volgorde van dingen.
Het Snelle Brein (MIND-2-VLA): Dit is de "handwerker". Zodra de planner zegt "pak het brood", voert dit deel de bewegingen uit. Het kijkt naar de handen en de camera's en zorgt dat de greep precies goed is, zonder na te denken over de grote strategie.

Door deze twee samen te laten werken, kunnen robots veel langere en complexere taken uitvoeren zonder in de war te raken.

3. De Virtuele Oefenruimte (Digital Twins)

Het is duur en tijdrovend om robots in de echte wereld te laten oefenen (ze kunnen kapot gaan of dingen breken). Daarom hebben de onderzoekers een perfecte virtuele wereld gebouwd die er 1-op-1 uitziet als de echte wereld.

Ze hebben robots in deze virtuele wereld duizenden keren laten oefenen.
Het beste nieuws: wat ze in de virtuele wereld leren, werkt ook echt in de echte wereld. Het is alsof je een piloot eerst duizenden uren in een vliegsimulator laat vliegen voordat hij echt vliegt.

4. Wat leert dit ons?

De onderzoekers hebben getest of hun nieuwe systeem werkt.

3D is beter dan 2D: Robots die de wereld in 3D begrijpen (diep en breed), werken veel beter dan robots die alleen naar platte foto's kijken, vooral als ze met twee handen moeten samenwerken.
Oefenen met fouten: Ze hebben de robots niet alleen laten oefenen met perfecte voorbeelden, maar ook met voorbeelden van mislukte pogingen. Door te leren wat niet werkt, worden de robots veiliger en slimmer.
Alles kan: De robots kunnen nu taken doen die ze nog nooit eerder hebben gezien, zoals het hanteren van vreemde voorwerpen of werken in een nieuwe keuken.

Kortom: RoboMIND 2.0 is de "super-supermarkt" van robotdata. Het combineert zien, voelen, twee handen en een slim brein (planner + uitvoerder) om robots te leren om echt nuttig en flexibel te zijn in onze complexe, echte wereld. Het is een enorme stap richting robots die niet alleen in fabrieken werken, maar ook bij ons thuis kunnen helpen.

Probleemstelling

Data-gedreven imitatielearning heeft de robotische manipulatie revolutionair veranderd, maar bestaande benaderingen worden beperkt door het gebrek aan grote, diverse datasets met real-world demonstraties. Bestaande benchmarks (zoals Open X-Embodiment, RH20T, DROID) vertonen vaak eenzijdige diversiteit: ze focussen op één robotvorm, één type omgeving of slechts één arm. Cruciale aspecten zoals tweehandige coördinatie (bimanual), mobiele manipulatie in onbekende omgevingen, en tactiele feedback ontbreken vaak of zijn schaars. Dit leidt tot modellen die moeite hebben om te generaliseren naar lange-horizon taken en complexe fysieke interacties in de echte wereld. Er is een urgent behoefte aan een dataset die deze gaten opvult door vorm, taak, omgeving en multimodale sensoren gelijktijdig te bestrijken.

Methodologie

1. RoboMIND 2.0 Dataset Constructie
De auteurs hebben een uitgebreide dataset verzameld met de volgende kenmerken:

Schaal: Meer dan 310.000 trajecten voor tweehandige manipulatie, verzameld over 759 complexe taken en 129 vaardigheden.
Verscheidenheid in Embodiment: Data is verzameld van 6 verschillende robotplatforms, variërend van vaste industriële armen (Franka, UR5e) tot mobiele manipulatoren (AgileX, ARX) en humanoïde robots (Tien Kung, Tian Yi).
Omgevingen: De dataset dekt zowel huishoudelijke scenario's (keukens, slaapkamers, supermarkten) als industriële omgevingen (logistiek, laboratoria, assemblagelijnen).
Multimodaliteit: Naast visuele data (RGB-D) en proprioceptie, bevat de dataset 12.000 sequenties verrijkt met tactiele sensoren (kracht en richting van contact) en 20.000 mobiele manipulatie-trajecten.
Annotatie: Elke traject is gedetailleerd geannoteerd met natuurlijke taalbeschrijvingen, gegenereerd met behulp van een LLM (Gemini 2.5 Pro), wat het mogelijk maakt om lange taken op te splitsen in sub-taken.
Kwaliteitsborging: Een strikt proces met rotatieschijven voor operators en een multi-stadia inspectie workflow om fouten (zoals onbedoeld contact, onrustige bewegingen of data-anomalieën) te filteren.
Digital Twin: Er zijn high-fidelity simulatie-activa (USD/Isaac Sim) vrijgegeven, inclusief een gesimuleerde dataset van 20.000 trajecten die perfect overeenkomt met de real-world taken, wat sim-to-real transfer mogelijk maakt.

2. Het MIND-2 Systeem
Om de dataset te benutten, stellen de auteurs MIND-2 voor, een hiërarchisch "slow-fast" besturingssysteem:

Slow System (MIND-2-VLM): Een Vision-Language Model (gebaseerd op InternVL3-8B) dat fungeert als het "brein". Het analyseert de huidige staat en de lange-termijn instructie, en deelt deze op in grondige, uitvoerbare subdoelen (sub-tasks).
Fast System (MIND-2-VLA): Een Vision-Language-Action model dat de sub-taken uitvoert. Dit model is getraind met Implicit Q-Learning (IQL), een offline versterkingsleer-algoritme. IQL maakt het mogelijk om zowel succesvolle als gefaalde trajecten te gebruiken, waardoor het model leert om fouten te vermijden en robuustere acties te genereren.

Belangrijkste Bijdragen

RoboMIND 2.0: De eerste open dataset die simultaan tweehandige coördinatie, mobiele manipulatie, dexterous hands (handen met vingers) en hoge-resolutie tactiele sensoren ondersteunt.
Multidimensionale Diversiteit: In tegenstelling tot eerdere datasets die vaak in één dimensie excelleren (bijv. alleen objecten of alleen robots), biedt RoboMIND 2.0 gelijktijdige dekking van robotvorm, omgeving, taaksemantiek, faalmodi en multimodale sensoren.
High-Fidelity Digital Twin: Een volledig gesimuleerde omgeving met exacte replica's van real-world assets en een gesimuleerde dataset van 20k trajecten, wat kostenefficiënte training en validatie van sim-to-real transfer mogelijk maakt.
MIND-2 Framework: Een nieuw architectuurconcept dat semantische planning (VLM) koppelt aan precisie-uitvoering (VLA) via offline versterkingsleer, wat leidt tot robuuste prestaties in lange-horizon taken.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd om de dataset en het model te valideren:

Imitatielearning vs. VLA Modellen: Bij het evalueren van bestaande modellen (zoals ACT, DP3, $\pi_0$ , $\pi_0.5$ , XR-1) op de dataset, bleek dat 3D-aware imitatielearning-methoden (zoals DP3) beter presteerden dan 2D-methoden op tweehandige taken. Onder de Vision-Language-Action (VLA) modellen presteerde XR-1 het beste, dankzij zijn vermogen om over verschillende robotvormen te generaliseren.
Superioriteit van MIND-2: Voor lange-horizon mobiele manipulatie taken (bijv. samenwerken tussen een AgileX en Tian Yi robot in een supermarkt of industrieel lab) presteerde het MIND-2 systeem aanzienlijk beter dan bestaande single-task en VLA baselines.
- Op taken zoals het sorteren van materialen en het helpen bij de kassa bereikte MIND-2 (met Offline RL) success rates van 0.9 en 0.8, terwijl andere modellen vaak onder de 0.5 bleven.
Rol van Tactiele Sensoren: Het integreren van tactiele data in de input van VLA-modellen leidde tot meetbare verbeteringen in succespercentages, vooral bij taken die fijne manipulatie en fysiek contact vereisen.
Sim-to-Real Transfer: Training met een mix van real-world en gesimuleerde data (bijv. 1:1 of 1:5 verhouding) verbeterde de prestaties op fysieke robots consistent, wat de hoge kwaliteit van de digitale twin bevestigt.
Object Generalisatie: Modellen getraind op RoboMIND 2.0 toonden sterke generalisatie naar nieuwe objecten (verschillende kleuren, vormen, materialen) die niet in de trainingsdata zaten.

Betekenis en Impact

RoboMIND 2.0 is een mijlpaal voor het veld van embodied AI. Het lost het probleem op van gebrek aan diverse, multimodale real-world data, wat essentieel is voor het trainen van robuuste, generaliseerbare robotpolicies. Door de combinatie van grote schaal, diverse robotvormen, tactiele feedback en een bijbehorend simulatie-ecosysteem, stelt de dataset onderzoekers in staat om:

Cross-embodiment generalisatie te bestuderen (hoe een policy werkt op verschillende robottypes).
Lange-horizon redenering en planning te ontwikkelen voor complexe taken.
Tactiele feedback effectief te integreren in visuele modellen voor betere grip en manipulatie.
Kostenefficiënte training te realiseren door gebruik te maken van high-fidelity simulatie.

Het paper legt de basis voor de volgende generatie robotica, waarbij systemen niet langer beperkt zijn tot specifieke taken of omgevingen, maar echt veelzijdige, intelligente assistenten kunnen worden in zowel huishoudelijke als industriële contexten. De volledige dataset is openbaar beschikbaar gesteld via ModelScope.