💬 NLP

MiMo-Embodied: X-Embodied Foundation Model Technical Report

Het artikel introduceert MiMo-Embodied, het eerste open-source cross-embodied fundamentele model dat state-of-the-art prestaties bereikt in zowel autonoom rijden als embodied AI door gebruik te maken van multi-stadia leren, gecureerde data en CoT/RL fine-tuning om sterke positieve transfer tussen deze twee domeinen aan te tonen.

Oorspronkelijke auteurs: Xiaoshuai Hao, Lei Zhou, Zhijian Huang, Zhiwen Hou, Yingbo Tang, Lingfeng Zhang, Guang Li, Zheng Lu, Shuhuai Ren, Xianhui Meng, Yuchen Zhang, Jing Wu, Jinghui Lu, Chenxu Dang, Jiayi Guan, Jianhua Wu

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaoshuai Hao, Lei Zhou, Zhijian Huang, Zhiwen Hou, Yingbo Tang, Lingfeng Zhang, Guang Li, Zheng Lu, Shuhuai Ren, Xianhui Meng, Yuchen Zhang, Jing Wu, Jinghui Lu, Chenxu Dang, Jiayi Guan, Jianhua Wu, Zhiyi Hou, Hanbing Li, Shumeng Xia, Mingliang Zhou, Yinan Zheng, Zihao Yue, Shuhao Gu, Hao Tian, Yuannan Shen, Jianwei Cui, Wen Zhang, Shaoqing Xu, Bing Wang, Haiyang Sun, Zeyu Zhu, Yuncheng Jiang, Zibin Guo, Chuhong Gong, Chaofan Zhang, Wenbo Ding, Kun Ma, Guang Chen, Rui Cai, Diyun Xiang, Heng Qu, Fuli Luo, Hangjun Ye, Long Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je twee zeer verschillende studenten hebt in een klaslokaal.

Student A is een Robotbediende. Deze is uitstekend in het navigeren door een rommelige keuken, het bepalen welk deel van een kopje je kunt vasthouden, en het plannen van hoe een overhemd moet worden gevouwen zonder kreukels. Ze is een expert in "Embodied AI" (interactie met objecten in een ruimte).
Student B is een Zelfrijdende Auto. Deze is een expert in het observeren van de weg, het voorspellen of een voetganger over de weg zal lopen, en het beslissen of er moet worden afgeremd of linksaf moet worden gekeerd op een drukke kruising. Ze is een expert in "Autonoom Rijden".

Meestal worden deze studenten afzonderlijk onderwezen. De Robotbediende weet niet hoe te rijden, en de Zelfrijdende Auto weet niet hoe een lepel op te pakken.

Maak kennis met MiMo-Embodied.

Dit artikel introduceert een nieuwe "Superstudent" die is ontwikkeld door Xiaomi. Het is het eerste open-source model dat succesvol de hersenen van de Robotbediende en de Zelfrijdende Auto combineert in één pakket. Denk hierbij aan een Zwitsers zakmes dat net zo goed een fles wijn opent als het een snelweg navigeert.

Hoe hebben ze deze Superstudent gebouwd?

De onderzoekers hebben de twee niet zomaar samengevoegd; ze gebruikten een trainingsrecept in vier stappen om ervoor te zorgen dat de student alles leerde zonder in de war te raken:

Stap 1: De "Kamer"-klas: Eerst leerden ze het model alles over kamers, objecten en hoe je je binnen een huis verplaatst. Ze gebruikten data over robots die dingen oppakken en begrijpen waar dingen zich bevinden in de 3D-ruimte.
Stap 2: De "Weg"-klas: Vervolgens zetten ze diezelfde student in een rij-simulatie. Ze leerden hen over verkeerslichten, andere auto's en hoe ze kunnen voorspellen wat een vrachtwagen voor hen zou kunnen doen.
Stap 3: De "Hardop Denken"-klas: Dit is het geheim. In plaats van alleen het antwoord te geven, werd het model geleerd om hardop na te denken (Chain-of-Thought). Voordat het zegt "Linksaf", leert het te zeggen: "Ik zie een rood licht, dus ik moet stoppen. Ik zie een auto die afslaat, dus ik moet wachten." Dit helpt het model te begrijpen waarom het een beslissing neemt.
Stap 4: De "Coach"-klas: Tot slot gebruikten ze een versterkende leertechniek (zoals een coach die punten geeft voor goede zetten en strafpunten voor slechte). Dit verfijnde het model om extra nauwkeurig te zijn, zodat het niet alleen gokt, maar de veiligste en meest logische zet berekent.

Wat kan deze Superstudent doen?

Het artikel testte MiMo-Embodied op 29 verschillende uitdagingen (benchmarks) en vond dat het bij bijna alle beter was dan zowel gespecialiseerde robots als gespecialiseerde auto's, evenals grote commerciële AI-modellen.

In de wereld van de "Robotbediende" (Embodied AI):

Affordance-voorspelling: Als je het een foto van een stoel toont, ziet het niet alleen "stoel". Het ziet "iets waar je op kunt zitten" en "iets waarvan je de armleuning kunt vastgrijpen". Het weet precies waar een object aangeraakt moet worden om het op te pakken.
Taakplanning: Als je zegt: "Ik heb honger, haal me een snack", kan het dat ontleden: Ga naar de keuken -> Open de koelkast -> Zoek de appel -> Breng het hierheen.
Ruimtelijk begrip: Het weet dat het "raam" ver weg is, de "tafel" dichtbij is, en de "kat" onder de stoel zit. Het kan een kamer navigeren zonder tegen dingen aan te botsen.

In de wereld van de "Zelfrijdende Auto" (Autonoom Rijden):

Omgevingsperceptie: Het kan naar een chaotisch straatbeeld kijken en direct een rood verkeerslicht, een voetganger die van de stoep stapt, en een vrachtwagen die aan de kant geparkeerd staat, opsporen.
Statusvoorspelling: Het kan raden wat andere bestuurders denken. "Die auto vertraagt; ze willen waarschijnlijk afslaan." "Die voetganger wacht; ze staan op het punt over te steken."
Rijplanning: Het rijdt niet alleen; het rijdt veilig. Het kan een soepele rijstrookwissel of een zachte stop plannen en zijn redenering uitleggen zoals een menselijke bestuurder dat zou doen.

De grote ontdekking: "Cross-training" werkt

Het meest spannende deel van het artikel is de ontdekking dat het leren van één vaardigheid de andere helpt.

Meestal dachten mensen dat een model dat is getraind op rijdata zou vergeten hoe het een kopje moet oppakken, en dat een model dat is getraind op robots zou vergeten hoe te rijden. Maar MiMo-Embodied bewees dat deze vaardigheden elkaar in feite versterken.

Het leren voorspellen waar een auto naartoe gaat, helpt het model te begrijpen hoe objecten zich in een kamer bewegen.
Het leren uitzoeken hoe een handvat moet worden vastgegrepen, helpt het model de fysieke beperkingen van een stuurwiel te begrijpen.

De conclusie

MiMo-Embodied is een "fundamenteel model" dat fungeert als een universeel brein voor fysieke machines. Of de machine nu een stofzuigrobot, een humanoïde robot of een zelfrijdende auto is, dit ene model kan de wereld begrijpen, zijn acties plannen en ze veilig uitvoeren.

Het artikel beweert dat dit een grote stap voorwaarts is omdat het de muur tussen "binnenlandse robots" en "buitenlandse auto's" afbreekt, en laat zien dat een enkel, verenigd AI-systeem de complexiteit van de hele fysieke wereld aankan. Ze hebben zelfs de code en het model beschikbaar gemaakt voor iedereen om te gebruiken en te bestuderen.

Technische Samenvatting: MiMo-Embodied

1. Probleemstelling

Het huidige landschap van Vision-Language Models (VLM's) wordt gekenmerkt door een aanzienlijke domein-kloof tussen Embodied AI (binnenrobotica, manipulatie, navigatie) en Autonoom Rijden (buitenverkeer, voertuigbesturing). Bestaande modellen zijn doorgaans gespecialiseerd voor één domein, wat leidt tot:

Gebrek aan Gecombineerde Modellen: Er bestaat geen enkel open-source VLM dat de vaardigheden voor zowel fysieke interactie binnenshuis als rijden buitenshuis verenigt.
Beperkte Cross-Domein Generalisatie: Gespecialiseerde modellen falen in het overdragen van ruimtelijk begrip en redeneervaardigheden over diverse binnen- en buitenomgevingen.
Onvolledige Evaluatie: Bestaande benchmarks beoordelen vaardigheden geïsoleerd, zonder een uitgebreid kader om prestaties over verschillende embodiment-vormen te evalueren.

MiMo-Embodied adresseert deze uitdagingen door de eerste open-source, cross-embodied foundation model te introduceren dat Autonoom Rijden en Embodied AI verenigt, met als doel state-of-the-art (SOTA) prestaties in beide domeinen gelijktijdig te bereiken.

2. Methodologie

2.1 Modelarchitectuur

MiMo-Embodied is gebouwd op de MiMo-VL-architectuur, bestaande uit drie kerncomponenten:

Vision Transformer (ViT): Gebruikt de MiMo-VL-encoder om hoogresolutie-invoer te verwerken, inclusief enkele afbeeldingen, sequenties van meerdere afbeeldingen en video's.
Projector: Een Multi-Layer Perceptron (MLP) die visuele tokens afbeeldt op een latente ruimte die is uitgelijnd met het Large Language Model (LLM).
Large Language Model (LLM): De redeneermotor die verantwoordelijk is voor tekstbegrip, logische inferentie en het genereren van samenhangende antwoorden.

Het model ondersteunt diverse inputmodaliteiten (afbeeldingen, video's) en geeft tekstgebaseerde redenering, actieplannen en coördinaatvoorspellingen als output.

2.2 Constructie van de Trainingsdataset

De auteurs hebben een enorme, diverse dataset samengesteld die drie categorieën omvat:

Algemene Dataset: Afgeleid van het corpus van MiMo-VL, inclusief hoogresolutie-afbeeldingen, video's en synthetische redeneringsdata om fundamenteel visueel-taalbegrip te vestigen.
Embodied AI Dataset: Gericht op drie kernvaardigheden:
- Affordance Predictie: Afkomstig van PixMo-Points, RoboAfford en RoboRefIt voor fijnmazige lokalisatie en interactie-redenering.
- Taakplanning: Geïntegreerd Cosmos-Reason1, EgoPlan-IT en RoboVQA voor redenering op lange termijn en het sequentiëren van acties.
- Ruimtelijk Begrip: Gebruik gemaakt van SQA3D, VLM-3R, RefSpatial en EmbSpatial voor 3D ruimtelijke redenering en navigatie.
Autonoom Rijden Dataset: Gestructureerd rond drie functionele modules:
- Omgevingsperceptie: Algemene scenebegrip en regionale objectlokalisatie (bijv. CODA-LM, DriveLM, nuScenes-QA).
- Statusvoorspelling: Intentvoorspelling en modellering van multi-agent interacties.
- Rijplanning: Besluitvorming over acties en verklaarbare redenering (bijv. BDD-X, NuInstruct).

2.3 Vier-fase Trainingsstrategie

Om synergetisch leren te bereiken zonder catastrofaal vergeten, hanteerde het team een progressieve vier-fase trainingsstrategie:

Fase 1 (Embodied AI SFT): Fine-tuning op algemene data + Embodied AI-datasets om kern-affordance, planning en ruimtelijke redenering te vestigen.
Fase 2 (Autonoom Rijden SFT): Introductie van gemengde supervisie vanuit Autonoom Rijden-data om cross-domein begrip te integreren (perceptie, voorspelling, planning).
Fase 3 (Chain-of-Thought SFT): Versterking van de transparantie van redenering door training op gegenereerde CoT-rationales, waardoor het model complexe problemen moet ontleden in sequentiële logische stappen.
Fase 4 (Reinforcement Learning Fine-Tuning): Toepassing van Group Relative Policy Optimization (GRPO) om prestaties op specifieke taken te verfijnen. Deze fase maakt gebruik van taakspecifieke beloningssignalen (bijv. exacte overeenkomst voor meerkeuzevragen, IoU voor ruimtelijke grounding) om correctheid en betrouwbaarheid te optimaliseren.

3. Belangrijkste Bijdragen

Eerste Gecombineerde Cross-Embodied Model: MiMo-Embodied is het eerste open-source VLM dat succesvol Autonoom Rijden en Embodied AI-taken integreert en uitblinkt in beide.
Uitgebreide Benchmarking: De auteurs hebben een rigoureus evaluatiekader opgezet dat 17 Embodied AI-benchmarks en 12 Autonoom Rijden-benchmarks omvat, waardoor een holistisch beeld van cross-embodiment-vaardigheden wordt geboden.
Nieuw Trainingsparadigma: De voorgestelde meerfasige trainingsstrategie (Algemeen $\to$ Gespecialiseerd $\to$ CoT $\to$ RL) toont aan dat positieve transfer bestaat tussen binnen- en buiten-embodied taken, wat wederzijdse versterking mogelijk maakt in plaats van interferentie.
Open-Source Release: Het model, de code en de trainingsdatastrategieën zijn publiek beschikbaar, wat verdere research in unified embodied intelligence stimuleert.

4. Resultaten

4.1 Kwantitatieve Prestaties

MiMo-Embodied (7B parameters) behaalde State-of-the-Art (SOTA) prestaties in alle opzichten, en presteerde beter dan:

Algemene VLM's: Inclusief GPT-4o, Claude-Sonnet-4, Gemini-2.5-Pro en Qwen-VL-Max.
Gespecialiseerde Modellen: Het overtrof toegewijde Embodied-modellen (bijv. RoboBrain-2.0, VeBrain) en Autonoom Rijden-modellen (bijv. DriveLMM-o1, RoboTron-Drive).

Belangrijke Metrieken:

Embodied AI: Hoogste scores op 17 benchmarks, met name in Affordance Predictie (bijv. 65,50 op Part-Afford, 69,81 op RoboAfford-Eval) en Ruimtelijk Begrip (88,82 op CV-Bench).
Autonoom Rijden: Toonaangevende prestaties op 12 benchmarks, waaronder Perceptie (58,55 op CODA-LM, 76,14 op DRAMA) en Planning (83,58 op NuInstruct, 80,99 op DriveAction).
NAVSIM Benchmark: In trajectplanning behaalde MiMo-Embodied een Predictive Driver Model Score (PDMS) van 91,0, en presteerde beter dan grotere modellen zoals InternVL3-8B en ReCogDrive.

4.2 Kwalitatieve Prestaties

Navigatie in de Reële Wereld: Succesvolle uitvoering van complexe huishoudelijke navigatietaken (bijv. "zoek de stofzuiger in de kantine") met precieze ruimtelijke lokalisatie, en presteerde beter dan baselines bij het identificeren van doelobjecten en het afhandelen van meervoudige queries.
Manipulatie: Toonde superieure affordance-redenering, waarbij correct grijpbare delen (handvatten, deksels) en plaatsingszones in rommelige scènes werden geïdentificeerd.
Rijscenario's: Genereerde veilige, interpreteerbare rijbeslissingen voor complexe scenario's zoals bochten op kruispunten, U-bochten en inhalen, met expliciete redenering voor veiligheidskritieke acties.

4.3 Ablatiestudies

Experimenten bevestigden dat de meerfasige trainingsstrategie cruciaal is. Modellen die alleen op enkele domeinen werden getraind, leden aan prestatiedalingen in het andere domein. Het direct mengen van data zonder gefaseerd leren leidde tot een lichte prestatiedegradatie in rijtaken. De voorgestelde progressieve aanpak leverde de beste balans op, met een verbetering van 4% in Embodied-prestaties en 8,1% in Rijprestaties ten opzichte van een eenvoudige gemengde-data-baseline.

5. Betekenis

MiMo-Embodied vertegenwoordigt een cruciale verschuiving in het onderzoek naar embodied AI door aan te tonen dat fysieke intelligentie binnenshuis en buitenshuis niet wederzijds uitsluitend zijn, maar elkaar versterken.

Gecombineerde Intelligentie: Het bewijst dat een enkel foundation model de nuances van robotmanipulatie en voertuignavigatie kan beheersen, wat wijst op een weg naar general-purpose embodied agents.
Veiligheid en Verklaarbaarheid: De integratie van Chain-of-Thought en RL-finetuning zorgt ervoor dat de beslissingen van het model in veiligheidskritieke domeinen (zoals rijden) niet alleen accuraat zijn, maar ook interpreteerbaar en logisch onderbouwd.
Impact op de Gemeenschap: Door het open-source maken van het model en de trainingsmethodologie verlaagt MiMo-Embodied de drempel voor het ontwikkelen van unified embodied systemen, wat de vooruitgang in zowel de robotica- als de autonoom rijden-industrie versnelt.

Concluderend stelt MiMo-Embodied een nieuwe standaard voor cross-embodied foundation models, en valideert dat een gecombineerde aanpak van interactie met de fysieke wereld superieure generalisatie en prestaties oplevert in vergelijking met gespecialiseerde silo's.