💬 NLP

MiMo-Embodied: X-Embodied Foundation Model Technical Report

Il documento presenta MiMo-Embodied, il primo modello fondazionale open-source cross-embodied che raggiunge prestazioni all'avanguardia sia nella guida autonoma che nell'IA incarnata, sfruttando l'apprendimento multistadio, dati curati e il fine-tuning CoT/RL per dimostrare un forte trasferimento positivo tra questi due domini.

Autori originali: Xiaoshuai Hao, Lei Zhou, Zhijian Huang, Zhiwen Hou, Yingbo Tang, Lingfeng Zhang, Guang Li, Zheng Lu, Shuhuai Ren, Xianhui Meng, Yuchen Zhang, Jing Wu, Jinghui Lu, Chenxu Dang, Jiayi Guan, Jianhua Wu

Pubblicato 2026-04-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Xiaoshuai Hao, Lei Zhou, Zhijian Huang, Zhiwen Hou, Yingbo Tang, Lingfeng Zhang, Guang Li, Zheng Lu, Shuhuai Ren, Xianhui Meng, Yuchen Zhang, Jing Wu, Jinghui Lu, Chenxu Dang, Jiayi Guan, Jianhua Wu, Zhiyi Hou, Hanbing Li, Shumeng Xia, Mingliang Zhou, Yinan Zheng, Zihao Yue, Shuhao Gu, Hao Tian, Yuannan Shen, Jianwei Cui, Wen Zhang, Shaoqing Xu, Bing Wang, Haiyang Sun, Zeyu Zhu, Yuncheng Jiang, Zibin Guo, Chuhong Gong, Chaofan Zhang, Wenbo Ding, Kun Ma, Guang Chen, Rui Cai, Diyun Xiang, Heng Qu, Fuli Luo, Hangjun Ye, Long Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere due studenti molto diversi in una classe.

Studente A è un Robot Maggiordomo. È eccellente nel navigare in una cucina disordinata, nel capire quale parte di una tazza puoi afferrare e nel pianificare come piegare una camicia senza stropicciarla. È un esperto di "IA Embodied" (interazione con oggetti in una stanza).
Studente B è un'Auto a Guida Autonoma. È un esperto nel osservare la strada, prevedere se un pedone attraverserà fuori dalle strisce e decidere se frenare o girare a sinistra in un incrocio affollato. È un esperto di "Guida Autonoma".

Di solito, le scuole insegnano a questi studenti separatamente. Il Robot Maggiordomo non sa guidare e l'Auto a Guida Autonoma non sa raccogliere un cucchiaio.

Entra MiMo-Embodied.

Questo documento presenta un nuovo "Super Studente" creato da Xiaomi. È il primo modello open-source che combina con successo i cervelli del Robot Maggiordomo e dell'Auto a Guida Autonoma in un unico pacchetto. Pensaci come a un coltellino svizzero che è altrettanto bravo ad aprire una bottiglia di vino quanto a navigare in un'autostrada.

Come hanno costruito questo Super Studente?

I ricercatori non hanno semplicemente fuso i due insieme; hanno utilizzato una ricetta di addestramento in quattro fasi per assicurarsi che lo studente apprendesse tutto senza confondersi:

Fase 1: La classe "Stanza": Prima, hanno insegnato al modello tutto sulle stanze, gli oggetti e come muoversi all'interno di una casa. Hanno utilizzato dati su robot che raccolgono oggetti e comprendono la posizione delle cose nello spazio 3D.
Fase 2: La classe "Strada": Successivamente, hanno preso lo stesso studente e lo hanno inserito in un simulatore di guida. Gli hanno insegnato i semafori, le altre auto e come prevedere cosa potrebbe fare un camion davanti.
Fase 3: La classe "Pensa ad alta voce": Questo è il segreto. Invece di fornire solo la risposta, al modello è stato insegnato a pensare ad alta voce (Chain-of-Thought). Prima di dire "Gira a sinistra", impara a dire: "Vedo un semaforo rosso, quindi devo fermarmi. Vedo un'auto che gira, quindi devo aspettare". Questo aiuta il modello a capire perché sta prendendo una decisione.
Fase 4: La classe "Allenatore": Infine, hanno utilizzato una tecnica di apprendimento per rinforzo (come un allenatore che assegna punti per le buone giocate e penalità per quelle sbagliate). Questo ha perfezionato il modello per renderlo estremamente preciso, assicurandosi che non indovini, ma calcoli la mossa più sicura e logica.

Cosa può fare questo Super Studente?

Il documento ha testato MiMo-Embodied su 29 sfide diverse (benchmark) e ha scoperto che era il migliore in quasi tutte, battendo sia robot specializzati che auto specializzate, nonché grandi modelli di IA commerciali.

Nel mondo del "Robot Maggiordomo" (IA Embodied):

Predizione delle Affordances: Se gli mostri una foto di una sedia, non vede solo "sedia". Vede "qualcosa su cui puoi sederti" e "qualcosa di cui puoi afferrare il bracciolo". Sa esattamente dove toccare un oggetto per raccoglierlo.
Pianificazione delle Attività: Se dici: "Ho fame, portami uno spuntino", può scomporlo così: Vai in cucina -> Apri il frigorifero -> Trova la mela -> Portala qui.
Comprensione Spaziale: Sa che la "finestra" è lontana, il "tavolo" è vicino e il "gatto" è sotto la sedia. Può navigare in una stanza senza urtare le cose.

Nel mondo dell'"Auto a Guida Autonoma" (Guida Autonoma):

Percezione Ambientale: Può guardare una scena stradale caotica e individuare istantaneamente un semaforo rosso, un pedone che scende dal marciapiede e un camion parcheggiato sul lato.
Predizione dello Stato: Può indovinare cosa stanno pensando gli altri guidatori. "Quell'auto sta rallentando; probabilmente vuole girare." "Quel pedone sta aspettando; sta per attraversare."
Pianificazione della Guida: Non si limita a guidare; guida in modo sicuro. Può pianificare un cambio di corsia fluido o una fermata delicata, spiegando il suo ragionamento come farebbe un guidatore umano.

La Grande Scoperta: Il "Cross-Training" Funziona

La parte più entusiasmante del documento è la scoperta che imparare una abilità aiuta l'altra.

Di solito, si pensava che un modello addestrato su dati di guida avrebbe dimenticato come raccogliere una tazza e un modello addestrato sui robot avrebbe dimenticato come guidare. Ma MiMo-Embodied ha dimostrato che queste abilità in realtà si rafforzano a vicenda.

Imparare a prevedere dove andrà un'auto aiuta il modello a capire come si muovono gli oggetti in una stanza.
Imparare a capire come afferrare una maniglia aiuta il modello a comprendere i vincoli fisici di un volante.

La Conclusione

MiMo-Embodied è un "modello fondazionale" che funge da cervello universale per le macchine fisiche. Che la macchina sia un aspirapolvere robotico, un robot umanoide o un'auto a guida autonoma, questo singolo modello può comprendere il mondo, pianificare le sue azioni ed eseguirle in sicurezza.

Il documento afferma che questo è un grande passo avanti perché abbatte il muro tra "robot da interno" e "auto da esterno", dimostrando che una singola IA unificata può gestire la complessità dell'intero mondo fisico. Hanno persino reso il codice e il modello disponibili per chiunque li voglia utilizzare e studiare.

Riepilogo Tecnico: MiMo-Embodied

1. Enunciato del Problema

L'attuale panorama dei Modelli Vision-Language (VLM) è caratterizzato da un significativo divario di dominio tra l'IA Incarnata (robotica indoor, manipolazione, navigazione) e la Guida Autonoma (traffico outdoor, controllo veicoli). I modelli esistenti sono tipicamente specializzati per un singolo dominio, portando a:

Mancanza di Modelli Unificati: Nessun VLM open-source unico colma le capacità richieste sia per l'interazione fisica indoor che per la guida outdoor.
Generalizzazione Cross-Dominio Limitata: I modelli specializzati falliscono nel trasferire la comprensione spaziale e le capacità di ragionamento attraverso ambienti indoor e outdoor diversificati.
Valutazione Incompleta: I benchmark esistenti valutano le capacità in isolamento, mancando di un quadro completo per valutare le prestazioni cross-incarnazione.

MiMo-Embodied affronta queste sfide introducendo il primo modello fondazionale open-source, cross-incarnazione, che unifica la Guida Autonoma e l'IA Incarnata, mirando a raggiungere prestazioni all'avanguardia (SOTA) in entrambi i domini simultaneamente.

2. Metodologia

2.1 Architettura del Modello

MiMo-Embodied è costruito sull'architettura MiMo-VL, composta da tre componenti fondamentali:

Vision Transformer (ViT): Utilizza l'encoder MiMo-VL per elaborare input ad alta risoluzione, inclusi singole immagini, sequenze di immagini multiple e video.
Proiettore: Un Perceptron Multistrato (MLP) che mappa i token visivi in uno spazio latente allineato con il Large Language Model (LLM).
Large Language Model (LLM): Il motore di ragionamento responsabile della comprensione del testo, dell'inferenza logica e della generazione di risposte coerenti.

Il modello supporta diverse modalità di input (immagini, video) e produce output basati su testo per ragionamento, piani d'azione e previsioni di coordinate.

2.2 Costruzione del Dataset di Addestramento

Gli autori hanno curato un dataset massiccio e diversificato che copre tre categorie:

Dataset Generale: Derivato dal corpus di MiMo-VL, include immagini ad alta risoluzione, video e dati di ragionamento sintetici per stabilire una comprensione fondamentale visivo-linguistica.
Dataset IA Incarnata: Focalizzato su tre capacità fondamentali:
- Previsione delle Affordance: Tratto da PixMo-Points, RoboAfford e RoboRefIt per localizzazione fine-granulare e ragionamento sull'interazione.
- Pianificazione del Compito: Integrato con Cosmos-Reason1, EgoPlan-IT e RoboVQA per ragionamento a lungo orizzonte e sequenziamento delle azioni.
- Comprensione Spaziale: Utilizza SQA3D, VLM-3R, RefSpatial ed EmbSpatial per il ragionamento spaziale 3D e la navigazione.
Dataset Guida Autonoma: Strutturato attorno a tre moduli funzionali:
- Percezione Ambientale: Comprensione generale della scena e localizzazione regionale degli oggetti (es. CODA-LM, DriveLM, nuScenes-QA).
- Previsione dello Stato: Previsione delle intenzioni e modellazione dell'interazione multi-agente.
- Pianificazione della Guida: Decisioni d'azione e ragionamento spiegabile (es. BDD-X, NuInstruct).

2.3 Strategia di Addestramento in Quattro Fasi

Per ottenere un apprendimento sinergico senza oblio catastrofico, il team ha adottato una strategia progressiva di addestramento in quattro fasi:

Fase 1 (SFT IA Incarnata): Fine-tuning su dati generali + dataset IA Incarnata per stabilire affordance fondamentali, pianificazione e ragionamento spaziale.
Fase 2 (SFT Guida Autonoma): Introduzione di supervisione mista dai dati di Guida Autonoma per integrare la comprensione cross-dominio (percezione, previsione, pianificazione).
Fase 3 (SFT Catena di Pensiero): Miglioramento della trasparenza del ragionamento addestrando su razionali CoT generati, costringendo il modello a scomporre problemi complessi in passaggi logici sequenziali.
Fase 4 (Fine-Tuning con Apprendimento per Rinforzo): Applicazione dell'Ottimizzazione della Politica Relativa di Gruppo (GRPO) per rifinire le prestazioni su compiti specifici. Questa fase utilizza segnali di ricompensa specifici per il compito (es. corrispondenza esatta per scelta multipla, IoU per il grounding spaziale) per ottimizzare correttezza e affidabilità.

3. Contributi Chiave

Primo Modello Unificato Cross-Incarnazione: MiMo-Embodied è il primo VLM open-source a integrare con successo ed eccellere sia nei compiti di Guida Autonoma che in quelli di IA Incarnata.
Benchmarking Completo: Gli autori hanno stabilito un quadro di valutazione rigoroso che copre 17 benchmark di IA Incarnata e 12 benchmark di Guida Autonoma, fornendo una visione olistica delle capacità cross-incarnazione.
Paradigma di Addestramento Innovativo: La strategia di addestramento multistadio proposta (Generale $\to$ Specializzato $\to$ CoT $\to$ RL) dimostra che esiste un trasferimento positivo tra compiti incarnati indoor e outdoor, permettendo un rafforzamento reciproco piuttosto che interferenze.
Rilascio Open-Source: Il modello, il codice e le strategie dei dati di addestramento sono pubblicamente disponibili, favorendo ulteriori ricerche nell'intelligenza incarnata unificata.

4. Risultati

4.1 Prestazioni Quantitative

MiMo-Embodied (7 miliardi di parametri) ha raggiunto prestazioni State-of-the-Art (SOTA) a tutto tondo, superando:

VLM Generali: Inclusi GPT-4o, Claude-Sonnet-4, Gemini-2.5-Pro e Qwen-VL-Max.
Modelli Specializzati: Superando modelli dedicati all'IA Incarnata (es. RoboBrain-2.0, VeBrain) e modelli di Guida Autonoma (es. DriveLMM-o1, RoboTron-Drive).

Metriche Chiave:

IA Incarnata: Punteggi massimi su 17 benchmark, in particolare nella Previsione delle Affordance (es. 65.50 su Part-Afford, 69.81 su RoboAfford-Eval) e nella Comprensione Spaziale (88.82 su CV-Bench).
Guida Autonoma: Prestazioni leader su 12 benchmark, inclusa la Percezione (58.55 su CODA-LM, 76.14 su DRAMA) e la Pianificazione (83.58 su NuInstruct, 80.99 su DriveAction).
Benchmark NAVSIM: Nella pianificazione della traiettoria, MiMo-Embodied ha raggiunto un Punteggio del Modello di Guida Predittivo (PDMS) di 91.0, superando modelli più grandi come InternVL3-8B e ReCogDrive.

4.2 Prestazioni Qualitative

Navigazione nel Mondo Reale: Ha eseguito con successo compiti complessi di navigazione domestica (es. "trova l'aspirapolvere nella mensa") con localizzazione spaziale precisa, superando le baseline nell'identificazione degli oggetti target e nella gestione di query al plurale.
Manipolazione: Ha dimostrato un ragionamento sulle affordance superiore, identificando correttamente le parti impugnabili (maniglie, coperchi) e le zone di posizionamento in scene disordinate.
Scenari di Guida: Ha generato decisioni di guida sicure e interpretabili per scenari complessi come svolte agli incroci, inversioni di marcia e sorpassi, fornendo ragionamenti espliciti per azioni critiche per la sicurezza.

4.3 Studi di Ablazione

Gli esperimenti hanno confermato che la strategia di addestramento multistadio è critica. I modelli addestrati solo su singoli domini hanno subito cali di prestazioni nell'altro. La miscelazione diretta dei dati senza apprendimento a fasi ha portato a un leggero degrado delle prestazioni nei compiti di guida. L'approccio progressivo proposto ha prodotto il miglior equilibrio, migliorando le prestazioni di IA Incarnata del 4% e quelle di Guida dell'8.1% rispetto a una baseline semplice di dati misti.

5. Significato

MiMo-Embodied rappresenta un cambiamento fondamentale nella ricerca sull'IA incarnata, dimostrando che l'intelligenza fisica indoor e outdoor non sono mutualmente esclusive ma si rafforzano a vicenda.

Intelligenza Unificata: Dimostra che un singolo modello fondazionale può padroneggiare le sfumature della manipolazione robotica e della navigazione veicolare, suggerendo una strada verso agenti incarnati a scopo generale.
Sicurezza e Spiegabilità: L'integrazione della Catena di Pensiero e del fine-tuning RL garantisce che le decisioni del modello in domini critici per la sicurezza (come la guida) siano non solo accurate, ma anche interpretabili e logicamente solide.
Impatto sulla Comunità: Rendendo open-source il modello e la sua metodologia di addestramento, MiMo-Embodied abbassa le barriere per lo sviluppo di sistemi incarnati unificati, accelerando i progressi sia nell'industria della robotica che in quella della guida autonoma.

In conclusione, MiMo-Embodied stabilisce un nuovo standard per i modelli fondazionali cross-incarnazione, validando che un approccio unificato all'interazione con il mondo fisico produce generalizzazione e prestazioni superiori rispetto a silos specializzati.