MiMo-Embodied: X-Embodied Foundation Model Technical Report
Le papier présente MiMo-Embodied, le premier modèle fondation open-source multi-corpus qui atteint les performances les plus avancées à la fois dans la conduite autonome et l'IA incarnée en exploitant un apprentissage multi-étapes, des données curatées et un affinage par CoT/RL pour démontrer un transfert positif robuste entre ces deux domaines.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez deux élèves très différents dans une salle de classe.
- L'Élève A est un Domestique Robot. Il est excellent pour naviguer dans une cuisine en désordre, déterminer quelle partie d'une tasse vous pouvez tenir, et planifier comment plier une chemise sans la froisser. Il est expert en « IA Incarnée » (interagir avec des objets dans une pièce).
- L'Élève B est une Voiture Autonome. Il est expert pour surveiller la route, prédire si un piéton va traverser en dehors des clous, et décider de freiner ou de tourner à gauche à une intersection animée. Il est expert en « Conduite Autonome ».
Habituellement, les écoles enseignent à ces élèves séparément. Le Domestique Robot ne sait pas conduire, et la Voiture Autonome ne sait pas ramasser une cuillère.
Voici MiMo-Embodied.
Ce papier présente un nouvel « Super-Élève » créé par Xiaomi. C'est le premier modèle open-source qui combine avec succès les cerveaux du Domestique Robot et de la Voiture Autonome en un seul package. Pensez-y comme à un couteau suisse qui est tout aussi habile pour ouvrir une bouteille de vin que pour naviguer sur une autoroute.
Comment ont-ils construit cet Super-Élève ?
Les chercheurs n'ont pas simplement mélangé les deux ; ils ont utilisé une recette d'entraînement en quatre étapes pour s'assurer que l'élève apprenait tout sans se confondre :
- Étape 1 : La classe « Pièce » : D'abord, ils ont enseigné au modèle tout ce qui concerne les pièces, les objets et la façon de se déplacer à l'intérieur d'une maison. Ils ont utilisé des données sur des robots ramassant des objets et comprenant où se trouvent les choses dans l'espace 3D.
- Étape 2 : La classe « Route » : Ensuite, ils ont pris ce même élève et l'ont placé dans un simulateur de conduite. Ils lui ont appris les feux de signalisation, les autres voitures, et comment prédire ce qu'un camion devant pourrait faire.
- Étape 3 : La classe « Penser à voix haute » : C'est la sauce secrète. Au lieu de donner simplement la réponse, le modèle a été appris à penser à voix haute (Chaîne de Pensée). Avant de dire « Tournez à gauche », il apprend à dire : « Je vois un feu rouge, donc je dois m'arrêter. Je vois une voiture tourner, donc je dois attendre. » Cela aide le modèle à comprendre pourquoi il prend une décision.
- Étape 4 : La classe « Coach » : Enfin, ils ont utilisé une technique d'apprentissage par renforcement (comme un coach donnant des points pour de bons jeux et des pénalités pour de mauvais). Cela a affiné le modèle pour qu'il soit extrêmement précis, s'assurant qu'il ne devine pas, mais calcule le mouvement le plus sûr et le plus logique.
Que peut faire cet Super-Élève ?
Le papier a testé MiMo-Embodied sur 29 défis différents (benchmarks) et a constaté qu'il était le meilleur dans presque tous, battant à la fois des robots spécialisés et des voitures spécialisées, ainsi que de grands modèles d'IA commerciaux.
Dans le monde du « Domestique Robot » (IA Incarnée) :
- Prédiction des Affordances : Si vous lui montrez une photo d'une chaise, il ne voit pas juste « chaise ». Il voit « quelque chose sur quoi vous pouvez vous asseoir » et « quelque chose dont vous pouvez saisir le bras ». Il sait exactement où toucher un objet pour le ramasser.
- Planification de Tâches : Si vous dites : « J'ai faim, apportez-moi une collation », il peut décomposer cela : Allez à la cuisine -> Ouvrez le réfrigérateur -> Trouvez la pomme -> Apportez-la ici.
- Compréhension Spatiale : Il sait que la « fenêtre » est loin, que la « table » est proche, et que le « chat » est sous la chaise. Il peut naviguer dans une pièce sans heurter les choses.
Dans le monde de la « Voiture Autonome » (Conduite Autonome) :
- Perception de l'Environnement : Il peut regarder une scène de rue chaotique et repérer instantanément un feu rouge, un piéton descendant du trottoir, et un camion garé sur le côté.
- Prédiction de Statut : Il peut deviner ce que pensent les autres conducteurs. « Cette voiture ralentit ; ils veulent probablement tourner. » « Ce piéton attend ; il va traverser. »
- Planification de Conduite : Il ne conduit pas seulement ; il conduit en toute sécurité. Il peut planifier un changement de voie fluide ou un arrêt doux, en expliquant son raisonnement comme le ferait un conducteur humain.
La Grande Découverte : « L'Entraînement Croisé » Fonctionne
La partie la plus excitante du papier est la découverte qu'apprendre une compétence aide l'autre.
Habituellement, les gens pensaient qu'un modèle entraîné sur des données de conduite oublierait comment ramasser une tasse, et qu'un modèle entraîné sur des robots oublierait comment conduire. Mais MiMo-Embodied a prouvé que ces compétences se renforcent mutuellement.
- Apprendre à prédire où une voiture ira aide le modèle à comprendre comment les objets se déplacent dans une pièce.
- Apprendre à déterminer comment saisir une poignée aide le modèle à comprendre les contraintes physiques d'un volant.
La Conclusion
MiMo-Embodied est un « modèle de fondation » qui agit comme un cerveau universel pour les machines physiques. Que la machine soit un robot aspirateur, un robot humanoïde ou une voiture autonome, ce modèle unique peut comprendre le monde, planifier ses actions et les exécuter en toute sécurité.
Le papier affirme qu'il s'agit d'une avancée majeure car il brise le mur entre les « robots d'intérieur » et les « voitures d'extérieur », montrant qu'une IA unique et unifiée peut gérer la complexité de tout le monde physique. Ils ont même rendu le code et le modèle disponibles pour que tout le monde puisse les utiliser et les étudier.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.