💻 computer science

Riemann-1.0: An Embodied World Action Model for Physical AI

Riemann-1.0 est un modèle d'action mondiale autorégressif causal et unifié qui intègre des observations multi-vues, des états de robots et des actions dans un cadre unique, exploitant une stratégie de pré-entraînement progressif sur plus de 200 000 heures de données incarnées diverses pour atteindre des performances de pointe tant dans les tâches de manipulation à long horizon en simulation que dans le monde réel.

Auteurs originaux : Haofeng Sun, Jiangbo Pei, Fei Kang, Zexiang Liu, Yaokun Li, Boyi Jiang, Hua Xue, Cindy Zhou, Wei Li, Yichen Wei, Mengyin An, Fanliang Zhao, Biao Jiang, Zile Wang, Yang Liu, Yangguang Li

Publié 2026-08-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haofeng Sun, Jiangbo Pei, Fei Kang, Zexiang Liu, Yaokun Li, Boyi Jiang, Hua Xue, Cindy Zhou, Wei Li, Yichen Wei, Mengyin An, Fanliang Zhao, Biao Jiang, Zile Wang, Yang Liu, Yangguang Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'intelligence artificielle est depuis longtemps une maîtresse du domaine numérique, capable de lire du texte, de reconnaître des images et de résoudre des énigmes dans les limites d'un écran d'ordinateur. Mais pour que les machines puissent véritablement nous rejoindre dans le monde physique, elles doivent faire plus que simplement comprendre ce qu'elles voient ; elles doivent apprendre à agir en son sein. C'est là tout le défi de l'intelligence incarnée : apprendre aux robots à percevoir leur environnement, à raisonner sur la cause et l'effet, et à exécuter des mouvements physiques avec la même fluidité qu'un humain utilise pour prendre une tasse ou plier une chemise. Pour qu'une machine réussisse, elle a besoin d'un modèle du monde qui comprenne non seulement l'apparence des objets, mais aussi la manière dont ils bougent et changent lorsqu'ils sont touchés. Elle doit apprendre que pousser un bloc le fait glisser, et que soulever un couvercle révèle ce qui se trouve à l'intérieur. Jusqu'à présent, créer un système unique capable à la fois de planifier ces actions physiques et de prédire les conséquences visuelles de ces actions a constitué un obstacle difficile, nécessitant souvent des systèmes distincts pour la pensée et pour le mouvement.

Une équipe de chercheurs a introduit un nouveau système appelé Riemann-1.0, conçu pour combler cette lacune en traitant les actions d'un robot et les changements qui en résultent comme une histoire unique et continue. Au lieu de construire des outils séparés pour décider de quoi faire et des outils pour imaginer ce qui va se passer ensuite, ce modèle apprend à faire les deux simultanément. Il repose sur un principe simple mais puissant : dans le monde réel, une action se produit toujours avant que le résultat ne soit vu. Si un robot tend la main vers une cuillère, le mouvement se produit d'abord, et le changement visuel — la cuillère qui bouge — suit. Riemann-1.0 est construit pour respecter cet ordre, apprenant d'une vaste collection de données vidéo et de mouvement pour prédire exactement ce qu'un robot devrait faire ensuite et à quoi le monde ressemblera après qu'il l'aura fait.

Pour enseigner ce système, les chercheurs ont rassemblé une immense bibliothèque d'expériences, totalisant plus de 200 000 heures d'interaction. Cette collection n'était pas seulement un amas de vidéos de robots ; c'était un mélange soigneusement organisé de trois types de matériel d'apprentissage différents. Premièrement, ils ont inclus des milliers d'heures de vidéos enregistrées du point de vue d'un humain, montrant des personnes accomplissant des tâches quotidiennes comme cuisiner ou nettoyer. Ces vidéos offraient une compréhension large de la manière dont les objets interagissent et comment les tâches se déroulent au fil du temps, bien qu'elles manquent des données mécaniques spécifiques d'un robot. Deuxièmement, ils ont ajouté des démonstrations provenant de préhenseurs robotiques tenus à la main et de dispositifs portables, qui servent de pont, montrant comment les mouvements de la main humaine se traduisent en commandes de type machine. Enfin, ils ont inclus des enregistrements précis de mouvements de robots réels, qui ont fourni les instructions exécutables exactes nécessaires pour apprendre à la machine comment bouger ses propres membres. En combinant ces sources, les chercheurs ont créé un ensemble de données unifié qui a permis au modèle d'apprendre de la vaste sagesse de l'expérience humaine tout en ancrant ce savoir dans la mécanique précise du contrôle robotique.

Le processus d'apprentissage de Riemann-1.0 a été structuré comme un programme scolaire, passant de l'observation générale à l'exécution spécifique. Dans la première étape, le modèle a étudié la vaste bibliothèque de vidéos humaines. Puisque ces vidéos ne comportaient pas de données de mouvement robotique, le système a utilisé un outil auxiliaire pour estimer les « actions » invisibles qui ont dû causer les changements visuels observés à l'écran. Cela a permis au modèle d'apprendre la dynamique de base de la façon dont le monde bouge sans avoir besoin de données robotiques parfaites. Dans la deuxième étape, le modèle a été introduit aux données mixtes de mains humaines et de préhenseurs robotiques, apprenant à aligner sa compréhension du mouvement avec des commandes physiques réelles. Enfin, dans la troisième étape, le modèle s'est concentré exclusivement sur des enregistrements de haute qualité de robots accomplissant des tâches. Cette phase finale a affiné sa capacité à générer des commandes précises et exécutables, garantissant que les actions qu'il planifie ne sont pas seulement visuellement plausibles, mais physiquement possibles pour une véritable machine.

Les résultats de cette approche ont été frappants. Testé sur une grande variété de tâches, tant dans des simulations informatiques que sur de vrais robots, Riemann-1.0 a surpassé les méthodes précédentes par une marge significative. Dans une simulation conçue pour tester des tâches longues et complexes impliquant de nombreuses étapes, le modèle a réussi 62,6 % du temps, une amélioration notable par rapport aux meilleurs systèmes existants. Dans une autre simulation axée sur des robots à deux bras, il a atteint un taux de réussite de 94,3 %. Plus impressionnant encore, lorsqu'il a été déployé sur des robots réels pour accomplir des tâches telles que l'empilement de blocs colorés, le pliage de vêtements, l'organisation d'un bureau encombré ou l'arrangement d'articles de cuisine, le système a accompli les tâches avec succès 85 % du temps. Il a également montré une capacité remarquable à s'adapter à de nouvelles situations qu'il n'avait pas rencontrées auparavant, comme placer un Rubik's Cube dans une boîte ou mettre une serviette dans un bassin, réussissant 85 % de ces essais inédits.

Au-delà de sa fonction de simple contrôleur de robot, Riemann-1.0 peut également fonctionner comme un simulateur. Parce qu'il comprend le lien causal entre une action et le résultat visuel, les chercheurs peuvent lui demander d'imaginer ce qui se passerait si un robot effectuait un mouvement spécifique. Le modèle peut générer une vidéo du futur, montrant exactement comment les objets bougeraient et où ils finiraient, sur la base de l'action fournie. Cette double capacité signifie que le système peut servir à la fois de cerveau qui décide de l'action à entreprendre et d'imagination qui vérifie si le plan fonctionnera avant même que le robot ne bouge. Cette capacité à prédire le futur du monde physique, ancrée dans la réalité de la façon dont les actions provoquent des changements, représente une étape importante vers la création d'une intelligence artificielle capable d'être un partenaire fiable dans le monde physique. Ces travaux suggèrent qu'en unifiant l'apprentissage de la manière d'agir et l'apprentissage de la réponse du monde, les machines peuvent développer une compréhension plus robuste et généralisable des tâches que nous accomplissons chaque jour.

Résumé Technique : Riemann-1.0

Énoncé du Problème

Le développement de l'IA Physique nécessite des « Modèles de Cerveau Incarné » capables d'unifier la perception environnementale, la modélisation de la dynamique du monde, la génération d'actions exécutables et le raisonnement à long terme. Bien que les Modèles d'Action-Monde (WAM - World Action Models) soient apparus comme un paradigme prometteur pour modéliser conjointement les actions robotiques et la dynamique du monde, les approches existantes font face à deux limitations fondamentales dans le passage à l'échelle de l'expérience incarnée :

Hétérogénéité des Données : L'expérience incarnée est intrinsèquement multimodale et dépendante de l'incarnation. Les stratégies de pré-entraînement existantes sont souvent étroitement couplées à des trajectoires robotiques spécifiques, échouant à exploiter efficacement les données humaines à grande échelle et faiblement supervisées (ex: vidéos égocentrées) ou à combler le fossé entre les démonstrations humaines et les espaces de contrôle des robots.
Limitations du Paradigme de Modélisation : Les formulations actuelles de WAM — telles que la génération conjointe, la prédiction axée sur la vidéo ou la modélisation action-vidéo découplée — ne parviennent pas à modéliser conjointement les observations, les états du robot et les actions au sein d'un processus causal unifié. Par conséquent, elles ne peuvent pas supporter simultanément l'apprentissage efficace d'une politique robotique et une simulation du monde causalement cohérente et conditionnée par l'action au sein d'un modèle unique.

Méthodologie

1. Infrastructure de Données Incarnées Unifiée

Pour traiter l'hétérogénéité des données, les auteurs ont construit un corpus de plus de 200 000 heures d'expérience incarnée provenant de trois sources complémentaires :

Vidéos Humaines Égocentrées (200K+ heures) : Fournissant des connaissances d'interaction extensibles et des structures de tâches à long terme.
Démonstrations avec Main-Tenue/Exosquelette (12K+ heures) : Créant un pont entre les interactions humaines et les espaces de contrôle compatibles avec les robots.
Trajectoires de Robots Hétérogènes (20K+ heures) : Fournissant une supervision de contrôle exécutable précise et spécifique à l'incarnation.

Un Moteur de Données Incarnées Unifié traite ces sources en une représentation de trajectoire standardisée au niveau de l'action. Les étapes clés de traitement incluent :

Prétraitement Visuel : Correction de l'effet fisheye et normalisation de l'orientation.
Annotation Sémantique : Décomposition hiérarchique des vidéos en clips de tâche et d'action via un VLM.
Reconstruction 3D de la Main : Utilisation de la reconstruction basée sur MANO et de l'estimation de la pose de la caméra (VGGT-Ω) pour dériver des trajectoires de mains 3D continues à partir de données purement vidéo, créant ainsi une pseudo-supervision d'action.
Équilibrage Sensible à la Sémantique : Échantillonnage à travers les dimensions sémantiques (scènes, compétences, objets) pour gérer les distributions à longue traîne plutôt que de simplement équilibrer le volume brut de données.

2. Riemann-1.0 : Modèle d'Action-Monde Autorégressif Totalement Causal

Riemann-1.0 formule l'interaction robotique comme une séquence autorégressive totalement causale unifiée sur des observations visuelles multi-vues ( $z_t$ ), des états de robot ( $s_t$ ) et des actions spécifiques à l'incarnation ( $a_t$ ).

Architecture : Le modèle utilise un backbone Transformer avec un objectif de Flow Matching. Il emploie un Wan VAE pour l'encodage du latent visuel et des Embeddings de Patchs 3D.
Factorisation Causale : La probabilité jointe est factorisée comme suit :
$p(a_{1:T}, z_{1:T} | z_0, s_0, c) = \prod_{t=1}^T p(a_t | z_{<t}, s_{<t}, a_{<t}, c) \cdot p(z_t | z_{<t}, s_{<t}, a_{\leq t}, c)$
Crucialement, les actions sont prédites avant que le latent visuel correspondant ne soit généré. Cet ordre reflète la causalité du monde réel où les actions précèdent les conséquences visuelles.
Double Fonctionnalité :
- En tant que Politique : Le modèle prédit les actions en ligne ; le latent visuel prédit est remplacé par l'observation réelle de l'environnement pour l'étape suivante.
- En tant que Simulateur : Le modèle reçoit une trajectoire d'action candidate et génère de manière récursive les futurs latents visuels (et la vidéo décodée) conditionnés par ces actions, permettant une simulation du monde conditionnée par l'action.
Gestion de l'Incarnation : Le modèle partage un backbone unifié mais utilise des projections linéaires et des têtes de prédiction spécifiques à l'incarnation pour gérer les différentes dimensions d'action/état et les systèmes de coordonnées.

3. Pré-entraînement Incarné Progressif

L'entraînement suit un curriculum en trois étapes pour transférer progressivement les connaissances de la supervision faible vers le contrôle exécutable :

Étape 1 : Bootstrap LAM-Action : Le modèle est entraîné sur des vidéos humaines non étiquetées à l'aide de pseudo-actions générées par un Modèle d'Action Latente (LAM) gelé. Le LAM infère des codes latents représentant les transitions visuelles entre les images. Le poids de la perte d'action ( $\lambda$ ) est faible (0.1), se concentrant sur l'apprentissage de la dynamique visuelle globale.
Étape 2 : Alignement Ancré sur la Trajectoire : Le modèle est affiné sur un corpus mixte de démonstrations UMI, de trajectoires de robots et de vidéos humaines avec annotations de mains 3D. Cette étape aligne l'espace d'action latent avec les actions réelles exécutables à travers des incarnations hétérogènes. Le poids de l'action augmente à $\lambda=0.5$ .
Étape 3 : Amélioration de la Politique Robotique : Le modèle est entraîné exclusivement sur des trajectoires de robots de haute qualité. Le poids de l'action est fixé à $\lambda=0.9$ , affinant la distribution d'action exécutable du modèle et le calibrant pour les conventions d'actionneurs réels et l'exécution riche en contacts.

Contributions Clés

Modèle d'Action-Monde Autorégressif Totalement Causal : Une formulation novatrice qui modélise conjointement les observations multi-vues, les états et les actions dans une séquence causale unique, permettant à un seul modèle de fonctionner à la fois comme une politique robotique exécutable et comme un simulateur de monde visuel conditionné par l'action.
Cadre de Pré-entraînement Incarné Progressif : Une stratégie d'entraînement en trois étapes qui unifie efficacement l'expérience incarnée hétérogène (vidéos humaines, démos manuelles, trajectoires de robots) sous un objectif partagé, faisant passer l'apprentissage de la supervision faible au contrôle précis.
Infrastructure de Données Unifiée : Un pipeline complet transformant plus de 200K heures de données hétérogènes en une représentation de trajectoire standardisée au niveau de l'action, incluant la reconstruction de mains 3D pour les données purement vidéo.

Résultats Expérimentaux

Riemann-1.0 a été évalué sur des benchmarks de simulation et des tâches de manipulation réelle à long terme, atteignant des performances de pointe (SOTA) :

Benchmarks de Simulation :
- RoboTwin 2.0 : Taux de succès (SR) de 94,3 %, surpassant le précédent meilleur (94,1 %) de 0,2 %.
- LIBERO : SR de 99,0 %, surpassant le précédent meilleur (98,9 %) de 0,1 %.
- RoboCasa-365 : SR de 62,6 % sur le benchmark compositionnel à long terme, surpassant le précédent meilleur (54,2 %) de 8,4 points de pourcentage.
Manipulation en Monde Réel :
- Évalué sur quatre tâches : Empilement de cubes ordonné, Pliage de vêtements, Organisation de bureau et Organisation de cuisine.
- A atteint un SR moyen de 85,0 % et un Taux de Succès de Progression (PSR) de 94,4 %.
- A surpassé la base open-source la plus forte (G0.5) de 15 points de pourcentage en SR.
- A démontré une forte Généralisation Compositionnelle (65,0 % de SR sur des instructions de tâches inédites avec des objets connus) et des performances Hors-Distribution (OOD) (85,0 % de SR sur des objets et scènes inédits).
Simulation Visuelle : Le modèle a généré avec succès des déroulements visuels multi-incarnations et conditionnés par l'action, préservant la structure de la scène et présentant un mouvement cohérent avec l'action à travers diverses géométries de robots et points de vue.

Signification et Revendications

L'article affirme que Riemann-1.0 démontre que la Modélisation d'Action-Monde unifiée combinée au Pré-entraînement Incarné Progressif transforme efficacement l'expérience incarnée à grande échelle en capacités de manipulation robotique généralisables.

Les auteurs soutiennent qu'en unifiant l'apprentissage de la dynamique visuelle et du contrôle exécutable au sein d'un cadre causal unique, et en exploitant un spectre diversifié de sources de données via un curriculum progressif, le modèle surmonte les limitations des approches précédentes qui soit découplent l'action et la vision, soit reposent uniquement sur des données spécifiques aux robots. Les résultats suggèrent une voie évolutive pour l'IA Physique où les modèles peuvent évoluer continuellement en augmentant l'expérience incarnée plutôt qu'en étant contraints par la rareté des trajectoires robotiques étiquetées.