💻 computer science

WorldArena 2.0: Extending Embodied World Model Benchmarking on Modality, Functionality and Platform

Ce papier présente WorldArena 2.0, un benchmark étendu qui évalue systématiquement les modèles de monde incarnés selon trois nouvelles dimensions — la modalité visuotactile, la fonctionnalité interactive pour l'optimisation des politiques, et des plateformes réelles et simulées diverses — afin de remédier aux limites des évaluations existantes basées uniquement sur la vision et sur des simulateurs.

Auteurs originaux : Yu Shang, Yinzhou Tang, Yiding Ma, Zhuohang Li, Lei Jin, Weikang Su, Xin Jin, Zhaolu Wang, Ziyou Wang, Xin Zhang, Haisheng Su, Weizhen He, Wei Wu, Haoyi Duan, Gordon Wetzstein, Xihui Liu, Dhruv Shah

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yu Shang, Yinzhou Tang, Yiding Ma, Zhuohang Li, Lei Jin, Weikang Su, Xin Jin, Zhaolu Wang, Ziyou Wang, Xin Zhang, Haisheng Su, Weizhen He, Wei Wu, Haoyi Duan, Gordon Wetzstein, Xihui Liu, Dhruv Shah, Zhaoxiang Zhang, Zhibo Chen, Jun Zhu, Yonghong Tian, Tat-Seng Chua, Wenwu Zhu, Chen Gao, Yong Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment effectuer des tâches ménagères, comme verser de l'eau ou essuyer une table. Pour ce faire en toute sécurité et efficacement, le robot a besoin d'un « Modèle du Monde ». Considérez un Modèle du Monde comme la machine à rêver interne du robot. C'est une simulation à l'intérieur du cerveau du robot où il peut « imaginer » ce qui se produira ensuite s'il déplace son bras d'une certaine manière, sans réellement risquer de briser un vase ou de renverser une boisson.

Pendant longtemps, les scientifiques ont testé ces machines à rêver, mais leurs tests ressemblaient un peu à juger les compétences d'un pilote uniquement en regardant un dessin plat et bidimensionnel d'un avion. Ils vérifiaient seulement si le robot pouvait « voir » clairement le futur, en ignorant les autres sens, la qualité de son apprentissage réel pour voler, et sa capacité à gérer le vent et la pluie réels.

WorldArena 2.0 est un tout nouveau « simulateur de vol » beaucoup plus exigeant pour tester ces cerveaux de robots. Les chercheurs de l'Université Tsinghua et de nombreuses autres institutions de premier plan ont amélioré le test de trois manières majeures :

1. Ajouter un « Sens du Toucher » (Modalité)

L'Ancienne Façon : Auparavant, la machine à rêver du robot n'avait que des yeux. Elle pouvait prédire à quoi ressemblerait une vidéo d'un objet en mouvement, mais elle ne pouvait pas « ressentir » quoi que ce soit.
La Nouvelle Façon : WorldArena 2.0 donne au robot des yeux et des mains. Il teste si le robot peut prédire non seulement la vidéo, mais aussi le retour tactile (la sensation de pression, de glissement ou de texture).

L'Analogie : Imaginez essayer d'apprendre à jongler en regardant uniquement une vidéo de quelqu'un d'autre qui jongle. Vous pourriez savoir où les balles semblent aller, mais vous ne saurez pas avec quelle force les attraper. WorldArena 2.0 force le robot à imaginer la sensation de la balle frappant sa main, ce qui est crucial pour des tâches comme insérer un câble USB (où vous devez sentir le « clic ») ou soulever une bouteille sans l'écraser.

2. Transformer la Machine à Rêver en « Salle de Gymnase d'Entraînement » (Fonctionnalité)

L'Ancienne Façon : Autrefois, les chercheurs demandaient au robot de « rêver » un futur, puis ils vérifiaient si le rêve semblait réaliste. C'était une rue à sens unique : le robot rêvait, et les humains notaient l'image.
La Nouvelle Façon : Maintenant, la machine à rêver du robot agit comme une salle de gymnase virtuelle. Le robot peut pratiquer ses compétences à l'intérieur du rêve, commettre des erreurs, en apprendre, et s'améliorer, le tout sans toucher le monde réel.

L'Analogie : Au lieu de simplement regarder un film d'un joueur de football, le robot joue désormais à un jeu vidéo où il peut réellement s'entraîner à tirer le ballon. Le test vérifie : « Si nous laissons le robot s'entraîner dans ce rêve pendant 10 heures, deviendra-t-il un meilleur joueur lorsqu'il mettra les pieds sur le vrai terrain ? »

3. Tester dans le « Monde Réel » (Plateforme)

L'Ancienne Façon : La plupart des tests se déroulaient entièrement à l'intérieur d'une simulation informatique. C'était comme tester une voiture uniquement sur une piste parfaitement lisse et plate dans un jeu vidéo.
La Nouvelle Façon : WorldArena 2.0 teste les robots dans trois environnements différents :

RoboTwin 2.0 : Une simulation informatique complexe avec des obstacles aléatoires.
LIBERO : Une simulation structurée qui teste des types spécifiques d'apprentissage.
AgileX ALOHA : Un véritable robot physique dans une vraie pièce.

L'Analogie : C'est la différence entre tester une voiture dans un jeu vidéo, sur un circuit d'essai, et enfin la conduire sur une rue de ville cahoteuse et pluvieuse. Les chercheurs ont constaté que, bien que de nombreux robots excellassent au niveau du jeu vidéo, ils luttaient souvent lorsqu'ils devaient conduire sur la vraie rue, désordonnée. Cela met en évidence un grand fossé entre « rêver » parfaitement et « faire » parfaitement.

Que Ont-ils Découvert ?

Les chercheurs ont testé 12 différentes « machines à rêver » de robots en utilisant ces nouvelles règles.

Les Bonnes Nouvelles : Certains modèles ont appris à « sentir » le monde assez bien. Par exemple, un modèle (Wan 2.2) était si bon pour prédire les sensations tactiles qu'il pouvait réussir à effectuer une tâche délicate (insérer un câble HDMI) 100 % du temps dans la simulation.
Les Mauvaises Nouvelles : Il existe toujours un énorme fossé entre la simulation et la réalité. Un robot qui ressemble à un génie dans la simulation informatique échoue souvent lorsqu'on lui demande de verser de l'eau sur une vraie table. Le « rêve » n'est pas encore assez précis pour gérer la physique désordonnée du monde réel.

La Conclusion

WorldArena 2.0 est une carte scolaire plus honnête et complète pour l'intelligence des robots. Elle nous empêche de simplement admirer de jolies vidéos de robots et commence à poser les questions difficiles : Le robot peut-il sentir ? Peut-il apprendre au sein de son propre esprit ? Et peut-il réellement accomplir la tâche lorsqu'il est dans le monde réel ?

L'article conclut que, bien que nous fassions des progrès, nous avons encore un long chemin à parcourir avant que les robots puissent apprendre de manière fiable à partir de leurs propres « rêves » et appliquer cet apprentissage à des tâches de la vie réelle.

Résumé technique : WorldArena 2.0 : Extension de l'évaluation des modèles de monde incarnés sur les modalités, les fonctionnalités et les plateformes

Énoncé du problème

Les modèles de monde sont devenus un paradigme central pour l'intelligence incarnée, permettant aux agents de prédire des futurs conditionnés par l'action et de raisonner sur les dynamiques environnementales. Cependant, les benchmarks existants pour les modèles de monde incarnés (EWM) souffrent de trois limitations critiques qui entravent l'évaluation de modèles de plus en plus complets :

Limitation de modalité : Les benchmarks dominants sont confinés à des environnements visuels uniquement, négligeant la nature multimodale des interactions incarnées où le retour tactile est essentiel pour résoudre les dynamiques riches en contacts et les frottements physiques.
Limitation de fonctionnalité : Les évaluations en aval sont largement restreintes à la planification en boucle ouverte ou à l'évaluation de politiques statiques. Elles examinent rarement la capacité d'un modèle de monde à servir d'environnement d'apprentissage par renforcement (RL) interactif, supportant l'amélioration itérative de la politique grâce à des déroulements imaginés.
Limitation de plateforme : Les résultats des benchmarks sont obtenus presque exclusivement en simulation. Il reste incertain qu'une forte performance dans des environnements virtuels contrôlés se traduise par un déploiement dans le monde réel, laissant l'écart simulation-réalité largement inexploré.

Méthodologie

Pour remédier à ces limitations, les auteurs introduisent WorldArena 2.0, un benchmark élargi qui élargit systématiquement l'évaluation des EWM selon trois dimensions coordonnées : modalité, fonctionnalité et plateforme.

1. Extension de modalité : Évaluation visuotactile

WorldArena 2.0 étend l'évaluation des modalités visuelles uniquement aux modalités visuotactiles.

Pipeline standardisé : Basé sur le simulateur UniVTAC, les auteurs proposent un pipeline standardisé pour transformer les modèles de monde visuels uniquement en modèles visuotactiles sans chirurgie architecturale. Cela implique trois modules :
- Un VAE tactile qui encode les cartes de déformation tactile et les aligne dans l'espace latent vidéo.
- Un Modèle de monde visuotactile à deux flux qui effectue un débruitage synchronisé pour la prédiction vidéo et tactile.
- Une Tête de diffusion d'action qui infère les actions futures à partir des latents visuotactiles prédits.
Métriques d'évaluation : Les modèles sont évalués sur la qualité de la prédiction tactile (PSNR, SSIM) et les taux de réussite fonctionnels dans des tâches de manipulation en aval (par exemple, Insérer HDMI, Soulever une bouteille).

2. Extension de fonctionnalité : Modèles de monde en tant qu'environnements RL

Le benchmark va au-delà de la prédiction hors ligne pour évaluer les modèles de monde en tant qu'environnements RL interactifs en ligne.

Cadre : Les auteurs formalisent un pipeline RL en boucle fermée où le modèle de monde approxime le noyau de transition de l'environnement ( $\hat{P}_\phi$ $\hat{P}_{ϕ}$ ). Le cadre comprend quatre composants :
- Environnement de modèle de monde : Prédit la prochaine observation étant donné l'état et l'action actuels.
- Modèle de récompense : Prédit les récompenses immédiates (testé avec des conceptions basées sur des proxy, des VLM et des similarités).
- Modèle de politique : Génère des actions conditionnées par les observations.
- Module d'optimisation : Met à jour les paramètres de la politique (par exemple, via GRPO) pour maximiser le retour attendu.
Processus : Le modèle de monde remplace le simulateur dans les configurations RL traditionnelles. Les politiques sont entraînées par une interaction itérative avec le modèle de monde, et les politiques résultantes sont déployées pour mesurer les taux de réussite dans des tâches du monde réel ou de haute fidélité en simulation.

3. Extension de plateforme : Transfert Sim-to-Real à travers les incarnations

WorldArena 2.0 introduit un pipeline d'évaluation gradué couvrant trois plateformes distinctes pour évaluer la généralisation à travers les incarnations :

RoboTwin 2.0 : Un environnement de simulation bimanuelle évolutif avec une randomisation de domaine extensive (tâches : Ajuster une bouteille, Cliquer sur une cloche).
LIBERO : Un benchmark structuré pour la manipulation à bras unique avec des décalages de connaissances procédurales (tâche : Allumer la cuisinière).
AgileX Split-Type ALOHA : Un banc d'essai robotique réel équipé de bras PiPER à 6 degrés de liberté (tâches : Verser de l'eau, Essuyer la table).
Protocoles d'évaluation : Les modèles sont testés en tant que Moteurs de données incarnés (génération de données synthétiques pour l'entraînement de politiques) et Planificateurs d'actions incarnés (prédiction directe de séquences d'actions en boucle fermée).

Résultats clés

Les auteurs ont mené des expériences extensives sur 12 modèles de monde incarnés à la pointe de la technologie à travers les plateformes définies.

Performance visuotactile :
- Les modèles de monde à usage général (par exemple, Wan2.2) ont démontré une qualité de prédiction tactile supérieure par rapport aux modèles incarnés spécialisés, atteignant 100 % de réussite sur la tâche « Insérer HDMI ».
- Cependant, des tâches à long horizon comme « Soulever une bouteille » ont révélé des limites ; alors qu'un modèle de base ACT a atteint 80 % de réussite, les modèles de monde sont tombés à 0 %, indiquant que les modèles actuels peinent à maintenir un contrôle de force sur de longues durées malgré une perception tactile améliorée.
Utilité en tant qu'environnement RL :
- Les politiques entraînées à l'aide de modèles de monde (par exemple, WoVR, Ctrl-World) ont atteint des performances comparables à l'entraînement sur simulateur réel (ground-truth) sur des tâches à court horizon (Cliquer sur une cloche) mais ont montré des résultats variables sur des tâches à long horizon.
- Parmi les modèles de récompense, les modèles de récompense basés sur des proxy (utilisant des architectures ResNet) se sont révélés les plus robustes, surpassant les approches basées sur des VLM et sur la similarité qui souffraient d'un manque d'affinement ou d'une dépendance à la précision de la prédiction.
Corrélations inter-plateformes :
- Qualité perceptive : La qualité visuelle, la qualité du mouvement et le respect de la physique ont montré de fortes corrélations entre les plateformes de simulation (RoboTwin et LIBERO).
- Écart Sim-to-Real : Un décalage significatif a été observé entre les performances en simulation et dans le monde réel. Bien que les classements en simulation aient montré une corrélation modérée, les taux de réussite des tâches ont chuté drastiquement lors des évaluations dans le monde réel. Seuls quelques modèles ont atteint des taux de réussite non nuls sur des tâches réelles, et tous sont restés bien en deçà des exigences de déploiement pratique.
- Transfert fonctionnel : La réussite des tâches était positivement corrélée entre les simulateurs mais a chuté de manière significative lorsqu'elle était comparée aux performances dans le monde réel, confirmant que les métriques basées sur la simulation ne sont pas des proxies fiables pour la déployabilité dans le monde réel.

Importance et revendications

L'article revendique que WorldArena 2.0 fournit un banc d'essai rigoureux et standardisé qui suit les progrès vers des modèles de monde incarnés véritablement généraux. Son importance principale réside dans :

Standardisation : Il inaugure des protocoles standardisés pour l'évaluation des modèles de monde visuotactiles et l'utilisation des modèles de monde en tant qu'environnements RL en ligne, des domaines précédemment dépourvus de benchmarks cohérents.
Réalité : En introduisant une évaluation robotique dans le monde réel, le benchmark expose un écart substantiel de « utilisabilité simulation-réalité », démontrant qu'une performance de simulation haute fidélité ne garantit pas une compétence dans le monde réel.
Évaluation complète : Il fait passer le domaine au-delà du réalisme visuel pour évaluer l'ancrage physique, l'utilité interactive et la robustesse inter-plateforme, fournissant une base plus réaliste pour le développement de l'intelligence incarnée.

Les auteurs concluent que, si les modèles actuels montrent des promesses dans la capture des dynamiques multimodales et le soutien à l'optimisation des politiques, des défis majeurs subsistent pour combler l'écart entre l'entraînement simulé et l'exécution physique dans le monde réel.