🤖 machine learning

WorldBagel: Uncovering the Power of Unified Multimodal Models for Vision-Language-Action-World Modeling

Cet article introduit WorldBagel, un cadre de modélisation unifié Vision-Langage-Action-Monde construit sur l'architecture BAGEL, qui démontre que l'unification de la génération multimodale et de la modélisation du monde conduit à des performances supérieures et à des représentations d'actions plus structurées à travers diverses tâches de manipulation robotique par rapport aux alternatives spécifiques à une tâche.

Auteurs originaux : Zelin Zhao, Min Shi, Bo Yuan, Haotian Xue, Jialuo Li, Lama Moukheiber, Humphrey Shi, Yongxin Chen

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zelin Zhao, Min Shi, Bo Yuan, Haotian Xue, Jialuo Li, Lama Moukheiber, Humphrey Shi, Yongxin Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment cuisiner un repas. La plupart des robots actuels sont comme des chefs qui ne font que regarder la recette (le langage) et les ingrédients (la vision) pour décider de ce qu'ils doivent faire ensuite. Ils sont excellents pour suivre des instructions, mais ils ne « comprennent » pas vraiment comment fonctionne une cuisine. Ils ne savent pas intuitivement que si l'on pousse trop fort une casserole, elle glissera de la table, ou que de la vapeur s'élèvera d'une poêle bouillante.

WorldBagel est un nouveau type de cerveau robotique qui change la donne. Au lieu d'être simplement un chef qui suit des ordres, il agit comme un simulateur à l'intérieur de la tête du robot. Il ne se contente pas de décider de ce qu'il doit faire ; il imagine constamment à quoi le monde ressemblera après qu'il aura agi.

Voici une décomposition simple de son fonctionnement, en utilisant les propres affirmations de l'article :

1. Le cerveau à « deux tours »

Considérez le cerveau du robot comme deux experts spécialisés travaillant dans le même bureau :

L'expert en « Compréhension » (UND) : Cet expert est excellent pour regarder une image et lire une phrase afin de déterminer ce que le robot doit faire en ce moment même. C'est l'« exécutant ».
L'expert en « Génération » (GEN) : Cet expert est un rêveur. Il regarde la scène actuelle et l'action prévue par le robot, puis se demande : « Si je fais cela, à quoi ressemblera la cuisine dans une seconde ? » Il prédit l'avenir.

WorldBagel force ces deux experts à partager le même carnet de notes. Ils ne travaillent pas seulement côte à côte ; ils apprenent l'un de l'autre. En essayant de prédire l'avenir, le robot devient meilleur pour comprendre le présent.

2. La recette secrète : les actions « Fourier »

Les robots se déplacent de manière fluide et continue (comme une main qui glisse dans l'air), mais les ordinateurs pensent généralement en étapes ou en blocs. L'article introduit une astuce ingénieuse appelée Tokenisation par caractéristiques de Fourier.

Imaginez que vous essayiez de décrire une onde lisse. Vous pourriez essayer de la dessiner avec des blocs Lego dentelés (discrétisation), mais cela paraîtrait irrégulier et imprécis. Ou bien, vous pourriez la décrire en utilisant un ensemble spécifique de notes musicales (fréquences) qui, jouées ensemble, recréent parfaitement l'onde lisse.

WorldBagel utilise cette approche par « notes musicales » pour les mouvements du robot. Il traduit les mouvements physiques fluides du robot en un langage structuré de fréquences. Cela permet au robot de :

Prédire ses propres mouvements avec une précision bien plus élevée.
Mieux comprendre la « forme » d'une tâche que les autres méthodes.

3. Le « Plan de Séquence » (Le conteur)

Pour enseigner à ce robot, les chercheurs ne se sont pas contentés de lui fournir des données aléatoires. Ils ont organisé l'apprentissage comme un livre d'histoires avec une structure spécifique appelée Plan de Séquence.

Imaginez une bande dessinée dont les cases seraient mélangées. Parfois, le robot voit l'image, puis l'instruction, puis l'action, puis le résultat. D'autres fois, il voit le résultat d'abord pour apprendre ce qui l'a causé. WorldBagel mélange ces « cases » (visuels, mots, actions et prédictions futures) dans différents ordres pendant l'entraînement. Cela aide le robot à comprendre que :

Les actions provoquent des changements dans le monde.
Le langage guide ces actions.
Le futur est un résultat logique du passé.

4. Qu'ont-ils découvert ?

Les chercheurs ont testé WorldBagel sur trois « cuisines » différentes (environnements robotiques) :

LIBERO : Une simulation complexe avec de nombreuses tâches différentes.
Language Table : Une table réelle où un robot pousse des blocs en fonction de commandes vocales.
Franka : Une simulation riche en physique avec un bras robotique spécifique.

Les Résultats :

Meilleur en tout : WorldBagel était meilleur pour accomplir des tâches que les robots qui se concentraient uniquement sur l'action ou uniquement sur la prédiction du futur. C'était le « touche-à-tout » qui maîtrisait tout.
Prédictions plus nettes : Lorsqu'on demandait de deviner la prochaine image de la vidéo, WorldBagel était beaucoup plus précis que ses concurrents.
Plus robuste : Lorsque les chercheurs ont ajouté du « bruit » (comme secouer la main du robot ou changer la vitesse de ses mouvements), WorldBagiel ne s'est pas confondu. Il a continué à prédire l'avenir correctement parce qu'il comprenait la physique du mouvement, et non pas seulement le motif visuel.

L'essentiel

L'article soutient qu'en combinant la Vision (voir), le Langage (lire), l'Action (faire) et la Modélisation du Monde (imaginer le futur) en un seul système unifié, les robots apprennent plus vite et deviennent plus fiables.

WorldBagel prouve qu'en apprenant à un robot d'imaginer les conséquences de ses actions, celui-ci devient un travailleur beaucoup plus intelligent et capable. Le code et le modèle sont destinés à être publiés pour que d'autres puissent s'appuyer sur cette approche « unifiée ».

Résumé Technique : WorldBagel

Énoncé du Problème

Les modèles de monde visent à capturer la dynamique de l'environnement pour soutenir la perception, le raisonnement et la prise de décision, servant ainsi d'objectif central pour l'intelligence incarnée et la robotique. Bien que les récents modèles Vision-Langage-Action (VLA) aient démontré un succès dans l'apprentissage multi-tâches et la généralisation en intéçant le langage, ils mettent généralement l'accent sur la prédiction d'actions et la performance des tâches plutôt que sur la modélisation générative explicite de la dynamique de l'environnement. À l'inverse, les efforts traditionnels de modélisation du monde se concentrent souvent sur la dynamique visuelle et le contrôle sans intégrer profondément le langage ou des connaissances multimodales à grande échelle.

L'article soutient qu'une convergence naturelle existe entre l'apprentissage VLA multimodal et la modélisation du monde. Un modèle unifié devrait non seulement comprendre les observations visuelles et suivre des instructions linguistiques, mais aussi générer des états visuels futurs et prédire des actions au sein d'un espace de représentation partagé. Cependant, il reste difficile de déterminer comment les modèles multimodaux unifiés doivent être adaptés ou évalués en tant que modèles Vision-Langage-Action-Monde (VLAW) généraux, particulièrement en ce qui concerne la tokenisation de l'action, la planification de séquences et la stabilité de l'entraînement à travers des jeux de données hétérogènes.

Méthodologie : WorldBagel

WorldBagel est un cadre VLAW unifié construit sur BAGEL, un modèle multimodal unifié moderne doté d'une architecture à deux tours comprenant des experts dédiés à la Compréhension (UND) et à la Génération (GEN). WorldBagel étend cette architecture pour supporter conjointement la compréhension multimodale, la modélisation structurée de l'action et la prédiction du monde futur.

1. Architecture du Modèle

Le cadre opère sur un espace d'embedding de tokens multimodaux partagé et se compose de deux branches principales :

Branche VLA (Compréhension et Prédiction d'Action) : Les états visuels sont encodés via un encodeur ViT et traités par l'expert UND, qui se spécialise dans l'ancrage cross-modal. Un Décodeur d'Action par Caractéristiques de Fourier (FFAD) spécialisé est attaché pour prédire des signaux de contrôle continus.
Branche de Modélisation du Monde (Génération Conditionnée par l'Action) : Cette branche est conditionnée par les tokens visuels passés, les instructions linguistiques et les tokens d'action structurés. Elle utilise l'expert GEN pour prédire les observations futures via le flow matching, suivi d'un décodeur VAE.

2. Composants Techniques Clés

Tokeniseur d'Action par Caractéristiques de Fourier (FFAT) & Décodeur (FFAD) : Au lieu d'une régression standard ou d'un partitionnement discret (qui peuvent être instables ou dépendants des données), WorldBagel projette les vecteurs d'action continus dans des embeddings de caractéristiques de Fourier structurés.
- Mapping Direct : Les actions sont étendues en bandes de fréquences avec des échelles augmentant exponentiellement pour capturer les variations grossières et fines.
- Prédiction : Le modèle prédit les caractéristiques de Fourier dans l'espace latent plutôt que les valeurs d'action brutes, améliant ainsi la stabilité.
- Mapping Inverse : Les actions sont reconstruites via une moyenne cohérente en phase à travers les fréquences, assurant la continuité et la structure métrique locale sans optimisation itérative.
Modélisation VLAW Entrelacée via des Plans de Séquence : Le modèle organise les observations visuelles, les instructions linguistiques, les tokens d'action et les prédictions d'états futurs en une séquence autoregressive unifiée. Des « plans de séquence » flexibles définissent l'ordre de ces tokens, permettant au modèle d'être entraîné sur divers objectifs (par exemple, prédire les actions avant les observations futures ou vice versa) au sein d'une seule passe directe (forward pass).
Échantillonnage de Données Inspiré des LLM : Pour gérer des jeux de données hétérogènes avec des échelles et des signaux de supervision variables, les auteurs emploient :
- Échantillonnage de Mélange de Datasets : Des probabilités d'échantillonnage lissées basées sur la taille du dataset pour empêcher les grands datasets de dominer.
- Échantillonnage de Plan de Séquence Prioritaire : Une stratégie qui attribue des poids plus élevés aux « plans VLAW conjoints » (supervisant à la fois l'action et la prédiction du monde) par rapport aux plans de politique seule, garantissant que le modèle observe fréquemment une supervision pour le contrôle et la dynamique de l'environnement.

3. Objectif d'Entraînement

Le modèle est initialisé à partir d'un checkpoint pré-entraîné de BAGEL et est affiné par un ajustement fin supervisé (SFT). La perte totale combine la perte de prédiction d'action (régression dans l'espace de Fourier) et la perte de génération visuelle (flow matching pour les images futures), pondérée comme suit :
$\mathcal{L} = \mathcal{L}_{action} + 0.1\mathcal{L}_{vision}$

Contributions Clés

Cadre VLAW Unifié : L'introduction de WorldBagel, qui étend l'architecture à deux tours de BAGEL pour modéliser conjointement la perception, l'ancrage linguistique, la prédiction d'action et la génération d'observations futures.
Modules d'Action par Caractéristiques de Fourier : La proposition de FFAT et FFAD, qui encodent les signaux de contrôle continus en tokens structurés alignés avec l'espace multimodal, améliorant la qualité de la représentation de l'action et sa stabilité.
Étude Systématique de l'Unification : À travers des manipulations robotiques multi-tâches et des expériences trans-domaines, l'article démontre que l'unification elle-même bénéficie à l'apprentissage de modèles VLAW efficaces, produisant des gains empiriques constants et des informations plus profondes sur la modélisation du monde multimodale.

Résultats Expérimentaux

Les auteurs ont évalué WorldBagel sur trois benchmarks : LIBERO (manipulation simulée à long horizon), Language Table (manipulation de tableau en monde réel) et Franka (simulation basée sur la physique).

Performance Multi-tâches : WorldBagel a atteint un taux de succès moyen de 98,0 % sur le benchmark LIBERO, surpassant la base solide RynnVLA-002 (+0,6 %) et diverses autres bases VLA (ex: OpenVLA-OFT, $\pi0.5$ ).
Qualité de la Modélisation du Monde : Dans les tâches de modélisation du monde conditionnées par l'action, WorldBagel a systématiquement amélioré la fidélité de prédiction (FVD plus bas, PSNR/SSIM plus élevé, LPIPS plus bas) par rapport aux bases sur tous les datasets. Par exemple, sur LIBERO, il a réduit le FVD de 389,5 à 373,1.
Qualité de la Représentation de l'Action : L'approche basée sur Fourier (FFAD) a réduit l'MSE de l'action à 0,028 et a atteint une précision de sonde linéaire de 68,7 % pour l'identité de la tâche, surpassant de manière significative la régression (49,8 %) et les autres méthodes de tokenisation. Cela indique que les embeddings appris sont plus structurés et sémantiquement alignés.
Stabilité sous Changements de Distribution : Sous des perturbations (bruit gaussien, mise à l'échelle de l'action, décalages temporels), WorldBagel a maintenu une fidélité de prédiction (PSNR) plus élevée et un LPIPS plus bas par rapport à RynnVLA-002. L'analyse du spectre des valeurs propres a révélé que WorldBagel possède un rang effectif plus élevé (33,7 contre 16,3) et un ratio de valeur propre dominante plus faible, suggérant une représentation plus riche et plus stable de la dynamique de l'action.

Signification et Revendications

L'article affirme que l'unification elle-même est un ingrédient clé pour des modèles de monde scalables. En modélisant conjointement la perception, le langage, l'action et la dynamique future au sein d'un seul cadre autoregressif, WorldBagel démontre que les architectures unifiées peuvent surpasser les alternatives spécifiques aux tâches.

Les auteurs soutiennent que leur travail fournit :

Gains Empiriques : Des améliorations constantes tant dans la performance de contrôle (succès de la politique) que dans la compréhension prédictive de l'environnement (fidélité de la modélisation du monde).
Aperçus Méthodologiques : La preuve que la tokenisation de l'action par Fourier et la planification de séquence entrelacée sont critiques pour stabiliser l'entraînement multimodal hétérogène et apprendre des représentations d'action de haute qualité et structurées.
Fondation pour des Travaux Futurs : Les résultats suggèrent que l'unification architecturale améliore à la fois l'apprentissage de la politique et la modélisation prédictive de l'environnement, offrant une base prometteuse pour des modèles de monde multimodaux scalables dans les agents incarnés.

L'article conclut que bien que les récents modèles de vision-langage unifiés montrent des capacités de génération sans précédent, leur rôle en tant que modèles de monde est largement encore inexploré ; WorldBagel commence à traiter systématiquement cette lacune.