Résumé Technique : WEAVER - Un modèle de monde efficace pour la manipulation robotique

Énoncé du Problème

Les modèles de monde (WM - World Models), ou simulateurs appris, sont très prometteurs pour la robotique en permettant l'évaluation de politiques, l'amélioration et la planification au moment de l'exécution avec une interaction limitée avec le monde réel. Cependant, pour débloquer ces capacités en aval, un modèle de monde robotique doit satisfaire simultanément trois desiderata souvent conflictuels :

1. Fidélité : Produire des prédictions physiquement précises qui sont corrélées aux résultats du monde réel.
2. Cohérence : Générer des trajectoires cohérentes sur de longs horizons de prédiction, particulièrement en présence d'occlusions et d'interactions multi-étapes.
3. Efficacité : Générer des prédictions assez rapidement pour supporter la planification en temps réel et l'amélioration itérative de la politique.

Les approches existantes ne parviennent pas à satisfaire ces trois critères simultanément. Les modèles de génération de vidéo manquent souvent d'efficacité ; les modèles latents (par exemple, de type JEPA) peuvent manquer de la décodabilité requise pour l'évaluation de politiques visuomotrices arbitraires ; et les modèles de monde de manipulation antérieurs (par exemple, Ctrl-World) opèrent trop lentement pour la planification au moment de l'exécution. De plus, la manipulation robotique introduit des complexités uniques, telles que l'observation multi-vues, l'inférence d'objets occultés et le besoin d'une prédiction d'état de haute fidélité plutôt que de simples esthétiques visuelles.

Méthodologie : Architecture WEAVER

Les auteurs proposent WEAVER (World Estimation Across Views for Embodied Reasoning), un modèle de monde multi-vues conçu pour atteindre le trio de la fidélité, de la cohérence et de l'efficacité. L'architecture intègre des décisions de conception issues de la génération de vidéo, des modèles de monde latents et des architectures de type JEPA.

Architecture Centrale

• Encodage Multi-Vues : WEAVER traite plusieurs vues de caméras (par exemple, poignet et externe) ainsi que les états proprioceptifs. Il utilise un encodeur VAE de Stable Diffusion 3 pré-entraîné pour mapper les patchs d'images et les jetons proprioceptifs dans un espace latent.
• Modèle de Dynamique Latente : Le prédicteur central est un transformateur 2D qui prévoit les futurs états latents ($\hat{z}_t$) conditionnés par :
  • Mémoire Éparse : Un contexte à long terme ($z_{mem}$) composé de chaque $k$-ième latent antérieur.
  • Historique à Court Terme : Des latents récents ($z_{hist}$) capturant les conséquences immédiates des actions.
  • Plan d'Action : Un bloc de futures actions ($a_t$).
• Objectifs de Prédiction :
  • Prédiction Latente : Entraînée via le Flow Matching pour prédire les futurs latents. Pour améliorer la cohérence à long horizon, le modèle utilise le Diffusion Forcing, qui échantillonne les niveaux de bruit indépendamment à travers les futurs pas de temps.
  • Prédiction Proprioceptive : Contrairement à certains travaux antérieurs, WEAVER prédit explicitement les futurs états proprioceptifs (positions articulaires et largeur de la pince), ce qui est crucial pour la manipulation d'objets déformables.
  • Têtes de Récompense et de Critique : Une tête de récompense légère ($R$) et un réseau critique ($V$) opèrent directement sur les états latents et les instructions linguistiques. Cela permet une évaluation efficace des blocs d'actions sans décoder les images ou interroger des modèles de langage-vision (VLM) externes.

Optimisation de l'Entraînement et de l'Inférence

• Entraînement : Le modèle est pré-entraîné sur le jeu de données DROID et affiné sur des données de tâches spécifiques. Il utilise des blocs SPRINT pour supprimer agressivement les jetons de patch, améliorant ainsi l'efficacité.
• Accélération de l'Inférence :
  • Mise en Cache KV (KV Caching) : Appliquée aux jetons de mémoire et d'historique à travers les étapes de débruitage pour réduire les coûts de passage direct (forward pass).
  • Flux Rectifié (Rectified Flow) : Le modèle est post-entraîné avec un objectif de flux rectifié pour permettre une génération de haute qualité en peu de passages directs (faible nombre d'évaluations de fonctions, NFE).
  • Bruit Progressif : Un calendrier de bruit cosinus est utilisé pour allouer plus de budget aux régions à faible bruit, améliorant la fidélité.

Applications Aval

WEAVER est conçu pour supporter trois tâches spécifiques :

1. Évaluation de Politique : Exécuter des trajectoires réelles enregistrées en boucle ouverte au sein du modèle de monde pour prédire les taux de succès.
2. Amélioration de Politique : Échantillonner des blocs d'actions, les simuler dans le modèle de monde, et filtrer les trajectoires à haut avantage pour les distiller dans la politique de base ($\pi_{0.5}$).
3. Planification au Moment de l'Exécution : Utiliser une approche "Best-of-N" où plusieurs blocs d'actions sont échantillonnés, imaginés et évalués via des têtes de récompense/critique latentes pour sélectionner l'action optimale à exécuter.

Résultats Clés

Les auteurs évaluent WEAVER sur cinq tâches de manipulation robotique (Empiler des bols, PnP Sac, PnP Marqueur, PnP Serviette, Verser des haricots) en utilisant un robot Franka Emika Panda.

• Fidélité vs Efficacité : WEAVER domine au sens de Pareto le principal modèle de référence, Ctrl-World. Il atteint des scores FID et FVD plus bas (indiquant une fidélité visuelle plus élevée) tout en nécessitant nettement moins de temps d'inférence (par exemple, 10–30s contre 30–50s pour des déroulements de 10s pour Ctrl-World). WEAVER maintient une haute qualité même à faible NFE (8–16), là où la qualité de Ctrl-World se dégrade considérablement lorsque le NFE diminue.
• Cohérence à Long Horizon : WEAVER démontre une performance supérieure dans les déroulements à long horizon (jusqu'à 10s), maintenant des taux d'erreur plus faibles par rapport aux modèles de référence, particulièrement sur les tâches impliquant des occlusions et des objets déformables.
• Évaluation de Politique : Lorsqu'il est utilisé pour évaluer des politiques, WEAVER-FT (affiné) atteint une corrélation de Pearson de $\rho = 0,870$ avec les taux de succès réels, surpassant largement les modèles pré-entraînés.
• Amélioration de Politique : L'affinage du modèle de fondation $\pi_{0.5}$ à l'aide de données synthétiques générées par WEAVER (sans aucune interaction réelle) améliore les taux de succès réels de 38 %. La combinaison de données synthétiques et réelles apporte une amélioration supplémentaire de 11 % par rapport à un affinage basé uniquement sur des données réelles.
• Planification au Moment de l'Exécution : WEAVER permet une planification avec une accélération de 5 à 10$\times$ par rapport à Ctrl-World. Cette approche de planification améliore le taux de succès réel de la politique de base de 14 % (jusqu'à 20 % sur certaines tâches) en sélectionnant les blocs d'actions à haut avantage.
• Robustesse Hors-Distribution (OOD) : WEAVER maintient de fortes performances sur des jeux de données de tâches OOD, grâce à l'utilisation d'un encodeur pré-entraîné plutôt qu'un apprentissage à partir de zéro.

Signification et Revendications

L'article affirme que WEAVER représente une étape significative en réussissant à unifier la haute fidélité, la cohérence à long horizon et l'efficacité d'inférence dans un seul modèle de monde pour la manipulation robotique.

• Débloquer les Capacités Aval : Les auteurs soutiennent que les modèles de monde précédents étaient limités par des compromis (par exemple, haute fidélité mais inférence lente), empêchant leur utilisation pour la planification en temps réel ou l'amélioration efficace des politiques. La capacité de WEIVER à satisfaire ces trois desiderata simultanément débloque ces capacités auparavant inaccessibles.
• Efficacité des Données : Les résultats suggèrent que les modèles de monde de haute fidélité peuvent générer des données synthétiques presque aussi efficaces que les données réelles coûteuses pour l'amélioration des politiques, réduisant potentiellement la dépendance à l'égard des interactions réelles étendues.
• Praticité : En atteignant des vitesses d'inférence compatibles avec les contraintes de temps réel (via le flux rectifié et le cache KV), WEAVER fait de la planification au moment de l'exécution basée sur un modèle de monde une réalité pratique pour les robots physiques, et non plus seulement un concept théorique.

Les auteurs reconnaissent des limites, notamment l'observabilité partielle (absence de capteurs tactiles), les défis liés aux dynamiques complexes d'objets déformables, et la restriction actuelle à une planification à court horizon due à la latence. Cependant, ils posent que WEAVER établit un nouveau standard pour la modélisation de monde scalable, efficace et performante en robotique.