Résumé Technique : Cosmos Policy

Énoncé du Problème

Les avancées récentes des modèles de génération de vidéo ont démontré une capacité impressionnante à capturer les interactions physiques complexes, la causalité temporelle et l'évolution des scènes. Cependant, l'adaptation de ces modèles au contrôle robotique a traditionnellement nécessité des pipelines d'entraînement multi-étapes complexes et l'introduction de nouveaux composants architecturaux (par exemple, des diffuseurs d'actions distincts ou des modèles de dynamique inverse). Les modèles vidéo-action unifiés existants ne parviennent souvent pas à exploiter les puissants a priori spatiotemporels des modèles vidéo pré-entraînés à grande échelle en raison de conceptions personnalisées entraînées à partir de zéro. De plus, bien que les modèles Vision-Langage-Action (VLA) soient devenus des backbones populaires, ils sont principalement entraînés sur des paires image-texte statiques, ce qui peut limiter leur compréhension de la dynamique temporelle et de la physique implicite par rapport aux modèles vidéo.

Le défi central abordé par ce travail est de savoir comment adapter efficacement un grand modèle vidéo de fond pré-entraîné en une politique robotique via un processus simple à une seule étape, sans modification architecturale, tout en permettant simultanément à la politique d'effectuer une planification basée sur un modèle grâce à des modèles de monde et des fonctions de valeur appris.

Méthodologie

Architecture de Cosmos Policy

Les auteurs présentent Cosmos Policy, une politique robotique affinée à partir du modèle de fond vidéo NVIDIA Cosmos-Predict2-2B. L'approche se distingue par l'absence de changements architecturaux ; elle exploite plutôt le processus de diffusion latente natif du modèle pour gérer les entrées et sorties multimodales.

1. Injection de Trame Latente (Latent Frame Injection) :
Pour incorporer des modalités non supportées à l'origine par le modèle vidéo (proprioception du robot, actions, valeurs d'état et caméras multi-vues), les auteurs proposent l'Injection de Trame Latente.

• Mécanisme : Les modalités supplémentaires sont encodées comme de nouvelles trames latentes et intercalées directement dans la séquence de diffusion latente du modèle vidéo.
• Structure de la Séquence : Pour une configuration robotique avec plusieurs caméras et une proprioception, la séquence latente est structurée comme $(s, a, s', V(s'))$, où :
  • $s$ : État actuel (proprioception du robot + images de caméras actuelles).
  • $a$ : Chunk d'action (encodé comme une trame latente).
  • $s'$ : État futur (proprioception future + images de caméras futures).
  • $V(s')$ : Valeur de l'état futur (récompense cumulative attendue, encodée comme une trame latente).
• Flexibilité : Cette méthode permet des configurations robotiques arbitraires (par exemple, un nombre variable de caméras) en ajoutant ou en supprimant simplement des trames latentes dans la séquence sans modifier les poids ou la structure du modèle.

2. Objectifs d'Entraînement Joints :
Le modèle est affiné sur des données de démonstration robotique en utilisant un objectif à une seule étape qui apprend conjointement trois fonctions :

• Politique (Policy) : Prédit les actions, les états futurs et les valeurs conditionnés par l'état actuel ($p(a, s', V(s') | s)$).
• Modèle de Monde (World Model) : Prédit les états futurs et les valeurs conditionnés par l'état et l'action ($p(s', V(s') | s, a)$).
• Fonction de Valeur (Value Function) : Prédit les valeurs futures conditionnées par l'état, l'action et l'état futur ($p(V(s') | s, a, s')$).

Les données d'entraînement consistent en un mélange de démonstrations d'experts (50 % du batch) et de rollouts de la politique (50 % du batch). Les données de rollout sont utilisées pour entraîner le modèle de monde et la fonction de valeur, permettant au système d'apprendre à la fois des trajectoires réussies et des échecs.

3. Planification par Recherche Basée sur Modèle :
Cosmos Policy supporte deux modes de déploiement :

• Politique Directe : Utilise le décodage parallèle pour générer des actions directement à partir de l'état actuel.
• Planification Basée sur Modèle : Utilise le modèle de monde et la fonction de valeur appris pour rechercher les actions optimales.
  • Processus : Le système échantillonne plusieurs propositions d'actions, utilise le "modèle de planification" (un checkpoint raffiné entraîné intensément sur les données de rollout) pour prédire les états futurs et les valeurs résultantes, et sélectionne l'action menant à la valeur prédite la plus élevée.
  • Stratégie d'Ensemble : Pour gérer les distributions multimodales et la variance, le système réalise des ensembles de prédictions en interrogeant le modèle de monde et la fonction de valeur plusieurs fois par action, agrégeant les résultats via une "moyenne majoritaire" pour déterminer la probabilité de succès.

Contributions Clés

1. Adaptation Simple des Modèles Vidéo : L'article démontre qu'un grand modèle vidéo pré-entraîné peut être adapté en une politique robotique de pointe via une seule étape de post-entraînement sans aucune modification architecturale, en utilisant l'injection de trame latente pour encoder les actions et les valeurs.
2. Politique, Modèle de Monde et Fonction de Valeur Unifiés : L'approche unifie l'apprentissage de la politique, la modélisation du monde et l'estimation de la valeur au sein d'un cadre de diffusion latente unique, exploitant les a priori pré-entraînés du modèle vidéo pour capturer des distributions d'actions complexes et des dynamiques temporelles.
3. Planification via Raffinement de Rollout : Les auteurs montrent qu'en collectant des données de rollout de la politique et en affinant les composants du monde et de la valeur, le système peut effectuer une planification efficace basée sur le modèle (échantillonnage best-of-N) pour améliorer les taux de réussite.
4. Performance de Pointe (State-of-the-Art) : La méthode atteint de nouveaux records sur les benchmarks de simulation et de manipulation réelle, surpassant les politiques entraînées à partir de zéro, les politiques basées sur la vidéo et les VLA affinés.

Résultats Expérimentaux

Les auteurs ont évalué Cosmos Policy sur trois benchmarks :

• LIBERO Simulation : A atteint un taux de réussite moyen de 98,5 %, surpassant des bases solides incluant Diffusion Policy, Dita, $\pi_0$, OpenVLA-OFT et CogVLA.
• RoboCasa Simulation : A atteint un taux de réussite moyen de 67,1 % en utilisant seulement 50 démonstrations humaines par tâche (significativement moins que les 300+ utilisées par de nombreux concurrents), dépassant des méthodes comme GR00T-N1.5 et Video Policy.
• Tâches Réelles ALOHA : Dans des tâches de manipulation bimanuelle exigeantes (ex: plier des chemises, manipuler des sacs Ziploc), Cosmos Policy a obtenu le score moyen le plus élevé (93,6 %).
  • Il a notamment surpassé les VLA affinés ($\pi_0.5$, OpenVLA-OFT+) dans des tâches nécessitant des saisies de haute précision et la gestion d'une forte multimodalité d'actions.
  • Impact de la Planification : Lorsqu'il est enrichi par une planification basée sur le modèle utilisant des données de rollout, la politique a vu une augmentation moyenne de 12,5 % des scores de complétion de tâche sur les tâches ALOHA les plus difficiles.

Études d'Ablation :

• Le retrait des objectifs d'apprentissage auxiliaires (prédiction de $s'$ et $V$ aux côtés de $a$) a entraîné une baisse de 1,5 % du taux de réussite.
• Entraîner le modèle à partir de zéro (sans les poids vidéo pré-entraînés) a entraîné une baisse de 3,9 %, soulignant l'importance des a priori du modèle vidéo.
• La planification basée sur le modèle utilisant une formulation $V(s')$ (nécessitant un modèle de monde) a surpassé une variante sans modèle $Q(s, a)$, suggérant la valeur des dynamiques d'environnement apprises.

Signification et Revendications

L'article affirme que Cosmos Policy représente une étape significative dans l'apprentissage robotique en démontant que les a priori spatiotemporels des modèles de génération vidéo à grande échelle constituent un fondement supérieur pour le contrôle de bas niveau par rapport aux modèles VLA basés sur des images statiques.

Les revendications clés incluent :

• Simplicité et Efficacité : La capacité de créer une politique robotique puissante sans changements architecturaux ni pipelines d'entraînement multi-étapes.
• Efficacité des Données : La méthode atteint des performances élevées avec moins de démonstrations (50 contre 300+) par rapport aux autres méthodes de pointe, probablement grâce à l'initialisation forte du modèle vidéo de fond.
• Capacité de Planification : L'architecture unifiée supporte naturellement la planification basée sur le modèle, permettant au robot d'« imaginer » des états futurs et des valeurs pour sélectionner de meilleures actions, une capacité qui améliore les performances dans les tâches de haute précision et multimodales où les politiques directes peinent.
• Généralisation : L'approche montre une forte généralisation dans des scénarios in-distribution et out-of-distribution à travers les environnements de simulation et réels.

Les auteurs reconnaissent des limites, spécifiquement la vitesse d'inférence de la planification basée sur le modèle (environ 5 secondes par chunk d'action) et le besoin actuel de données de rollout substantielles pour affiner le modèle de monde, identifiant ces points comme des domaines d'amélioration future.