Résumé Technique : Sword – Modèles de Monde Robustes comme Simulateurs via Amorçage Dynamique des Latents

1. Énoncé du Problème

L'intégration de modèles Vision-Langage-Action (VLA) avec des Modèles de Monde est devenue un paradigme prometteur pour la manipulation robotique, permettant l'optimisation de politiques au sein d'une « imagination » (environnements simulés) pour contourner les coûts prohibitifs de l'interaction physique. Cependant, les Modèles de Monde existants, lorsqu'ils sont déployés comme simulateurs pour des benchmarks spécifiques comme LIBERO, font face à deux limitations critiques qui compromettent leur fiabilité :

1. Mauvaise Généralisation et Sensibilité aux Perturbations : Les modèles actuels surajustent souvent aux textures visuelles spécifiques et aux configurations statiques de leurs environnements d'entraînement. Lorsqu'ils sont exposés à des perturbations hors distribution (OOD) — telles que des changements de couleur de fond, d'éclairage ou d'apparence des objets — ces modèles échouent à généraliser. Au lieu de modéliser les dynamiques physiques sous-jacentes, ils s'appuient sur des corrélations statistiques superficielles, conduisant à des hallucinations catastrophiques en cascade (par exemple, flou sévère, surexposition ou effondrement structurel) lors des déroulements en boucle fermée.
2. Accumulation d'Erreurs Autoregressive (Biais d'Exposition) : Les méthodologies d'entraînement standard utilisent la Force de l'Enseignant (Teacher Forcing), où des images de référence (ground-truth) sont utilisées comme contexte pour prédire les états futurs. Cependant, lors de l'inférence, le modèle doit se conditionner sur ses propres prédictions imparfaites. Ce décalage de distribution provoque l'accumulation et l'amplification de petites erreurs initiales sur des déroulements à long horizon, dégradant la fidélité des états futurs prédits et rendant le simulateur peu fiable pour l'apprentissage par renforcement (RL) post-entraînement.

2. Méthodologie : Le Cadre Sword

Pour répondre à ces vulnérabilités, les auteurs proposent Sword, un cadre de Modèle de Monde robuste conçu pour dissocier les sémantiques environnementales des dynamiques pertinentes pour la tâche et aligner les distributions d'entraînement et d'inférence. Le cadre se compose de deux composants principaux :

2.1 Augmentation de Style Guidée par la Structure

Pour améliorer la généralisation et prévenir le surajustement aux textures visuelles de bas niveau, Sword introduit un pipeline d'augmentation de style stochastique pendant l'entraînement.

• Mécanisme : Basé sur l'architecture Cosmos-Transfer 2.5, la méthode applique des transformations de style continues (par exemple, luminosité, saturation, couleur du bras robotique, apparence de la table) aux observations.
• Guidage par la Structure : Pour garantir que ces transformations restent physiquement plausibles et sémantiquement cohérentes, l'augmentation est guidée par des priors géométriques et de tâche. Des modalités auxiliaires, telles que des cartes de profondeur et des masques de segmentation sémantique (extraites via DepthAnything, GroundingDINO et SAM2), sont injectées dans la branche de contrôle géométrique. Une invite conjointe combinant les sémantiques de tâche et les cibles de style guide la branche de contrôle textuel.
• Objectif : Cela force le modèle à apprendre des dynamiques physiques invariantes ($S_{env}$) et des contraintes géométriques ($G_{env}$) plutôt que des indices superficiels au niveau des pixels, améliorant ainsi la robustesse dans des conditions OOD.

2.2 Amorçage Dynamique des Latents (DLB)

Pour atténuer le biais d'exposition causé par la divergence entre la Force de l'Enseignant (entraînement) et la génération autoregressive (inférence), Sword propose l'Amorçage Dynamique des Latents.

• Mécanisme : Au lieu de basculer brutalement de la Force de l'Enseignant à l'auto-conditionnement, le DLB met en œuvre une transition progressive. Il maintient un Cache de Latents Dynamique dans l'espace latent du VAE (réduisant la surcharge mémoire de plusieurs centaines de Go à moins de 20 Go par rapport au déroulement dans l'espace des pixels).
• Processus : Pendant l'entraînement, les latents prédits par le modèle sont continuellement écrits dans ce cache. L'objectif d'entraînement augmente progressivement la probabilité d'utiliser ces prédictions mises en cache comme signaux de contexte historique, plutôt que les images de référence.
• Objectif : Cela crée une boucle d'entraînement « amorcée » où le modèle apprend à corriger les erreurs induites par ses propres prédictions, assurant l'alignement de la distribution d'entraînement avec la distribution d'inférence et stabilisant les déroulements à long horizon.

2.3 Architecture du Modèle

Le cadre utilise Wan 2.2 TI2V comme colonne vertébrale, un Transformer génératif basé sur la diffusion. Les actions sont injectées sous forme de texte pour guider la prédiction des images. Le modèle opère dans un espace latent où un seul latent de contexte prédit deux latents futurs (décodés en 8 images), la première image d'un épisode étant concaténée comme condition globale pour améliorer la cohérence temporelle.

3. Contributions Clés

L'article résume ses contributions comme suit :

1. Augmentation de Style Guidée par la Structure : Un pipeline qui diversifie les conditions visuelles tout en préservant la structure géométrique et les sémantiques de tâche, encourageant l'apprentissage de dynamiques pertinentes pour la transition plutôt que de textures superficielles.
2. Amorçage Dynamique des Latents : Un mécanisme économe en mémoire qui conditionne progressivement le modèle sur ses propres latents prédits pendant l'entraînement, atténuant efficacement le décalage entraînement-inférence inhérent à la Force de l'Enseignant.
3. Évaluation Complète : Une évaluation systématique sur le benchmark LIBERO démontrant que Sword surpasse la référence WoVR de l'état de l'art en termes de généralisation, de qualité de génération, de fidélité du simulateur et de taux de réussite de la politique VLA post-entraînement.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark LIBERO-Spatial utilisant un ensemble de données de 1 600 épisodes de déroulement (1 500 pour l'entraînement, 100 pour l'évaluation). L'évaluation incluait un ensemble de test OOD (LIBERO-Mixed) avec des variations de style inédites.

• Généralisation : Dans des conditions OOD (par exemple, changements d'éclairage et de couleur), la référence WoVR a montré une dégradation sévère, les prédictions devenant floues et structurellement effondrées à l'image 30. En revanche, Sword a maintenu des prédictions stables et précises ainsi qu'une cohérence stylistique tout au long des horizons longs.
• Qualité de Prédiction : Les métriques quantitatives (LPIPS, FID, FVD, FloLPIPS) ont montré que Sword surpassait constamment WoVR. Notamment, sur l'ensemble de données OOD mixte, Sword a obtenu une réduction significative du FVD (32,59 contre 119,62 pour WoVR), indiquant une atténuation supérieure du flou et du tremblement.
• Robustesse et Fidélité : Dans des simulations en boucle fermée impliquant des interactions physiques (par exemple, la préhension), WoVR a échoué à suivre correctement les séquences d'actions, fermant souvent les pinces prématurément ou perdant le suivi des objets. Sword a démontré une meilleure contrôlabilité des actions, maintenant correctement les pinces ouvertes jusqu'à l'alignement et exécutant avec succès des préhensions correctives.
• Taux de Succès de la Politique : Utilisé comme simulateur pour l'entraînement RL postérieur (en utilisant GRPO avec OpenVLA-OFT), Sword a permis aux agents VLA d'atteindre des taux de réussite plus élevés (61,72 % à l'étape 172) par rapport à la référence WoVR (53,12 %).

Études d'Ablation

• Efficacité du DLB : La suppression du DLB a entraîné une dégradation constante des performances sur toutes les métriques, en particulier dans la stabilité à long horizon et la cohérence de l'éclairage, confirmant son rôle dans la réduction du biais d'exposition.
• Conception du Cache : Une ablation sur les stratégies de cache (programmes de lecture et mécanismes d'écriture) a révélé que le programme de lecture du cache (spécifiquement la Décroissance Linéaire) avait l'impact le plus significatif sur les performances, tandis que les stratégies d'écriture (Directe vs EMA, Unique vs Tous les blocs) montraient une influence moins régulière. La configuration optimale combinait Décroissance Linéaire, Remplacement Direct et Tous les Blocs.

5. Signification et Revendications

L'article revendique que Sword répond aux vulnérabilités critiques de l'utilisation des Modèles de Monde comme simulateurs pour l'optimisation des politiques VLA. En contraignant avec succès le modèle à apprendre des dynamiques physiques invariantes grâce à l'augmentation de style et en résolvant l'écart entraînement-inférence via l'Amorçage Dynamique des Latents, le cadre élimine les erreurs en cascade prévalentes dans les approches existantes.

Les auteurs affirment que Sword fournit un simulateur génératif robuste et de haute fidélité qui améliore considérablement la généralisation et le taux de réussite global des politiques optimisées dans des environnements inédits. Ils positionnent ce travail comme une étape vers la rendre l'apprentissage par renforcement basé sur l'« imagination » une alternative viable à l'interaction physique avec des robots, bien qu'ils notent modestement que leurs comparaisons actuelles sont limitées à la référence WoVR en raison de contraintes computationnelles, avec des projets de comparaisons plus larges dans des travaux futurs.