Résumé Technique : SafeDojo

Définition du Problème

Le déploiement de modèles Vision-Langage-Action (VLA) dans des environnements physiques réels fait face à un défi de sécurité critique : l'évitement de collisions lors de manipulations riches en contacts. Contrairement aux systèmes de contrôle à faible dimension où les contraintes de sécurité peuvent être explicitement définies ou apprises de manière compacte, les politiques VLA doivent inférer les limites de sécurité à partir d'observations visuelles de haute dimension à travers diverses configurations d'obstacles inédites.

Les approches existantes de manipulation robotique sécurisée souffrent de limitations significatives :

• Les interventions au moment de l'inférence (ex: Fonctions de Barrière de Contrôle) nécessitent une modélisation géométrique précise et un étalonnage de la caméra, ce qui est peu pratique pour le déploiement VLA en monde ouvert.
• L'apprentissage par renforcement (RL) contraint sans modèle impose la sécurité via une optimisation basée sur des pénalités, mais nécessite une exploration réelle coûteuse et potentiellement dangereuse. Un seul contact non sécurisé peut causer l'échec de la tâche, des dommages matériels irréversibles ou une perturbation de l'environnement.
• Le RL sûr basé sur un modèle opère généralement dans des espaces d'états de faible dimension avec des fonctions de coût fournies par le simulateur, ce qui rend difficile le transfert vers des modèles VLA de haute dimension où les signaux de sécurité doivent être appris à partir de données visuelles plutôt que définis analytiquement.

Le problème central adressé est la manière d'apprendre des politiques VLA sans collision dans des environnements riches en obstacles sans dépendre de fonctions de sécurité faites à la main ou d'une exploration réelle risquée.

Méthodologie : SafeDojo

SafeDojo est proposé comme le premier cadre d'apprentissage par renforcement sûr basé sur un modèle spécifiquement conçu pour les politiques VLA. Il permet une optimisation de la politique en ligne entièrement au sein d'un modèle de monde vidéo interactif, évitant ainsi les risques du monde réel. Le cadre se compose de trois composants clés :

1. Déroulements de Modèle de Monde Interactif par Tronçons (Chunk-wise)

Au lieu de collecter des données dans le monde physique, SafeDojo effectue des déroulements "modèle dans la boucle" à l'intérieur d'un modèle de monde interactif $p_\phi$.

• Architecture : Le modèle de monde est instancié comme un prédicteur vidéo conditionné par l'action (basé sur Wan 2.2) qui génère des observations visuelles futures et des dynamiques latentes.
• Processus : Étant donné une observation initiale $o_0$ et une instruction linguistique $l$, la politique VLA actuelle $\pi_\theta$ échantillonne des trajectoires candidates. Le modèle de monde déroule ces trajectoires de manière récursive pour générer des images futures $\hat{o}_{i,k+1}$ et des états latents $\hat{z}_{i,k+1}$ conditionnés par des tronçons d'actions.
• Robustesse : Pour atténuer l'écart entre entraînement et test ainsi que l'erreur d'exposition lors de déroulements à long horizon, l'entraînement inclut une augmentation par vidéo statique qui gèle occasionnellement les images de conditionnement, rendant le modèle tolérant aux prédictions intermédiaires imparfaites.

2. Évaluation Découplée de la Récompense de Tâche et du Coût de Sécurité

SafeDojo évalue les trajectoires imaginées à l'aide d'un évaluateur à double branche qui estime des signaux denses par étape plutôt que de les condenser en un scalaire unique.

• Récompense de Tâche ($f_{task}$) : Un classificateur de succès ResNet affiné prédit la progression de la tâche par étape à partir des images futures imaginées.
• Coût de Sécurité ($f_{safe}$) : Une tête de sécurité légère estime les coûts de sécurité par étape (probabilité de contact avec un obstacle) à partir des contextes latents prédits et du tronçon d'action proposé.
• Agrégation : Ces signaux denses sont agrégés en récompenses de trajectoire ($r_i$) et en coûts ($c_i$). Le coût de sécurité agrège spécifiquement les $M$ étapes les plus risquées pour mettre l'accent sur les intervalles critiques.

3. GRPO à Base de Lagrangien pour la Sécurité Contrainte

Pour optimiser la politique sous des contraintes de sécurité explicites, SafeDojo emploie une variante de l'Optimisation de la Politique par Gradient Relatif de Groupe (GRPO) avec une formulation lagrangienne.

• Calcul de l'Avantage : Les récompenses de tâche et les coûts de sécurité sont normalisés séparément au sein d'un groupe de trajectoires échantillonnées pour calculer les avantages relatifs $\hat{A}^r_i$ et $\hat{A}^c_i$.
• Objectif Contraint : L'avantage final est calculé comme $\hat{A}^{safe}_i = \hat{A}^r_i - \eta \hat{A}^c_i$, où $\eta$ est un multiplicateur de Lagrange non négatif.
• Équilibrage Dynamique : Le multiplicateur $\eta$ est mis à jour en fonction de la violation de la contrainte au niveau du batch (coût de sécurité moyen par rapport au budget autorisé $d$). Si le coût moyen dépasse le budget, $\eta$ augmente pour pénaliser plus fortement les trajectoires non sécurisées ; sinon, il diminue pour permettre une amélioration orientée vers la tâche.
• Règle de Mise à Jour : La politique est mise à jour à l'aide d'un objectif tronqué avec l'avantage contraint par la sécurité, assurant une amélioration coordonnée du succès de la tâche et de la sécurité sans poids de pénalité fixes.

Contributions Clés

1. Estimation de Récompense-Coût par Modèle de Monde : Développement d'un modèle de monde vidéo interactif couplé à un évaluateur à double branche qui découple l'estimation de la progression de la tâche et du risque de sécurité des dynamiques imaginées, éliminant le besoin de fonctions de sécurité faites à la main.
2. RL Sûr sous Contrainte : Introduction d'un objectif GRPO basé sur le Lagrangien qui impose explicitement des budgets de sécurité tout en coordonnant le succès de la tâche et l'évitement de collisions, évitant la sensibilité des poids de pénalité fixes.
3. Performance Empirique : Démonstration d'une performance supérieure sur le benchmark SafeLIBERO et sur des déploiements réels avec un robot Franka, atteignant les meilleurs taux de succès de tâche, de succès sécurisé et d'efficacité d'exécution parmi les bases d'inférence de sécurité, de RL sans modèle et de RL basé sur un modèle.

Résultats Expérimentaux

Le cadre a été évalué sur SafeLIBERO (un benchmark critique pour la sécurité construit sur Robosuite) et sur des robots Franka Emika Panda réels.

Résultats de Simulation (SafeLIBERO)

• Taux de Succès Sécurisé (SSR) : SafeDojo a atteint le SSR moyen le plus élevé sur le Niveau I (53,25 %) et le Niveau II (49,62 %). Sur le Niveau I, cela représente une amélioration de 8,25 points de pourcentage par rapport à la base la plus forte (SafeVLA à 45,00 %).
• Efficacité d'Exécution : SafeDojo a obtenu le nombre moyen de pas d'exécution le plus bas (269,41 sur le Niveau I), surpassant la meilleure base de modèle (WMPO à 274,02), indiquant que l'optimisation axée sur la sécurité ne conduit pas à des politiques excessivement conservatrices ou inefficaces.
• Généralisation : Entraîné uniquement sur les démonstrations du Niveau I, SafeDojo a maintenu une performance de haut niveau sur le Niveau II (obstacles placés plus loin sur le chemin de mouvement), démontant que les signaux de sécurité appris via des déroulements imaginés se transfèrent à des configurations d'obstacles inédites.

Résultats Réels

• Déployé sur cinq tâches de manipulation réelles, SafeDojo a atteint le meilleur taux de succès de tâche moyen (76,00 %) et le meilleur taux de succès sécurisé (70,00 %).
• L'analyse qualitative a montré que SafeDojo générait des trajectoires directes et conscientes des collisions, tandis que les bases soit entraient en collision avec les obstacles, devenaient trop conservatrices, ou échouaient à se rétablir d'états non sécurisés.

Études d'Ablation

• Importance des Composants : Supprimer la tête de sécurité a fait chuter le SSR à 38,0 % ; supprimer la branche de récompense de la tâche a fait s'effondrer la performance à presque zéro. Remplacer le GRPO contraint par une optimisation non contrainte a considérablement réduit la sécurité.
• Sources d'Entrée : L'utilisation de l'état actuel du modèle de monde plus le tronçon d'action proposé a fourni les indices de récompense-coût les plus stables par rapport à l'utilisation des seules prédictions futures.
• Multiplicateur de Lagrange ($\eta$) : Un $\eta$ initial de 0,2 a fourni le meilleur équilibre ; des valeurs plus élevées ont conduit à des politiques trop contraintes et inefficaces, tandis que des valeurs plus basses n'ont pas réussi à supprimer les actions risquées.

Signification et Revendications

L'article positionne SafeDojo comme une voie scalable et généralisable vers une intelligence incarnée sûre. En exploitant les modèles de monde pour effectuer des "déroulements anticipatoires" dans l'imagination, SafeDojo répond à la tension fondamentale entre le besoin d'exploration de la politique et l'irréversibilité des violations de sécurité physique.

Les auteurs affirment que SafeDojo est le premier cadre à appliquer avec succès le RL sûr basé sur un modèle aux modèles VLA, permettant :

1. Apprentissage Sans Risque : L'amélioration de la politique se produit entièrement dans un modèle de monde simulé, éliminant le besoin d'une exploration réelle coûteuse et dangereuse.
2. Sécurité Basée sur les Données : Les signaux de sécurité sont appris à partir d'observations visuelles de haute dimension plutôt que de dépendre de contraintes géométriques prédéfinies ou de fonctions de coût faites à la main.
3. Optimisation Équilibrée : L'approche par Lagrangien permet de satisfaire explicitement les contraintes tout en maintenant une performance de tâche et une efficacité élevées.

Les résultats suggèrent que l'apprentissage par renforcement sûr basé sur un modèle de monde est un paradigme viable pour le déploiement de politiques VLA dans des environnements physiques en monde ouvert où la sécurité est une condition préalable.