Résumé technique : ROBOMD : Révélation des vulnérabilités des robots par le biais de champs potentiels sémantiques

Énoncé du problème

Les politiques de manipulation robotique, bien que centrales pour l'intelligence artificielle physique, présentent des vulnérabilités significatives lorsqu'elles sont exposées à des variations du monde réel. Le diagnostic de ces vulnérabilités se heurte à deux défis principaux : (1) les variations pertinentes à tester sont souvent inconnues ou imprévisibles, et (2) les tests physiques directs sont coûteux, lents et potentiellement dangereux pour les robots, les environnements et les humains. Les approches existantes, telles que l'interrogation de modèles vision-langage (VLM) ou l'utilisation de détection hors distribution (OOD), échouent souvent à fournir des prédictions quantitatives précises ou manquent de la capacité d'interagir de manière itérative avec la politique pour découvrir des modes de défaillance subtils. De plus, les tests heuristiques traditionnels sont peu pratiques face à l'immense espace des variations environnementales possibles.

Méthodologie

Les auteurs proposent RoboMD, un cadre qui reformule le diagnostic des défaillances comme un problème de recherche active et séquentielle résolu par un agent d'apprentissage par renforcement profond (RL) distinct. L'innovation centrale réside dans l'opération au sein d'un espace d'encodage vision-langage continu et sémantiquement riche, plutôt que dans un ensemble discret de variations spécifiées manuellement.

1. Encodage sémantique comme champ potentiel

Le cadre construit d'abord un espace d'encodage continu ($\mathcal{E}$) à l'aide d'un ensemble limité de trajectoires étiquetées succès-échec ($D$).

• Architecture : Un modèle à double colonne traite les entrées d'image brutes ($x_{vision}$) via un Vision Transformer (ViT) et les descriptions de tâches ($x_{lang}$) via un encodeur CLIP.
• Objectif d'entraînement : Les encodages sont entraînés en utilisant un objectif conjoint de perte d'entropie croisée binaire (pour la classification succès/échec) et d'une perte contrastive. Cela structure l'espace comme un champ potentiel où la proximité corrèle avec la similarité des résultats. Les régions de succès et d'échec forment des clusters distincts, et l'espace est suffisamment lisse pour permettre l'interpolation entre les variations connues.
• Résultat : Cela crée un paysage continu où l'agent RL peut naviguer sans nécessiter de trajectoires physiques du robot à chaque étape.

2. La politique de prédiction de vulnérabilité ($\pi_{MD}$)

Une politique RL profonde distincte, $\pi_{MD}$ (RoboMD), est entraînée pour parcourir cet espace d'encodage afin d'identifier les conditions induisant des défaillances.

• Formulation MDP : Le parcours est modélisé comme un processus de décision markovien (MDP).
  • État ($S$) : Une réalisation de l'encodage sémantique continu.
  • Action ($A$) : Un vecteur dans l'espace d'encodage représentant une variation environnementale hypothétique.
  • Récompense ($R$) : L'agent est récompensé pour trouver des défaillances rapidement. La fonction de récompense inclut une pénalité pour les grandes déviations par rapport aux encodages connus (pour assurer la plausibilité physique) et une pénalité de fréquence pour éviter l'échantillonnage répétitif, encourageant l'exploration de la frontière de décision entre succès et échec.
• Algorithme : L'optimisation de politique proximale (PPO) est utilisée, exploitant la régularisation par entropie pour assurer une exploration large de l'espace continu.
• Mécanisme : $\pi_{MD}$ apprend à se déplacer vers les « régions d'échec » (attracteurs) et à s'éloigner des « régions de succès » (répulseurs) au sein de l'espace d'encodage. Il apprend efficacement la distribution de probabilité des modes de défaillance.

3. Diagnostic et amélioration de la politique

Une fois entraîné, $\pi_{MD}$ peut être interrogé pour générer une carte probabiliste de la vraisemblance des vulnérabilités.

• Prédiction : Il produit une liste classée des probabilités de défaillance pour les variations vues et non vues.
• Informations exploitables : Les modes de défaillance à haute probabilité identifiés sont utilisés pour construire un ensemble de données ciblé. La politique de manipulation pré-entraînée ($\pi_R$) est ensuite affinée sur cet ensemble de données compact et à haute valeur pour corriger des vulnérabilités spécifiques.

Contributions clés

1. Cadre de diagnostic basé sur le RL profond : L'article propose un cadre opérant dans un espace d'encodage continu et sémantiquement riche pour diagnostiquer les défaillances des politiques de manipulation pré-entraînées, dépassant les variations discrètes et spécifiées manuellement.
2. Garanties théoriques : Les auteurs fournissent des preuves théoriques démontrant que la mise en forme de récompense basée sur le potentiel préserve l'optimalité (invariance de l'avantage), assure une exploration efficace de l'échantillonnage des frontières et accélère la convergence de l'algorithme PPO.
3. Validation empirique : Des expériences extensives sur des benchmarks simulés (RoboSuite) et un bras robotique physique UR5e démontrent l'efficacité du cadre.

Résultats expérimentaux

• Précision du diagnostic : RoboMD surpasse les bases de référence de l'état de l'art, y compris les VLM (GPT-4o, Gemini 1.5 Pro, Qwen2-VL) et d'autres algorithmes RL (A2C, SAC). Il révèle jusqu'à 23 % de vulnérabilités uniques supplémentaires par rapport aux bases de référence vision-langage.
• Généralisation : Le cadre classe avec succès les probabilités de défaillance pour des variations environnementales non vues (par exemple, nouvelles couleurs d'objets ou conditions d'éclairage) qui n'étaient pas présentes dans les données d'entraînement, validant la continuité sémantique de l'espace d'encodage.
• Amélioration de la politique : L'affinement de la politique de manipulation utilisant les défaillances découvertes par RoboMD améliore considérablement la robustesse.
  • Efficacité des données : L'affinement avec les défaillances sélectionnées par RoboMD a atteint une précision de 92,83 % en utilisant uniquement 1,3 Go de données.
  • Comparaison : Cela surpasse l'affinement sur toutes les défaillances connues (85,48 % de précision) qui nécessitaient 9,0 Go de données, et surpasse significativement l'affinement sur des défaillances sélectionnées au hasard.

Importance et affirmations

L'article affirme que RoboMD transforme le diagnostic des défaillances de manipulation robotique d'un processus manuel et heuristique en une recherche automatisée et principielle. En élevant la recherche vers un espace d'encodage vision-langage continu, le cadre permet la découverte de modes de défaillance subtils souvent négligés par les tests statiques ou les modèles qui n'interagissent pas de manière itérative avec la politique.

Les auteurs soulignent que, bien que les méthodes de généralisation (comme la randomisation de domaine) soient essentielles, elles ne suffisent pas ; des conditions imprévues surgiront toujours. RoboMD sert d'outil de diagnostic complémentaire qui identifie systématiquement ces faiblesses avant le déploiement. Le cadre offre une base pratique pour des pipelines de test continus, permettant des tests de régression automatisés et une amélioration ciblée des politiques avec des coûts de collecte de données considérablement réduits, renforçant ainsi la sécurité et la fiabilité des déploiements robotiques dans le monde réel.