Résumé technique : Révéler la vulnérabilité des modèles Vision-Langage-Action face aux défaillances physiques au niveau des articulations

Énoncé du problème

Le déploiement de modèles Vision-Langage-Action (VLA) dans des systèmes robotiques réels fait face à un écart de robustesse critique : bien que ces modèles fassent preuve d'une forte généralisation aux variations sémantiques et perceptuelles, ils manquent souvent de robustesse face aux défaillances du côté de l'incarnation (embodiment-side faults). Plus précisément, les politiques VLA supposent que le corps du robot convertit fidèlement les actions prédites en mouvements intentionnels. Cependant, les robots du monde réel sont susceptibles de présenter des défaillances physiques au niveau des articulations, telles que la dégradation des actionneurs, les défaillances matérielles, les limites imposées par la sécurité, les dommages par collision et l'usure induisant de la friction.

Ces défaillances modifient l'interface action-mouvement, perturbant la relation en boucle fermée apprise entre les actions commandées, le mouvement réalisé et les observations subséquentes. Contrairement au bruit d'action conventionnel (qui perturbe directement la sortie de la politique), les défaillances physiques au niveau des articulations modifient la capacité cinématique ou dynamique même du robot. Par conséquent, une même action commandée peut entraîner des états réalisés différents selon l'articulation affectée et la sévérité de la défaillance. Cela conduit à un décalage d'exécution en boucle fermée, où le robot dévie de la trajectoire d'état nominale attendue par la politique VLA, provoquant potentiellement des échecs irrécupérables même si la tâche reste physiquement réalisable.

Méthodologie : J-PARC

Pour remédier à cette vulnérabilité, les auteurs proposent le J-PARC (Joint-level Physical-fault Aware Residual Calibrator), un cadre léger conçu pour fonctionner au-dessus d'une politique VLA gelée sans nécessiter le réglage fin (fine-tuning) du modèle de base.

Architecture centrale

J-PARC fonctionne comme un module de correction résiduelle qui ajuste les composantes de translation de la sortie d'action du VLA en fonction du contexte d'exécution inféré.

1. Contexte d'entrée : Le module observe la dynamique récente des articulations et l'historique d'exécution ($H_t$), qui comprend les actions de base, les états de l'effecteur terminal/de la pince, et la différence entre les actions commandées et exécutées.
2. Inférence du régime de défaillance : Un encodeur pré-entraîné ($g_\psi$) traite le mouvement récent des articulations pour inférer un régime de défaillance articulaire latent ($u_t$). Cet encodeur est entraîné pour détecter la présence d'une défaillance et classifier l'articulation spécifique affectée, mais il reste gelé durant la phase d'entraînement résiduel.
3. Prédiction résiduelle : Un calibrateur résiduel basé sur un transformeur ($f_\theta$) prend en entrée le bloc d'action de base, l'historique d'exécution et le régime de défaillance inféré. Il prédit un bloc résiduel ($R_{\theta,t}$) spécifiquement pour les commandes de translation du bras ($\Delta x, \Delta y, \Delta z$).
4. Correction de l'action : L'action finale exécutée est la somme de l'action VLA de base et du résiduel prédit. Les commandes de rotation et de pince de la politique de base sont préservées pour éviter une reconfiguration inutile des articulations.

Stratégie d'entraînement

J-PARC utilise une approche de cible résiduelle guidée par référence :

• Collecte de données : Le système associe des déroulements de référence sans défaillance à des déroulements sous conditions d'articulation verrouillée à partir du même état initial.
• Génération de cible : Un mécanisme de "professeur" compare l'état d'exécution défaillant à la trajectoire de référence sans défaillance. Si l'écart dépasse un seuil, la cible résiduelle est calculée pour rediriger l'effecteur terminal vers le point de passage (waypoint) sans défaillance. Si l'écart est à l'intérieur d'un "tube de démonstration", le résiduel cible est nul.
• Optimisation : Le calibrateur résiduel est entraîné pour minimiser l'erreur quadratique moyenne entre son résiduel prédit et la cible générée par le professeur, tandis que la politique VLA de base et l'encodeur de défaillance restent gelés.

Contributions clés

1. Identification de la vulnérabilité : L'article établit que les défaillances physiques au niveau des articulations (verrouillage, limites de plage, augmentation de la friction) constituent un défi de robustesse critique et distinct pour le déploiement des VLA, séparé du bruit perceptuel ou de l'espace de commande.
2. Analyse des effets hétérogènes : À travers une analyse approfondie, les auteurs démontrent que les effets de défaillance sont dépendants de l'articulation. Les tâches se dégradent de manière hétérogène selon l'articulation affectée et son utilisation dans la tâche. De plus, les baisses de performance surviennent même dans des scénarios réalisables (ex: augmentation de la friction), indiquant que le problème n'est pas simplement l'infaisabilité physique, mais un décalage d'exécution en boucle fermée.
3. Cadre J-PARC : La proposition d'un cadre de calibration résiduelle léger qui infère des régimes de défaillance latents à partir de l'historique d'exécution et adapte les actions en conséquence, préservant le comportement de la politique de base dans les environnements sans défaillance.
4. Validation empirique : Des expériences sur le benchmark LIBERO et sur du matériel réel (Trossen WidowX AI) montrent que J-PARC améliore significativement les taux de réussite sous des défaillances d'articulation tout en maintenant les performances dans des conditions nominales.

Résultats expérimentaux

Les auteurs ont évalué J-PARC sur deux backbones VLA gelés (OpenVLA-OFT et $\pi_0.5$) à travers les suites de benchmarks LIBERO.

• Défaillances par verrouillage d'articulation : Sous des conditions de verrouillage d'articulation, J-PARC a amélioré le taux de réussite moyen de 42,3 % à 46,8 % (OpenVLA-OFT) et de 48,4 % à 55,2 % ($\pi_0.5$). Notamment, il a surpassé les bases de comparaison comme la cinématique inverse contrainte (CIK) et RobustVLA, qui n'ont pas réussi à améliorer les performances ou ont même dégradé les performances.
• Défaillances de friction non vues : Crucialement, J-PARC a été entraîné uniquement sur des données de verrouillage d'articulation. Lorsqu'il a été testé sur une augmentation de la friction articulaire (une défaillance différente non vue lors de l'entraînement), il a tout de même amélioré les taux de réussite moyens (ex: de 46,4 % à 55,1 % pour OpenVLA-OFT), démontant une généralisation aux décalages d'exécution non vus.
• Préservation sans défaillance : Dans des environnements sans défaillance, J-PARC a préservé les performances de la politique de base, confirmant que le module résiduel n'interfère pas avec le fonctionnement nominal.
• Validation en conditions réelles : Sur un robot physique effectuant une tâche de prise et de dépose d'un bol, la politique de base a totalement échoué sous des verrouillages d'articulation, tandis que J-PARC a réussi la plupart des essais en maintenant la trajectoire de l'effecteur terminal proche de la référence sans défaillance.

Signification et affirmations

L'article soutient que la robustesse du côté de l'incarnation est une condition nécessaire pour un déploiement fiable des VLA, et non simplement une question secondaire de matériel. Les auteurs affirment que :

• Les méthodes de robustesse actuelles se concentrant sur le bruit d'action ou les perturbations perceptuelles sont insuffisantes pour gérer les défaillances physiques persistantes qui modifient la dynamique du robot.
• Le décalage entre les actions commandées et les mouvements réalisés s'accumule avec le temps, nécessitant une calibration d'action adaptative qui se conditionne sur le contexte d'exécution actuel plutôt que sur des contraintes statiques.
• J-PARC offre une solution pratique et légère qui améliore la robustesse sans le coût de calcul du réglage fin des grands modèles VLA ou le besoin de données d'entraînement adverses étendues.

Les auteurs restent modestes quant aux limites, notant que leur validation en conditions réelles est actuellement restreinte à des articulations spécifiques (4 et 5) et une seule tâche en raison de contraintes de sécurité, et que la méthode repose actuellement sur l'accès à des trajectoires de référence sans défaillance pour l'entraînement. Des travaux futurs sont suggérés pour explorer la construction automatique de références et des espaces d'action plus larges.