Résumé Technique : Hide-and-Seek dans les Trajectoires

Énoncé du Problème

Les modèles Vision-Langage-Action (VLA) ont démontré un potentiel significatif pour permettre aux robots de suivre des instructions en langage naturel et de se généraliser à travers diverses tâches. Cependant, leur déploiement dans des environnements réels est entravé par leur vulnérabilité aux échecs d'exécution, ce qui peut mener à des conséquences catastrophiques (par exemple, lâcher un objet). La détection de ces échecs pendant l'exécution est critique pour la robustesse.

Les méthodes actuelles de détection d'échecs font face à deux limitations principales :

1. Coût de la Supervision : Obtenir des annotations par étape (identifier le timestamp exact d'une erreur) est coûteux et difficile à mettre à l'échelle, particulièrement pour les trajectoires à long horizon et stochastiques. Les approches existantes qui reposent sur des étiquettes au niveau de la trajectoire propagent souvent ces étiquettes uniformément à chaque pas de temps. Cette « propagation uniforme » étiquette à tort des actions normales précédant l'échec comme étant des échecs, introduisant un bruit d'étiquetage substantiel et masquant les signaux d'échec localisés.
2. Praticité Computationnelle : Les méthodes reposant sur le rééchantillonnage d'actions ou sur des juges externes de type Modèle de Langage-Vision (VLM) induisent un surcoût d'inférence prohibitif, empêchant un déploiement en temps réel. De plus, de nombreux détecteurs existants sont conçus pour des politiques spécialisées sur des tâches fixes, limitant leur applicabilité aux VLA généralistes dans des environnements ouverts.

Le défi central abordé est la Détection d'Échecs à Supervision Grossière : apprendre un détecteur d'échec fin par étape en utilisant uniquement des étiquettes de résultat au niveau de la trajectoire (succès/échec) sans aucune annotation par étape.

Méthodologie : Hide-and-Seek

Les auteurs proposent Hide-and-Seek (Cache-cache), un cadre de détection de défaillance au moment de l'exécution, léger, qui traite le problème comme une tâche d'apprentissage à supervision grossière. La méthode tire son nom de la métaphore selon laquelle les signaux d'échec sont « cachés » parmi un comportement largement normal au sein d'une trajectoire, et que le détecteur doit les « chercher » en utilisant uniquement le résultat de la trajectoire comme indice.

Cadre Fondamental

Le cadre apprend un détecteur séquentiel $f_\phi$ qui mappe un préfixe de trajectoire $\tau_{\le t}$ (comprenant des plongements d'actions internes) vers un score d'échec scalaire $s_t \in [0, 1]$. Au lieu d'assigner uniformément l'étiquette de la trajectoire, la méthode emploie un objectif contrastif à deux granularités complémentaires pour localiser les actions indicatrices d'échec :

1. Perte Contrastive Inter-trajectoire ($\mathcal{L}_{inter}$) :

   • Objectif : Distinguer l'action la plus indicative d'un échec dans une trajectoire d'échec de l'action ressemblant le plus à un échec (faux positif difficile) dans une trajectoire de succès.
   • Mécanisme : Pour une paire de trajectoires d'échec ($\tau_f$) et de succès ($\tau_s$), la perte impose que le score d'échec maximal dans $\tau_f$ dépasse le score maximal dans $\tau_s$ d'une marge $m_r$.
   • Effet : Cela guide le modèle pour qu'il se concentre sur les signaux d'échec les plus saillants sans supposer où ils se produisent, découvrant ainsi l'étape critique de manière adaptative.

2. Perte Contrastive Intra-trajectoire ($\mathcal{L}_{intra}$) :

   • Objectif : Façonner la dynamique temporelle au sein d'une trajectoire d'échec pour séparer les phases de pré-échec (normale) et de post-échec.
   • Mécanisme : La méthode définit un déclenchement de l'échec par procuration $t_{onset}$ comme le point de l'augmentation la plus forte du score ($\arg\max_t (s_t - s_{t-1})$). La perte encourage le score moyen après $t_{onset}$ à dépasser le score moyen avant $t_{onset}$ d'une marge $m_o$.
   • Effet : Cela convertit la supervision grossière au niveau de la trajectoire en un signal temporellement structuré, garantissant que les scores restent bas pendant l'exécution normale et augmentent brusquement lors du déclenchement de l'échec.

L'objectif total est $\mathcal{L} = \mathcal{L}_{inter} + \lambda \mathcal{L}_{intra}$.

Surveillance au Moment de l'Exécution (Runtime)

Pendant l'inférence, le détecteur produit un score $s_t$ à chaque pas de temps. Pour déterminer une alarme d'échec, le système utilise la Prédiction Conforme Fonctionnelle (CP). Un seuil variable dans le temps $\zeta_t$ est construit à partir d'un ensemble de calibration mis de côté composé de trajectoires réussies. Cela garantit que pour toute nouvelle exécution réussie, le taux de fausse alerte au niveau de la trajectoire est borné par un niveau de signification $\alpha$ spécifié par l'utilisateur. Un échec est déclaré au premier pas de temps où $s_t \ge \zeta_t$.

Architecture

Le détecteur $f_\phi$ est un modèle de séquence léger (par défaut : LSTM à une couche) qui traite les plongements d'actions extraits du jeton ou de la tête d'action du VLA. Pour atténuer la redondance temporelle, les auteurs utilisent une agrégation par fenêtre glissante non chevauchante avec un pooling moyen.

Contributions Clés

1. Cadre Novateur : Introduction de Hide-and-Seek, qui fait le pont entre l'apprentissage à supervision grossière et la détection d'échec incarnée, permettant la découverte d'actions indicatrices d'échec à partir d'une supervision au niveau de la trajectoire uniquement.
2. Conception de l'Objectif Contrastif : Un mécanisme de double perte (inter et intra-trajectoire) qui distingue les signaux d'échec à travers et au sein des trajectoires, convertissant efficacement la supervision grossière en signaux temporellement structurés sans annotations par étape.
3. Évaluation Complète : Évaluation étendue sur des benchmarks de simulation (LIBERO-10, VLABench) et une plateforme robotique réelle (UFactory xArm 6) en utilisant trois politiques VLA représentatives : OpenVLA (autorégressif), $\pi_0$, et $\pi_0.5$ (flow-matching).

Résultats Expérimentaux

La méthode a été évaluée par rapport à 12 baselines, incluant des méthodes de détection d'OOD, des approches de multi-échantillonnage et des méthodes basées sur des classificateurs (ex: SAFE).

• Performance : Hide-and-Seek atteint des performances de pointe (State-of-the-Art) sur tous les indicateurs (Précision Équilibrée, Précision Pondérée, Précision Pondérée par le Temps) sur les tâches vues et non vues.
  • Sur LIBERO-10 avec OpenVLA, il surpasse la plus forte baseline de classification (SAFE-MLP) de +6,8 % en bACC sur les tâches vues et de +7,2 % sur les tâches non vues.
  • Sur VLABench avec $\pi_0.5$, il dépasse SAFE-MLP de +8,1 % en TWA sur les tâches vues et de +10,8 % sur les tâches non vues.
  • Dans les expériences réelles, il maintient des performances stables sur les tâches vues et non vues, atteignant un gain de +11,7 % en bACC par rapport à SAFE-MLP sur les tâches non vues.
• Efficacité : Comparé à un moniteur de runtime basé sur un VLM (Qwen3-VL-8B), Hide-and-Seek est >2 000 fois plus rapide (0,001s vs 2,343s par étape) tout en affichant une précision supérieure de +13,1 %.
• Études d'Ablation :
  • Étiquetage Uniforme : La méthode proposée surpasse significativement une baseline qui assigne uniformément les étiquettes de trajectoire à tous les pas de temps (+19,4 % bACC sur OpenVLA), confirmant que la propagation uniforme introduit du bruit d'étiquetage.
  • Architecture : Les backbones récurrents (LSTM, GRU) surpassent les MLP et les Transformers, suggérant l'avantage de modéliser le contexte temporel.
  • Composants de Perte : $\mathcal{L}_{inter}$ et $\mathcal{L}_{intra}$ sont tous deux nécessaires ; $\mathcal{L}_{inter}$ seul fonctionne bien, mais leur combinaison apporte des améliorations constantes.

Signification et Revendications

L'article affirme que Hide-and-Seek fournit une solution pratique et légère pour la surveillance des échecs en temps réel dans l'IA incarnée. Sa signification réside dans :

• Élimination des Coûts d'Annotation : Il élimine le besoin d'annotations d'échec par étape coûteuses, en se reposant uniquement sur le résultat de la trajectoire qui est naturellement disponible.
• Généralisation : Il démontre une forte généralisation aux tâches non vues et à différentes architectures VLA (autorégressives et flow-matching), répondant à une limitation clé des méthodes précédentes axées sur des spécialistes.
• Viabilité Réelle : En évitant un surcoût d'inférence lourd (contrairement au rééchantillonnage ou aux juges VLM) et en atteignant un compromis précision-rapidité favorable via la prédiction conforme, il permet un déploiement robuste dans des systèmes robotiques réels.

Les auteurs positionnent ce travail comme un nouveau lien entre les paradigmes d'apprentissage à supervision faible et les défis spécifiques de la sécurité des agents incarnés, offrant une voie évolutive vers un déploiement fiable des VLA.