Résumé Technique : PATCH – Innovation de Monitoring de Patch Latent Conditionnée par l'Action-Chunk

Énoncé du Problème

Les politiques de manipulation robotique basées sur l'apprentissage, en particulier celles utilisant le partitionnement d'actions (action chunking, ex: Action Chunking with Transformers), ont progressé de manière significative dans la génération de séquences de contrôle continues et fines. Cependant, le déploiement de ces politiques dans des espaces de travail ouverts et dynamiques reste fragile. Les moniteurs d'exécution actuels reposent souvent sur des anomalies d'observation globales, l'incertitude de la politique ou des changements visuels au niveau de la trame. Ces approches peinent à distinguer les risques d'exécution pertinents pour la tâche (ex: un obstacle bloquant un mouvement planifié) des variations visuelles bénignes (ex: encombrement statique non pertinent, occlusions transitoires ou perturbations en dehors du chemin immédiat du robot).

Les méthodes actuelles déclenchent fréquemment de fausses alarmes lors de changements visuels non critiques ou ne parviennent pas à détecter des obstructions persistantes qui se situent pourtant dans la région spécifique que le robot est censé traverser. Le défi central consiste à développer un système de surveillance capable de déterminer si l'évolution visuelle est à la fois anormale pour l'action-chunk active et localisée dans la région que la politique va utiliser, plutôt que de simplement détecter des observations inhabituelles de manière globale.

Méthodologie : Le Cadre PATCH

Le document présente PATCH (Action-Chunk-Conditioned Latent Patch Innovation Monitor), un système conçu pour l'intervention lors du déploiement. PATCH fonctionne en définissant un « corridor d'exécution projeté » basé sur l'action-chunk actuelle du robot et en surveillant la présence de déviations externes persistantes au sein de cette région spécifique.

1. Formulation du Problème

À chaque étape de contrôle $t$, le moniteur reçoit l'identité de la politique active $\pi_t$, l'action-chunk $U_t$ et les données sensorielles (images en vue de dessus et vue du poignet, état des articulations et effort). L'objectif est de déclencher une intervention uniquement lorsqu'un corridor d'exécution projeté (la région de l'image affectée par le mouvement à court terme) contient une innovation latente externe persistante qui ne peut être expliquée par une exécution normale conditionnée par le robot.

2. Composants Clés

Le moniteur PATCH se compose de quatre composants intégrés :

• Dynamique Latente Conditionnée par le Robot :
  Utilisant des encodeurs visuels denses gelés, le système encode les images en vues de dessus et du poignet en champs latents. Un réseau ConvNet spatial léger prédit l'état latent attendu de la vue de dessus ($\mu_t, \sigma_t$) étant donné l'historique récent des croyances, le contexte du poignet, l'état du robot et l'action-chunk active. Cette prédiction établit une base de référence pour l'évolution « normale ». L'innovation est scorée comme la log-vraisemblance négative de l'état latent observé par rapport à cette prédiction.

• Filtrage du Auto-Mouvement (Self-Motion Filtering) :
  Pour éviter que les propres mouvements du robot (mouvement du bras, mouvement du préhenseur, contact ou tenue d'objets) ne déclenchent de fausses alarmes, PATCH calcule une carte de support de l'auto-mouvement ($S_t$). Cette carte projette la géométrie du robot et le balayage du centre effecteur (tool-center-point ou TCP) dans l'image de vue de dessus. L'innovation observée est filtrée par $S_t$, garantissant que les changements explicables par l'exécution même du robot sont supprimés.

• Corridor d'Exécution Projeté :
  L'action-chunk active est décodée en une trajectoire de robot attendue et mappée sur un chemin du TCP. Ce chemin est projeté dans l'image de vue de dessus, dilaté pour la tolérance d'exécution, et aligné avec la grille de patch latente pour former le corridor d'exécution projeté ($P_t$). Cela restreint la surveillance à la région spécifique pertinente pour la tâche imminente.

• Mémoire de Croyance et Accumulation de Preuves :
  Un module de mémoire de croyance maintient un contexte stable en conservant les latents observés lorsque l'innovation est faible ou auto-expliquée, mais en remplissant la croyance avec des latents prédits normaux lorsque l'innovation externe est active. Cela empêche les objets externes persistants de devenir la nouvelle « norme ».
  Le système intersecte les preuves d'innovation externe avec le corridor projeté pour générer un score de preuve localisé ($\rho_t$). Une accumulation temporelle et une hystérésis (verrouillage) sont appliquées pour supprimer les changements transitoires. Seule une innovation persistante au sein du corridor génère un signal d'intervention structuré ($I_t$).

3. Interface d'Intervention PATCH-Router

Le signal d'intervention $I_t$ est transmis à PATCH-Router, qui opère à l'échelle de temps de l'intervention (plus lent que la boucle de contrôle). Le routeur utilise le déclencheur, la région de preuve localisée, le score de preuve et le contexte de la politique active pour sélectionner un mode d'intervention :

• Hold (Maintenir) : Préserve la saisie et l'état de la politique.
• Self-Recovery (Auto-Récupération) : Exécute une compétence de récupération si celle-ci traite la région localisée sans altérer l'état préservé.
• Peer-Robot Intervention (Intervention par Robot Pair) : Dirige le contrôle vers un autre robot si le robot actif doit maintenir sa position et qu'un pair peut atteindre l'obstacle.
• Human Intervention (Intervention Humaine) : Sollicite l'aide humaine si aucune récupération automatisée n'est réalisable.

Crucialement, la reprise de la politique originale est déclenchée uniquement lorsque l'évidence localisée est levée dans la région active, plutôt que par un délai fixe.

Contributions Clés

1. Formulation du Monitoring Conditionné par l'Action-Chunk : Le papier propose un paradigme de surveillance qui détecte les déviations externes persistantes spécifiquement à l'intérieur du corridor d'exécution projeté de la politique active, allant au-delà du changement d'observation globale ou de l'incertitude de la politique.
2. Le Moniteur PATCH : Un moniteur de patch latent qui prédit l'évolution visuelle au sein du corridor, décompte les changements induits par l'auto-mouvement et accumule les résidus inexpliqués persistants en signaux d'intervention lors du déploiement.
3. Évaluation sur Robot Réel : Évaluation complète sur des données de déploiement de robot réel, incluant des ablations de composants et la démonstration de PATCH-Router pour l'intervention pilotée par le moniteur et la reprise de politique en présence de perturbations.

Résultats Expérimentaux

Les auteurs ont évalué PATCH sur une plateforme robotique réelle utilisant deux bras AgileX Piper effectuant des tâches telles que le pliage de serviettes et le placement de tasses dans un support.

• Benchmark Hors-ligne (Déclencheur de Corridor d'Action) :

  • Baselines : Comparaison avec PCA-kmeans (OOD globale), RND-A (erreur de prédiction conditionnée par l'action), FIPER-style (prédiction d'échec scalaire) et DINO-Latent Innovation (changement de patch dense).
  • Performance : PATCH a atteint la précision équilibrée la plus élevée (0.96) et le taux de vrais positifs sur les obstructions persistantes (TPR$_{C4}$ = 0.97) tout en maintenant des taux de faux positifs extrêmement bas sur les changements statiques non pertinents (FPR$_{C2}$ = 0.04) et les obstructions transitoires (FPR$_{C3}$ = 0.07).
  • Ablations : La suppression du corridor projeté ou du filtrage de l'auto-mouvement a considérablement augmenté les fausses alarmes sur les changements transitoires et non pertinents, confirmant la nécessité de ces composantes pour une intervention sélective.

• Déploiement en Ligne sur Robot Réel :

  • Dans des expériences en boucle fermée avec des perturbations de l'espace de travail (ex: obstacles entrant dans le chemin, supports renversés), PATCH a démontré une performance supérieure par rapport aux moniteurs de type FIPER et basés sur les VLM.
  • Achèvement de la Tâche : PATCH a atteint un taux de réussite de 85 %, surpassant nettement les modèles FIPER-style (30 %) et les moniteurs VLM (15 %).
  • Reprise : PATCH a correctement identifié la levée de l'évidence et repris la politique originale avec une précision de 90 %, tandis que les autres moniteurs peinaient à distinguer entre blocage persistant et état libéré.

Signification et Revendications

Le papier affirme que PATCH fournit un mécanisme plus stable et contextuellement pertinent pour le monitoring au moment de l'exécution dans la manipulation robotique. En exploitant l'action-chunk active pour définir un corridor d'exécution projeté, le système sépare efficacement les risques pertinents pour la tâche du bruit visuel bénin.

Les auteurs soulignent que les action-chunks fournissent une structure perceptuelle utile pour le monitoring localisé au moment de l'exécution. Le système permet une récupération pilotée par l'intervention où le robot peut faire une pause, déléguer à un pair ou à un humain, et reprendre la politique originale une fois la perturbation localisée spécifique résolue, plutôt que de réinitialiser l'ensemble de la tâche.

Limites : Les auteurs notent que PATCH suppose actuellement un espace de travail calibré observé depuis des points de vue de caméras fixes. Cela limite la robustesse face aux changements importants de point de vue, aux mouvements de caméra, aux occlusions sévères et aux opérations mobiles non structurées où l'alignement de l'espace de travail peut varier. Les travaux futurs nécessiteront un étalonnage en ligne pour étendre la méthode aux plateformes mobiles.