💻 computer science

ContactGuard: Pre-Contact Execution Monitoring with Action-Conditioned Latent World Models

ContactGuard est un système de surveillance d'exécution pré-contact qui utilise un modèle de monde latent conditionné par l'action, entraîné sur des données non étiquetées, pour prédire les conséquences visuelles à court horizon des actions planifiées, permettant ainsi la détection de défaillances en temps réel et l'émission de signaux d'interruption pour des tâches de manipulation riches en contacts sans modifier la politique sous-jacente.

Auteurs originaux : Gehan Zheng, Matthew Johnson-Roberson, Weiming Zhi

Publié 2026-08-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gehan Zheng, Matthew Johnson-Roberson, Weiming Zhi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les robots apprennent à faire les tâches ménagères, mais ils sont encore un peu maladroits, comme un enfant qui essaie d'empiler des blocs. Dans le domaine de la robotique, plus précisément de la « manipulation », l'objectif est de permettre aux machines de saisir, de déplacer et d'organiser des objets tout comme les humains le font. Le grand défi n'est pas seulement de bouger le bras ; c'est le moment où la main du robot touche réellement l'objet. C'est ce qu'on appelle le « contact ». Si un robot approche une tasse avec un mauvais angle, il peut la renverser, glisser sur le côté ou la repousser avant même d'essayer de la soulever. Une fois que ce choc maladroit se produit, la scène est gâchée et le robot doit recommencer.

Pour corriger cela, les scientifiques utilisent des « politiques visuomotrices ». Considérez-les comme le cerveau et le système nerveux du robot combinés. Ils regardent le flux de la caméra (vision) et décident de ce que les moteurs doivent faire ensuite (contrôle moteur). Les robots modernes se déplacent souvent par « blocs », ce qui signifie qu'ils planifient toute une séquence de mouvements à la fois — comme « atteindre, fermer les doigts, soulever » — au lieu de décider chaque micro-mouvement un par un. Le problème est qu'au moment où le robot réalise qu'il est sur le point de commettre une erreur, il est souvent trop tard pour l'arrêter. Le papier que nous allons explorer pose une question simple mais puissante : pouvons-nous construire un « filet de sécurité » qui regarde les mouvements prévus du robot et prédit s'ils vont échouer avant que le robot ne touche l'objet ?

Rencontrez ContactGuard : La boule de cristal du robot

Les chercheurs derrière ce papier, Gehan Zheng et ses collègues, ont construit un système appelé ContactGuard. Vous pouvez le voir comme un copilote invisible et super intelligent qui se tient à côté du cerveau du robot. Sa seule mission est de surveiller le prochain « bloc » d'actions du robot et de crier « STOP ! » s'il voit une catastrophe arriver.

Voici comment cela fonctionne, en utilisant une analogie amusante : Imaginez que vous jouez à un jeu vidéo où vous devez sauter par-dessus un fossé. Vous appuyez sur un bouton pour sauter. Un robot normal se contenterait de sauter et de croiser les doigts. S'il rate, il tombe dans le fossé. ContactGuard est comme un ami qui possède une boule de cristal. Avant même que vous n'appuyiez sur le bouton de saut, votre ami regarde dans la boule de cristal, voit le saut que vous avez prévu de faire, et dit : « Oh là là, ce saut est trop court ! Tu vas tomber ! ». Parce que votre ami a prédit la chute avant que vous ne bougiez, vous pouvez choisir de ne pas sauter, et vous restez en sécurité.

La magie du « Modèle de Monde Latent »
Comment cette boule de cristal fonctionne-t-elle ? Le papier utilise ce qu'on appelle un « Modèle de Monde Latent » (Latent World Model). Par le passé, essayer de prédire l'avenir pour un robot signifiait essayer de générer une vidéo parfaite et photoréaliste de ce que ressemblerait la seconde suivante. C'est incroyablement difficile et lent, comme essayer de peindre un chef-d'œuvre en une fraction de seconde.

Au lieu de cela, ContactGuard utilise un raccourci. Il n'essaie pas de peindre l'image ; il essaie de comprendre l'histoire de l'image. Il traduit les images de la caméra en un « résumé » compact (appelé plongement latent ou latent embedding). Il apprend comment ces résumés changent lorsque le robot bouge. Ainsi, au lieu de prédire « une tasse floue va tomber », il prédit « le résumé de la scène va changer d'une manière qui signifie généralement un échec ». C'est beaucoup plus rapide et intelligent.

Le super-pouvoir de la « Pré-Contact »
La partie la plus cool de ContactGuard est son timing. Il n'attend pas que le robot touche déjà la tasse. Il examine le plan juste avant que le préhenseur ne se ferme.

Le Plan : Le cerveau principal du robot dit : « Je vais fermer mon préhenseur dans 0,5 seconde ».
La Vérification : ContactGuard prend ce plan et lance une simulation rapide dans sa tête (un « déroulement » ou rollout). Il demande : « Si le robot fait exactement cela, à quoi ressemblera le monde dans 0,5 seconde ? ».
Le Verdict : Il vérifie le résultat. Si la simulation montre que la tasse glisse ou que le préhenseur rate sa prise, il envoie un signal pour interrompre le mouvement. Le robot s'arrête, ouvre sa main et réessaie, le tout sans jamais avoir réellement heurté la tasse.

Ce que les expériences ont montré
L'équipe a testé cela sur un vrai robot doté d'un bras à 14 articulations et de trois caméras. Ils ont essayé quatre tâches différentes : ramasser une tasse, une boîte, un crayon et plier une serviette. Ces tâches sont délicates car les objets sont petits, glissants ou mous.

Les résultats ont été impressionnants. ContactGuard était bien meilleur pour détecter les échecs que les autres méthodes :

Meilleur que la « Vision Actuelle » : Si vous regardez simplement la vue actuelle du robot sans imaginer le futur, vous manquez beaucoup de dangers. L'« imagination » de ContactGuard lui a donné un avantage énorme.
Meilleur que les « Mauvaises Hypothèses » : Ils ont testé ce qui se passe si on donne au système un mauvais plan d'action (comme mélanger l'ordre des mouvements). La prédiction du système est tombée à un niveau proche du hasard, prouvant qu'il utilisait réellement le plan d'action spécifique pour prendre sa décision, et non qu'il se contentait de regarder l'arrière-plan.
Vitesse : Il était assez rapide pour fonctionner en temps réel. Sur un ordinateur puissant, il a fallu moins de 20 millisecondes pour vérifier le plan et prendre une décision. C'est plus rapide qu'un clin d'œil humain, donc cela ne ralentit pas le robot.

Ce qu'il ne peut pas faire (encore)
Le papier est très honnête sur ses limites. ContactGuard est un système de « veto », pas un système de « réparation ». S'il dit « Stop », le robot s'arrête. Mais ContactGuard ne sait pas comment réparer le problème ou essayer une autre façon de saisir l'objet. Il dit simplement : « Ne fais pas ce mouvement spécifique ». Le robot aurait besoin d'un système séparé pour décider de la suite. De plus, il ne fonctionne que pour des actions à court terme (comme une saisie unique), et non pour des tâches longues et complexes qui demandent des minutes de planification.

Pourquoi cela importe
Cette recherche suggère que nous n'avons pas besoin de reconstruire entièrement le cerveau du robot pour le rendre plus sûr. Nous pouvons simplement ajouter une couche de « gardien » sur les robots existants. Ce gardien utilise une méthode intelligente et rapide pour imaginer le futur et arrêter le robot avant qu'il ne fasse une bêtise. Cela suggère qu'en apprenant aux robots à « anticiper » de manière compacte et résumée, nous pouvons les rendre beaucoup plus fiables dans le monde réel, évitant ces moments frustrants où un robot renverse un verre d'eau simplement parce qu'il l'a approché de la mauvaise manière.

=== RÉSUMÉ TECHNIQUE : ContactGuard

Énoncé du problème

Dans la manipulation robotique riche en contacts, les échecs surviennent souvent en raison d'erreurs mineures à l'approche du moment du contact (par exemple, approches excentrées, bousculage d'objets ou fermeture prématurée de la pince). Ces erreurs sont difficiles à éviter pour les politiques visuomotrices sous occlusion, encombrement ou décalages de distribution. Crucialement, au moment où les détecteurs conventionnels identifient un échec, le robot s'est souvent déjà engagé dans le contact, rendant la correction difficile, voire impossible. Cela est particulièrement limitant dans les configurations avec caméra au poignet, où les vues rapprochées favorisent l'observation, mais où de mauvaises trajectoires d'approche peuvent déjà perturber la scène avant la détection.

Les méthodes actuelles de surveillance de l'exécution reposent souvent sur la détection des échecs après qu'ils se sont produits ou nécessitent un entraînement conjoint avec la politique. Il existe un besoin pour un moniteur d'exécution pré-contact capable d'évaluer la conséquence probable d'un bloc d'action imminent avant que le contact physique ne se produise, permettant au système d'interrompre une interaction médiocre sans modifier la politique sous-jacente.

Méthodologie : ContactGuard

ContactGuard est un moniteur d'exécution pré-contact conçu pour les politiques visuomotrices par blocs (chunked). Il fonctionne comme un vérificateur prédictif découplé de la politique, s'exécutant aux côtés d'une politique existante de type « boîte noire ». Le système se compose de trois composants principaux :

1. Modèle de monde latent conditionné par l'action

Au lieu de générer des images futures photoréalistes (ce qui est coûteux en calcul et ambigu), ContactGuard apprend une représentation compacte des résultats futurs.

Architecture : Basée sur le principe de l'Architecture de Prédiction d'Emplacements Communs (JEPA), adaptant spécifiquement le cadre LeWorldModel (LeWM). Il utilise un encodeur visuel multi-vues partagé (ViT-Tiny) pour mapper les observations de caméras synchronisées dans un espace latent.
Prédiction : Un prédicteur Transformer causal, conditionné par le bloc d'action planifié du robot, prévoit l'évolution de ces plongements (embeddings) latents. Il prédit comment l'intégration de l'état visuel changera sous les actions spécifiques proposées par la politique.
Entraînement : Le modèle de monde est entraîné sur des trajectoires robotiques non étiquetées via une régression de prochain état latent avec un régularisateur anti-effondrement SIGReg. Cela permet au modèle d'apprendre la dynamique visuelle agnostique à la tâche sans nécessiter d'étiquettes de succès ou d'échec.

2. Sonde de défaillance légère

Une fois le modèle de monde entraîné et gelé, une classifieur léger est entraîné pour interpréter les latents futurs prédits.

Entrée : La sonde prend l'intégration latente future prédite ( $\hat{z}_{t+K}$ ) résultant du déroulement du modèle sur $K$ étapes sous le bloc d'action planifié.
Entraînement : Une sonde de régression logistique simple est entraînée sur un petit ensemble de clips étiquetés (succès/échec binaire) pré-contact. Elle mappe le latent futur prédit vers une probabilité de défaillance $P(\text{fail})$ .
Découplage : Cela sépare l'apprentissage de la dynamique visuelle (données non étiquetées, volumineuses) de la supervision des résultats (données étiquetées, restreintes).

3. Boucle de surveillance pré-contact en ligne

Pendant le déploiement, ContactGuard fonctionne en temps réel aux côtés de la politique visuomotrice (par exemple, ACT) :

Déclencheur : Le système scanne le bloc d'action à venir pour détecter un événement de contact imminent (par exemple, la fermeture de la pince).
Ancrage : Lorsque l'événement de contact est dans un horizon prédéfini ( $k_{pre}$ ), le moniteur s'active.
Déroulement (Rollout) : Le modèle de monde gelé est projeté en avant $K$ étapes en utilisant les actions planifiées de la politique pour générer un latent post-contact prédit.
Vérification : La sonde gelée évalue ce latent. Si $P(\text{fail}) > \tau$ (un seuil spécifique à la tâche), le système interrompt l'exécution avant que la pince ne se ferme. Sinon, la politique se poursuit sans changement.

Contributions clés

Formulation de la surveillance pré-contact : L'article formule le problème de l'évaluation de la conséquence d'une action de contact imminente avant l'engagement, spécifiquement pour les politiques visuomotrices par blocs.
Moniteur latent conditionné par l'action : Introduction de ContactGuard, qui utilise un modèle de monde latent pour dérouler des intégrations visuelles multi-vues compactes sous des actions planifiées, évitant ainsi la prédiction vidéo au niveau des pixels.
Démonstration de l'utilité des latents futurs : À travers des études d'ablation, les auteurs montrent que les latents futurs prédits contiennent des informations sur l'échec non disponibles dans les observations actuelles ou les actions brutes planifiées seules.
Déploiement découplé de la politique : Le système permet des interruptions pré-contact en temps réel sur robot réel sans modifier la politique sous-jacente, sans chercher d'actions candidates, ni générer de vidéos au niveau des pixels.

Résultats expérimentaux

Les auteurs ont évalué ContactGuard sur quatre tâches de manipulation riche en contacts (Pick-and-place avec tasses/boîtes, Pencil-and-notebook, Towel-fold) en utilisant un robot bi-bras à 14 degrés de liberté.

Performance vs Baselines : ContactGuard a nettement surpassé :
- Direct-linear : Une baseline prédisant l'échec directement à partir de l'état actuel et des actions sans imagination.
- LeWM : Une baseline de modèle de monde à vue unique.
- Current Latent : Une ablation où la sonde utilise le latent actuel au lieu du latent futur prédit.
- Détecteurs externes : Les détecteurs de défaillance au runtime établis comme FAIL-Detect, RND et SAFE.
Métriques clés : ContactGuard a obtenu la précision équilibrée (Balanced Accuracy) et l'AUC ROC les plus élevées sur toutes les tâches. Par exemple, sur la tâche "Cup", il a atteint une précision équilibrée de 0,940 contre 0,780 pour LeWM et 0,580 pour Direct-linear.
Source d'information : Les études d'ablation ont confirmé que le signal provient de la conséquence imaginée de l'action spécifique proposée. Le mélange des blocs d'actions ou l'utilisation d'actions corrompues a fait chuter les performances à un niveau proche du hasard, prouvant que le moniteur est sensible au plan d'action spécifique, et non seulement à l'état visuel.
Temps d'exécution : Le système fonctionne efficacement sur une NVIDIA RTX 5090, avec une inférence complète (encodage + déroulement + sonde) prenant environ 19 ms pour un horizon d'une seconde, ce qui est bien en deçà du budget temporel pré-contact.
Proprioception : Curieusement, l'ajout de l'état proprioceptif (positions/efforts articulaires) au modèle à vue unique a diminué la performance dans leur régime de données restreintes, suggérant qu'une fusion d'état directe peut agir comme un raccourci spécifique au domaine qui supplante la dynamique visuelle pertinente pour la saisie.

Signification et affirmations

L'article affirme que l'imagination latente conditionnée par l'action sert de substrat pratique pour prévenir les échecs probables avant que le contact physique ne se produise.

Préemptif vs Réactif : Contrairement aux méthodes qui détectent l'échec après que le contact a perturbé la scène, ContactGuard intervient avant que la scène ne change.
Modularité : Il traite la politique visuomotrice comme une boîte noire, ne nécessant aucun entraînement conjoint ni accès aux internes de la politique. Cela en fait une couche de sécurité attachable aux systèmes existants.
Efficacité : En opérant dans l'espace latent plutôt que dans l'espace des pixels, il atteint une grande précision avec une faible surcharge de calcul adaptée au contrôle en temps réel.
Limites : Les auteurs notent modestement que ContactGuard prévient les échecs en s'abstenant (en interrompant l'exécution), mais ne permet pas intrinsèquement de s'en remettre ou de terminer la tâche après une interruption. Les travaux futurs nécessiteraient de coupler le moniteur avec des modules de récupération ou des politiques à échantillonnage multiple pour sélectionner des actions alternatives.

En résumé, ContactGuard démontre que la prédiction des conséquences à court horizon des actions planifiées dans un espace latent compact fournit un mécanisme robuste et agnostique de la politique pour assurer la sécurité dans la manipulation robotique riche en contacts.