💻 computer science

Probabilistic Reachable-Action Verification of Visuomotor Policies via Set-Based Training

Cet article introduit une méthode de vérification des politiques visuomotrices qui fige l'encodeur visuel pour permettre une propagation d'ensembles efficace à travers une interface de faible dimension calibrée, en utilisant un entraînement basé sur les ensembles et un étalonnage conforme pour obtenir un rayon d'action atteignable plus petit et avec une garantie probabiliste par rapport aux bases de référence existantes.

Auteurs originaux : Yanliang Huang, Zhuocheng Zhang, Peng Xie, Zhen Zhang, Wenyuan Wu, Majid Khadiv, Zhuoqi Zeng, Amr Alanwar

Publié 2026-08-04

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yanliang Huang, Zhuocheng Zhang, Peng Xie, Zhen Zhang, Wenyuan Wu, Majid Khadiv, Zhuoqi Zeng, Amr Alanwar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à effectuer une tâche délicate, comme ramasser un œuf fragile et le placer dans un bol. Vous montrez au robot des milliers de vidéos d'humains effectuant ce geste, et il apprend une « politique » — un ensemble de règles pour diriger son bras en fonction de ce qu'il voit. Mais voici le hic : la caméra du robot n'est pas parfaitement collée à sa tête. Avec le temps, les vibrations, la chaleur ou une vis desserrée peuvent déplacer la caméra d'un millimètre. Pour le robot, le monde semble soudainement un peu différent. Un bol qui était au centre de l'écran peut maintenant se trouver légèrement sur la gauche. Si le cerveau du robot est trop sensible, ce minuscule décalage pourrait le pousser à saisir le vide au lieu de l'œuf, ou pire, à écraser l'œuf contre la table.

C'est le monde des politiques visuomotrices, où les robots apprennent à bouger en regardant. La grande question que les scientifiques se posent est : « Combien la caméra peut-elle osciller avant que le robot ne commence à faire quelque chose de dangereux ? » Pour répondre à cela, les chercheurs utilisent un concept appelé analyse de reachabilité (accessibilité). Considérez cela comme le tracé d'une bulle de sécurité autour des actions possibles du robot. Si la caméra se déplace, l'action du robot peut changer, mais nous voulons savoir si cette nouvelle action reste à l'intérieur d'une zone sûre. Le problème est que les cerveaux des robots modernes sont énormes et complexes, comme une immense bibliothèque de règles. Tenter de calculer la bulle de sécurité pour toute la bibliothèque à la fois est si lourd en termes de calcul qu'il est pratiquement impossible, et la bulle résultante est souvent si grande et floue qu'elle est inutile.

Cet article introduit une nouvelle façon astucieuse de rétrécir cette bulle de sécurité sans briser le cerveau du robot. Les auteurs, travaillant avec des robots dans une cuisine simulée, ont trouvé un moyen de figer les « yeux » du robot (l'encodeur visuel) pour n'effectuer les calculs lourds que sur les « muscles » (la politique en aval). Ils ont créé un petit « point de passage obligé » (choke point) calibré entre les yeux et les muscles. En entraînant le robot à maintenir sa bulle de sécurité serrée à ce point de passage, ils ont pu prouver que même si la caméra se déplace, la main du robot ne s'égarera pas trop loin. Ils ont testé cela contre d'autres méthodes comme l'« entraînement adversarial » classique (qui tente de piéger le robot avec de mauvais exemples) et ont découvert que leur nouvelle méthode produisait une bulle de sécurité beaucoup plus petite et précise tout en permettant au robot de mener à bien ses tâches.

Le Problème : La Caméra Instable

Imaginez que vous portez des lunettes légèrement amples. Chaque fois que vous tournez la tête, les lunettes glissent d'un millimètre. Pour vous, le monde semble normal, mais si vous étiez un robot essayant d'attraper une balle, ce décalage d'un millimètre pourrait vous faire rater complètement votre cible. Dans le monde réel, les caméras des robots dérivent à cause de la chaleur, des vibrations ou simplement d'un choc. C'est un cauchemar pour la sécurité. Si un robot pense qu'une porte est ouverte parce que sa caméra a bougé, il pourrait percuter un mur.

Les scientifiques ont essayé de résoudre cela en rendant les robots « robustes », c'est-à-dire capables de gérer ces décalages. Une méthode populaire est l'entraînement adversarial, où l'on montre délibérément au robot des images déformées pour lui apprendre à les ignorer. Une autre est la cohérence observationnelle, qui tente de faire en sorte que le robot donne la même réponse, que l'image soit nette ou floue. Mais il y a un problème : nous ne savons pas réellement à quel point ces robots sont sûrs. Nous ne pouvons pas facilement calculer la plage exacte d'actions que le robot pourrait entreprendre si la caméra se déplace. C'est comme essayer de prédire exactement la distance de dérapage d'une voiture sur la glace sans connaître la friction de la route.

La Solution : La Stratégie du « Point de Passage Obligé »

Les auteurs de cet article ont réalisé que tenter de calculer la bulle de sécurité pour l'ensemble du cerveau du robot (l'encodeur visuel plus la politique) revient à essayer de compter chaque grain de sable sur une plage pour prédire la marée. C'est un travail colossal, et la réponse est trop vague.

Leur idée était de construire un point de passage obligé (choke point). Imaginez que le cerveau du robot possède deux parties : les « Yeux » (qui voient l'image) et les « Mains » (qui décident de bouger). Les « Yeux » sont énormes et complexes, mais les « Mains » sont plus petites et plus simples. Les auteurs ont décidé de figer les « Yeux » pour qu'ils ne changent jamais. Ensuite, ils ont inséré un petit tunnel étroit (une interface de faible dimension) entre les Yeux et les Mains.

Au lieu de laisser le décalage de la caméra se propager à travers tout le cerveau massif, ils ont laissé le décalage se propager uniquement à travers ce petit tunnel. Ils ont calibré ce tunnel à l'aide de données provenant de caméras légèrement décalées. Ensuite, ils ont utilisé une forme mathématique appelée zonotope (pensez à un ballon extensible multidimensionnel) pour suivre la bulle de sécurité lorsqu'elle passe par ce tunnel.

Le Tour de Magie : L'Entraînement Basé sur les Ensembles

Voici la véritable innovation. Habituellement, quand vous entraînez un robot, vous lui dites simplement : « Fais ce qu'il faut. » Cet article ajoute une seconde règle : « Fais ce qu'il faut, ET garde ta bulle de sécurité aussi petite que possible. »

Ils appellent cela l'entraînement basé sur les ensembles (set-based training). Imaginez que vous enseigniez à un élève à dessiner un cercle. Un professeur normal dit : « Dessine un cercle. » Un professeur basé sur les ensembles dit : « Dessine un cercle, mais assure-toi que le cercle soit le plus petit possible tout en atteignant la cible. » En forçant le robot à minimiser la taille de sa bulle de sécurité pendant l'entraînement, le robot apprend à être moins sensible aux oscillations de la caméra.

Les auteurs ont prouvé mathématiquement que si le robot minimise cette bulle au point de passage obligé, le mouvement physique réel de la main du robot restera dans une plage prévisible. Ils n'ont pas seulement deviné ; ils ont utilisé une méthode statistique appelée étalonnage par partition de conformité (split conformal calibration) pour mesurer exactement l'ampleur du rayon de sécurité. C'est comme prendre un échantillon de 200 essais et dire : « Nous sommes sûrs à 99 % que le robot ne bougera pas de plus de X centimètres si la caméra se déplace. »

Les Résultats : Des Bulles plus Serrées, de Meilleurs Robots

L'équipe a testé leur méthode sur un benchmark appelé LIBERO-10, qui implique des robots accomplissant des tâches comme mettre un bol dans un tiroir ou allumer une cuisinière. Ils ont comparé leur « Entraînement basé sur les ensembles » à trois autres méthodes :

Comportement seul (Behavior-only) : Entraîner simplement le robot pour la tâche, en ignorant les bulles de sécurité.
Cohérence observationnelle : Essayer de faire en sorte que le robot donne la même réponse pour différentes vues.
Entraînement Adversarial PGD : Essayer de piéger le robot avec les pires décalages de caméra possibles.

Les résultats étaient clairs. L'entraînement basé sur les ensembles a produit un rayon de sécurité 2,09 fois plus petit (plus serré) que l'entraînement classique basé sur le comportement seul. Cela signifie que le robot était beaucoup plus prévisible. Plus impressionnant encore, la méthode d'entraînement adversarial (qui est habituellement très robuste) a produit un rayon de sécurité plus large et moins informatif. La méthode basée sur les ensembles a réussi à réduire la bulle de sécurité sans faire échouer les tâches du robot. En fait, pour certaines tâches, les autres méthodes ont fait échouer totalement le robot, tandis que la méthode basée sur les ensembles l'a maintenu opérationnel.

Pourquoi cela importe

Cet article ne se contente pas de dire « notre robot est plus sûr ». Il fournit un moyen de mesurer cette sécurité avec des garanties mathématiques. En figeant les parties visuelles lourdes et en concentrant les calculs de sécurité sur une interface étroite et calibrée, ils ont rendu soluble un problème auparavant trop complexe.

Ils ont démontré qu'en entraînant le robot à maintenir sa « bulle de sécurité » serrée, on obtient un robot qui est non seulement performant dans son travail, mais aussi prévisible lorsque les choses tournent mal. Si une caméra se déplace, vous pouvez désormais dire avec une confiance de 99 % : « La main du robot ne bougera pas de plus de 0,111 unité. » Ce genre de certitude est un pas de géant vers l'intégration des robots dans nos foyers et nos lieux de travail, là où la sécurité est primordiale. Les auteurs suggèrent que cette approche pourrait être la clé pour vérifier que les robots sont assez sûrs pour être dignes de confiance, transformant les vagues espérances de sécurité en chiffres concrets et calculables.

Résumé Technique : Vérification Probabiliste de l'Espace d'Actions Atteignables pour les Politiques Visuomotrices via l'Entraînement par Ensembles

Énoncé du Problème

Les politiques visuomotrices déployées sur des robots de manipulation font face à des risques de sécurité importants dus à la dérive de la pose de la caméra causée par les résidus de calibration, les décalages de montage et les déformations thermiques. Même de légers décalages dans la pose de la caméra modifient l'image observée, ce qui peut amener une politique apprise à générer des séquences d'actions radicalement différentes pour une même scène. Le plus grand écart d'action qui en résulte est une préoccupation critique de sécurité, car il peut conduire l'effecteur terminal vers des régions dangereuses ou provoquer des collisions.

Bien que les tests de robustesse confirment que les perturbations de la vue de la caméra affectent considérablement les politiques visuomotrices, vérifier l'étendue de ces effets avant le déploiement est difficile. Les approches existantes font face à un compromis :

Propagation d'ensembles de bout en bout : Propager des ensembles d'incertitude à travers de grands encodeurs visuels et des politiques en aval est coûteux en calcul et accumule des erreurs de relaxation à travers de nombreuses couches, ce qui produit des ensembles d'actions excessivement conservateurs (larges) qui ne sont pas utiles pour la vérification.
Entraînement adversarial ponctuel : Les méthodes comme l'entraînement adversarial PGD optimisent contre des points spécifiques les plus défavorables, mais ne contraignent pas l'ensemble de sortie complet, échouant souvent à fournir des enveloppes déterministes serrées ou des garanties probabilistes sur l'espace d'actions atteignables.

Le problème central est de savoir comment vérifier et réduire le rayon de l'espace d'actions atteignables d'une politique visuomotrice sous incertitude de pose de caméra sans subir l'intraitabilité computationnelle de la propagation d'ensembles de bout en bout ou sacrifier la performance de la tâche en boucle fermée.

Méthodologie

Les auteurs proposent un cadre qui découple l'encodeur visuel de la politique en aval en utilisant une interface de faible dimension calibrée, permettant un entraînement et une vérification par ensembles tractables.

1. Conception de l'Architecture et de l'Interface

Encodeur Visuel Gelé : Un encodeur visuel pré-entraîné (par exemple, ResNet18) est gelé pour empêcher l'accumulation d'erreurs de relaxation associées à la propagation des ensembles à travers des réseaux de vision profonds.
Goulot d'Étranglement Calibré : Un goulot d'étranglement linéaire appris de faible dimension (32-D) est inséré entre l'encodeur gelé et la politique en aval. Ce goulot d'étranglement compresse les caractéristiques visuelles.
Ensemble d'Interface : L'incertitude provenant des perturbations de la pose de la caméra est projetée dans cet espace de goulot d'étranglement sous la forme d'un ensemble borné (spécifiquement, un zonotope isotrope $B_\epsilon(z) = \langle z, \epsilon I_m \rangle$ ). Le rayon $\epsilon$ est calibré à l'aide de perturbations de pose de caméra hors échantillon pour représenter le quantile marginal de 95 % du décalage de représentation.

2. Entraînement par Ensembles

La politique en aval (une variante de la politique de Flow Matching Visuo-Action, ou VITA) est entraînée pour minimiser la taille de l'ensemble de sortie propagé tout en maintenant la performance de l'imitation.

Propagation : L'ensemble d'interface est propagé à travers la politique en aval en utilisant des transformateurs abstraits de zonotopes (applications affines et relaxations ReLU). Cela produit un zonotope de sortie $Z_{out}$ qui englobe toutes les actions atteignables à partir de l'ensemble d'interface.
Objectif : La perte d'entraînement combine une perte d'imitation standard avec une perte de largeur sur le zonotope de sortie terminal. La largeur est définie comme la somme maximale des lignes de générateurs scalés du zonotope de sortie, normalisée par la magnitude nominale de l'action.
Optimisation sous Contrainte : L'entraînement minimise la perte d'imitation moyenne sous réserve que la largeur moyenne du mini-batch ne dépasse pas un rayon cible $r_{target}$ . Ceci est réalisé à l'aide d'une perte de charnière (hinge loss) adaptative avec un multiplicateur projeté (variable duale) pour appliquer la contrainte de largeur.

3. Vérification Probabiliste via la Calibration Conforme

Pour fournir une garantie rigoureuse sur le rayon de l'action atteignable lors du déploiement, les auteurs utilisent la calibration conforme scindée (split conformal calibration) :

Échantillonnage : Lors de l'évaluation, les poses de la caméra sont échantillonnées à partir d'une distribution prescrite (par exemple, uniforme sur une boîte de perturbation 6D bornée).
Calcul du Score : Pour chaque initialisation de déroulement (rollout), le score est l'écart maximal de l'action centrée sur la valeur nominale induit par la pose échantillonnée à travers tous les états du déroulement.
Calibration : En utilisant un ensemble de groupes de calibration, la méthode calcule le quantile $(1-\alpha)$ de ces scores. Cela produit un rayon d'action atteignable probabiliste $q_\theta$ avec des garanties de couverture à échantillon fini (c'est-à-dire que le décalage réel sera inférieur à $q_\theta$ avec une probabilité d'au moins $1-\alpha$ ).
Lien Théorique : Les auteurs prouvent que la largeur de l'enveloppe entraînée est une borne supérieure de la déviation physique de l'action induite par les perturbations échantillonnées, liant directement l'objectif d'entraînement au rayon calibré.

Contributions Clés

Vérification par Ensembles Tractable : Le papier introduit une méthode pour découpler l'encodeur visuel de la politique en aval via une interface de faible dimension calibrée. Cela permet d'appliquer l'entraînement par ensembles à la politique seule, rendant la vérification par ensembles tractable pour des systèmes visuomoteurs complexes où la propagation de bout en bout est infaisable.
Garantie Théorique : Les auteurs prouvent que la largeur de l'enveloppe entraînée est une borne supérieure de la déviation physique de l'action induite par les perturbations de la pose de la caméra échantillonnées. Cela établit un lien formel entre l'objectif d'entraînement (minimisation de la largeur du zonotope) et la métrique de déploiement (rayon d'action atteignable probabiliste).
Supériorité Empirique : Sur le benchmark de manipulation LIBERO-10, l'entraînement par ensembles montre qu'il réduit significativement le rayon de l'action atteignable par rapport au simple ajustement de comportement (behavior-only fine-tuning), à la cohérence observationnelle et à l'entraînement adversarial ponctuel (PGD), tout en préservant la capacité de la tâche en boucle fermée.

Résultats Expérimentaux

Les expériences ont été menées sur le benchmark LIBERO-10 sous des perturbations bornées des extrinsèques de la caméra en six dimensions.

Réduction du Rayon : L'entraînement par ensembles a obtenu une réduction médiane du rayon de l'action atteignable de 2,09 $\times$ par rapport au simple ajustement de comportement au niveau de couverture de 99 %.
Comparaison avec les Baselines :
- Behavior-only (Comportement seul) : Sert de base de référence ; produit le plus grand rayon.
- Cohérence Observationnelle : Aligne les prédictions entre les vues propres et perturbées mais échoue à réduire le rayon en dessous du niveau du "behavior-only".
- Entraînement Adversarial PGD : Réduit le rayon mais échoue souvent à maintenir la capacité de tâche en boucle fermée (validité du comportement) sur toutes les graines (seeds). De plus, bien que PGD réduise le rayon échantillonné, il ne produit pas une enveloppe déterministe serrée ; le ratio de la largeur du zonotope par rapport à l'attaque la plus forte à l'intérieur de l'ensemble était >500 pour PGD, alors qu'il était d'environ 16 pour l'entraînement par ensembles.
Étendue des Tâches : À travers dix tâches, l'entraînement par ensembles a préservé la capacité de la tâche sur trois tâches (là où la baseline en a échoué sur deux d'entre elles) et a obtenu un rayon plus serré sur les tâches où les deux méthodes étaient valides.
Couverture : La méthode a atteint une couverture empirique de 0,99 à 1,00 sur les initialisations de test hors échantillon, validant la calibration conforme.

Signification et Revendications

Le papier affirme que la géométrie de l'ensemble d'actions d'une politique sous incertitude sensorielle peut être efficacement façonnée pendant l'entraînement en découplant la perception du raisonnement d'ensemble en aval. La signification principale réside dans la distinction mécaniste entre l'entraînement par ensembles et l'entraînement adversarial ponctuel :

L'entraînement par ensembles contraint l'ensemble de l'enveloppe de sortie, conduisant à la fois à un rayon d'action atteignable probabiliste plus petit et à une enveloppe déterministe plus serrée et plus informative.
Les attaques ponctuelles (comme PGD) ne contraignent que les points spécifiques qu'elles localisent, ce qui entraîne souvent un rayon échantillonné plus petit mais une enveloppe déterministe large et peu informative.

Les auteurs concluent que leur approche rend les signaux d'entraînement par ensemble complet abordables pour les politiques visuomotrices, offrant une voie pratique vers la vérification des marges de sécurité avant le déploiement. Ils notent que bien que la méthode actuelle fournisse un rayon probabiliste, une carte déterministe de l'ensemble de pose vers l'ensemble d'interface serait nécessaire pour faire évoluer cela vers une garantie complète de bout en bout.