🤖 machine learning

BOKBO (Best of K Bad Options): Calibrated Abstention for VLA Policies

Cet article introduit BOKBO, la première couche d'abstention conforme pour l'inférence VLA à K-échantillons qui fournit des garanties de taux de violation exécutée sans dépendance à la distribution sur des échantillons finis en traitant les défaillances structurelles des scores de non-conformité existants et en corrigeant les pièges méthodologiques du seuillage de force, améliorant ainsi de manière significative le calibrage de la sécurité et le succès des tâches à travers divers benchmarks et changements de distribution.

Auteurs originaux : Anya Singh, Cabrel Happi, Jai Relan, Varun Nair, Vidyut Baradwaj

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anya Singh, Cabrel Happi, Jai Relan, Varun Nair, Vidyut Baradwaj

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à effectuer des tâches délicates, comme verser du ketchup ou étaler du beurre. Pour rendre le robot plus sûr et plus fiable, les ingénieurs utilisent une astuce appelée Échelle de K-échantillonnage (K-Sample Scaling). Au lieu de demander au robot d'effectuer un seul mouvement, ils lui demandent d'imaginer K mouvements différents possibles (disons, 8 façons différentes de verser le ketchup) et de choisir ensuite le « meilleur » pour l'exécuter réellement.

Le problème est le suivant : Et si les 8 mouvements imaginés étaient tous dangereux ?

Les méthodes actuelles ont un angle mort. Elles supposent que si vous générez suffisamment d'options, au moins une sera sûre. Si les 8 sont mauvaises, le robot choisit la « moins pire » et l'exécute quand même, provoquant un crash ou un débordement. C'est comme demander à un chef de choisir le meilleur parmi 8 pommes pourries ; il en choisira quand même une, et vous aurez une salade pourrie.

Ce papier présente BOKBO (Best of K Bad Options — Le meilleur de K mauvaises options), une nouvelle couche de sécurité conçue pour corriger cela. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le « Gardien de la Sécurité » (Abstention Conforme)

Voyez BOKBO comme un gardien de la sécurité strict se tenant devant le robot.

L'ancienne méthode : Le gardien regarde les 8 options, choisit la « meilleure » et la laisse passer. Si les 8 sont mauvaises, le gardien laisse passer la pire d'entre elles quand même.
La méthode BOKBO : Le gardien a une règle spéciale : « Si je ne peux pas garantir que le mouvement choisi est sûr, je bloque complètement le robot ».
Le résultat : Le robot peut parfois ne pas accomplir la tâche (il « s'abstient »), mais lorsqu'il agit, vous avez une garantie mathématique que la probabilité d'une violation de la sécurité est extrêmement faible (moins de 5 % dans leurs tests).

2. La « Boussole Cassée » (Pourquoi les anciennes méthodes ont échoué)

Les chercheurs ont découvert pourquoi les précédents contrôles de sécurité échouaient. Ils ont essayé d'utiliser deux signaux « gratuits » que le robot génère déjà :

La Confiance : À quel point le robot est sûr de son mouvement.
Le Désaccord : À quel point les 8 options diffèrent les unes des autres.

L'analogie : Imaginez que vous essayez de deviner la météo.

L'erreur : Les chercheurs ont réalisé que le signal de « Désaccord » ne mesurait pas réellement l'incertitude du robot concernant la météo. Au lieu de cela, il mesurait simplement à quel point les chercheurs secouaient les dés avant de les lancer.
La réalité : Dans leur configuration, le robot génère 8 options en ajoutant du « bruit » aléatoire (en secouant les dés). Plus de bruit ils ajoutaient, plus les options divergeaient. Le score de « désaccord » du robot n'était qu'un thermomètre pour le niveau de bruit, et non un détecteur de danger. C'était comme un détecteur de fumée qui ne se déclenche que si vous vaporisez du parfum à proximité, mais qui reste silencieux face à un véritable incendie.

3. Le « Détective Intelligent » (Le Prédicteur Appris)

Puisque les propres signaux internes du robot mentaient (ou plutôt, mesuraient la mauvaise chose), les chercheurs ont construit un petit IA détective séparé (un « Prédicteur de Violation Appris »).

Ce détective observe les options du robot et la scène visuelle (en utilisant une caméra).
Il a été entraîné spécifiquement pour repérer le danger, en ignorant le « bruit » que le robot générait.
Le résultat : Ce détective pouvait réellement faire la différence entre un mouvement sûr et un mouvement dangereux, permettant ainsi au gardien de la sécurité de prendre la bonne décision.

4. Le « Sur Mesure » vs le « Taille Unique »

Le papier a également découvert que la sécurité n'est pas la même pour chaque tâche.

Le problème : Une règle de sécurité « globale » (comme « ne pas pousser plus fort que 50 Newtons ») est trop stricte pour les tâches douces (comme manipuler une tomate) et trop lâche pour les tâches dures (comme manipuler une bouteille lourde). Cela provoquait des fausses alertes ou des dangers manqués.
La solution (Mondrian) : BOKBO crée une règle de sécurité personnalisée pour chaque tâche spécifique. Il apprend exactement comment un expert humain pousse lorsqu'il manipule du ketchup par rapport au beurre, et ajuste la limite de sécurité en conséquence. Cela rend le système beaucoup plus fiable.

5. Le « Test de Réalité en Simulation »

Les chercheurs ont testé cela dans une simulation informatique de haute fidélité (MuJoCo).

Ils ont constaté que BOKBO réussissait à empêcher le robot d'effectuer des mouvements dangereux dans 86 % des cas de test, tout en permettant au robot de terminer la tâche 70 % du temps.
Sans BOKBO, le robot aurait échoué de manière sécurisée (en s'arrêtant) moins souvent, mais lorsqu'il agissait, il commettait des erreurs 8,6 % du temps. Avec BOKBO, ce taux d'erreur est tombé à environ 3 %.

Résumé

Le papier soutient que demander simplement à un robot de « essayer quelques choses et de choisir la meilleure » ne suffit pas si vous n'avez pas de moyen de dire « Aucune de ces options n'est sûre ».

Ancienne méthode : « Choisir la meilleure des mauvaises options. » (Échec silencieux).
BOKBO : « Si aucune des options n'est sûre, arrêtez-vous. » (Échec sûr).
Idée clé : Vous ne pouvez pas faire confiance aux scores de « confiance » ou de « désaccord » du robot lorsque vous ajoutez artificiellement du bruit pour générer des options. Vous avez besoin d'un « détective » dédié pour détecter le danger réel.

Le papier conclut que cette approche fonctionne bien en simulation et fournit une garantie mathématique de sécurité, mais note que les tests sur de vrais robots physiques sont la prochaine étape nécessaire.

Résumé Technique : BOKBO — Best of K Bad Options

Énoncé du Problème
Le passage à l'échelle au moment de l'inférence (test-time scaling) pour les politiques de Vision-Langage-Action (VLA) est devenu une technique de fiabilité standard, où $K$ candidats d'actions sont échantillonnés et le « meilleur » est sélectionné par un vérificateur ou un scoreur. Cependant, ce paradigme repose sur une hypothèse critique, souvent non satisfaite : qu'au sein des $K$ candidats, au moins un est sûr et permet d'accomplir la tâche. Lorsque les $K$ candidats sont tous dangereux, le système exécute le candidat « meilleur selon le vérificateur » sans tenir compte de sa qualité absolue, ce qui entraîne une « défaillance silencieuse » sans mécanisme d'avertissement. Les méthodes existantes manquent de mécanisme formel pour détecter ces cellules « toutes-dangereuses » ou pour s'abstenir d'exécuter l'action avec des garanties de sécurité. De plus, des travaux antérieurs ont supposé que les signaux « gratuits » (signaux disponibles sans coût d'inférence supplémentaire, tels que la confiance de la politique de base ou le désaccord sur $K$ échantillons) sont corrélés à l'incertitude de la politique ; cet article démontre que cette hypothèse échoue de manière catastrophique sous un échantillonnage basé sur la perturbation.

Méthodologie : BOKBO
Les auteurs introduisent BOKBO (Best of K Bad Options), la première couche d'abstention conforme conçue spécifiquement pour l'inférence VLA à $K$ échantillons. BOKBO décide d'exécuter ou de s'abstenir en se basant sur un score calibré, fournissant des bornes supérieures à échantillon fini et sans distribution sur le taux d'exécutions dangereuses parmi les décisions non suspendues.

Contrôle du Risque Conforme (CRC) : La méthode applique le CRC au cadre de $K$ échantillons. Elle entraîne un prédicteur pour estimer la probabilité d'une violation de sécurité ( $v=1$ ) et calibre un seuil $\hat{\tau}$ sur un ensemble de calibration tenu à l'écart. Le système s'exécute uniquement si le score du prédicteur $s_\theta \le \hat{\tau}$ .
Scores de Non-Conformité : L'article évalue trois mécanismes de score :
1. Proxy de Confiance VLA : La log-probabilité de la politique de base du bloc d'action choisi.
2. Désaccord sur $K$ Échantillons : La distance $L_2$ maximale par paire parmi les candidats.
3. Prédicteur de Violation Appris : Un petit MLP entraîné sur des caractéristiques visuelles sémantiques (DINOv2), l'état proprioceptif et l'identité de la tâche pour prédire directement les violations.
Calibration de Mondrian : Pour traiter l'hétérogénéité des taux de violation entre les différentes tâches, les auteurs implémentent une variante de Mondrian (par tâche) du CRC. Cela garantit que la borne de sécurité est respectée conditionnellement pour chaque tâche spécifique, plutôt que de manière marginale sur l'ensemble du jeu de données.
Étiquetage de Sécurité : Une correction méthodologique critique concerne la définition des étiquettes de sécurité. Les auteurs identent que les seuils de force définis globalement (ex: 50N) gonflent les taux de violation d'un facteur 5 car ils dépassent les forces de manipulation typiques des experts pour de nombreuses tâches. Ils proposent des seuils calibrés par expert par tâche, définis comme $\max(50\text{N}, p99(\text{force max expert}) + 10\text{N})$ .

Résultats Clés et Analyse Diagnostique
La découverte diagnostique la plus significative de l'article est l'échec structurel des signaux « gratuits » sous un échantillonnage par perturbation de type $K$ .

Perturbation vs Incertitude : Sous une perturbation gaussienne de l'espace d'action (où les candidats sont générés comme $a_k = a_0 + \sigma\xi_k$ ), tant le proxy de confiance VLA que le désaccord sur $K$ échantillons sont corrélés à 0,98 avec le paramètre d'hyper-nuisance $\sigma$ , mais au seuil de bruit (Spearman $\approx -0,05$ ) avec les violations de sécurité réelles.
Mécanisme : Ces signaux mesurent l'amplitude de la perturbation injectée, et non l'incertitude interne de la politique.
Condition Limite : Les auteurs testent l'échantillonnage par température au niveau du jeton (qui génère de la diversité à partir de la stochasticité de la politique plutôt que par un bruit injecté). Sous ce mécanisme, la corrélation entre les signaux gratuits et le paramètre d'échantillonnage chute (de 0,98 à 0,41), et les signaux retrouvent une certaine information de sécurité. Cependant, le prédicteur appris reste supérieur dans les deux régimes.

Résultats Expérimentaux
Les expériences ont été menées sur les architectures OpenVLA-OFT et $\pi_0$ -FAST, affinées sur la suite LIBERO (spécifiquement libero_object_temp_x0.1 et libero_spatial_temp_x0.1).

Garanties de Sécurité : Pour un taux de violation cible $\epsilon = 0,05$ , la borne CRC conditionnelle est respectée sur 86 % des partitions de bootstrap pour libero_object et 83 % pour libero_spatial.
Performance : Avec le prédicteur appris, BOKBO atteint une couverture de 78 % et un succès net de la tâche de 70 % sur libero_object, récupérant 87 % de l'amélioration de sécurité de l'oracle.
Variante de Mondrian : La variante par tâche augmente le respect minimal de la condition par tâche de 0,71 (global) à 0,93, améliorant significativement la fiabilité sur les tâches à haut risque comme « ketchup » et « lait ».
Décalage de Distribution : Les bornes sont respectées sous quatre décalages de distribution au sein de la suite (température, objet et décalages inter-suites), mais se dégradent lorsque le niveau de bruit d'action $\sigma$ sort de la plage calibrée.
Spécificité de l'Architecture : Le prédicteur appris est spécifique à la politique ; un prédicteur entraîné sur les données d'OpenVLA-OFT échoue lorsqu'il est appliqué directement à $\pi_0$ -FAST (le respect conditionnel tombe à 0,42), nécessant une calibration propre à chaque architecture.

Signification et Revendications
L'article revendique trois contributions principales :

Garanties Formelles : BOKBO fournit la première garantie d'abstention formelle, à échantillon fini et sans distribution pour l'inférence VLA à $K$ échantillons, permettant aux systèmes de refuser des actions dangereuses plutôt que de subir des défaillances silencieuses.
Diagnostic Structurel : Ce travail expose une faille fondamentale dans l'utilisation des signaux « gratuits » pour la sécurité lors d'un échantillonnage par perturbation. Il clarifie que ces signaux suivent le mécanisme de perturbation plutôt que l'incertitude de la politique, une distinction cruciale pour concevoir des contrôleurs robotiques fiables.
Correction Méthodologique : L'article corrige un piège de l'évaluation de la sécurité en démontrant que les seuils de force globaux sont insuffisants pour les tâches de manipulation, proposant une méthode de calibration par expert par tâche qui produit des taux de violation réalistes.

Limites
Les auteurs notent que toutes les expériences sont actuellement menées en simulation MuJoCo. Le déploiement dans le monde réel nécessite de valider le transfert des seuils de force par tâche aux robots physiques et d'intégrer une surveillance de la force en temps réel. De plus, la méthode nécessite des démonstrations d'experts par tâche (25 par tâche) pour la calibration et est actuellement limitée à la famille de benchmarks LIBERO et à des architectures VLA spécifiques.