Same Weights, Different Robot: A Deployment Safety View of VLA Policies

Résumé Technique : Mêmes Poids, Robot Différent

Énoncé du Problème
Les modèles de déploiement actuels pour les politiques Vision-Langage-Action (VLA) traitent le checkpoint du réseau de neurones (poids, tokenizer, prompt) comme l'unique unité d'identité et de revue de sécurité de la politique. Cet article soutient que cette hypothèse crée un « écart de sécurité de déploiement » critique. En pratique, un modèle VLA produit des coordonnées d'action normalisées, qui doivent être transformées en commandes de contrôleur physique via une étape de dé-normalisation de l'action. Cette étape repose sur des métadonnées (par exemple, des statistiques de quantiles spécifiques au jeu de données) pour mapper les valeurs normalisées vers les unités physiques.

Le problème central est que des poids de modèle identiques peuvent instancier des politiques de robot exécutables différentes si les métadonnées utilisées pour la dé-normalisation sont incorrectes. Par exemple, substituer une clé de métadonnées sœur plausible (par exemple, des statistiques provenant d'une suite de tâches différente) résulte en une loi d'action physique différente, même si la sortie interne du modèle reste inchangée. Cela constitue une « défaillance d'interface silencieuse » où les audits de sécurité certifient le checkpoint mais manquent la politique réellement exécutable atteignant le contrôleur du robot.

Méthodologie
Les auteurs formalisent la politique VLA non pas comme un modèle, mais comme un tuple exécutable $\Pi_{exec} = (f_\theta, I, Z, U_k, C)$, où :

• $f_\theta$ : Le modèle appris.
• $I$ : Les processeurs d'image et de langage.
• $Z$ : La représentation d'action normalisée.
• $U_k$ : Le dé-normaliseur d'action sélectionné par la clé de métadonnées $k$.
• $C$ : Les conventions du contrôleur (sémantique de la pince, fréquence de contrôle, etc.).

Deux déploiements sont définis comme exécutablement équivalents uniquement s'ils induisent la même loi d'action physique sous toutes les histoires admissibles. L'article démontre qu'en changeant $k$ (tout en maintenant $f_\theta, I, Z, C$ constants), cette équivalence est rompue.

Pour détecter cela, les auteurs dérivent une transformation de décalage de métadonnées en forme fermée pour les dé-normaliseurs de type quantile. Si un déploiement utilise une clé $k_c$ prévue mais qu'une clé $k_w$ est substituée, le déplacement d'action physique $\Delta_i$ pour une action normalisée $z$ sur la dimension $i$ est :
$$\Delta_i(z; k_c, k_w) = (q^{(w)}_{01,i} - q^{(c)}_{01,i}) + z_i [ (q^{(w)}_{99,i} - q^{(w)}_{01,i}) - (q^{(c)}_{99,i} - q^{(c)}_{01,i}) ]$$
Cette transformation est déterministe et indépendante de l'inférence du modèle. Sur cette base, ils proposent ExecSpec, un certificat pré-rollout qui mesure la dérive sémantique de l'espace d'action (déplacement moyen, déplacement de queue, attribution d'axe) sur un ensemble de calibration sans nécessiter d'inférence de modèle ou de déroulement de simulation.

Contributions Clés

1. Critère d'Identité de la Politique Exécutable : L'article définit une identité de politique qui inclut les métadonnées de l'espace d'action, prouvant que l'égalité des checkpoints est insuffisante pour l'égalité de la politique physique.
2. Certificat en Forme Fermée : Il dérive un certificat exact et indépendant du modèle pour les décalages de dé-normalisation de type quantile, permettant la détection de la dérive sémantique avant tout mouvement du robot.
3. Témoins Empiriques : Les auteurs fournissent de nombreuses preuves de relecture à travers quatre suites LIBERO (Goal, Spatial, Object, Long) démontrant que les substitutions plausibles de métadonnées sont suffisantes pour inverser les taux de succès des tâches.

Résultats
Les auteurs ont mené des expériences utilisant des trajectoires normalisées rejouées (fixant la sortie du modèle et l'état initial) pour isoler l'effet de la substitution de métadonnées.

• LIBERO-Goal : En utilisant la clé prévue GOAL-B, la substitution par LONG-V2 a entraîné une dérive moyenne de 0,199 sur six dimensions non-pince. Cela a réduit le succès de la tâche de 28/28 (prévu) à 2/28 (substitué). Une courbe dose-réponse a montré que le succès chutait de manière monotone à mesure que la clé de métadonnées interpolait de la correcte vers l'incorrecte.
• LIBERO-Spatial : Substituer LONG-V2 à SPATIAL-V2 a réduit le succès de 26/26 à 0/26.
• LIBERO-Object & Long : Toutes les substitutions sœurs plausibles ont réduit le succès à 0/28 (Object) ou 0/23 (Long) sous substitution complète.
• Contrôles : L'article écarte des explications plus simples telles que le filtrage no-op, les artefacts de relecture brut vs correct, les décalages de convention de pince, ou les corruptions synthétiques. Les échecs étaient spécifiquement pilotés par des dimensions d'action non-pince où les statistiques de métadonnées différaient.

Signification et Revendications
L'article revendique une vision de la sécurité de déploiement plus étroite : les métadonnées de l'espace d'action sont une composante porteuse de la politique exécutable et doivent être versionnées et vérifiées aux côtés des poids du modèle.

• Pas une revendication de défaillance générale : Les auteurs déclarent explicitement qu'ils ne prétendent pas que tous les déploiements VLA échouent lors d'un décalage de métadonnées, ni que la normalisation est l'unique danger caché.
• Pas une garantie de sécurité matérielle : Les résultats sont basés sur une relecture de simulation et ne certifient pas la sécurité en boucle fermée ou matérielle. Ils ne prédisent pas les taux de défaillance matérielle.
• Insight Central : La signification réside dans l'identification d'une couche sémantique cachée de l'espace d'action. Si un déploiement modifie le dé-normaliseur tout en gardant le modèle fixe, il modifie la politique exécutable. Ce décalage peut être détecté via un certificat statique avant le déploiement, empêant le déploiement d'une politique qui est sémantiquement différente de celle qui a été auditée.

L'article conclut que les manifestes de déploiement doivent inclure les clés de dé-normalisation d'action, les hachages de statistiques et les conventions de contrôleur pour assurer la reproductibilité et la sécurité, traitant ces champs comme des éléments intégrants de l'objet politique plutôt que de simples détails de configuration.