Résumé Technique : AEGIS – Un réflexe de secours pour l'IA Physique

1. Énoncé du Problème

Les politiques de manipulation robotique à long horizon échouent souvent non pas de manière abrupte, mais par une « spirale lente ». Une seule action mal synchronisée pousse le système hors de sa distribution, accumulant les erreurs jusqu'à ce que la trajectoire entre dans un bassin d'échec irrécupérable. Bien que les signes avant-coureurs de cet échec imminent soient visibles dans les états internes de la politique bien avant le crash, les méthodes actuelles manquent de mécanisme d'exécution pour agir efficacement sur ces signaux.

Les approches existantes se divisent en deux catégories incomplètes :

1. Détection uniquement : Des méthodes comme SAFE prédisent l'échec avec une grande précision mais se contentent d'interrompre l'exécution ou de déléguer à un humain, n'offrant aucune récupération.
2. Récupération au sein de la politique : Des méthodes comme HELM ou Pre-VLA tentent de récupérer en rééchantillonnant, en replanifiant ou en revenant en arrière en utilisant la même politique défaillante.

Le fossé identifié est l'absence d'une couche d'autorisation d'exécution capable de détecter l'échec imminent et d'escalader le contrôle vers une politique plus forte et distincte avant que l'erreur ne s'amplifie, sans pour autant encourir le coût computationnel de l'exécution continue de cette politique plus forte.

2. Méthodologie : AEGIS

AEGIS (Activation-probe Early-warning, Gated Inference Switching) comble ce fossé en permettant à une politique déployée peu coûteuse de lire ses propres activations internes gelées comme un signal d'alerte précoce et de transférer sélectivement le contrôle à une politique plus capable.

Composants Clés

• Sonde Interne Gelée : Une sonde MLP légère à deux couches est entraînée hors ligne sur les activations gelées de la politique « faible » déployée (spécifiquement, la projection de sortie de l'attention auto de la couche 15 de l'expert d'action). Elle lit un score de risque par étape ($s_t$) à partir des états cachés de la politique faible.
• Prédiction de Fenêtre Précoce : La sonde est entraînée et évaluée uniquement sur les premiers 30 % d'une trajectoire ($t \le 0.30T$) pour garantir qu'elle prédit l'échec avant que la trajectoire ne franchisse le point de non-retour.
• Seuil Conforme et Portes :
  • Seuil Conforme : Un étalonnage conforme fractionné définit un seuil variable dans le temps ($\delta_t$) pour contrôler le taux de déclenchement de faux positifs ($\alpha = 0.10$).
  • Porte de Prévention de Dommage Précoce : L'escalade est supprimée avant $t_{min} = 0.20T$ pour éviter de perturber les trajectoires qui auraient réussi (traitant le « paradoxe de l'intervention »).
  • Plafond de Budget : Un plafond par épisode ($K_{max}$) limite le nombre d'événements d'escalade, garantissant que la politique plus forte n'est pas surutilisée.
• Transfert d'Escalade : Lorsque la porte se déclenche, le contrôle bascule à la prochaine limite de bloc d'actions (action-chunk boundary) vers une politique plus forte et distincte, gelée ($\pi_s$). La politique plus forte est maintenue pendant une durée minimale (hystérésis) pour éviter les oscillations (chattering).
• Architecture : Le système exécute les deux politiques dans un seul conteneur pour minimiser la latence. La politique faible continue de fonctionner en arrière-plan pour fournir les scores de la sonde pour les décisions de désescalade.

Conception Expérimentale

Les auteurs utilisent une conception factorielle à quatre bras utilisant des nombres aléatoires communs (CRN) pour assurer l'identification causale :

• Bras A (Faible uniquement) : Référence (Baseline).
• Bras B (Ciblé) : Escalade AEGIS.
• Bras C (Budget-matché-aveugle) : Escalade le même nombre d'étapes que B, mais de manière aveugle (sans signal), isolant la valeur de la sélectivité par rapport au calcul brut.
• Bras D (Déclencheur aléatoire) : Escalade au même taux que B mais sur des étapes aléatoires, isolant la valeur de l'information du signal.

3. Contributions Clés

1. Un Nouveau Problème d'Exécution : Définir le défi de savoir quand une politique peu coûteuse doit appeler une politique plus forte pour prévenir l'accumulation de l'échec, plutôt que de réagir après que l'échec soit survenu.
2. Un Mécanisme Concret : Un système de sonde gelée sans entraînement, qui module l'escalade par étape vers une politique plus forte distincte via des déclencheurs conformes et des portes de sécurité.
3. Preuve Causale de la Sélectivité : En comparant aux contrôles aveugles et aléatoires à budget égal, l'article démontre que le gain de récupération provient du timing (sélectivité), et non simplement de l'ajout de calcul.
4. Compromis Mesurés : Quantification du taux de récupération par rapport au cycle de service (duty cycle) de la politique plus forte, montrant qu'une escalade sélective peut doubler les taux de récupération par rapport aux bases de comparaison à budget égal.

4. Résultats

La méthode a été évaluée sur le benchmark LIBERO-Spatial (10 tâches, 700 épisodes par bras, $n_{A-fail}=646$).

• Taux de Récupération : AEGIS (Bras B) a récupéré 10,1 % des trajectoires auxquelles la politique faible seule avait échoué.
• Comparaison aux Contrôles :
  • vs Escalade Aveugle (Bras C) : AEGIS a récupéré 5,4 points de pourcentage de plus (10,1 % contre 4,6 %), avec $p = 8,5 \times 10^{-6}$.
  • vs Déclencheur Aléatoire (Bras D) : AEGIS a récupéré 5,0 points de pourcentage de plus (10,1 % contre 5,1 %), avec $p = 1,0 \times 10^{-4}$.
• Efficacité : La politique plus forte n'était active que sur 38 % des étapes (cycle de service). Malgré cela, AEGIS a obtenu environ deux fois plus de récupération que les contrôles à budget égal.
• Qualité du Signal : L'AUROC de la fenêtre précoce de la sonde était de 0,764 (IC 95 % [0,70, 0,84]), dépassant la précondition pré-enregistrée de 0,75.
• Robustesse : Les résultats se sont maintenus à travers les strates de difficulté (Facile, Moyen, Difficile), bien que l'avantage sur l'escalade aveugle se soit réduit dans la strate Difficile où même la politique forte dispose d'une marge de récupération limitée.
• Généralisation : L'effet a persisté lors de l'escalade vers une famille de politiques différente (GR00T N1.7), suggérant que le mécanisme est une propriété de l'escalade vers une politique plus forte distincte plutôt qu'un couple de modèles spécifique.

5. Signification et Revendications

L'article affirme que le timing est l'ingrédient actif, et non le calcul brut. Une politique robotique peut lire ses propres activations gelées comme un signal d'alerte précoce et appeler une politique plus forte avant que l'échec ne s'amplifie, récupérant ainsi deux fois plus d'échecs que l'escalade à budget égal.

Les auteurs soulignent qu'il s'agit d'une solution d'autorisation d'exécution. Elle comble le fossé entre la détection et l'action en permettant à un système de « appeler des renforts » uniquement lorsque cela est nécessaire. L'article évite explicitement de prétendre que la prédiction précise seule garantit l'utilité ; il repose plutôt sur les contrôles causaux (déclenchements aveugles et aléatoires) pour prouver que c'est la sélectivité de l'escalade qui génère la récupération.

Ce travail est présenté comme un « réflexe de secours » pour l'IA physique, permettant le déploiement de politiques plus rapides et moins coûteuses pour la majorité des opérations, tout en invoquant sélectivement des modèles de pointe plus coûteux et complexes uniquement lorsque l'état interne indique une spirale imminente vers l'échec. Les auteurs notent que cette approche ne surpasse pas une politique « toujours forte » en termes de récupération brute (ce qui est attendu compte tenu du coût de calcul), mais qu'elle atteint un rapport récupération-calcul supérieur.