Résumé Technique : SafeBranch

Énoncé du Problème

Les agents incarnés basés sur des modèles vision-langage (VLM) sont capables d'exécuter des tâches multi-étapes dans des environnements interactifs, mais ils violent fréquemment des contraintes de sécurité lors de l'exécution. Ce problème, appelé sécurité interactive, survient car les propres actions de l'agent peuvent créer des dangers émergents (par exemple, laisser une cuisinière allumée, toucher une prise avec des mains mouillées). Contrairement aux contraintes de sécurité statiques, les dangers de sécurité interactive sont concentrés sur un ensemble épars d'étapes critiques pour la sécurité au sein d'une trajectoire. À ces points de décision spécifiques, le choix de l'agent détermine si la trajectoire bifurque vers un résultat sûr ou dangereux.

Les approches existantes font face à deux limitations principales :

1. Garde-fous à l'inférence : Les méthodes qui utilisent des vérificateurs de sécurité externes ou des planificateurs de recherche pour bloquer ou réviser les actions à chaque étape ajoutent une surcharge de déploiement et ne modifient pas l'acteur sous-jacent.
2. Supervision Standard :
   • Imitation (SFT) : L'entraînement sur des trajectoires sûres enseigne ce qu'il faut faire, mais échoue à expliquer pourquoi une alternative était dangereuse, menant à une application sans contexte des comportements sûrs.
   • Préférence au niveau de la trajectoire (DPO) : Le contraste entre des trajectoires entières sûres et dangereuses mélange le signal de sécurité avec des différences non liées à travers de nombreuses étapes, échouant à isoler le point de décision spécifique où la sécurité a été déterminée.

Le défi central est de fournir une supervision qui contraste explicitement des actions sûres et dangereuses au niveau de la même étape critique pour la sécurité (même contexte, actions différentes) pour enseigner à l'agent le signal de sécurité au niveau de l'étape.

Méthodologie : SafeBranch

Les auteurs proposent SafeBranch, un cadre qui construit des paires de branchement à partir des propres déroulements dangereux de l'acteur et aligne l'acteur via l'Optimisation de Préférence de Branchement (BranchPO).

1. Construction de Paires de Branchement via le Rollback de l'Environnement

Puisque les environnements interactifs naturels ne fournissent pas deux trajectoires qui divergent à une seule étape, SafeBranch les synthétise :

• Rollback (Retour en arrière) : Lorsqu'une violation de sécurité survient dans un déroulement de l'agent, un critique de sécurité (un LLM externe) identifie la contrainte violée et l'étape spécifique ($h_k$) où la décision a été prise.
• Réparation : L'environnement est réinitialisé à $h_k$. L'acteur est ensuite interrogé pour une alternative sûre ($y^+$) conditionnée par le contexte original $h_k$ plus le feedback du critique ($f_k$).
• Relabeling par Regard Arrière (Hindsight Relabeling) : Pour s'assurer que l'acteur apprend la sécurité à partir du contexte plutôt que du signal de feedback, le feedback du critique ($f_k$) est retiré du prompt d'entraînement. La paire de branchement résultante se compose de l'action dangereuse originale ($y^-$) et de l'action sûre réparée ($y^+$), toutes deux conditionnées par le même contexte $h_k$.
• Filtrage : Un LLM juge filtre les paires pour s'assurer que l'action sûre est justifiée par le contexte, exécutable et résout la contrainte.

2. Optimisation de Préférence de Branchement (BranchPO)

Le cadre entraîne l'acteur en utilisant un objectif d'apprentissage de préférence adapté pour l'alignement au niveau de l'étape. Étant donné un ensemble de données de paires de branchement $D_{branch}$, l'objectif maximise la marge de log-probabilité entre l'action sûre et l'action dangereuse au même ancrage d'étape :
$$\mathcal{L}_{BranchPO} = -\mathbb{E}_{D_{branch}} \left[ \log \sigma(\beta(r^+_\theta - r^-_\theta)) \right]$$
où $r_\theta(h, y) = \log \pi_\theta(y|h) - \log \pi_{ref}(y|h)$. Cela internalise les jugements de sécurité du critique dans l'acteur lui-même.

3. Déploiement

Contrairement aux méthodes à l'inférence, l'acteur entraîné se déploie sans critique. Il gère les situations critiques pour la sécurité de manière autonome, sans modules externes, mécanismes de rollback ou boucles de feedback pendant l'exécution.

Contributions Clés

1. Formulation de la Sécurité Interactive comme un Problème de Niveau d'Étape : L'article identifie que l'alignement de la sécurité nécessite d'isoler la décision aux étapes critiques pour la sécurité, plutôt que d'optimiser sur des trajectoires entières.
2. Cadre SafeBranch : Une méthode novatrice pour construire des paires de branchement à état identique en effectuant un rollback des déroulements dangereux et en sollicitant des alternatives sûres, résolvant ainsi le problème de la rareté des données pour la supervision de sécurité au niveau de l'étape.
3. Objectif BranchPO : Un objectif d'optimisation de préférence spécifiquement conçu pour entraîner les acteurs sur ces paires de branchement, internalisant les contraintes de sécurité.
4. Déploiement Sans Critique : La méthode déplace le coût du critique de sécurité de l'exécution (inférence) vers l'entraînement, résultant en un acteur autonome agissant de manière sûre sans intervention externe.

Résultats Expérimentaux

La méthode a été évaluée sur IS-Bench, SafetyALFRED, et des variantes hors distribution (OOD) impliquant des tâches et des objets non vus.

• Gains de Performance :
  • Sur IS-Bench, SafeBranch a augmenté le Taux de Succès Sûr (SSR) de 0,031 (baseline non entraînée) à 0,281.
  • Sur la variante OOD-ObjectShift (objets non vus), le SSR est passé de 0,048 à 0,355.
  • Sur la variante OOD-TaskShift (tâches non vues), le SSR est passé de 0,048 à 0,469.
  • Sur SafetyALFRED, la précision des dangers est passée de 0,274 à 0,438.
• Comparaison avec les Baselines :
  • SafeBranch a surpassé les baselines d'inférence (Self-Verification, Lookahead) qui n'ont pas réussi à généraliser aux contextes OOD.
  • Il a significativement surpassé les variantes standards d'apprentissage de préférence (Trajectory DPO, SFT-only), qui ont eu du mal à concentrer le signal de sécurité sur les bons points de décision.
• Efficacité : Le pipeline de construction de paires de branchement génère des paires utilisables environ 5,2× plus vite qu'un échantillonnage naturel de type "best-of-N" sous des budgets de calcul équivalents.
• Ablation : Le retrait du relabeling par regard en arrière (en conservant le feedback du critique dans l'entraînement) a provoqué l'échec du modèle lors du déploiement en l'absence de feedback, confirmant la nécessité d'internaliser le signal de sécurité.

Signification et Revendications

L'article affirme que SafeBranch offre une voie efficace en termes de données pour internaliser la sécurité interactive. En formulant la sécurité comme un problème de branchement au niveau de l'étape et en construisant des paires de branchement spécifiques, la méthode permet aux agents incarnés d'apprendre où et comment agir en toute sécurité sans sacrifier le succès de la tâche.

Les auteurs soulignent que cette approche déplace l'alignement de la sécurité d'un processus externe dépendant de l'exécution vers une capacité interne de l'acteur. Les résultats suggèrent que l'entraînement sur des paires de branchement à état identique est essentiel pour apprendre le signal de sécurité au niveau de l'étape, une capacité que la supervision standard au niveau de la trajectoire ne parvient pas à fournir. La méthode atteint des performances de sécurité de pointe à travers les contextes in-distribution, hors distribution et les réglages inter-simulateurs, tout en éliminant le besoin de modules de sécurité externes lors du déploiement.