Behavior Uncloning: Distilling Mode Redirection into Policy Weights without Inference-Time Steering

Résumé Technique : Behavior Uncloning : Distiller la redirection de mode dans les poids de la politique sans pilotage à l'inférence

Énoncé du Problème

Le clonage de comportement (Behavior Cloning - BC) permet l'entraînement de politiques visuomotrices capables à partir de vastes jeux de données de démonstrations diversifiées. Cependant, ces jeux de données agrègent souvent des démonstrations provenant de différents opérateurs et contextes, ce qui entraîne des politiques apprenant plusieurs « modes de comportement » pour une même tâche. Bien que tous les modes puissent mener à la réussite de la tâche, certains sont dangereux, indésirables ou incompatibles avec des contraintes de déploiement spécifiques (par exemple, passer un couteau par la lame plutôt que par le manche).

Les solutions existantes font face à des compromis importants :

1. Réentraînement filtré : Supprimer les démonstrations indésirables et réentraîner à partir de zéro offre un contrôle direct mais nécessite l'accès aux données originales et engendre des coûts de calcul élevés pour chaque nouveau mode cible.
2. Pilotage à l'inférence (Inference-Time Steering) : Les méthodes qui reclassent les actions, guident l'échantillonnage de la diffusion ou interviennent sur les états cachés lors du déploiement évitent le réentraînement mais introduisent un surcoût substantiel lors de l'inférence, nécessitant des modules externes ou des boucles d'échantillonnage qui compliquent le contrôle à faible latence.

Le papier identifie le besoin d'une méthode capable de supprimer les modes indésirables dans une politique déjà entraînée, sans nécessiter le jeu de données original et sans ajouter de surcharge lors de l'inférence.

Méthodologie : MoRE (Mode Redirection)

Les auteurs proposent MoRE, un cadre d'édition de politique post-hoc qui distille un signal de redirection de mode directement dans les poids de la politique. Le processus comprend trois étapes principales :

1. Formulation du Problème

Étant donné une politique à modes mixtes $\pi_{\theta_0}$ entraînée sur un jeu de données $D_{BC}$ partitionné en modes $D_k$, l'objectif est d'éditer la politique vers un nouvel ensemble de paramètres $\theta^*$ tel que les déploiements en boucle fermée tombent dans un ensemble de déploiement souhaité $S \subseteq \{1, \dots, K\}$. Les données d'édition $D_{edit}$ peuvent consister en les démonstrations originales ou en des déploiements en boucle fermée issus de la politique mixte, étiquetés avec les modes de comportement.

2. Éditeur de redirection de mode différentiable

MoRE utilise un classificateur de mode de comportement temporaire et léger $g_\phi$ entraîné sur les caractéristiques extraites de la politique originale.

• Extraction de caractéristiques : Pour les politiques Vision-Language-Action (VLA), les caractéristiques sont le pooling moyen des états cachés ; pour les politiques de diffusion, les caractéristiques incluent la condition d'observation et l'action propre prédite.
• Gel (Freezing) : Les paramètres du classificateur $\phi$ sont gelés après l'entraînement. Pendant la phase d'édition, les paramètres de la politique $\theta$ sont mis à jour tandis que le classificateur reste fixe. Cela permet aux gradients du classificateur de circuler à travers les caractéristiques dépendantes de la politique vers les poids de celle-ci.

3. Optimisation avec pertes de Rétention et de Redirection

L'objectif d'édition combine deux termes de perte pour équilibrer la suppression du comportement et la compétence de la tâche :
$$L_{MoRE}(\theta) = \underbrace{\mathbb{E}_{x \sim D_{des}} [L_{BC}(x; \theta)]}_{\text{Retain (Retenir)}} + \gamma \underbrace{\mathbb{E}_{x \sim D_{undes}^\theta} [L_{red}(x; \theta, \phi, S)]}_{\text{Redirect (Rediriger)}}$$

• Perte de Rétention (Retain Loss) : Appliquée aux échantillons du mode souhaité ($D_{des}$), ce terme utilise la perte d'imitation originale (par exemple, prédiction de bruit ou correspondance de vélocité) pour préserver la compétence de la tâche et empêcher la politique d'oublier comment accomplir la tâche.
• Perte de Redirection (Redirect Loss) : Appliquée aux échantillons des modes indésirables ($D_{undes}$), ce terme utilise une perte de probabilité de sous-ensemble pour pousser la masse de probabilité prédite par le classificateur vers l'ensemble souhaité $S$.
• Masquage du mode source : Pour assurer la stabilité, la perte de redirection n'est appliquée qu'aux échantillons indésirables où la probabilité du mode source est inférieure à un seuil $\tau$ (par exemple, 0,5). Cela garantit que la redirection ne se produit que dans les régions état-action partagées entre les modes, évitant ainsi de perturber les branches d'exécution spécifiques au mode où la politique s'est déjà engagée dans une trajectoire.

Après l'édition, le classificateur est jeté. La politique résultante $\pi_{\theta^*}$ suit le chemin d'inférence original avec un surcoût nul.

Contributions Clés

1. Formulation de l'Uncloning de Comportement : Le papier définit un nouveau cadre d'édition de politique axé sur la suppression des modes indésirables lors du déploiement, évalué via une métrique de "Taux de Succès de Déploiement" (SR) qui exige à la fois la réussite de la tâche et l'adhérence à un mode de comportement acceptable.
2. Le Cadre MoRE : Une méthode qui distille la redirection guidée par un classificateur dans les poids de la politique en utilisant une perte de rétention pour maintenir la compétence. Elle supporte les éditions à cible unique ou multiple, fonctionne avec des démonstrations ou des déploiements, et supprime le classificateur après l'édition.
3. Validation Complète : MoRE est validé sur des backbones de politique Diffusion Policy et $\pi_{0.5}$ VLA, sur des contrôles de modes binaires et multi-voies, ainsi que sur des déploiements en simulation et sur des robots réels, impliquant des tâches de manipulation et de navigation de quadrupèdes.

Résultats Expérimentaux

Les expériences ont été menées sur huit tâches (quatre simulées, quatre sur robot réel) impliquant des tâches comme le passage de couteau, le placement multi-emplacements et la navigation de quadrupèdes.

• Gains de Performance : MoRE a amélioré le Taux de Succès de Déploiement (SR) moyen de 44 points de pourcentage par rapport à la politique initiale à modes mixtes. Par exemple, sur la tâche Push-T, le SR est passé de 50,0 % à 98,3 %.
• Comparaison avec les Baselines :
  • Vs Apprentissage de Préférence (CPL) : MoRE a obtenu des décalages de mode plus marqués et un SR plus élevé. CPL n'a fourni que des décalages partiels et a parfois réduit le Taux de Complétion de Tâche (TCR).
  • Vs Pilotage à l'Inférence (DynaGuide) : Bien que DynaGuide ait amélioré l'alignement des modes sur certaines tâches, il a engendré un ralentissement de l'inférence de 8,47x. MoRE a maintenu la vitesse d'inférence originale.
  • Vs Réentraînement Filtré : MoRE s'est approché des performances des politiques réentraînées à partir de zéro sur des données filtrées sans nécessiter l'accès au jeu de données original ou un réentraînement complet.
• Généralisation : La méthode a transféré avec succès à travers différents backbones de politique (de Diffusion Policy à $\pi_{0.5}$ VLA), différents types d'embodiment (manipulation de bras à navigation de quadrupède), et de la simulation au déploiement réel.
• Efficacité des Données : MoRE est resté efficace même en utilisant uniquement des déploiements en boucle fermée de la politique mixte comme données d'édition, bien que les démonstrations originales aient donné des résultats légèrement supérieurs.

Signification et Revendications

Le papier positionne MoRE comme une solution pratique à la « tension de déploiement » entre la diversité des jeux de données et les contraintes de sécurité ou d'acceptabilité. En distillant les signaux de redirection dans les poids, MoRE permet de créer des politiques autonomes et sûres qui ne nécessitent ni modules de pilotage externes, ni réentraînement complet.

Les auteurs précisent explicitement que MoRE doit être considéré comme une méthode d'édition de contrôle de mode plutôt que comme une couche de sécurité certifiée. Son efficacité repose sur des hypothèses spécifiques :

• La disponibilité de données d'édition étiquetées par mode (ou des déploiements inférables de manière fiable).
• Une interface de classificateur où les caractéristiques exposent l'information de mode avant que la trajectoire ne s'engage pleinement dans un mode source.

Ce travail suggère que les comportements ciblés peuvent être redirigés directement dans les poids du modèle, offrant une voie vers un déploiement robotique plus sûr et plus contrôlable sans les coûts de latence ou de calcul de l'intervention à l'inférence. Les directions de travaux futurs identifiées incluent la gestion de labels plus bruités, la découverte de taxonomies de modes hiérarchiques et le traitement de changements de distribution plus marqués.