Behavior Uncloning: Distilling Mode Redirection into Policy Weights without Inference-Time Steering

Technisch overzicht: Behavior Uncloning: Distillatie van Mode-redirection naar beleidsgewichten zonder sturing tijdens de inferentie

Probleemstelling

Behavior cloning (BC) maakt het mogelijk om bekwaam visuele motorische beleid (visuomotor policies) te trainen van grote, diverse demonstratiedatasets. Deze datasets aggregeren echter vaak demonstraties van verschillende operators en contexten, wat resulteert in beleid dat meerdere "gedragsmodi" (behavior modes) leert voor dezelfde taak. Hoewel alle modi de taak succesvol kunnen voltooien, zijn sommige onveilig, ongewenst of incompatibel met specifieke implementatiebeperkingen (bijv. een mes eerst met de punt in plaats van met het handvat doorgeven).

Bestaande oplossingen kampen met aanzienlijke trade-offs:

1. Gefilterde hertraining: Het verwijderen van ongewenste demonstraties en het opnieuw trainen vanaf nul biedt directe controle, maar vereist toegang tot de originele data en brengt hoge computationele kosten met zich mee voor elke nieuwe doelmodus.
2. Sturing tijdens de inferentie (Inference-Time Steering): Methoden die acties herwaarderen, diffusie-sampling sturen of interveniëren op verborgen toestanden tijdens de inzet, vermijden hertraining maar introduceren aanzienlijke overhead tijdens de inferentie. Dit vereist externe modules of sampling-loops die lage-latentie controle compliceren.

Het artikel identificeert een gat voor een methode die ongewenste modi in een reeds getraind beleid kan onderdrukken zonder de originele dataset te vereisen en zonder extra overhead tijdens de inferentie toe te voegen.

Methodologie: MoRE (Mode Redirection)

De auteurs stellen MoRE voor, een post-hoc beleidsbewerkingsframework dat een mode-redirection signaal direct distilleert in de beleidsgewichten. Het proces bestaat uit drie hoofdfasen:

1. Probleemformulering

Gegeven een gemengd modus-beleid $\pi_{\theta_0}$ getraind op een dataset $D_{BC}$ die is opgedeeld in modi $D_k$, is het doel om het beleid te bewerken naar een nieuwe parameterset $\theta^*$ zodat closed-loop rollouts vallen binnen een gewenste implementatieset $S \subseteq \{1, \dots, K\}$. De bewerkingsdata $D_{edit}$ kan bestaan uit originele demonstraties of closed-loop rollouts van het gemengde beleid, gelabeld met gedragsmodi.

2. Differentieerbare Mode-Redirection Editor

MoRE maakt gebruik van een tijdelijke, lichtgewicht gedragsmodus-classifier $g_\phi$ die is getraind op features geëxtraheerd uit het originele beleid.

• Feature Extractie: Voor Vision-Language-Action (VLA) beleid zijn de features de mean-gepoolde hidden states; voor Diffusion Policies bevatten de features de observatieconditie en de voorspelde schone actie-chunk.
• Bevriezen: De parameters $\phi$ van de classifier worden bevroren na training. Tijdens de bewerkingsfase worden de beleidsparameters $\theta$ bijgewerkt terwijl de classifier vast blijft staan. Dit zorgt ervoor dat gradiënten van de classifier terugstromen door de beleidsafhankelijke features naar de beleidsgewichten.

3. Optimalisatie met Retain en Redirect Losses

De bewerkingsdoelstelling combineert twee verliestermen om een balans te vinden tussen het onderdrukken van gedrag en taakbekwaamheid:
$$L_{MoRE}(\theta) = \underbrace{\mathbb{E}_{x \sim D_{des}} [L_{BC}(x; \theta)]}_{\text{Retain}} + \gamma \underbrace{\mathbb{E}_{x \sim D_{undes}^\theta} [L_{red}(x; \theta, \phi, S)]}_{\text{Redirect}}$$

• Retain Loss: Toegepast op samples in de gewenste modus-set ($D_{des}$), gebruikt deze term de originele imitatieverlies (bijv. ruisvoorspelling of velocity matching) om de taakbekwaamheid te behouden en te voorkomen dat het beleid vergeet hoe de taak voltooid moet worden.
• Redirect Loss: Toegepast op ongewenste-modus samples ($D_{undes}$), gebruikt deze term een subset-waarschijnlijkheidsverlies om de voorspelde waarschijnlijkheidsmassa van de classifier richting de gewenste set $S$ te duwen.
• Source-Mode Masking: Om stabiliteit te garanderen, wordt de redirect loss alleen toegepast op ongewenste samples waarbij de waarschijnlijkheid van de bronmodus onder een drempelwaarde $\tau$ (bijv. 0,5) ligt. Dit zorgt ervoor dat redirection alleen plaatsvindt in staat-actie regio's die gedeeld worden tussen modi, waardoor verstoring van modus-specifieke executievertakkingen wordt voorkomen waar het beleid zich al op heeft vastgesteld.

Na de bewerking wordt de classifier weggegooid. Het resulterende beleid $\pi_{\theta^*}$ doorloopt het originele inferentiepad met nul extra overhead.

Belangrijkste Bijdragen

1. Formulering van Behavior Uncloning: Het artikel definieert een nieuwe beleidsbewerkingssetting die gericht is op het onderdrukken van implementatie-ongewenste modi in vooraf getrainde beleidsmodellen, geëvalueerd via een "Deployment Success Rate" (SR) metriek die zowel taakvoltooiing als naleving van een acceptabele gedragsmodus vereist.
2. Het MoRE Framework: Een methode die classifier-gestuurde redirection distilleert in beleidsgewichten met behulp van een retain loss om bekwaamheid te behouden. Het ondersteert single- en multi-target edities, werkt met demonstraties of rollouts, en verwijdert de classifier na de bewerking.
3. Uitgebreide Validatie: MoRE wordt gevalideerd over Diffusion Policy en $\pi_{0.5}$ VLA backbones, binaire en multi-way moduscontrole, gesimuleerdeerde en real-robot implementaties, en zowel manipulatie- als quadruped navigatietaken.

Experimentele Resultaten

Experimenten werden uitgevoerd op acht taken (vier gesimuleerd, vier real-robot) met taken zoals knife handover, multi-location placement, en quadruped navigatie.

• Prestatiewinst: MoRE verbeterde de gemiddelde Deployment Success Rate (SR) met 44 procentpunten ten opzichte van het originele gemengde modus-beleid. Bijvoorbeeld, op de Push-T taak steeg de SR van 50,0% naar 98,3%.
• Vergelijking met Baselines:
  • Vs. Preference Learning (CPL): MoRE bereikte sterkere modusverschuivingen en een hogere SR. CPL zorgde voor slechts gedeeltelijke verschuivingen en verminderde soms de Task Completion Rate (TCR).
  • Vs. Inference-Time Steering (DynaGuide): Hoewel DynaGuide de modus-alignement verbeterde op sommige taken, veroorzaakte het een 8,47x vertraging tijdens de inferentie. MoRE behield de originele inferentiesnelheid.
  • Vs. Gefilterde Hertraining: MoRE benaderde de prestaties van beleid dat vanaf nul is hertraind op gefilterde data zonder dat daarvoor toegang tot de originele dataset of volledige hertraining nodig was.
• Generalisatie: De methode werd succesvol getransfereerd over verschillende beleid-backbones (Diffusion Policy naar $\pi_{0.5}$ VLA), verschillende embodiment-typen (arm manipulatie naar quadruped), en van simulatie naar real-world implementatie.
• Data-efficiëntie: MoRE bleef effectief, zelfs wanneer er alleen closed-loop rollouts van het gemengde beleid als bewerkingsdata werden gebruikt, hoewel originele demonstraties iets betere resultaten opleverden.

Betekenis en Claims

Het artikel positioneert MoRE als een praktische oplossing voor de "deployment tension" tussen dataset diversiteit en veiligheids-/acceptatiebeperkingen. Door redirection-signalen in de gewichten te distilleren, maakt MoRE de creatie van zelfstandige, veilige beleidsmodellen mogelijk die geen externe sturingsmodules of volledige hertraining vereisen.

De auteurs stellen expliciet dat MoRE moet worden beschouwd als een mode-control editing methode en niet als een gecertificeerde veiligheidslaag. De effectiviteit ervan rust op specifieke aannames:

• De beschikbaarheid van modus-gelabelde bewerkingsdata (of betrouwbaar afleidbare rollouts).
• Een classifier-interface waarbij features informatie over de modus blootstellen voordat het traject volledig aan een bronmodus is gecommitteerd.

Het werk suggereert dat gerichte gedragingen direct in modelgewichten kunnen worden omgeleid, wat een pad biedt naar veiligere, beter controleerbare robotimplementatie zonder de computationele of latentie-kosten van interventie tijdens de inferentie. Toekomstige onderzoeksrichtingen omvatten het afhandelen van ruisgevoelige labels, het ontdekken van hiërarchische modus-taxonomieën en het adresseren van sterkere distributieverschuivingen.