Riepilogo Tecnico: Behavior Uncloning: Distillazione della Redirezione del Modo nei Pesi della Policy senza Steering al Tempo di Inferenza

Definizione del Problema

Il behavior cloning (BC) consente l'addestramento di policy viscomotorie capaci partendo da dataset di dimostrazioni ampi e diversificati. Tuttavia, questi dataset spesso aggregano dimostrazioni provenienti da diversi operatori e contesti, il che porta le policy ad apprendere molteplici "modalità di comportamento" per lo stesso compito. Sebbene tutte le modalità possano completare con successo il compito, alcune possono essere insicure, indesiderate o incompatibili con specifici vincoli di deployment (ad esempio, passare un coltello con la lama in avanti rispetto al manico in avanti).

Le soluzioni esistenti affrontano compromessi significativi:

1. Rieditazione Filtrata: Rimuovere le dimostrazioni indesiderate e riaddestrare da zero fornisce un controllo diretto ma richiede l'accesso ai dati originali e comporta elevati costi computazionali per ogni nuovo modo target.
2. Steering al Tempo di Inferenza: I metodi che riclassificano le azioni, guidano il campionamento della diffusione o intervengono sugli stati nascosti durante il deployment evitano il riaddestramento, ma introducono un sostanziale overhead al tempo di inferenza, richiedendo moduli esterni o cicli di campionamento che complicano il controllo a bassa latenza.

Il documento identifica una lacuna per un metodo che possa sopprimere le modalità indesiderate in una policy già addestrata senza richiedere il dataset originale e senza aggiungere overhead al tempo di inferenza.

Metodologia: MoRE (Mode Redirection)

Gli autori propongono MoRE, un framework di editing della policy post-hoc che destilla un segnale di redirezione del modo direttamente nei pesi della policy. Il processo prevede tre fasi principali:

1. Formulazione del Problema

Data una policy a modalità mista $\pi_{\theta_0}$ addestrata su un dataset $D_{BC}$ partizionato in modi $D_k$, l'obiettivo è editare la policy verso un nuovo set di parametri $\theta^*$ tale che i rollout in loop chiuso rientrino in un set di deployment desiderato $S \subseteq \{1, \dots, K\}$. I dati di editing $D_{edit}$ possono consistere in dimostrazioni originali o rollout in loop chiuso dalla policy mista, etichettati con i modi di comportamento.

2. Editor di Redirezione del Modo Differenziabile

MoRE utilizza un classificatore di modalità di comportamento temporaneo e leggero $g_\phi$ addestrato sulle feature estratte dalla policy originale.

• Estrazione delle Feature: Per le policy Vision-Language-Action (VLA), le feature sono i medi-pooling degli stati nascosti; per le Diffusion Policy, le feature includono la condizione di osservazione e l'azione pulita predetta (clean action chunk).
• Freezing: I parametri del classificatore $\phi$ sono congelati dopo l'addestramento. Durante la fase di editing, i parametri della policy $\theta$ vengono aggiornati mentre il classificatore rimane fisso. Ciò consente ai gradienti del classificatore di fluire attraverso le feature dipendenti dalla policy nei pesi della policy stessa.

3. Ottimizzazione con Loss di Ritenzione e Redirezione

L'obiettivo di editing combina due termini di perdita per bilanciare la soppressione del comportamento con la competenza nel compito:
$$L_{MoRE}(\theta) = \underbrace{\mathbb{E}_{x \sim D_{des}} [L_{BC}(x; \theta)]}_{\text{Retain}} + \gamma \underbrace{\mathbb{E}_{x \sim D_{undes}^\theta} [L_{red}(x; \theta, \phi, S)]}_{\text{Redirect}}$$

• Retain Loss (Perdita di Ritenzione): Applicata ai campioni nel set di modi desiderati ($D_{des}$), questo termine utilizza la perdita di imitazione originale (ad esempio, predizione del rumore o matching della velocità) per preservare la competenza nel compito ed evitare che la policy dimentichi come completarlo.
• Redirect Loss (Perdita di Redirezione): Applicata ai campioni dei modi indesiderati ($D_{undes}$), questo termine utilizza una perdita di probabilità di sottoinsieme per spingere la massa di probabilità predetta dal classificatore verso il set desiderato $S$.
• Source-Mode Masking: Per garantire la stabilità, la redirect loss è applicata solo ai campioni indesiderati dove la probabilità del modo sorgente è al di sotto di una soglia $\tau$ (ad esempio, 0.5). Ciò assicura che la redirezione avvenga solo nelle regioni stato-azione condivise tra le modalità, evitando la perturbazione di rami di esecuzione specifici della modalità in cui la policy si è già impegnata.

Dopo l'editing, il classificatore viene scartato. La policy risultante $\pi_{\theta^*}$ viene eseguita attraverso il percorso di inferenza originale con zero overhead aggiuntivo.

Contributi Chiave

1. Formulazione del Behavior Uncloning: Il documento definisce un nuovo setting di editing della policy focalizzato sulla soppressione delle modalità indesiderate nel deployment, valutato tramite una metrica di "Deployment Success Rate" (SR) che richiede sia il completamento del compito che l'adesione a un modo di comportamento accettabile.
2. Il Framework MoRE: Un metodo per distillare la redirezione guidata dal classificatore nei pesi della policy utilizzando una loss di ritenzione per mantenere la competenza. Supporta edit a bersaglio singolo o multiplo, funziona con dimostrazioni o rollout, e rimuove il classificatore post-editing.
3. Validazione Completa: MoRE è validato attraverso backbone Diffusion Policy e $\pi_{0.5}$ VLA, controllo di modalità binario e multi-way, deployment in simulazione e con robot reali, e compiti di manipolazione e navigazione quadrupedale.

Risultati Sperimentali

Gli esperimenti sono stati condotti su otto compiti (quattro simulati, quattro con robot reali) che coinvolgono compiti come il passaggio di un coltello, posizionamento in più posizioni e navigazione quadrupedale.

• Guadagni di Performance: MoRE ha migliorato l'average Deployment Success Rate (SR) di 44 punti percentuali rispetto alla policy a modalità mista originale. Ad esempio, sul compito Push-T, l'SR è passato dal 50.0% al 98.3%.
• Confronto con i Baseline:
  • Vs. Preference Learning (CPL): MoRE ha ottenuto shift di modalità più forti e un SR più elevato. CPL ha fornito solo shift parziali e talvolta ha ridotto il Task Completion Rate (TCR).
  • Vs. Inference-Time Steering (DynaGuide): Sebbene DynaGuide abbia migliorato l'allineamento delle modalità in alcuni compiti, ha subito un rallentamento dell'inferenza di 8.47x. MoRE ha mantenuto la velocità di inferenza originale.
  • Vs. Filtered Retraining: MoRE si è avvicinato alle performance delle policy riaddestrate da zero su dati filtrati senza richiedere l'accesso al dataset originale o il riaddestramento completo.
• Generalizzazione: Il metodo si è trasferito con successo attraverso diversi backbone di policy (da Diffusion Policy a $\pi_{0.5}$ VLA), diversi tipi di embodiment (manipolazione di bracci a navigazione quadrupedale) e dal simulatore al deployment nel mondo reale.
• Efficienza dei Dati: MoRE è rimasto efficace anche utilizzando solo rollout in loop chiuso dalla policy mista come dati di editing, sebbene le dimostrazioni originali abbiano prodotto risultati leggermente migliori.

Significato e Rivendicazioni

Il documento posiziona MoRE come una soluzione pratica alla "tensione da deployment" tra diversità del dataset e vincoli di sicurezza/accettabilità. Distillando la segnalazione di redirezione nei pesi, MoRE consente la creazione di policy standalone e sicure che non richiedono moduli di steering esterni o il riaddestramento da zero.

Gli autori dichiarano esplicitamente che MoRE deve essere visto come un metodo di editing per il controllo delle modalità piuttosto che come uno strato di sicurezza certificato. La sua efficacia si basa su specifiche assunzioni:

• La disponibilità di dati di editing etichettati per modalità (o rollout affidabilmente inferibili).
• Un'interfaccia di classificazione in cui le feature espongono informazioni sulla modalità prima che la traiettoria si impegni completamente in una modalità sorgente.

Il lavoro suggerisce che i comportamenti mirati possono essere rediretti direttamente nei pesi del modello, offrendo una via per un deployment robotico più sicuro e controllabile senza i costi computazionali o di latenza dell'intervento al tempo di inferenza. Le direzioni di lavoro futuro identificate includono la gestione di etichette più rumorose, la scoperta di tassonomie gerarchiche delle modalità e l'affrontare shift di distribuzione più forti.