Behavior Uncloning: Distilling Mode Redirection into Policy Weights without Inference-Time Steering

Resumo Técnico: Behavior Uncloning: Destilando Redirecionamento de Modo em Pesos de Política sem Direcionamento em Tempo de Inferência

Declaração do Problema

O aprendizado de comportamento (Behavior Cloning - BC) permite o treinamento de políticas visuomotoras capazes a partir de grandes e diversos conjuntos de dados de demonstração. No entanto, esses conjuntos de dados frequentemente agregam demonstrações de diferentes operadores e contextos, resultando em políticas que aprendem múltiplos "modos de comportamento" para a mesma tarefa. Embora todos os modos possam completar a tarefa com sucesso, alguns são inseguros, indesejáveis ou incompatíveis com restrições específicas de implantação (por exemplo, passar uma faca com a lâmina primeiro versus pelo cabo).

As soluções existentes enfrentam trade-offs significativos:

1. Retreinamento Filtrado: Remover demonstrações indesejadas e retreinar do zero oferece controle direto, mas exige acesso aos dados originais e acarreta altos custos computacionais para cada novo modo alvo.
2. Direcionamento em Tempo de Inferência: Métodos que reclassificam ações, guiam a amostragem de difusão ou intervêm em estados ocultos durante a implantação evitam o retreinamento, mas introduzem um overhead substancial de tempo de inferência, exigindo módulos externos ou loops de amostragem que complicam o controle de baixa latência.

O artigo identifica uma lacuna para um método que possa suprimir modos indesejados em uma política já treinada sem exigir o conjunto de dados original e sem adicionar overhead de tempo de inferência.

Metodologia: MoRE (Redirecionamento de Modo)

Os autores propõem o MoRE, um framework de edição de política post-hoc que destila um sinal de redirecionamento de modo diretamente nos pesos da política. O processo envolve três estágios principais:

1. Formulação do Problema

Dada uma política de modo misto $\pi_{\theta_0}$ treinada em um conjunto de dados $D_{BC}$ particionado em modos $D_k$, o objetivo é editar a política para um novo conjunto de parâmetros $\theta^*$ tal que os rollouts de malha fechada (closed-loop) caiam dentro de um conjunto de implantação desejado $S \subseteq \{1, \dots, K\}$. Os dados de edição $D_{edit}$ podem consistir em demonstrações originais ou rollouts de malha fechada da política mista, rotulados com modos de comportamento.

2. Editor de Redirecionamento de Modo Diferenciável

O MoRE utiliza um classificador de modo de comportamento temporário e leve $g_\phi$ treinado em características extraídas da política original.

• Extração de Características: Para políticas de Linguagem-Visão-Ação (VLA), as características são o mean-pooling dos estados ocultos; para Políticas de Difusão, as características incluem a condição de observação e o chunk de ação limpa previsto.
• Congelamento: Os parâmetros do classificador $\phi$ são congelados após o treinamento. Durante a fase de edição, os parâmetros da política $\theta$ são atualizados enquanto o classificador permanece fixo. Isso permite que os gradientes do classificador fluam de volta através das características dependentes da política para os pesos da política.

3. Otimização com Perdas de Retenção e Redirecionamento

O objetivo de edição combina dois termos de perda para equilibrar a supressão de comportamento com a competência da tarefa:
$$L_{MoRE}(\theta) = \underbrace{\mathbb{E}_{x \sim D_{des}} [L_{BC}(x; \theta)]}_{\text{Retenção}} + \gamma \underbrace{\mathbb{E}_{x \sim D_{undes}^\theta} [L_{red}(x; \theta, \phi, S)]}_{\text{Redirecionamento}}$$

• Perda de Retenção (Retain Loss): Aplicada a amostras no conjunto de modo desejado ($D_{des}$), este termo usa a perda de imitação original (por exemplo, previsão de ruído ou correspondência de velocidade) para preservar a competência da tarefa e evitar que a política esqueça como completar a tarefa.
• Perda de Redirecionamento (Redirect Loss): Aplicada a amostras de modo indesejado ($D_{undes}$), este termo usa uma perda de probabilidade de subconjunto para empurrar a massa de probabilidade prevista pelo classificador em direção ao conjunto desejado $S$.
• Mascaramento de Modo de Origem: Para garantir a estabilidade, a perda de redirecionamento é aplicada apenas a amostras indesejadas onde a probabilidade do modo de origem está abaixo de um limiar $\tau$ (por exemplo, 0,5). Isso garante que o redirecionamento ocorra apenas em regiões de estado-ação compartilhadas entre modos, evitando a interrupção de ramos de execução específicos de cada modo, onde a política já se comprometeu com uma trajetória.

Após a edição, o classificador é descartado. A política resultante $\pi_{\theta^*}$ executa através do caminho de inferência original com zero overhead adicional.

Principais Contribuições

1. Formulação de Behavior Uncloning: O artigo define um novo cenário de edição de política focado na supressão de modos indesejados de implantação em políticas pré-treinadas, avaliado via uma métrica de "Taxa de Sucesso de Implantação" (SR) que requer tanto a conclusão da tarefa quanto a adesão a um modo de comportamento aceitável.
2. O Framework MoRE: Um método que destila o redirecionamento guiado por classificador nos pesos da política usando uma perda de retenção para manter a competência. Ele suporta edições de alvo único e de múltiplos alvos, funciona com demonstrações ou rollouts, e remove o classificador pós-edição.
3. Validação Abrangente: O MoRE é validado através de backbones de Diffusion Policy e $\pi_{0.5}$ VLA, controle de modo binário e de múltiplas vias, implantações em simulação e robôs reais, e tarefas de manipulação e navegação de quadrupedes.

Resultados Experimentais

Os experimentos foram conduzidos em oito tarefas (quatro simuladas, quatro de robô real) envolvendo tarefas como entrega de faca, posicionamento em múltiplos locais, e navegação de quadrupedes.

• Ganhos de Desempenho: O MoRE melhorou a Taxa de Sucesso de Implantação (SR) média em 44 pontos percentuais sobre a política de modo misto original. Por exemplo, na tarefa Push-T, o SR aumentou de 50,0% para 98,3%.
• Comparação com Baselines:
  • Vs. Aprendizado de Preferência (CPL): O MoRE alcançou mudanças de modo mais fortes e um SR mais alto. O CPL proporcionou apenas mudanças parciais e, às vezes, reduziu a Taxa de Conclusão de Tarefa (TCR).
  • Vs. Direcionamento em Tempo de Inferência (DynaGuide): Embora o DynaGuide tenha melhorado o alinhamento de modo em algumas tarefas, ele incorreu em um desaceleração de 8,47x no tempo de inferência. O MoRE manteve a velocidade de inferência original.
  • Vs. Retreinamento Filtrado: O MoRE aproximou-se do desempenho de políticas retreinadas do zero em dados filtrados sem exigir acesso ao conjunto de dados original ou retreinamento completo.
• Generalização: O método transferiu-se com sucesso entre diferentes backbones de política (Diffusion Policy para $\pi_{0.5}$ VLA), diferentes tipos de embodiment (manipulação de braço para navegação de quadrupedes) e da simulação para a implantação no mundo real.
• Eficiência de Dados: O MoRE permaneceu eficaz mesmo utilizando apenas rollouts de malha fechada da política mista como dados de edição, embora demonstrações originais tenham rendido resultados ligeiramente melhores.

Significância e Alegações

O artigo posiciona o MoRE como uma solução prática para a "tensão de implantação" entre diversidade de dataset e restrições de segurança/aceitabilidade. Ao destilar o sinal de redirecionamento nos pesos, o MoRE permite a criação de políticas autônomas e seguras que não requerem módulos de direcionamento externos ou retreinamento do zero.

Os autores afirmam explicitamente que o MoRE deve ser visto como um método de edição de controle de modo e não como uma camada de segurança certificada. Sua eficácia depende de pressupostos específicos:

• A disponibilidade de dados de edição rotulados por modo (ou rollouts confiavelmente inferíveis).
• Uma interface de classificador onde as características expõem informações de modo antes que a trajetória se comprometa totalmente com um modo de origem.

O trabalho sugere que comportamentos direcionados podem ser redirecionados diretamente nos pesos do modelo, oferecendo um caminho para implantações robóticas mais seguras e controláveis sem os custos computacionais ou de latência da intervenção em tempo de inferência. Direções de trabalhos futuros identificadas incluem lidar com rótulos mais ruidosos, descobrir taxonomias hierárquicas de modos e abordar mudanças de distribuição mais fortes.