Resumo Técnico: Residual Flow Steering (RFS) para Manipulação Dextere

Declaração do Problema

O aprendizado por imitação, particularmente utilizando modelos generativos expressivos como difusão e flow matching, tem se mostrado eficaz para inicializar políticas em manipulação dextere de alta dimensão. No entanto, políticas pré-treinadas exclusivamente em demonstrações humanas frequentemente exibem generalização limitada para cenários não vistos e exigem ajuste fino (fine-tuning) para alcançar um desempenho robusto de nível de produção.

Os métodos de adaptação existentes enfrentam um compromisso (trade-off):

• Ajuste Fino Supervisionado: Requer dados de especialistas de alta qualidade e curados, o que é caro de coletar.
• Aprendizado por Reforço (RL) com Modelos Generativos: Embora o RL ofereça uma estrutura principista para a melhoria do comportamento via otimização de recompensa, os métodos padrão de ajuste fino de RL frequentemente dependem de verossimilhanças de forma fechada ou truques de reparametrização. Estes são incompatíveis com arquiteturas generativas complexas (modelos de difusão/fluxo). Além disso, as técnicas existentes de modulação de política lutam para equilibrar exploração global com precisão local:
  • RL Residual permite correções de ação locais, mas falha em induzir mudanças comportamentais globais necessárias.
  • Diffusion Steering (modulação de entrada) permite modulação global, mas oferece controle limitado em estados fora da distribuição (off-distribution).

O desafio central é adaptar políticas generativas pré-treinadas para novas tarefas e dinâmicas do mundo real, preservando os benefícios de exploração global do pré-treinamento e permitindo a correção rápida de erros de execução locais.

Metodologia: Residual Flow Steering (RFS)

Os autores propõem o Residual Flow Steering (RFS), um framework de aprendizado por reforço eficiente em dados que unifica a modulação de entrada e saída para adaptar políticas de flow-matching pré-treinadas.

Modulação Unificada de Política

O RFS visualiza a adaptação de política como a modulação de uma política base pré-treinada $\pi_{base}$ (representada por um campo de velocidade de flow-matching $v_\theta$) sem atualizar seus parâmetros subjacentes. Ele otimiza conjuntamente dois componentes:

1. Direcionamento de Ruído Latente (Modulação de Entrada): Uma política $\pi_H$ aprende a produzir um vetor de ruído latente inicial $a_0$ condicionado ao estado $s$. Isso direciona o comportamento global do modelo generativo, permitindo que a política mude modos e explore além da variedade (manifold) das demonstrações.
2. Correção de Ação Residual (Modulação de Saída): Uma política $\pi_r$ aprende uma ação residual $a_r$ que é adicionada à saída da política base. Isso permite refinamentos locais precisos para corrigir erros de execução ou lidar com requisitos fora da variedade (off-manifold).

A ação final é computada como:
$$a = a_{base} + a_r$$
onde $a_{base}$ é gerada integrando a dinâmica de fluxo a partir do ruído latente direcionado $a_0$.

Pipeline de Implementação

O framework é instanciado através de um pipeline de simulação-para-realidade:

1. Pré-treinamento em Simulação: Uma política de flow-matching base é treinada em um pequeno conjunto de demonstrações via teleoperação VR.
2. RL Online em Simulação: A política RFS ($\pi_{RFS}$) é ajustada via PPO online para otimizar o sucesso de preensão (grasp) e estabilidade. Informações de estado privilegiado (ex: poses de objetos) são usadas aqui para gerar demonstrações de alta qualidade.
3. Destilação: A política aprimorada pelo RFS é destilada em uma política visuomotora condicionada a nuvens de pontos (point clouds), removendo a necessidade de informações de estado privilegiado para o deployment.
4. Ajuste Fino Offline no Mundo Real: Para mitigar a lacuna sim-to-real, a política destilada é adaptada usando um pequeno conjunto de dados de transições corrigidas por humanos.
   • Coleta de Dados: A política base executa rollouts; humanos intervêm com ações corretivas ($a_{human}$).
   • Definição de Residual: O residual é definido como $a_r = a_{human} - a_{base}$.
   • Treinamento: A política RFS é treinada usando RL Offline (especificamente TD3+BC). O crítico é condicionado na ação final executada ($a = a_{base} + a_r$) em vez dos componentes decompostos, o que os autores descobriram ser crítico para a estabilidade. O ator maximiza o valor do crítico enquanto aplica um regularizador de behavior cloning sobre as ações residuais.

Principais Contribuições

1. Framework RFS: Introdução do Residual Flow Steering, um framework unificado que otimiza conjuntamente o ruído latente (para adaptação global) e a ação residual (para refinamento local) para adaptar políticas de flow-matching pré-treinadas.
2. Pré-treinamento em Simulação Eficaz: Demonstração de que o RFS permite um pré-treinamento de simulação robusto a partir de demonstrações humanas, capturando com sucesso comportamentos complexos de coordenação multi-dedos.
3. Adaptação no Mundo Real Eficiente em Dados: Validação de que o RFS suporta ajuste fino no mundo real via RL offline, superando baselines de aprendizado por imitação com bootstrapping e métodos de apenas residual ou apenas direcionamento.
4. Ablações Abrangentes: Experimentos extensos identificando a necessidade de ambos os componentes de modulação de entrada e saída para alto desempenho tanto em simulação quanto em ambientes do mundo real.

Resultados Experimentais

Desempenho em Simulação

O RFS foi avaliado em seis tarefas de manipulação dextere: Grasping, Pick & Place, Packing, Push-to-Grasp, Stacking e Pouring.

• Baselines: O RFS foi comparado contra ajuste fino de RL para Difusão/Fluxo (DPPO, ReinFlow), RL Offline-to-Online (IQL, AWAC, Flow Q-Learning) e RL com Demonstrações (RLPD, IBRL).
• Ablações: Comparado contra apenas RL Residual (Policy Decorator, ResiP) e apenas Diffusion Steering (DSRL).
• Resultado: O RFS alcançou as maiores taxas de sucesso em todas as tarefas, com uma taxa de sucesso média de 0,87.
  • Notavelmente, o RFS superou significativamente a política base e todos os baselines em tarefas de longo horizonte (Packing) e alta precisão (Stacking, Pouring), onde outros métodos colapsaram ou tiveram dificuldades.
  • Por exemplo, em Stacking, o RFS alcançou 0,95 de sucesso, comparado a 0,15 da política base e 0,135 para o DSRL.

Desempenho no Mundo Real

Experimentos foram conduzidos com um braço Franka com uma mão LEAP, transferindo políticas treinadas em simulação para tarefas de preensão (grasping) e pick-and-place no mundo real com objetos vistos e não vistos.

• Configuração: O ajuste fino foi realizado usando apenas 50 demonstrações corrigidas por humanos (RL offline).
• Baselines: Transferência zero-shot, ajuste fino de Behavior Cloning (BC) e Co-treinamento.
• Resultado:
  • Objetos Vistos: O RFS alcançou 90,0% de sucesso em Pick-and-Place e 80,0% em Grasping, superando o Co-treinamento (60,0% / 83,3%) e o BC (40,0% / 73,3%).
  • Objetos Não Vistos: O RFS demonstrou generalização superior, alcançando 74,0% de sucesso em Grasping e 48,0% em Pick-and-Place, significativamente maior que o baseline zero-shot (43,3% / 30,0%) e outros variantes de RL offline.
• Design do Crítico: Os autores descobriram que condicionar o crítico na ação final executada ($a_{base} + a_r$) era essencial; condicionar nos componentes decompostos falhou em produzir resultados consistentes.

Significância e Alegações

O artigo afirma que o RFS fornece uma solução principlista para o "gargalo de adaptação" no aprendizado por imitação generativa. Ao desacoplar a exploração global (via ruído latente) do refinamento local (via resíduos), o RFS permite que as políticas:

1. Preservem o Pré-treinamento: Retenham a estrutura expressiva e as capacidades multimodais da política de flow-matching pré-treinada.
2. Adaptem-se Eficientemente: Alcancem desempenho robusto com o mínimo de interação de dados no mundo real (ajuste fino offline).
3. Generalizem: Transfiram com sucesso da simulação para o mundo real, lidando com objetos novos e condições dinâmicas que fazem as políticas zero-shot falharem.

Os autores concluem que, embora o RFS seja altamente eficaz, as limitações atuais incluem a dependência de observações de nuvem de pontos (carecendo de raciocínio semântico de alto nível) e uma restrição ao ajuste fino offline, o que limita a responsividade a condições que mudam dinamicamente durante o deployment.