ExpertGen: Scalable Sim-to-Real Expert Policy Learning from Imperfect Behavior Priors

Título: EXPERTGEN: Aprendizado de Políticas de Especialistas Escaláveis Sim-to-Real a partir de Priors de Comportamento Imperfeitos

1. O Problema

O aprendizado de políticas de robótica robustas e generalizáveis requer grandes volumes de dados de alta qualidade. Embora demonstrações humanas (teleoperação) sejam o padrão para comportamentos de especialistas, a aquisição desses dados em escala no mundo real é proibitivamente cara e lenta.
As abordagens existentes enfrentam desafios significativos:

• Dados Sintéticos Limitados: Políticas pré-definidas ou geradas por scripts (muitas vezes via LLMs) frequentemente carecem de diversidade comportamental, não cobrem estados de falha e não possuem mecanismos de recuperação.
• Dificuldade do RL Puro: O Aprendizado por Reforço (RL) tradicional exige engenharia cuidadosa de funções de recompensa, o que demanda grande expertise e não escala bem entre diferentes tarefas e domínios.
• Transferência Sim-to-Real: Políticas aprendidas apenas em simulação frequentemente falham ao serem transferidas para robôs físicos devido a discrepâncias dinâmicas e falta de robustez a perturbações.

O objetivo é criar um framework que automatize o aprendizado de políticas de especialistas em simulação, utilizando apenas um conjunto pequeno de demonstrações imperfeitas, para permitir uma transferência zero-shot (sem ajuste fino no mundo real) eficiente e robusta.

2. Metodologia: O Framework EXPERTGEN

O EXPERTGEN propõe um pipeline de três estágios que combina modelagem generativa, RL guiado e destilação visual.

A. Modelagem de Prior de Comportamento Generativo (Fase 1)

• Entrada: O sistema começa com um conjunto pequeno de demonstrações "imperfeitas". Estas podem ser geradas por humanos, LLMs ou scripts. Elas podem ter cobertura de estado incompleta, falta de comportamentos de recuperação ou discrepâncias dinâmicas.
• Treinamento Inicial: Um modelo de Política de Difusão (Diffusion Policy) leve, baseado em estado, é pré-treinado nessas demonstrações imperfeitas. Este modelo atua como um "prior" de comportamento, capturando a manobra natural e viável dos dados, mesmo que não seja ótimo para a tarefa.

B. Refinamento de Política de Especialista via RL Guiado (Fase 2)

• Direcionamento de Difusão (Diffusion Steering): Em vez de ajustar os pesos do modelo de difusão (o que poderia destruir a estrutura de dados aprendida), o EXPERTGEN utiliza Diffusion Steering Reinforcement Learning (DSRL).
• Mecanismo: O RL otimiza apenas o ruído inicial injetado no processo de difusão. O modelo de difusão pré-treinado permanece congelado.
• Algoritmo: Utiliza-se o FastTD3 (uma variante escalável de TD3) em simulação massivamente paralela (ex: IsaacLab). Isso permite o aprendizado eficiente com recompensas esparsas (sucesso/falha da tarefa) sem necessidade de engenharia de recompensas complexas.
• Vantagem: Ao manter o prior congelado, o RL é regularizado para permanecer dentro do "manifold" de comportamentos humanos viáveis, evitando explorações perigosas ou não físicas, enquanto aprende a recuperar de falhas e generalizar para novos estados.

C. Destilação de Política Visuomotora via DAgger (Fase 3)

• Desafio: A política especialista treinada no estágio anterior usa informações privilegiadas (estado completo do ambiente), indisponíveis em robôs reais.
• Solução: Utiliza-se o algoritmo DAgger (Dataset Aggregation) para destilar a política especialista (professora) em uma política visuomotora (aluna) que opera apenas com observações (imagens RGB, nuvens de pontos).
• Processo: A política aluna executa na simulação; quando ela entra em estados não vistos, a política especialista corrige a ação. Esse processo é repetido iterativamente, acumulando dados para treinar uma política robusta.
• Randomização de Domínio: Aplica-se randomização agressiva de texturas, iluminação e poses de câmera durante a destilação para garantir a transferência zero-shot para o hardware real.

3. Principais Contribuições

1. Escalabilidade do Direcionamento de Difusão: Demonstra que o DSRL pode ser escalado para simulações massivamente paralelas, preservando o manifold de movimento natural enquanto aumenta drasticamente as taxas de sucesso sob recompensas esparsas.
2. Framework End-to-End (EXPERTGEN): Um pipeline que transforma um punhado de demonstrações imperfeitas em políticas de especialistas prontas para sim-to-real, eliminando a necessidade de engenharia manual de recompensas.
3. Transferência Robusta Zero-Shot: Validação de que políticas visuomotoras destiladas via DAgger de especialistas simulados transferem-se com sucesso para robôs físicos, mantendo a robustez a falhas e a generalização espacial.

4. Resultados Experimentais

O método foi avaliado em dois benchmarks principais: ANYTASK (manipulação de mesa) e AutoMate (montagem industrial de precisão).

• Desempenho em ANYTASK:

  • O EXPERTGEN alcançou as maiores taxas de sucesso em todas as 8 tarefas, superando todos os baselines (Políticas Scriptadas, Difusão Pura, RL Residual, PPO).
  • Tarefas de Curto Horizonte: Taxas de sucesso próximas a 100% (ex: levantar objetos, abrir gavetas).
  • Tarefas de Longo Horizonte: Desempenho superior, mesmo em tarefas complexas como empilhar objetos.
  • Recuperação de Falha: Sob perturbações (abertura aleatória da garra, forças externas), o EXPERTGEN manteve alta performance, enquanto a política de difusão base caiu para quase zero.

• Desempenho em AutoMate (Montagem Industrial):

  • Alcançou uma taxa de sucesso global de 90.5% em tarefas de inserção de pinos de alta precisão, superando significativamente os baselines.
  • Demonstrou capacidade de lidar com dinâmicas de contato imperfeitas nas demonstrações iniciais.

• Transferência Sim-to-Real:

  • Políticas destiladas foram implantadas em um robô Franka com garra Robotiq.
  • Resultados Reais: O EXPERTGEN alcançou 75-85% de sucesso em tarefas de manipulação (levantar banana, empurrar pera, abrir gaveta), superando políticas de Behavior Cloning (BC) padrão que falharam completamente em tarefas complexas no mundo real.
  • A política baseada em RGB alcançou 80% de sucesso em tarefas de "levantar banana" em cenários reais com ruído visual e distrações.

• Análise de Suavidade e Viabilidade:

  • O EXPERTGEN encontrou um equilíbrio ideal: manteve a suavidade das trajetórias (baixo custo de "jerk") e a viabilidade física (baixa distância DTW em relação aos priors), evitando os comportamentos "jittery" (tremidos) observados em RL Residual com grandes escalas de ação.

5. Significado e Impacto

O EXPERTGEN representa um avanço significativo na robótica de aprendizado, oferecendo um caminho prático e escalável para gerar dados sintéticos de alta qualidade.

• Superação da Escassez de Dados: Permite o uso de dados imperfeitos e baratos (scripts, LLMs) como base para criar especialistas de nível humano.
• Eliminação da Engenharia de Recompensa: O uso de RL com direcionamento de difusão e recompensas esparsas remove a barreira de entrada para a aplicação de RL em novas tarefas.
• Robustez Operacional: A capacidade de aprender recuperação de falhas e generalizar para novas configurações no mundo real, sem necessidade de ajuste fino no robô físico, é crucial para a adoção de robôs em ambientes industriais e domésticos dinâmicos.

Em resumo, o trabalho demonstra que a combinação de priors generativos (difusão) com refinamento via RL em simulação massiva é uma estratégia superior para criar políticas de robôs que são simultaneamente seguras, generalizáveis e prontas para o mundo real.