Continual Domain Randomization

1. Declaração do Problema

A Aprendizagem por Reforço Profunda (DRL) em robótica frequentemente depende de ambientes simulados para superar a ineficiência de amostragem e preocupações de segurança. No entanto, a "lacuna da realidade" — a discrepância entre a simulação e o mundo real — frequentemente leva a um desempenho pobre ao transferir políticas (sim2real) sem ajuste adicional.

• Limitações das Abordagens Atuais:
  • Simulação Perfeita: Impossível de alcançar para sistemas complexos devido ao desgaste do hardware e mudanças ambientais.
  • Adaptação de Domínio (Ajuste Fino): Requer dados do mundo real, o que é demorado e potencialmente inseguro.
  • Randomização de Domínio Padrão (DR): Randomiza todos os parâmetros de simulação simultaneamente para cobrir a lacuna da realidade. No entanto, randomizar muitos parâmetros de uma só vez aumenta a complexidade da tarefa e a incerteza do agente, frequentemente levando a políticas subótimas ou falha na convergência.
  • Randomização Sequencial sem CL: O treinamento sequencial em subconjuntos de parâmetros sem reter conhecimento dos passos anteriores leva ao esquecimento catastrófico, onde o agente superajusta-se à randomização mais recente e perde robustez em relação às anteriores.

2. Metodologia: Randomização de Domínio Contínua (CDR)

Os autores propõem a Randomização de Domínio Contínua (CDR), um framework que combina Randomização de Domínio com Aprendizagem Contínua (CL) para permitir treinamento sequencial em subconjuntos de parâmetros de randomização, mantendo o conhecimento dos passos anteriores.

Fluxo de Trabalho Principal

1. Inicialização: O agente é primeiro treinado em uma simulação idealizada (sem randomização) para aprender a tarefa base.
2. Treinamento Sequencial: O agente é subsequentemente treinado em uma sequência de simulações, onde cada etapa habilita um subconjunto específico de parâmetros de randomização (por exemplo, latência, torque, ruído).
3. Aprendizagem Contínua: Para prevenir o esquecimento catastrófico, o sistema emprega algoritmos de CL baseados em regularização para "lembrar" os efeitos das randomizações anteriores.

Implementação Algorítmica

Os autores implementam duas variantes usando Otimização de Política Proximal (PPO) combinada com Consolidação de Pesos Elásticos (EWC):

• CDR-λ (Offline):

  • Usa EWC para regularizar a rede de políticas.
  • Mantém um snapshot separado dos parâmetros da rede ($\theta^*$) e da Matriz de Informação de Fisher Empírica (FIM) para cada tarefa passada.
  • Função de Perda: $L(\theta) = L_C(\theta) + \sum \frac{\lambda_i}{2} ||\theta - \theta^*_i||^2_{F_i}$
  • Compromisso: Alto uso de memória (escala linear com o número de tarefas), mas forte retenção do conhecimento passado.

• CDR-Oλ (Online):

  • Usa uma variante Online-EWC para reduzir a sobrecarga de memória.
  • Mantém apenas um snapshot da rede e uma única Matriz de Informação de Fisher cumulativa.
  • A matriz de Fisher é atualizada recursivamente: $F^*_i = \gamma F^*_{i-1} + F_i$.
  • Compromisso: Uso de memória constante, mas potencialmente retenção mais fraca de tarefas muito antigas comparada à versão offline.

• Normalização: Um detalhe técnico chave é a normalização dos elementos da Matriz de Informação de Fisher para o intervalo $[0.0, 1.0]$ após cada tarefa. Isso desacopla a constante de regularização $\lambda$ da escala arbitrária de diferentes tarefas, permitindo que um único $\lambda$ seja usado em toda a sequência.

3. Configuração Experimental

Os autores avaliaram a CDR em duas tarefas de manipulação robótica usando um braço KUKA LBR iiwa 14:

1. Tarefa de Alcance: Um braço de 2 juntas alcançando um alvo.
2. Tarefa de Pegada: Um braço redundante de 7 juntas com uma garra de 3 dedos Robotiq pegando um cubo.

Parâmetros de Randomização:
Três parâmetros foram randomizados sequencialmente em ordens diferentes (por exemplo, Torque $\to$ Latência $\to$ Ruído):

• Latência (L): Atraso aleatório na observação do estado.
• Torque (T): Rigidez e amortecimento das juntas randomizados.
• Ruído (N): Ruído do sensor.

Baselines:

• Ideal: Treinado em simulação não randomizada.
• Randomizado: Treinado com todos os parâmetros randomizados simultaneamente.
• Ajuste Fino: Treinamento sequencial sem CL (sem regularização).

4. Resultados Principais

Tarefa de Alcance

• Desempenho Sim2real: O modelo Ideal teve o melhor desempenho na simulação, mas falhou no mundo real (alto tremor, baixa recompensa) devido ao superajuste. A baseline Randomizada performou bem na realidade, mas teve recompensas de simulação mais baixas.
• Desempenho CDR: Ambas as variantes CDR alcançaram transferência sim2real comparável ou melhor que a baseline totalmente Randomizada.
  • CDR-Oλ alcançou as maiores recompensas e estabilidade no mundo real.
  • Ajuste Fino performou bem na simulação, mas mostrou transferência pobre para o mundo real comparado à CDR, confirmando que esquecer randomizações anteriores é prejudicial.
• Sensibilidade à Ordem: As baselines sequenciais (Ajuste Fino) foram altamente sensíveis à ordem da randomização. A CDR foi significativamente mais robusta à ordem dos parâmetros.

Tarefa de Pegada

• Complexidade: A tarefa de pegada foi mais difícil, exigindo maior precisão.
• Estabilidade: Estratégias CDR mostraram menor variância e progresso de treinamento mais estável comparado ao Ajuste Fino.
• Sucesso no Mundo Real:
  • CDR-Oλ alcançou uma taxa de sucesso de pegada de 78% na simulação e 60% na realidade (com ordenação NLT), superando a baseline Randomizada (40% de sucesso real).
  • Ajuste Fino mostrou alta variância; dependendo da ordem, poderia ser o melhor ou o pior desempenho, destacando sua instabilidade.
  • Modelos CDR forneceram desempenho consistente independentemente da ordem da randomização.

Força de Regularização ($\lambda$)

• $\lambda$ Baixo: Modelos comportam-se como Ajuste Fino (esquecendo tarefas anteriores), levando a transferência pobre para o mundo real.
• $\lambda$ Alto: Modelos tornam-se muito rígidos, incapazes de adaptar-se a novas randomizações, resultando em desempenho pobre tanto na simulação quanto na realidade.
• Faixa Ótima: Uma faixa intermediária de $\lambda$ forneceu o melhor equilíbrio, permitindo adaptação enquanto retém robustez.

5. Contribuições Principais

1. Framework Novel: Introdução da Randomização de Domínio Contínua (CDR), que trata a randomização de domínio como um problema de aprendizagem contínua para introduzir complexidade sequencialmente sem esquecimento catastrófico.
2. Eficiência de Memória: Desenvolvimento de uma variante CDR Online (CDR-Oλ) que evita a escala linear de memória do EWC tradicional mantendo uma única matriz de Fisher, tornando-a escalável para longas sequências de randomizações.
3. Robustez à Ordenação: Demonstração de que a CDR é menos sensível à ordem em que os parâmetros de randomização são introduzidos comparado ao ajuste fino sequencial padrão.
4. Transferência Zero-Shot: Transferência sim2real zero-shot bem-sucedida em robôs reais sem exigir dados de treinamento do mundo real ou adaptação de domínio.

6. Significado e Conclusão

O artigo aborda um gargalo crítico no RL robótico: o compromisso entre a dificuldade de treinar com alta randomização e o risco de superajuste a uma simulação específica. Ao integrar aprendizagem contínua, a CDR permite que agentes "aprendam a aprender" através de condições de simulação variadas, construindo uma política robusta a uma ampla gama de dinâmicas.

• Impacto Prático: A CDR oferece um framework flexível e geral para transferência sim2real que não requer definir todos os parâmetros de randomização antecipadamente ou ter acesso a dados do mundo real para ajuste fino.
• Trabalho Futuro: Os autores sugerem combinar CDR com randomização de domínio automatizada ou ativa para determinar dinamicamente intervalos de parâmetros ótimos e estender a abordagem para randomização baseada em visão.

Em resumo, a CDR fornece uma alternativa superior tanto à randomização estática quanto ao ajuste fino sequencial simples, alcançando desempenho sim2real state-of-the-art em tarefas complexas de manipulação robótica.