MOBODY: Model Based Off-Dynamics Offline Reinforcement Learning

1. Problema: Aprendizado por Reforço Offline Fora de Dinâmica (Off-Dynamics Offline RL)

O artigo aborda o problema de Off-Dynamics Offline RL, um cenário onde o objetivo é aprender uma política ótima para um domínio alvo (real/deployado) utilizando apenas dados offline pré-coletados de dois domínios:

1. Domínio Fonte: Um grande conjunto de dados (ex: simulador) com dinâmicas diferentes.
2. Domínio Alvo: Um conjunto de dados limitado (ex: ambiente real) com dinâmicas que não correspondem às do fonte.

Desafio Central: As dinâmicas de transição $p(s'|s, a)$ diferem entre os domínios ($p_{src} \neq p_{trg}$).

• Limitação dos Métodos Atuais: As abordagens existentes (como DARA, BOSA, SRPO) geralmente utilizam regularização de recompensa ou filtragem de dados para penalizar transições do domínio fonte que apresentam alta "mudança de dinâmica" (dynamics shift).
• Consequência Negativa: Isso força a política a ser otimizada apenas nas regiões de baixa mudança de dinâmica. Como resultado, o agente não explora estados de alta recompensa no domínio alvo que residem fora dessas regiões seguras, falhando quando a mudança de dinâmica é significativa ou quando as trajetórias ótimas exigem explorar essas áreas de alta divergência.

2. Metodologia: MOBODY

O MOBODY propõe uma mudança de paradigma: em vez de apenas filtrar dados ou penalizar recompensas, ele utiliza uma abordagem Baseada em Modelo (Model-Based) para aprender explicitamente as dinâmicas do domínio alvo e realizar rollouts (simulações) para explorar o espaço de estados alvo.

A. Aprendizado de Dinâmica com Representação Compartilhada

O núcleo da inovação reside na arquitetura da rede neural para aprender as dinâmicas, reconhecendo que, para atingir o mesmo estado futuro a partir do mesmo estado atual, ações diferentes são necessárias em domínios com dinâmicas distintas.

• Codificadores de Ação Separados: O modelo emprega codificadores de ação distintos ($\psi_{src}$ e $\psi_{trg}$) para os domínios fonte e alvo. Isso permite mapear ações específicas de cada domínio para um espaço latente unificado.
• Representação de Estado Compartilhada: Um codificador de estado único ($\phi_E$) e uma função de transição unificada ($\phi_T$) são compartilhados entre os domínios.
• Mecanismo de Aprendizado:
  1. Loss de Transição: Minimiza o erro quadrático médio entre o próximo estado previsto e o real, utilizando dados de ambos os domínios para aprender a função de transição compartilhada $\phi_T$.
  2. Loss do Codificador (Encoder Loss): Garante que a representação da ação-estado codificada seja próxima à representação do próximo estado, forçando os codificadores de ação a capturarem as diferenças específicas de dinâmica.
  3. Loss de Transição Cíclica (Cycle Transition Loss): Inspirado em VAEs (Autoencoders Variacionais), este componente ajuda a aprender uma representação de estado robusta e evita o colapso de modos, mapeando o estado atual para si mesmo quando nenhuma ação é tomada (ou ação nula).

B. Otimização da Política com Regularização Ponderada por Q-Value Alvo

Após aprender o modelo de dinâmica do alvo, o MOBODY gera dados sintéticos (rollouts) para expandir o conjunto de dados de treinamento. Para otimizar a política, ele introduz uma Loss de Clonagem de Comportamento (Behavior Cloning) Ponderada por Q-Value do Alvo.

• Problema da Clonagem Simples: Clonar ações do domínio fonte é perigoso, pois ações que funcionam no simulador podem falhar no mundo real devido à mudança de dinâmica.
• Solução MOBODY: Em vez de imitar uniformemente todas as ações do conjunto de dados offline, a loss pondera as ações com base no seu valor $Q$ estimado no domínio alvo.
  • Ações com alto $Q$ no alvo recebem maior peso na regularização.
  • Isso guia a política para ações que são promissoras sob as dinâmicas aprendidas do alvo, evitando ações fora da distribuição (OOD) que têm alto valor no fonte, mas baixo no alvo.

3. Contribuições Principais

1. Novo Paradigma Model-Based: Propõe o primeiro método model-based eficaz para RL Offline Off-Dynamics, permitindo a exploração ativa do domínio alvo através de dinâmicas aprendidas, superando a limitação de métodos que se restringem a regiões de baixa mudança.
2. Arquitetura de Aprendizado de Dinâmica Híbrida: Desenvolveu um framework que aprende dinâmicas alvo usando dados fonte e alvo limitados, compartilhando a estrutura latente (estado e transição) enquanto isola as diferenças de dinâmica através de codificadores de ação separados.
3. Regularização Ponderada por Q-Value: Introduziu uma loss de clonagem de comportamento simples e eficiente que utiliza valores Q do domínio alvo para regularizar a política, superando métodos baseados em vantagem (como IQL/AWR) neste contexto específico.
4. Desempenho Superior: Demonstrou empiricamente que a abordagem supera o estado da arte (SOTA) em uma ampla gama de benchmarks.

4. Resultados Experimentais

O MOBODY foi avaliado em ambientes MuJoCo (HalfCheetah, Ant, Walker2d, Hopper) e Adroit (Pen, Door), com diversos tipos e níveis de mudança de dinâmica (gravidade, atrito, cinemática e morfologia).

• Melhoria Geral: O método obteve uma melhoria média de 44% sobre os melhores baselines (como REAG) em configurações de gravidade e atrito, e 25% em configurações de cinemática e morfologia.
• Desempenho em Grandes Mudanças: A vantagem do MOBODY torna-se mais pronunciada em cenários de grande mudança de dinâmica (ex: gravidade 0.1x ou 5.0x). Enquanto métodos como DARA e BOSA falham nestes cenários por não conseguirem explorar estados de alta recompensa fora das regiões de baixa divergência, o MOBODY consegue navegar com sucesso graças aos rollouts do modelo aprendido.
• Comparação com Baselines:
  • Superou métodos model-free (IQL, TD3-BC) e métodos model-based padrão (MOPO) que treinam em dados combinados sem adaptação estrutural.
  • Superou métodos específicos de Off-Dynamics (DARA, BOSA, SRPO, REAG) na maioria das tarefas (28 de 32 tarefas no MuJoCo e 29 de 40 no total).
• Ablação: Estudos mostraram que o ganho de desempenho vem principalmente do aprendizado de dinâmica e dos rollouts baseados em modelo, enquanto a loss ponderada por Q-Value atua como um regularizador essencial que refina a política.

5. Significado e Impacto

O MOBODY representa um avanço significativo na aplicação prática de RL Offline para cenários de transferência de simulação para realidade (Sim-to-Real).

• Superação da Conservatividade: Ao invés de ser conservador e evitar regiões de incerteza (como fazem métodos baseados em penalidade), o MOBODY usa o modelo aprendido para explorar ativamente essas regiões, descobrindo trajetórias ótimas que seriam ignoradas por outros métodos.
• Eficiência de Dados: Demonstra como dados abundantes de um domínio fonte podem ser utilizados de forma estruturada para aprender dinâmicas de um domínio alvo com poucos dados, superando a barreira da escassez de dados reais.
• Robustez: A abordagem é particularmente valiosa em cenários onde a mudança de dinâmica é grande e não linear, uma situação comum em robótica real que os métodos atuais não conseguem lidar adequadamente.

Em resumo, o MOBODY oferece uma solução robusta e escalável para o problema de adaptação de domínio em RL Offline, transformando a limitação da mudança de dinâmica em uma oportunidade de exploração guiada por modelo.