WOMBET: World Model-based Experience Transfer for Robust and Sample-efficient Reinforcement Learning

Resumo Técnico: WOMBET

1. O Problema

A Aprendizagem por Reforço (RL) em robótica enfrenta desafios críticos devido ao alto custo e risco da coleta de dados no mundo real, limitando a interação frequente e os resets. Embora métodos de RL online tenham bom desempenho assintótico, eles são ineficientes em termos de amostras.

• RL Offline: Evita exploração perigosa, mas degrada-se sob dados limitados ou com distribuição inadequada, exigindo demonstrações de especialistas de alta qualidade (muitas vezes indisponíveis).
• RL Offline-to-Online: Combina pré-treinamento offline com ajuste fino online, mas a maioria das abordagens atuais assume a existência de um conjunto de dados offline fixo e de alta qualidade, sem abordar como gerar esses dados de forma confiável para transferência.
• RL Baseado em Modelos (MBRL): Pode gerar dados sintéticos, mas sofre de viés do modelo (erro de previsão acumulativo) e exploração de falhas do modelo, tornando os dados gerados não confiáveis para transferência direta.

O objetivo é criar um framework que gerencie conjuntamente a geração e a utilização de dados prévios para transferir experiência de uma tarefa-fonte para uma tarefa-alvo, garantindo robustez e eficiência amostral.

2. Metodologia: WOMBET

O WOMBET (World Model-based Experience Transfer) é um framework unificado que acopla a geração de dados offline baseada em modelos com incerteza ao ajuste fino online adaptativo. O processo ocorre em um ciclo iterativo de co-evolução entre modelo e política:

A. Geração de Dados Baseada em Modelo (Tarefa-Fonte)

• Modelo do Mundo: Um ensemble probabilístico $\hat{P}$ aprende a dinâmica da tarefa-fonte.
• Planejamento Penalizado por Incerteza: Utiliza Model Predictive Control (MPC) para gerar trajetórias. O objetivo de otimização inclui uma penalidade de incerteza epistêmica ($u(s, a)$), estimada pela variância do ensemble.
  • A recompensa penalizada é definida como: $\tilde{r}(s, a) = r(s, a) - \lambda u(s, a)$.
  • Garantia Teórica: Demonstra-se que maximizar essa recompensa penalizada sob o modelo $\hat{P}$ maximiza um limitante inferior provável da recompensa verdadeira sob as dinâmicas reais $P$.
• Filtragem de Duplo Critério: As trajetórias geradas são filtradas antes de compor o conjunto de dados offline ($D_S$). Uma trajetória $\tau$ é aceita apenas se:
  1. Possuir alta recompensa (retorno acumulado acima de um limiar $J_{th}$).
  2. Possuir baixa incerteza epistêmica (incerteza média abaixo de um limiar $u_{th}$).
• As trajetórias aceitas são reetiquetadas com a função de recompensa da tarefa-alvo ($r_T$) para formar $D_S$.

B. Ajuste Fino Online Adaptativo (Tarefa-Alvo)

• Mistura de Dados: O agente treina uma política usando uma mistura de dados offline ($D_S$, da fonte) e dados online ($D_T$, coletados na tarefa-alvo).
• Amostragem Adaptativa: O peso $\alpha$ da mistura de dados não é fixo. Ele é ajustado dinamicamente com base no erro TD (Temporal Difference) do crítico online.
  • Se o erro TD for alto (indica underfitting ou instabilidade), aumenta-se a amostragem de dados offline para estabilizar.
  • À medida que o erro diminui, o foco desloca-se para dados online para melhor adaptação à tarefa-alvo.
• Regularização Implícita: Para evitar a explosão de valores em estados fora da distribuição (OOD), o método utiliza:
  • LayerNorm nas camadas ocultas dos críticos para limitar a magnitude das ativações.
  • Ensemble de Críticos com uso do valor mínimo (pessimismo) no alvo de Bellman, atuando como regularizador implícito.

3. Contribuições Principais

1. Geração e Transferência Acopladas: Introduz um framework que não assume um conjunto de dados offline fixo, mas sim gera dados transferíveis a partir de um modelo do mundo, refinando iterativamente tanto o modelo quanto a política.
2. Curação de Dados Confiável e Transferência Adaptativa:
   • Propõe um filtro de duplo critério (alta recompensa + baixa incerteza) para garantir a qualidade dos dados sintéticos.
   • Desenvolve uma estratégia de amostragem adaptativa baseada no erro TD para equilibrar viés (dados offline) e variância (dados online).
3. Validação Teórica e Empírica:
   • Deriva um limitante inferior provável para a recompensa verdadeira usando o planejamento penalizado por incerteza.
   • Apresenta uma decomposição de erro de amostragem finita que captura o desajuste de distribuição e o erro de aproximação.
   • Demonstra superioridade em benchmarks de controle contínuo.

4. Resultados Experimentais

Os experimentos foram realizados em benchmarks MuJoCo, comparando o WOMBET com:

• RL Online (SAC, PPO, TD3): O WOMBET alcançou convergência mais rápida e retornos assintóticos superiores, utilizando menos da metade do orçamento de interação.
• RL Offline (BC, IQL, CQL, MOPO, COMBO): Métodos puramente offline falharam em tarefas com desvios moderados de distribuição, enquanto o WOMBET, ao realizar o ajuste fino online, adaptou-se eficazmente.
• Baselines Offline-to-Online: O WOMBET superou métodos que usam pré-treinamento offline seguido de ajuste fino, devido à sua transição suave e balanceamento de viés-variância.
• Ablação: A remoção da filtragem de duplo critério ou da amostragem adaptativa resultou em degradação significativa de desempenho, confirmando que ambos os componentes são essenciais para a estabilidade e eficiência.

5. Significado e Conclusão

O WOMBET representa um avanço significativo ao resolver o "problema da geração de dados" no RL offline-to-online. Em vez de depender de demonstrações humanas ou conjuntos de dados estáticos, ele cria um ciclo virtuoso onde o modelo do mundo gera dados confiáveis (filtrados por incerteza) que servem como um forte prior para o aprendizado online.

• Robustez: Mitiga o viés do modelo e a exploração de falhas através da penalização de incerteza.
• Eficiência: Reduz drasticamente a necessidade de interação cara no mundo real.
• Aplicabilidade: Oferece uma solução viável para cenários de robótica real onde a segurança e a escassez de dados são barreiras primárias, unindo a força de exploração do RL livre de modelos com a eficiência de dados do RL baseado em modelos.

Em suma, o WOMBET estabelece um novo paradigma para transferência de experiência, onde a geração de dados e a adaptação da política são otimizadas conjuntamente para garantir uma transferência robusta e eficiente.