Reinforcement Learning from Cross-domain Videos with Video Prediction Model

Resumo Técnico: XIPER – Aprendizado por Reforço a partir de Vídeos de Domínios Cruzados com Modelo de Predição de Vídeo

1. Definição do Problema

O artigo aborda o desafio de treinar agentes de Aprendizado por Reforço (RL) para aprender a partir de demonstrações visuais de especialistas quando o agente e o demonstrador existem em domínios visualmente distintos. Este cenário de "domínios cruzados" é caracterizado por lacunas de domínio significativas, como diferenças na cor do agente, morfologia (ex: formato do corpo) ou o gap sim-to-real, onde a aparência do agente difere fundamentalmente da do especialista.

Crucialmente, o agente não tem acesso a:

• Sinais de recompensa de verdade fundamental (ground-truth).
• Informações de estado de baixa dimensão.
• Rótulos de ação do especialista.
• Dados pareados entre os domínios do agente e do especialista.

O agente recebe apenas observações visuais brutas de seu próprio domínio e um conjunto de vídeos não rotulados de um especialista de um domínio diferente. A dificuldade central reside em derivar um sinal de recompensa significativo que guie o agente a reproduzir comportamentos semelhantes aos do especialista, apesar dessas discrepâncias visuais e dinâmicas, sem depender de treinamento adversarial instável ou de representações invariantes de domínio que frequentemente falham em escala.

2. Metodologia: XIPER

Os autores propõem o XIPER (Cross-domain Video Prediction Reward), um framework que evita o treinamento adversarial ao utilizar a verossimilhança de predição de vídeo de domínios cruzados como um sinal de recompensa. O sistema opera sob a premissa de que, se o comportamento de um agente é consistente com as demonstrações do especialista, as observações do agente (uma vez traduzidas para o estilo visual do especialista) devem ser altamente previsíveis por um modelo treinado em vídeos de especialistas.

A metodologia consiste em dois componentes principais, ambos pré-treinados offline e congelados durante a fase de RL:

1. Modelo de Tradução de Domínio ($T_\phi$):

   • Este componente mapeia as observações do agente do domínio do agente ($A$) para o domínio do especialista ($E$).
   • Como dados pareados não estão disponíveis, ele é treinado como um problema de tradução de imagem-para-imagem não pareada usando o objetivo de Transporte Ótimo Neural (NOT). Isso minimiza a distância entre a distribuição das imagens traduzidas do agente e a distribuição das imagens do especialista, preservando o conteúdo.
   • É treinado em dados de observações aleatórias pré-coletadas de ambos os domínios.

2. Modelo de Predição de Vídeo do Domínio do Especialista ($p_\theta$):

   • Baseado no VideoGPT, este modelo generativo aprende a distribuição dos comportamentos do especialista ao prever o próximo quadro do especialista dado uma sequência de quadros anteriores do especialista.
   • É treinado em trajetórias de especialistas usando um objetivo de máxima verossimilhança sobre uma janela de contexto de $k=16$ quadros.

O Sinal de Recompensa:
Durante o treinamento de RL, uma sequência recente de observações do agente é primeiro traduzida para o domínio do especialista usando $T_\phi$. O modelo de predição de vídeo então calcula a log-verossimilhança da observação traduzida atual dado o contexto traduzido. Esta verossimilhança serve como a recompensa ($r_t^{xiper}$):
$$r_t^{xiper} = \ln p_\theta(T_\phi(o_t) | T_\phi(o_{t-k:t-1}))$$
Verossimilhanças mais altas indicam que o comportamento do agente se alinha à distribuição do especialista. Para incentivar a exploração, um bônus de exploração baseado em incerteza é adicionado.

O agente de RL (usando DreamerV3 como backbone) otimiza este sinal de recompensa para maximizar o retorno cumulativo, aprendendo efetivamente a agir de forma que suas observações traduzidas sejam previsíveis pelo modelo de vídeo do especialista.

3. Principais Contribuições

• Formulação de Recompensa Inovadora: Introdução do XIPER, um modelo de recompensa de domínio cruzado que permite que agentes de RL aprendam de vídeos de especialistas não rotulados através de diferentes domínios visuais usando apenas observações de pixels, eliminando a necessidade de recompensas de verdade fundamental, informações de estado ou treinamento adversarial.
• Superioridade Empírica: Demonstração de que o XIPER supera consistentemente as linhas de base competitivas (incluindo predição de vídeo de mesmo domínio, imitação adversarial e métodos de confusão de domínio) no DMC Color Suite (8 tarefas com lacunas de cor) e no DMC Body Suite (3 tarefas com lacunas morfológicas).
• Aplicabilidade Sim-to-Real: Análise mostrando que o XIPER pode gerar sinais de recompensa significativos para observações de robôs reais usando apenas vídeos de simulação de especialistas, preenchendo com sucesso o gap sim-to-real na geração de recompensas sem anotação manual.
• Estudos de Ablação: Análise sistemática das escolhas de design, confirmando que uma tradução de alta qualidade (baixo FID) é crítica para tarefas de precisão e que um coeficiente de exploração específico ($\beta=1$) produz o desempenho mais robusto.

4. Resultados Experimentais

Os autores avaliaram o XIPER em 11 tarefas do conjunto DeepMind Control (DMC) e em um conjunto de dados Sim-to-Real (Robô Lynx).

• Desempenho: O XIPER alcançou retornos superiores a todas as linhas de base em 9 de 12 tarefas do DMC.
  • No Color Suite, o XIPER superou as linhas de base, enquanto a linha de base de mesmo domínio (VIPER) mostrou alguma generalização, mas foi menos robusta.
  • No Body Suite (mudanças morfológicas), o XIPER superou significativamente todas as linhas de base. Notavelmente, as linhas de base adversariais (XAIL, TPIL-Dv3) sofreram com curvas de aprendizado instáveis e baixo desempenho, destacando a instabilidade dos métodos adversariais mesmo com backbones de RL fortes.
• Qualidade da Recompensa: As recompensas baseadas em verossimilhança correlacionaram-se fortemente com as recompensas de tarefa de verdade fundamental tanto em trajetórias aleatórias quanto de especialistas.
• Generalização da Tradução: O modelo de tradução de domínio, treinado apenas em dados aleatórios, conseguiu generalizar para trajetórias de especialistas fora da distribuição, traduzindo com precisão as cores e morfologias do agente para corresponder ao domínio do especialista.
• Sim-to-Real: No experimento do Robô Lynx, o modelo de tradução conseguiu filtrar o ruído visual do mundo real (cabos, hardware) para produzir imagens no estilo de simulação. As recompensas XIPER resultantes em episódios de robôs reais correlacionaram-se bem com as recompensas de tarefa de verdade fundamental, validando o potencial para transferência sim-to-real.

5. Significância e Alegações

O artigo afirma que o XIPER oferece uma alternativa escalável e estável para o aprendizado de imitação adversarial para RL visual de domínio cruzado. Ao alavancar a predição de vídeo generativa e a tradução não pareada, ele elimina a necessidade de representações invariantes de domínio e a instabilidade associada ao treinamento baseado em GAN.

Os autores enfatizam que sua abordagem desbloqueia o vasto pool de vídeos online como uma fonte de demonstrações de especialistas, removendo a necessidade de engenharia de recompensa laboriosa e coleta de dados específicos de domínio dispendiosa. Embora o trabalho atual valide a qualidade do sinal de recompensa e a capacidade do agente de aprender em simulação, os autores notam modestamente que fechar o ciclo com treinamento de RL online em robôs físicos permanece um passo futuro necessário. Eles também reconhecem que treinar o modelo de tradução puramente em dados aleatórios pode ser um gargalo para tarefas que exigem comportamentos precisos de longo horizonte, sugerindo que trabalhos futuros poderiam explorar estratégias de exploração avançadas ou otimização conjunta.