Resumo Técnico: Ponte de Lacunas de Domínio com Geração Alinhada ao Alvo para Aprendizado por Reforço Offline

Declaração do Problema

O aprendizado por reforço (RL) offline entre domínios visa transferir uma política de um domínio de origem para um domínio de alvo utilizando apenas conjuntos de dados pré-coletados, sem qualquer interação online. Este cenário é crítico para aplicações como controle de robôs heterogêneos e transferência de simulação para realidade, onde a coleta de dados online é proibitivamente cara ou insegura.

Um desafio primário neste regime é o descompasso distribucional entre os domínios de origem e de alvo, particularmente quando o conjunto de dados de alvo é extremamente limitado ($|D_{tar}| \ll |D_{src}|$). Métodos existentes frequentemente tentam preencher essa lacuna filtrando dados de origem para encontrar transições "próximas" à distribuição de alvo. No entanto, os autores demonstram que, quando a lacuna de dinâmica é grande, incorporar diretamente mesmo transições de origem de "vizinho mais próximo" pode induzir um descompasso distribucional substancial, degradando o desempenho em comparação com o treinamento apenas nos dados de alvo. Por outro lado, confiar exclusivamente em dados de alvo limitados frequentemente falha em fornecer cobertura de estado suficiente para o aprendizado eficaz da política.

Metodologia: Expansão de Cobertura Alinhada ao Alvo (TCE)

Para abordar o compromisso entre aproveitar dados de origem e evitar descompasso distribucional, os autores propõem a Expansão de Cobertura Alinhada ao Alvo (TCE). A TCE é um framework que guia teoricamente como os dados de origem devem ser utilizados: seja pela incorporação direta de transições próximas ao alvo ou pelo uso de dados de origem para expandir a cobertura de estado via geração alinhada ao alvo.

Fundamentação Teórica

O método é fundamentado em uma análise teórica da lacuna de desempenho entre um Processo de Decisão de Markov (MDP) de alvo e um MDP de mistura (combinando dinâmicas de origem e de alvo). Os autores derivam um limite (Teorema 4.1) mostrando que a lacuna de desempenho é governada por dois componentes:

1. Lacuna de Dinâmica: A distância de variação total entre as dinâmicas de transição de origem ($P_{src}$) e as dinâmicas de alvo ($P_{tar}$).
2. Erro de Geração: A distância entre uma transição de alvo aproximada gerada ($\hat{P}_{tar}$) e as dinâmicas de alvo verdadeiras.

A TCE controla essas duas fontes de erro ajustando dois coeficientes:

• $\lambda_{mix}$: Controla a fração de dados de origem incorporados diretamente (minimizando o erro de geração, mas potencialmente aumentando a lacuna de dinâmica).
• $\lambda_{cov}$: Controla a extensão da expansão de cobertura de estado via geração (minimizando a lacuna de dinâmica, mas potencialmente aumentando o erro de geração).

Framework Algorítmico

A TCE emprega um modelo generativo baseado em pontuação dual construído sobre Equações Diferenciais Estocásticas (SDEs) para sintetizar transições consistentes com as dinâmicas de alvo, mas que cobrem um espaço de estado expandido.

1. Redes de Pontuação Duplas:

   • Rede de Pontuação de Estado de Mistura ($q^{mix}_\theta$): Treinada em uma mistura controlável de estados de alvo e estados de origem que estão "próximos" ao alvo (selecionados via um critério de vizinho mais próximo). Esta rede modela a distribuição de estado expandida.
   • Rede de Pontuação de Transição de Alvo ($q^{tran}_\theta$): Treinada exclusivamente em transições de alvo. Ela gera o próximo estado condicionado ao estado atual, garantindo que as dinâmicas de transição se alinhem ao domínio de alvo.

2. Procedimento de Amostragem em Duas Etapas:

   • Etapa 1 (Amostragem de Estado): Amostra um estado $\hat{s}_t$ da distribuição de estado de mistura usando a SDE reversa guiada por $q^{mix}_\theta$.
   • Etapa 2 (Amostragem de Transição): Gera o próximo estado $\hat{s}_{t+1}$ condicionado a $\hat{s}_t$ usando a SDE reversa guiada por $q^{tran}_\theta$.
   • Modelos Auxiliares: Um modelo de dinâmica inversa (treinado em dados de alvo) e um modelo de recompensa (treinado em ambos os domínios) são usados para recuperar a ação $\hat{a}_t$ e a recompensa $\hat{r}_t$, completando a tupla de transição.

3. Aprendizado da Política:
   O conjunto de dados final de treinamento ($D_{train}$) é construído combinando o conjunto de dados de alvo ($D_{tar}$), as transições geradas alinhadas ao alvo ($D^{gen}_{\lambda_{cov}}$) e, opcionalmente, um subconjunto filtrado de transições de origem ($D^{src}_{\lambda_{mix}}$). Um algoritmo de RL offline (Implicit Q-Learning, IQL) é treinado neste conjunto de dados aumentado com um termo de regularização KL para penalizar o desvio da política de comportamento de alvo.

Contribuições Principais

• Expansão de Cobertura Alinhada ao Alvo (TCE): Um framework inovador que vai além do simples filtragem de dados de origem. Ele decide explicitamente se deve usar dados de origem diretamente ou aproveitá-los para gerar transições consistentes com o alvo, com base na magnitude da lacuna de domínio.
• Análise Teórica: Uma decomposição formal da lacuna de desempenho entre domínios em descompasso de dinâmica e erro de geração, fornecendo uma base teórica para equilibrar a mistura de dados e a geração.
• Arquitetura Baseada em Pontuação Dual: Uma abordagem generativa em duas etapas que desacopla a expansão de cobertura de estado da modelagem de transição. Este design previne o sobreajuste a dados de alvo limitados, que é um modo de falha comum ao aprender diretamente mapeamentos estado-ação-próximo-estado em regimes de poucos dados.
• Validação Empírica: Experimentos extensivos demonstrando que a TCE supera consistentemente as bases de comparação mais avançadas em diversos cenários entre domínios.

Resultados Experimentais

Os autores avaliaram a TCE em tarefas de controle contínuo do MuJoCo (HalfCheetah, Hopper, Walker2d, Ant) e tarefas de manipulação dextrosa do Adroit, cobrindo mudanças de morfologia, cinemática e gravidade.

• Desempenho: A TCE alcançou o desempenho médio mais alto em 33 de 36 tarefas com mudança de morfologia no MuJoCo e superou todas as bases de comparação nas tarefas do Adroit.
• Robustez a Grandes Lacunas: Em cenários com grandes lacunas de dinâmica (por exemplo, mudanças significativas de morfologia ou mudanças extremas de gravidade), a variante TCE(OG) (usando apenas transições geradas, $\lambda_{mix}=0$) superou significativamente métodos que misturavam diretamente dados de origem. Isso confirma que a incorporação ingênua de origem pode ser prejudicial sob grandes lacunas.
• Pequenas Lacunas: Em configurações mais brandas (por exemplo, mudanças de gravidade), a variante TCE(SM) (incorporando dados de origem, $\lambda_{mix} > 0$) mostrou desempenho superior, validando a adaptabilidade do framework.
• Estudos de Ablação:
  • Coeficiente de Cobertura ($\lambda_{cov}$): O desempenho segue uma curva de compromisso; expandir a cobertura de forma muito agressiva aumenta o erro de geração e degrada o desempenho. Um valor moderado (por exemplo, 0,2) foi encontrado como ótimo.
  • Design em Duas Etapas: O design desacoplado em duas etapas foi mostrado como crítico. Uma base de comparação "em uma etapa" que estimava diretamente os próximos estados a partir de pares estado-ação sofreu com erros significativamente mais altos e desempenho inferior devido ao sobreajuste em dados de alvo limitados.

Significado e Alegações

O artigo afirma que a TCE fornece uma solução simples e prática para RL offline entre domínios, particularmente em domínios críticos para segurança ou sensíveis a custos, onde a interação online é impossível. Ao fundamentar teoricamente a decisão de misturar ou gerar dados, a TCE mitiga o descompasso distribucional que aflige os métodos existentes.

Os autores enfatizam que sua abordagem não é uma panaceia universal; ela assume espaços de estado e ação compartilhados e depende do conjunto de dados de alvo, por menor que seja, para guiar a geração. Eles reconhecem limitações em cenários com descompasso extremo onde origem e alvo compartilham pouco suporte. No entanto, os resultados sugerem que a geração alinhada ao alvo é uma estratégia mais robusta do que a mistura direta de dados quando a lacuna de domínio é substancial, permitindo o aprendizado eficaz de políticas com dados de alvo limitados.