Resumo Técnico: Unificação de Alinhamento de Valor e Atribuição em Aprendizado por Reforço Offline Cross-Domain com Conjuntos de Dados Heterogêneos

1. Formulação do Problema

O Aprendizado por Reforço (RL) Offline Cross-Domain visa aprender uma política em um domínio alvo utilizando um conjunto de dados alvo limitado e um conjunto de dados fonte abundante que exibe uma mudança de dinâmica (ou seja, dinâmicas de transição diferentes $P_{src}$ vs. $P_{tar}$). Embora métodos recentes tenham tentado abordar o problema de dinâmicas Fora de Distribuição (OOD) por meio de filtragem de dados baseada em alinhamento de dinâmica (por exemplo, IGDF, OTDF) ou alinhamento de valor (por exemplo, DVDF), essas abordagens geralmente assumem que o conjunto de dados fonte é coletado de um único ambiente com uma única política de comportamento.

Este artigo aborda um cenário mais geral e realista: RL Offline Cross-Domain Heterogêneo. Neste cenário, o conjunto de dados fonte é agregado a partir de múltiplos domínios fonte com dinâmicas de transição distintas e coletado por diversas políticas de comportamento. Os autores identificam uma questão crítica, anteriormente negligenciada, neste cenário chamada Má Atribuição de Valor.

A Má Atribuição de Valor ocorre quando uma única função de valor (ou função de vantagem) é treinada em todo o conjunto de dados fonte heterogêneo sem distinguir entre as modalidades de dinâmica subjacentes. Isso leva a:

1. Estimativa de Vantagem Incorreta: Os valores de vantagem atribuídos às amostras não refletem sua verdadeira otimalidade em relação ao seu subdomínio de dinâmica específico.
2. Filtragem de Dados Subótima: Mecanismos de filtragem de dados que dependem desses valores mal atribuídos são enganados, selecionando amostras subótimas (por exemplo, dados de qualidade média de uma dinâmica específica) enquanto descartam os ótimos.
3. Folga de Subotimalidade Afrouxada: A análise teórica mostra que a má atribuição de valor impede o limite rigoroso da folga de subotimalidade no domínio alvo, degradando o desempenho do agente.

2. Metodologia: V2A

Para resolver a má atribuição de valor, os autores propõem o V2A (Alinhamento e Atribuição de Valor), um framework que unifica o alinhamento de dinâmica, o alinhamento de valor e a atribuição de valor. O método procede em três etapas principais:

2.1. Aprendizado de Representação de Modalidade Temporalmente Consistente

O primeiro passo é desvendar as diferentes modalidades de dinâmica dentro do conjunto de dados fonte.

• Abordagem: Os autores empregam um framework de Expectation-Maximization (EM) para aprender uma representação latente $z$ para cada trajetória.
• Inovação: Ao contrário de autoencoders variacionais padrão que codificam transições individualmente (levando a inconsistência temporal), o V2A utiliza um ELBO Temporalmente Consistente. Ele codifica a trajetória inteira $\tau$ em uma única variável latente $z$ usando uma Rede Neural Recorrente (RNN/LSTM), enquanto decodifica transições no nível de passo.
• Objetivo: Isso garante que todas as transições dentro de uma trajetória compartilhem a mesma representação de dinâmica $z$, agrupando efetivamente as trajetórias por suas dinâmicas subjacentes.

2.2. Aprendizado de Vantagem Consciente de Modalidade

Uma vez que as modalidades de dinâmica ($z$) são inferidas, o conjunto de dados fonte é rerotulado como $D'_{src} = \{(s, a, r, s', z)\}$.

• Abordagem: Os autores propõem Aprendizado de Vantagem Consciente de Modalidade. Em vez de treinar uma função de vantagem padrão $A(s, a)$, eles treinam uma função de vantagem condicionada à modalidade $A(s, a, z)$.
• Mecanismo: A representação latente $z$ é alimentada como entrada para a função $Q$ e a função $V$ durante o pré-treinamento (usando um esquema Sparse-QL).
• Resultado: Isso permite que a função de vantagem distinga entre diferentes modalidades de dinâmica, atribuindo valores de vantagem corretos aos pares estado-ação com base em seu contexto de dinâmica específico, corrigindo assim a má atribuição de valor.

2.3. Filtragem de Dados Unificada e Aprendizado de Política

A etapa final integra esses componentes em um paradigma de filtragem de dados para aprendizado de política alvo.

• Função de Pontuação: Uma nova função de pontuação $f(s, a, s', z)$ é definida para filtrar dados fonte:
  $$f(s, a, s', z) = \lambda \cdot h(s, a, s') + (1 - \lambda) \cdot \text{Norm}(A(s, a, z))$$
  onde $h(\cdot)$ mede o alinhamento de dinâmica (via aprendizado contrastivo ou transporte ótimo) e $A(s, a, z)$ mede o alinhamento de valor consciente de modalidade.
• Filtragem: Amostras fonte são selecionadas com base no quantil superior-$\xi$ desta pontuação.
• Otimização de Política: A política alvo é treinada nos dados fonte filtrados combinados com os dados alvo limitados usando Implicit Q-Learning (IQL).

3. Contribuições Principais

1. Formulação do Problema: O artigo formaliza o cenário de RL Offline Cross-Domain Heterogêneo, onde os dados fonte provêm de múltiplos domínios e políticas de comportamento, e identifica a Má Atribuição de Valor como uma limitação fundamental nos métodos existentes.
2. Insight Teórico: Os autores fornecem um limite teórico para a folga de subotimalidade, demonstrando que a má atribuição de valor afrouxa esse limite. Eles provam que desvendar as modalidades de dinâmica é necessário para alcançar um limite mais rigoroso.
3. Algoritmo (V2A): Eles propõem o V2A, que integra:
   • Aprendizado de representação de modalidade temporalmente consistente (via EM).
   • Aprendizado de vantagem consciente de modalidade.
   • Um paradigma unificado de filtragem de dados.
4. Validação Empírica: Experimentos extensivos em tarefas MuJoCo (HalfCheetah, Hopper, Walker2d, Ant) com conjuntos de dados fonte heterogêneos mostram que o V2A supera significativamente bases fortes (IGDF, OTDF, DVDF, BOSA, DARA).

4. Resultados Experimentais

• Desempenho: O V2A alcança melhorias significativas de desempenho sobre as bases. Por exemplo, quando construído sobre o IGDF, o V2A melhorou a pontuação normalizada total em 21,4% em comparação com a base IGDF, e em 21,4% sobre o DVDF (que melhorou apenas 6,8% sobre o IGDF). Ganhos semelhantes foram observados com o OTDF.
• Estudos de Ablação:
  • ELBO Temporalmente Consistente: Remover a consistência no nível de trajetória (usando ELBO no nível de amostra em vez disso) resultou em desempenho inferior, confirmando a necessidade de consistência temporal para extração precisa de modalidade.
  • Consciência de Modalidade: Visualizações das distribuições de vantagem aprendidas mostram que o V2A produz distribuições de vantagem mais nítidas e distintas em comparação com as distribuições mais planas e menos discriminativas do DVDF, indicando uma melhor estimativa da otimalidade da amostra.
  • Sensibilidade a Parâmetros: O método é robusto ao coeficiente de trade-off $\lambda$ (ótimo em torno de 0,6) e à proporção de seleção de dados $\xi$ (ótima em torno de 0,5).

5. Significado e Alegações

O artigo afirma que o V2A é o primeiro framework a abordar efetivamente o problema de má atribuição de valor inerente ao RL offline cross-domain heterogêneo. Ao unificar o alinhamento de dinâmica, o alinhamento de valor e a atribuição de valor, o V2A permite a transferência eficiente de políticas mesmo quando os dados fonte são uma mistura complexa de dinâmicas e comportamentos diversos.

Os autores enfatizam que, enquanto trabalhos anteriores focaram no alinhamento de dinâmica ou de valor isoladamente (ou assumiram dados fonte homogêneos), seu trabalho destaca que ignorar a natureza multimodal das dinâmicas fonte leva a estimativas de valor incorretas, o que, por sua vez, mina a filtragem de dados. O método proposto oferece uma solução simples, porém eficaz, que reduz significativamente a lacuna entre cenários teóricos e cenários de dados heterogêneos realistas em robótica e IA incorporada.

Limitações Reconhecidas:

• O aprendizado de representação de modalidade temporalmente consistente requer tempo de treinamento adicional (embora isso possa ser pré-computado).
• A análise teórica depende de suposições leves (por exemplo, condições suficientes de segunda ordem para convexidade na vizinhança da política ótima).