Resumo Técnico: BiTrajDiff

Declaração do Problema

O Aprendizado por Reforço (RL) Offline visa aprender políticas eficazes a partir de dados estáticos, pré-coletados, sem interação adicional com o ambiente. Um desafio primário neste domínio é o problema Fora de Distribuição (OOD), onde a política aprendida encontra pares estado-ação não presentes nos dados registrados, levando a erros de extrapolação e superestimação de valores. Para mitigar isso, métodos existentes frequentemente impõem restrições conservadoras, o que inadvertidamente restringe o aprendizado aos vieses estruturais do conjunto de dados, limitando a diversidade comportamental e a generalização.

Abordagens recentes de Aumento de Dados (DA) tentam resolver isso usando modelos generativos (particularmente modelos de difusão) para sintetizar novas transições. No entanto, os métodos atuais de DA operam predominantemente dentro de um paradigma de rolagem única (seja futuro-para-frente ou passado-para-trás) condicionado a estados dentro do conjunto de dados. Como resultado, esses métodos tendem a preservar a conectividade original ao nível da trajetória do conjunto de dados. Eles geram variações locais dentro de padrões de comportamento existentes, mas falham em recuperar conexões entre padrões de comportamento distintos e desconectados (por exemplo, ligar dois cômodos separados em uma tarefa de navegação onde não existem trajetórias cruzando portas nos dados originais).

Metodologia

Os autores propõem o BiTrajDiff (Difusão Bidirecional de Trajetória), um novo framework de DA projetado para recuperar explicitamente a conectividade global ao nível da trajetória, sintetizando trajetórias que ligam padrões de comportamento anteriormente desconectados.

Framework Central

O BiTrajDiff decompõe a síntese de trajetórias em dois processos de difusão independentes, porém complementares:

1. Difusão Futuro-para-Frente: Modela a geração de sequências de estados futuros a partir de um estado intermediário.
2. Difusão Passado-para-Trás: Modela a reconstrução de sequências de estados passados terminando no mesmo estado intermediário.

Ambos os processos são condicionados aos mesmos estados âncora intermediários ($s_t$) amostrados do conjunto de dados offline, juntamente com um sinal de retorno cumulativo alvo.

Componentes Chave

1. Treinamento de Difusão Bidirecional:

   • Dois modelos de difusão separados ($\epsilon_{\theta_f}$ para frente, $\epsilon_{\theta_b}$ para trás) são treinados no conjunto de dados offline.
   • O modelo futuro gera trajetórias $\{s_t, \dots, s_{t+H-1}\}$ condicionadas ao estado inicial $s_t$ e ao retorno alvo $R_f$.
   • O modelo passado gera trajetórias $\{s_{t-H+1}, \dots, s_t\}$ condicionadas ao estado terminal $s_t$ e ao retorno alvo $R_b$.
   • O treinamento utiliza Orientação Livre de Classificador (CFG) para lidar com a geração condicional e incondicional, com o retorno cumulativo servindo como a condição primária.

2. Geração e Costura de Trajetórias Bidirecionais:

   • Durante a inferência, um estado âncora $s_t$ é amostrado do conjunto de dados.
   • O modelo futuro gera um segmento futuro, e o modelo passado gera um segmento histórico.
   • Esses segmentos são costurados no estado âncora compartilhado $s_t$ para formar uma trajetória bidirecional completa: $\hat{\tau}_s(s_t) = \{ \hat{s}_{t-H+1}, \dots, \hat{s}_{t-1}, s_t, \hat{s}_{t+1}, \dots, \hat{s}_{t+H-1} \}$.
   • Este mecanismo de costura permite a síntese de trajetórias que conectam estados que eram anteriormente inatingíveis ou desconectados no conjunto de dados original.

3. Conclusão de Trajetória:

   • Como os modelos de difusão geram sequências de estados, um Modelo de Dinâmica Inversa (IDM) é usado para prever ações ($a_t$) dadas as transições de estado ($s_t, s_{t+1}$).
   • Um Modelo de Recompensa (RM) prevê recompensas ($r_t$) para os pares estado-ação.
   • Isso completa a trajetória com sinais de ação e recompensa, formando uma tupla de transição completa.

4. Filtragem de Trajetórias Bidirecionais:
   Para garantir a qualidade dos dados aumentados, um mecanismo de filtragem em dois estágios é aplicado:

   • Filtro OOD: Usa uma Floresta de Isolamento para detectar e remover trajetórias que se desviam significativamente da distribuição de dados original (detecção de novidade).
   • Filtro Ganancioso: Seleciona as principais trajetórias com base na maior recompensa cumulativa, garantindo que os dados aumentados guiem a política para comportamentos de alto desempenho.

Contribuições Principais

1. Identificação de Limitações: Os autores identificam que os métodos de DA de rolagem única preservam a conectividade original ao nível da trajetória, falhando em explorar conexões entre padrões de comportamento distintos.
2. Síntese Bidirecional: A proposta do BiTrajDiff, que decompõe explicitamente a geração em processos futuros e passados condicionados a âncoras compartilhadas, permitindo a síntese de trajetórias que ligam modos de comportamento desconectados.
3. Validação Empírica: Experimentos extensivos no benchmark D4RL demonstram que o BiTrajDiff supera consistentemente bases avançadas de DA (incluindo Synther, DiffStitch e RTDiff) em várias bases de RL offline (IQL, TD3BC, CQL, DT).

Resultados Experimentais

O artigo avalia o BiTrajDiff no benchmark D4RL, cobrindo tarefas de locomoção, navegação (Maze2D, AntMaze) e manipulação (Kitchen).

• Ganhos de Desempenho: O BiTrajDiff alcança os retornos médios mais altos na maioria das tarefas e algoritmos. Por exemplo, em tarefas de locomoção, ele supera consistentemente as bases de direção única. Em ambientes com recompensa esparsa, como Maze e Kitchen, onde a qualidade dos dados é crítica, o BiTrajDiff mostra melhorias significativas em estabilidade e desempenho.
• Estudos de Ablação:
  • Direcionalidade: O BiTrajDiff (bidirecional) supera consistentemente tanto as variantes apenas futuras quanto apenas passadas, validando a necessidade de costurar segmentos passados e futuros para recuperar a conectividade global.
  • Filtragem: A combinação de filtros OOD e Gananciosos mostrou-se superior ao uso de qualquer um isoladamente ou sem filtros, equilibrando diversidade com confiabilidade.
  • Razão de Aumento: Uma razão de 30% de dados aumentados para dados originais ($\sigma=30\%$) produz estabilidade e desempenho ótimos; aumento excessivo (100%) introduz ruído que degrada o desempenho.
• Estimador TD n-passos: O BiTrajDiff mantém sua vantagem de desempenho sobre as bases mesmo à medida que o horizonte n-passos aumenta, sugerindo que as trajetórias geradas são de maior qualidade e mais consistentes com as dinâmicas subjacentes do que as de outros métodos de DA.
• Diversidade vs. Precisão: Métricas de visualização (Erro Dinâmico e Distância L2) mostram que o BiTrajDiff gera trajetórias com diversidade significativamente maior (maior distância L2 dos dados originais) enquanto mantém precisão dinâmica competitiva, ao contrário de métodos de direção única que tendem a sobreajustar a distribuição original.

Significado e Alegações

O artigo alega que o BiTrajDiff aborda uma limitação fundamental no aumento de dados de RL offline: a incapacidade de rolagens de processo único de ligar padrões de comportamento desconectados. Ao modelar explicitamente e costurar trajetórias futuro-para-frente e passado-para-trás ao redor de estados âncora compartilhados, o BiTrajDiff recupera a conectividade global ao nível da trajetória ausente no conjunto de dados original.

Os autores afirmam que essa abordagem permite que algoritmos de RL offline aprendam de um conjunto mais diversificado de padrões comportamentais sem sacrificar a consistência física, levando a melhorias substanciais de desempenho em uma ampla gama de tarefas e algoritmos. O trabalho é apresentado como um passo adiante na superação dos vieses estruturais do aprendizado offline conservador através do aumento de dados generativo. Trabalhos futuros são notados para explorar a geração bidirecional em configurações de múltiplas tarefas com padrões comportamentais mais amplos.