Preserve Support, Not Correspondence: Dynamic Routing for Offline Reinforcement Learning

Resumo Técnico: Preserve Support, Not Correspondence: Dynamic Routing for Offline Reinforcement Learning (DROL)

1. O Problema: O Conflito entre Melhoria e Suporte

No Aprendizado por Reforço Offline (Offline RL), o objetivo é treinar uma política que maximize o valor esperado ($Q$) sem se desviar das regiões de ação suportadas pelo conjunto de dados fixo.

Atualmente, métodos de "extração de um passo" (one-step extraction) tentam destilar um professor iterativo (mais forte, mas lento) em um aluno de um único passo (rápido e barato). O problema identificado pelos autores é a correspondência ponto a ponto (pointwise correspondence):

• Em métodos como o FQL, para cada amostra de ruído latente $z$, o aluno é forçado a seguir um endpoint específico do professor $\tilde{a}$.
• Se o crítico ($Q$) sugerir uma ação melhor que esteja próxima, mas não seja exatamente o endpoint do professor, o gradiente do aluno sofre um conflito: ele é puxado para o $Q$ alto e, simultaneamente, puxado de volta para o endpoint do professor.
• Isso resulta em um "compromisso" subótimo, impedindo que o aluno explore melhorias locais dentro do suporte de dados.

2. Metodologia: DROL (Dynamic Routing for Offline RL)

Os autores propõem o DROL, que substitui a correspondência rígida entre latente e professor por um mecanismo de roteamento dinâmico (dynamic routing) sobre um conjunto de candidatos.

O mecanismo funciona da seguinte forma:

1. Conjunto de Candidatos: Para cada estado $s$, o ator amostra $K$ ações candidatas ($\hat{a}_1, \dots, \hat{a}_K$) a partir de um prior latente limitado (uma bola euclidiana de raio $R$).
2. Roteamento Top-1: Para cada par $(s, a)$ do conjunto de dados, o algoritmo identifica qual dos $K$ candidatos é o mais próximo da ação real do dataset:
   $$k^*(s, a) = \arg \min_{k \in [K]} \|\hat{a}_k - a\|^2_2$$
3. Atualização de "Vencedor Único": Apenas o candidato vencedor recebe o gradiente. A função de perda combina a Clonagem de Comportamento (BC) para ancorar o candidato ao suporte local e a orientação do crítico para melhorar o valor:
   $$\mathcal{L}_{\text{actor}}(\theta) = \mathbb{E} \left[ \|\hat{a}_{k^*} - a\|^2_2 - \alpha Q_\phi(s, \hat{a}_{k^*}) \right]$$
4. Transferência de Responsabilidade: Como o roteamento é recomputado a cada passo, se um candidato se mover para uma ação de maior valor, outro candidato pode "assumir a responsabilidade" pela região de suporte antiga. Isso permite que a política se otimize sem perder a cobertura do dataset.

3. Principais Contribuições

• Identificação de uma limitação estrutural: Demonstraram que a necessidade de manter a correspondência exata entre o ruído latente e o endpoint do professor é uma restrição desnecessária que prejudica a otimização.
• Proposta do DROL: Um método que mantém a eficiência de inferência de um único passo (no teste, usa-se apenas $K=1$), mas utiliza a multiplicidade de candidatos durante o treinamento para gerenciar o suporte de forma dinâmica.
• Fundamentação Teórica: Provaram que o roteamento evita o colapso dos candidatos (eles se espalham para cobrir diferentes modos), permite a transferência de responsabilidade e que um orçamento maior de candidatos ($K$) melhora a cobertura de diferentes modos de ação.

4. Resultados Experimentais

O método foi testado nos benchmarks OGBench (multimodal e complexo) e D4RL.

• Desempenho em OGBench: O DROL superou o baseline FQL em diversas categorias, especialmente em tarefas de navegação complexas como antmaze-giant (onde o ganho foi massivo ao ajustar o $K$) e humanoidmaze.
• Eficiência: O DROL mantém o custo de inferência de um único passo, sendo significativamente mais rápido que políticas iterativas/multi-passo, enquanto atinge resultados competitivos com essas políticas mais pesadas.
• Escalabilidade: Os experimentos mostraram que aumentar $K$ não causa o colapso dos candidatos em um único ponto; em vez disso, os candidatos se organizam para representar diferentes partes do suporte local, reduzindo o erro de reconstrução (BC loss).

5. Significância

O trabalho é significativo porque redefine o que deve ser preservado no Offline RL: não a correspondência entre ruído e ação, mas o suporte local das ações. Ao tratar o ator como um conjunto de candidatos que podem trocar de "responsabilidade" durante o aprendizado, o DROL permite que políticas de um único passo alcancem a expressividade e a performance de modelos generativos muito mais complexos e lentos, sem sacrificar a eficiência de execução.