Drift Q-Learning

Resumo Técnico: Drift Q-Learning (DriftQL)

Definição do Problema
O Aprendizado por Reforço (RL) Offline visa aprender políticas ótimas a partir de conjuntos de dados fixos sem novas interações com o ambiente. Um desafio central neste cenário é o problema "fora da distribuição" (out-of-distribution - OOD): funções de valor treinadas em dados estáticos produzem estimativas não confiáveis para ações não presentes no conjunto de dados. Para mitigar isso, é necessária uma regularização do comportamento para restringir a política aprendida em direção à distribuição dos dados, permitindo ainda a melhoria em direção a ações de alto valor.

Soluções existentes que utilizam modelos generativos expressivos, como políticas de difusão e baseadas em fluxo, modelam efetivamente a estrutura multimodal das distribuições de comportamento. No entanto, elas sofrem de limitações práticas significativas: exigem denoising iterativo ou integrações pesadas de solvers durante a inferência, levando a uma execução lenta. Embora existam alternativas baseadas em destilação para acelerar a inferência, elas introduzem complexidade ao exigir redes adicionais e pipelines de treinamento de dois estágios.

Metodologia
Os autores propõem o Drift Q-Learning (DriftQL), um método generativo de etapa única que combina um regularizador de comportamento baseado em drift com melhoria de política impulsionada pelo crítico. O DriftQL é construído sobre o framework de "Modelos de Drift" (Drifting Models), que aprendem um mapa de pushforward direto de um ruído prévio e sinais de condicionamento para os dados.

O núcleo do DriftQL é uma rede de ator estocástica $f_\theta(s, \epsilon)$ que mapeia um estado $s$ e um ruído Gaussiano $\epsilon$ para uma ação $a$. O objetivo de treinamento unifica a modelagem de distribuição com a busca por recompensa através de dois mecanismos primários:

1. Campo de Drift Condicional: A política é supervisionada por um campo de drift condicional ao estado, composto por duas forças opostas:

   • Atração ($V^+$): Puxa as ações geradas em direção às ações observadas no conjunto de dados (behavior cloning). No cenário de RL offline, onde tipicamente há uma ação observada por estado, isso se simplifica para uma diferença direta de vetor entre a ação gerada e a ação do conjunto de dados.
   • Repulsão ($V^-$): Empurra as ações geradas para longe umas das outras. Isso evita que a política colapse em um único modo (a ação do conjunto de dados) e mantém um conjunto diversificado de candidatos em regiões de alto valor. A repulsão é calculada usando um mean-shift ponderado por kernel sobre os $N$ candidatos de ações gerados para um único estado.

2. Melhoria Impulsionada pelo Crítico: Diferente dos modelos de drift padrão usados para geração incondicional, o DriftQL incorpora um objetivo baseado em valor. Um crítico de double-Q clipado estima o valor das ações. O ator minimiza uma perda combinada:
   $$L_{actor}(\theta) = \alpha L_{drift}(\theta) + L_Q(\theta)$$
   onde $L_{drift}$ é a perda de drift (regressão de ações em direção ao alvo de drift) e $L_Q$ é o valor Q negativo esperado. O gradiente de valor enviesa a política em direção a regiões de alto valor do suporte dos dados, permitindo que a política se concentre em múltiplos modos de alto valor, caso existam nos dados.

Principais Contribuições

• Política Generativa de Passo Único: O DriftQL gera ações em uma única passagem direta (forward pass), eliminando a necessidade de cadeias de denoising iterativo, solvers de ODE ou estágios de destilação exigidos por métodos de difusão e baseados em fluxo.
• Objetivo de Treinamento Unificado: O método integra a regularização de comportamento (via campo de drift) e a melhoria de política (via crítico Q) em uma única rede com uma perda unificada, evitando a complexidade de pipelines de treinamento de múltiplos estágios.
• Seleção de Modo e Diversidade: A combinação de atração (aos dados) e repulsão (entre candidatos) permite que a política mantenha massa entre os candidatos durante o treinamento enquanto converge para modos de alto valor, evitando o colapso para uma ação determinística única ou a dispersão por regiões não suportadas.

Resultados Experimentais
O DriftQL foi avaliado nos benchmarks D4RL e OGBench, cobrindo tarefas de controle contínuo, navegação e manipulação.

• Desempenho: O DriftQL supera consistentemente ou iguala os baselines de estado da arte de difusão e baseados em fluxo (ex: Diffusion-QL, FQL, IDQL) em 78 tarefas de aprendizado offline. Ele mostra ganhos particularmente fortes em tarefas de navegação de longo horizonte (ex: antmaze-large-st, antmaze-giant-st) e tarefas complexas de manipulação.
• Robustez: Sob qualidade de dados degradada (simulada pela substituição de uma fração de ações por ruído aleatório), o DriftQL mantém o desempenho mais próximo de seu baseline de dados limpos do que os métodos concorrentes, que sofrem visivelmente conforme o ruído aumenta.
• Eficiência: Em termos de latência de inferência, o DriftQL é aproximadamente 2$\times$ mais rápido que o FQL, 3$\times$ mais rápido que o Diffusion-QL e 4$\times$ mais rápido que o IDQL/IFQL. Ele alcança isso sem exigir um estágio de destilação separado. Os custos de treinamento escalam com o número de amostras geradas ($N$) devido aos cálculos de par de kernels, mas permanecem modestos comparados ao overhead de denoising iterativo em modelos de difusão.

Significância e Alegações
O artigo posiciona o DriftQL como uma alternativa promissora aos métodos de RL offline baseados em difusão e fluxo. Ele afirma oferecer a expressividade de modelos generativos (lidando com distribuições multimodais) mantendo a simplicidade e eficiência de abordagens determinísticas (passagem direta única).

Os autores argumentam que o DriftQL reconcilia com sucesso os objetivos conflitantes do RL offline: ele restringe a política ao suporte dos dados para garantir estimativas de valor confiáveis, enquanto permite a melhoria em direção a regiões de alta recompensa. Ao remover o overhead computacional da amostragem iterativa, o DriftQL fornece uma solução mais prática para implantação no mundo real, onde a velocidade de inferência é crítica, tudo isso mantendo a robustez contra corrupção de dados. O trabalho sugere que o drift fornece um "meio termo" útil para o RL offline, oferecendo sinais de treinamento estocásticos e distribuicionais sem os custos de tempo de teste associados a políticas generativas de múltiplos passos.