Resumo Técnico: Correspondência Adjoint Regularizada por Entropia para RL Offline

Declaração do Problema

O artigo aborda o Dilema de Ligação ao Suporte (SBD) inerente ao Aprendizado por Reforço (RL) offline ao utilizar políticas generativas expressivas, como modelos de correspondência de fluxo (flow-matching). Embora frameworks de tempo contínuo, como a Correspondência Adjoint (QAM), estabilizem a otimização da política ao contornar a retropropagação instável do solucionador, eles permanecem estritamente vinculados à distribuição de comportamento fixa ($\pi_\beta$) do conjunto de dados offline. Essa dependência cria duas limitações críticas:

1. Viés de Popularidade (Frente de Densidade): A otimização depende de uma relação multiplicativa com o prior de comportamento ($\pi^* \propto \pi_\beta \exp(Q/\tau)$). Se uma ação ótima for rara no conjunto de dados, o termo $\pi_\beta$ que desaparece suprime o sinal de recompensa. Superar isso exige escalonamento agressivo da temperatura, o que amplifica erros de aproximação do crítico e força o agente a aceitar ações subótimas e de alta frequência para manter a estabilidade.
2. Armadilha de Suporte Zero (Frente Geométrica): Se uma ação ótima estiver fora do suporte dos dados de comportamento, $\pi_\beta = 0$. Essa restrição estrutural impede que o agente alcance essas regiões, interrompendo a descoberta de comportamentos novos, independentemente do sinal de recompensa.

Soluções alternativas existentes, como anexar políticas residuais Gaussianas (por exemplo, QAM-Edit) para forçar o agente a sair da variedade de dados, frequentemente quebram a formulação contínua da Equação Diferencial Ordinária (ODE). Essas heurísticas atuam como correções estruturais que perturbam a trajetória coerente do campo vetorial e reintroduzem os gargalos de expressividade associados a distribuições unimodais.

Metodologia: Correspondência Adjoint de Máxima Entropia (ME-AM)

Os autores propõem a Correspondência Adjoint de Máxima Entropia (ME-AM), um framework unificado que resolve o SBD inteiramente dentro da formulação de fluxo contínuo. A ME-AM integra dois mecanismos principais:

1. Prior de Mistura Guiado por Recompensa (Expansão Geométrica)

Para preencher a lacuna geométrica entre clusters de dados isolados sem quebrar a ODE contínua, a ME-AM amplia o conjunto de dados de comportamento durante o treinamento.

• Mecanismo: Uma fração $\epsilon$ das ações do conjunto de dados é substituída por alvos sintéticos gerados por um ator auxiliar Gaussiano ($\pi_\omega$). Este ator é treinado via um objetivo estilo Soft Actor-Critic (SAC) para prever ações de alta recompensa condicionadas ao estado e a uma ação empírica.
• Efeito: O fluxo base é treinado contra uma distribuição de mistura $\pi_{mix} = (1-\epsilon)\pi_\beta + \epsilon\pi_\omega$. Isso estende nativamente o suporte geométrico válido, permitindo que o modelo aprenda a transportar ruído para modos fora da distribuição (OOD), mantendo uma ODE contínua estruturalmente sólida.

2. Achateamento de Densidade via Descida do Espelho (Maximização de Entropia)

Para mitigar o viés de popularidade, a ME-AM maximiza a entropia diferencial da política ajustada diretamente dentro do sistema adjoint.

• Mecanismo: Em vez de avaliação explícita de densidade (que é computacionalmente proibitiva), o método emprega Descida do Espelho Funcional (MD). O gradiente funcional para maximização de entropia simplifica-se para a função de pontuação negativa ($-\nabla \log \pi$).
• Implementação: A pontuação negativa é injetada diretamente na condição de fronteira terminal da ODE Adjoint, juntamente com o gradiente de valor. Para evitar instabilidade numérica na fronteira terminal ($t \to 1$), uma rede de pontuação auxiliar leve ($S_\psi$) é treinada via um objetivo de remoção de ruído ponderado por variância.
• Efeito: Este processo achata a densidade de comportamento acentuada ao longo do suporte estendido, permitindo que o agente enfatize ações de alta recompensa sem exigir o contraste extremo e amplificador de erros do escalonamento estrito de temperatura.

Formulação Teórica

O objetivo unificado alinha o campo vetorial ajustado com um fluxo de referência interpolado ($v_{ref}$) que equilibra a base estática de mistura e uma âncora de alvo de movimento lento. Os autores provam (Teorema 2) que a política estacionária ótima converge para:
$$\pi^*(a|s) \propto (\pi_{mix}(a|s))^{\delta(s)} \exp\left( \frac{1}{\kappa(s)} Q_\phi(s, a) \right)$$
onde $\delta(s) \in (0, 1)$ é um expoente dependente do estado que garante matematicamente o achatamento da densidade do prior, desacoplando a exploração das frequências de dados empíricos.

Contribuições Principais

1. Framework Unificado: A ME-AM é o primeiro método a resolver o Dilema de Ligação ao Suporte inteiramente dentro de uma formulação de fluxo contínuo, eliminando a necessidade de edições desconexas ou heurísticas de pós-processamento que quebram a estrutura da ODE.
2. Resolução Geométrica e de Densidade: Ela aborda simultaneamente a armadilha de suporte zero via um prior de misturável aprendível e guiado por crítico, e o viés de popularidade via maximização de entropia de Descida do Espelho funcional.
3. Garantias Teóricas: O artigo fornece provas que estabelecem que o objetivo de tempo contínuo converge exatamente para uma política estacionária alvo com densidade achatada.
4. Implementação Robusta: O método utiliza uma parametrização de pontuação auxiliar desacoplada para contornar a explosão numérica de pontuações analíticas na fronteira terminal, garantindo treinamento estável.

Resultados Experimentais

Os autores avaliaram a ME-AM em dois domínios desafiadores do OGBench (puzzle-4x4 e cube-triple) caracterizados por recompensas esparsas e comportamentos complexos e multimodais.

• Desempenho Offline: A ME-AM demonstrou desempenho competitivo ou superior comparado a uma diversa gama de métodos de Estado da Arte (SOTA), incluindo QAM, FEdit, CGQL e ReBRAC. No domínio puzzle-4x4, a ME-AM alcançou uma taxa de sucesso global de 56% (agregada), superando significativamente o próximo melhor método (QAM-E com 37%).
• Estudos de Ablação:
  • Expansão Geométrica: Confiar apenas no suporte de comportamento ($\epsilon=0$) causou colapso total do desempenho em domínios esparsos, confirmando a necessidade do prior de mistura.
  • Regularização KL: Restrições de caminho KL explícitas foram encontradas essenciais para estabilizar o treinamento quando estocasticidade foi introduzida durante a expansão geométrica.
  • Piso de Ruído: Um piso de ruído de avaliação maior ($\sigma_{min} = 0.3$) melhorou o desempenho em certas tarefas, atuando como um fator de suavização espacial.
• Ajuste Fino Offline-to-Online: A ME-AM melhorou significativamente o desempenho online comparado ao QAM vanilla, alcançando resultados equivalentes ao QAM-edit enquanto elimina a necessidade de uma política de edição adicional para exploração online.
• Eficiência: Embora o tempo de treinamento seja ligeiramente maior devido às redes auxiliares, a velocidade de inferência (0,14 ms/etapa) corresponde às políticas padrão de correspondência de fluxo, uma vez que os componentes auxiliares são removidos do grafo computacional antes da implantação.

Significado e Alegações

O artigo afirma que a ME-AM representa um avanço estrutural no RL offline ao resolver a tensão fundamental entre maximizar a recompensa e evitar extrapolação fora da distribuição. Ao estender a variedade de ações válida e achatar a densidade comportamental empírica dentro de um único framework coerente de tempo contínuo, a ME-AM permite que agentes extraiam políticas robustas e ótimas de conjuntos de dados offline esparsos, sem as limitações de instabilidade ou expressividade das abordagens heurísticas anteriores. Os autores enfatizam que essa abordagem permite a descoberta de comportamentos novos em regiões desprovidas de suporte de dados, mantendo as garantias matemáticas do controle ótimo contínuo.