Resumo Técnico: Política de Campo Derivante (DFP)

Declaração do Problema

O artigo aborda os desafios do aprendizado por reforço (RL) offline-para-online para controle contínuo. Embora políticas generativas (por exemplo, modelos de difusão e fluxo) tenham capturado com sucesso distribuições de ação multimodais em clonagem de comportamento offline, elas enfrentam limitações estruturais ao serem ajustadas finamente com sinais de recompensa online.

Especificamente, políticas generativas baseadas em EDO (incluindo variantes de um passo) parametrizam a política como um campo de velocidade indexado pelo tempo ou como um processo estocástico. Quando um sinal de recompensa é definido no nível da ação, ele deve propagar-se de volta através de toda a trajetória da EDO. Isso cria um problema não trivial de atribuição de crédito de saída para trajetória, onde o sinal de recompensa é distribuído ao longo do caminho de integração em vez de atuar diretamente na saída da ação. Mesmo as variantes "de um passo" desses modelos retêm essa dependência de EDO durante o treinamento, exigindo um novo ajuste global do campo de velocidade para se adaptar a distribuições-alvo em mudança.

Metodologia

Os autores propõem a Política de Campo Derivante (DFP), uma política generativa de um passo, não baseada em EDO, construída sobre o paradigma do modelo derivante.

Arquitetura Central

A DFP define a política $\pi_\theta(\cdot|s)$ como um mapa de empurrão de passagem única $f_\theta(\cdot, s)$ de uma distribuição a priori $p_\epsilon$ para o espaço de ações. Diferentemente de modelos de difusão ou fluxo, a DFP não possui variável de tempo; a rede gera diretamente a ação.

Estrutura Teórica: Fluxo Gradiente de Wasserstein

A atualização da política é enquadrada como um fluxo gradiente de Wasserstein-2 com KL reverso (WGF) em direção a uma política-alvo suave $\pi^+$.

1. Política-Alvo: O alvo ideal de melhoria de política suave é $\pi^+(a|s) \propto \pi_{old}(a|s) \exp(Q_\phi(s, a)/\alpha)$.
2. Campo Derivante: A atualização utiliza um campo derivante $V_{p,q} = V^+_p - V^-_q$, que atua como a velocidade da partícula de um WGF.
   • $V^+$ atrai amostras em direção à distribuição-alvo.
   • $V^-$ repele amostras da distribuição do modelo atual.
3. Decomposição do Gradiente: Os autores derivam que o campo de deriva ideal decompõe-se em dois componentes:
   • Ascensão $\nabla_a Q$: Uma direção em direção a regiões de maior valor de ação, escalada pela temperatura $\alpha$.
   • Correspondência de Pontuação (Score Matching): Um termo de região de confiança que corresponde à pontuação da política de referência $\pi_{old}$, impedindo que a política se desvie excessivamente da distribuição de comportamento.

Surrogado Tratabil: Supervisão Top-K

Como o alvo ideal $\pi^+$ envolve uma constante de normalização intratável e não pode ser amostrado diretamente, os autores propõem uma função de perda surrogada tratável:

• Mecanismo: Em vez de amostrar de $\pi^+$, o método desenha $N$ ações candidatas da política de referência $\pi_{old}$ e seleciona as $K$ melhores ações com base nos valores $Q$ do crítico.
• Função de Perda: O objetivo de treinamento torna-se uma tarefa de clonagem de comportamento sobre esses $K$ candidatos auto-gerados. A perda é uma combinação de:
  1. $L_{BC}$: Perda de deriva contra o buffer de replay (ancoragem aos dados).
  2. $L_{top-K}$: Perda de deriva contra as ações selecionadas pelo crítico (top-$K$) (melhoria da política).
• Garantia Teórica: O artigo prova que este surrogado possui um erro de aproximação limitado em relação à perda ideal de melhoria de política, desde que o kernel seja Lipschitz e a distribuição $Q$ tenha densidade estritamente positiva no quantil.

Contribuições Principais

1. Primeira Aplicação de Modelos Derivantes ao Ajuste Fino de RL: O artigo introduz a DFP, enquadrando a atualização do campo derivante como uma direção de fluxo gradiente de Wasserstein-2 no espaço de probabilidade. Isso permite a descida direta em direção ao alvo de melhoria de política suave sem integração de EDO.
2. Surrogado Top-K Tratável: Os autores derivam um surrogado simples e eficaz para a atualização de política suave intratável. Eles provam que este surrogado possui erro de aproximação limitado e demonstram que este mecanismo de supervisão é unicamente eficaz para a estrutura derivante em comparação com estruturas baseadas em EDO.
3. Vantagem Estrutural sobre Políticas ODE: O artigo destaca que a DFP realiza a descida gradiente diretamente no espaço de saída de ação. Em contraste, políticas baseadas em EDO devem refazer globalmente um campo de velocidade, distribuindo o sinal de recompensa ao longo da trajetória. Essa distinção permite que a DFP se adapte com mais eficiência a alvos em mudança.
4. Desempenho de Estado da Arte: Experimentos extensivos mostram que a DFP supera políticas generativas baseadas em EDO existentes (por exemplo, QC-FQL, MVP) e baselines de múltiplos passos.

Resultados Experimentais

O método foi avaliado em 12 tarefas de manipulação nos benchmarks Robomimic e OGBench.

• Desempenho: A DFP alcançou uma taxa de sucesso média de 95,8%, classificando-se em primeiro lugar em 9 de 12 tarefas e em segundo lugar nas 3 restantes.
• Comparação: Ela superou a baseline mais forte, QC-FQL (86,8%), em +9,0 pontos percentuais. Também superou a melhor política de múltiplos passos, QC-BFN (83,8%), em +12,0 pontos percentuais.
• Estudos de Ablação:
  • Estrutura vs. Perda: Quando aplicada a uma estrutura MeanFlow (baseada em EDO), a supervisão Top-K produziu ganhos marginais apenas (+2,4 pp). No entanto, na estrutura derivante, a mesma supervisão produziu ganhos substanciais (+7,4 pp), confirmando que a sinergia entre a supervisão Top-K e a parametrização não baseada em EDO é única da DFP.
  • Robustez: O método foi encontrado robusto a variações no peso da perda Top-K ($\lambda$) e no número de candidatos selecionados ($K$).
• Eficiência: A DFP mantém os benefícios de baixa latência da inferência de um passo, exigindo apenas uma única passagem forward, com sobrecarga de treinamento negligenciável em comparação com outras baselines de um passo.

Significado e Alegações

O artigo afirma que a DFP representa um passo significativo para frente no RL offline-para-online, resolvendo o ônus de atribuição de crédito inerente a políticas generativas baseadas em EDO. Ao contornar completamente a integração de trajetória, a DFP permite que sinais de recompensa atuem diretamente no nível da ação, permitindo um ajuste fino mais eficiente e estável.

Os autores enfatizam que sua abordagem é particularmente benéfica para tarefas de longo horizonte e multimodais (por exemplo, tarefas de cubo-triplo e cubo-quádruplo), onde a BC de múltiplos passos sozinha é insuficiente e a atribuição de crédito baseada em EDO enfrenta dificuldades. O trabalho estabelece um novo paradigma onde o mecanismo "derivante", originalmente proposto para geração de imagens, pode ser rigorosamente interpretado como um fluxo gradiente de Wasserstein para otimização de política, oferecendo uma alternativa estruturalmente superior às políticas de difusão e fluxo para controle contínuo.

Limitações notadas pelos autores:

• A avaliação atual é limitada a tarefas de manipulação com ação contínua simulada.
• Extensões para observações de alta dimensão e implantação sim-para-real são trabalhos futuros.
• O desempenho depende da qualidade do crítico aprendido, uma limitação compartilhada com métodos ator-crítico.
• Uma compreensão teórica mais profunda das distinções entre parametrizações não baseadas em EDO e baseadas em EDO permanece uma questão em aberto.