Resumo Técnico: Alinhamento de Políticas de Mapa de Fluxo com Guia Q Ótimo

Declaração do Problema

Políticas generativas baseadas em classes de modelos expressivos, como modelos de difusão e correspondência de fluxo, são bem adequadas para problemas de controle complexos caracterizados por distribuições de ação altamente multimodais. No entanto, sua expressividade incorre em um custo significativo de inferência: gerar uma única ação geralmente requer a simulação de muitas etapas do processo generativo (por exemplo, resolver numericamente uma Equação Diferencial Ordinária). Essa latência cumulativa impede a implantação em ambientes online e do mundo real.

Embora esforços recentes tenham tentado aprender políticas offline de um único passo para mitigar essa latência, essas abordagens frequentemente permanecem insuficientes para aprendizado por reforço (RL) offline-para-online. Na fase online, a política deve melhorar além do prior comportamental estático. As políticas generativas de um único passo atuais frequentemente dependem de procedimentos heurísticos de "gerar-e-selecionar" (por exemplo, amostragem best-of-$N$) para enviesar ações em direção a altos valores $Q$ do crítico. Essa abordagem compensa a vantagem computacional da geração de um único passo ao exigir numerosas avaliações de política e crítico por decisão e falha em garantir melhoria local ótima para qualquer $N$ finito.

Metodologia

O artigo introduz Políticas de Mapa de Fluxo, uma nova classe de políticas generativas projetadas para geração rápida de ações, aprendendo a realizar saltos de tamanho arbitrário — incluindo saltos de um único passo — através da dinâmica generativa de políticas baseadas em fluxo existentes.

1. Políticas de Mapa de Fluxo

Diferentemente das políticas de correspondência de fluxo padrão que aprendem um campo de velocidade instantâneo $v_t$ a ser integrado ao longo do tempo, as Políticas de Mapa de Fluxo aprendem um operador de salto de dois tempos $X_{r,t}$ que evolui a dinâmica de ação entre quaisquer dois pontos no tempo $r, t \in [0, 1]$.

• Definição: A política é definida por um mapa de fluxo $X_{r,t}$ tal que $X_{r,t}(a_r | s) = a_t$.
• Parametrização: O mapa é parametrizado por uma velocidade média de ação $u_{r,t}$, onde $X_{r,t}(a_r | s) = a_r + (t-r)u_{r,t}(a_r | s)$.
• Objetivos de Treinamento: Para treinar o mapa de fluxo em pares de tempos fora da diagonal ($r < t$), os autores impõem regras de consistência derivadas da condição de salto do mapa de fluxo e da propriedade de semi-grupo da EDO. Isso produz três objetivos de distilação de política:
  1. Lagrangiano: Distila a derivada temporal do mapa.
  2. Euleriano: Distila o gradiente espacial e a derivada temporal.
  3. Progressivo: Garante consistência através de saltos intermediários.
     Nota: Políticas de fluxo médio (por exemplo, MVP) são mostradas como uma instanciação específica do objetivo Euleriano.

2. Guia Q de Mapa de Fluxo (FMQ)

Para adaptação online, os autores formulam o problema como uma otimização de região de confiança que melhora o valor $Q$ do crítico enquanto permanece próxima à política offline.

• Problema de Otimização: Maximizar $Q_\phi(s, a_1 + \Delta)$ sujeito a $\|\Delta\|_2 \le \eta$, onde $a_1$ é a ação gerada pelo mapa de fluxo offline.
• Solução de Forma Fechada (Teorema 3.2): Ao aproximar a função $Q$ com uma expansão de Taylor de primeira ordem, os autores derivam um deslocamento de alvo analiticamente ótimo. A velocidade média ótima $u^*_{r,1}$ é:
  $$u^*_{r,1} = u^{off}_{r,1} + \eta \frac{\nabla_a Q_\phi(s, a_1)}{\|\nabla_a Q_\phi(s, a_1)\|_2}$$
• Alvo de Aprendizado: A política é treinada para regredir em direção a esse alvo ótimo usando um operador de gradiente interrompido (stop-gradient), criando um alvo de aprendizado auto-botostrado que alinha a distribuição de ação com o guia $Q$ sem redes de distilação.
• Região de Confiança Adaptativa: Para lidar com a incerteza do crítico, o raio $\eta$ é feito adaptativo por amostra com base na discordância entre um ensemble de críticos gêmeos. Maior discordância leva a uma região de confiança menor, priorizando o prior offline.

3. Busca em Feixe Guiada por Q (QGBS)

Para refinar ainda mais as ações no momento da inferência sem treinamento adicional ou simulações de EDO custosas, os autores introduzem QGBS.

• Mecanismo: Combina re-ruído estocástico (corrompendo a ação atual para um estado intermediário $t' < 1$ baseado na Relação Sinal-Ruído) com busca em feixe.
• Processo:
  1. Exploração: Re-ruído a ação atual para gerar um lote de estados intermediários.
  2. Denoising e Seleção: Use o mapa de fluxo para denoising esses estados até $t=1$, gerando múltiplas ações candidatas.
  3. Exploração: Selecione os principais candidatos com base no valor $Q$ do crítico, aplique o deslocamento ótimo da região de confiança (Eq. 11) e itere.
• Isso permite refinamento iterativo no momento da inferência, equilibrando exploração e exploração.

Contribuições Principais

1. Políticas de Mapa de Fluxo: Um framework para aprender políticas de um único passo como operadores de salto de dois tempos para atores generativos baseados em fluxo, generalizando políticas de um único passo existentes.
2. Algoritmos (FMQ e QGBS):
   • FMQ: Um método de adaptação eficiente usando guia $Q$ ótimo derivado de uma restrição de região de confiança, eliminando a necessidade de heurísticas best-of-$N$ durante o treinamento.
   • QGBS: Um algoritmo de refinamento estocástico no momento da inferência combinando re-ruído, seleção em feixe e guia $Q$ de região de confiança.
3. Desempenho de Ponta: O método alcança desempenho superior em 12 tarefas de manipulação robótica e locomoção.

Resultados Experimentais

Os autores avaliaram FMQ e QGBS em 12 tarefas do OGBench e RoboMimic, comparando com baselines incluindo QC (correspondência de fluxo multi-etapa) e MVP (política de fluxo médio de um único passo de ponta).

• Desempenho: FMQ alcançou uma taxa de sucesso Média Interquartil (IQM) de ponta de 0,91, superando MVP (0,75) por uma melhoria relativa de 21,3% e QC (0,86) por 5,8%.
• Eficiência: FMQ é aproximadamente 2,77$\times$ mais eficiente durante a adaptação online do que MVP, convergindo para as mesmas metas de sucesso significativamente mais rápido.
• Escalonamento de Inferência: Aplicar QGBS a FMQ melhorou ainda mais o IQM para 0,93. Notavelmente, QGBS alcançou isso com menos avaliações de forward de rede (NFE) do que a amostragem padrão best-of-32 em certas configurações, demonstrando que diversificar candidatos via re-ruído é mais eficiente do que simplesmente amostrar mais candidatos.
• Robustez: O método mostrou ganhos particulares em ambientes desafiadores (por exemplo, cube-trl-t4 e amaze-gnt-t4) onde as baselines lutaram, e manteve estabilidade em tarefas de locomoção com recompensa esparsa.

Significado

O artigo afirma fechar a lacuna entre a expressividade das políticas generativas e os requisitos de baixa latência do RL offline-para-online. Ao formular a adaptação online como um problema de otimização de região de confiança, os autores derivam um alvo de aprendizado principista e de forma fechada (FMQ) que alinha ações com o guia de valor $Q$ sem a sobrecarga computacional de amostragem iterativa ou a sub-otimalidade da seleção heurística. Além disso, a introdução do QGBS fornece um mecanismo para refinar políticas no momento da inferência, aproveitando amostragem estocástica e busca em feixe para melhorar o desempenho sem custos adicionais de treinamento. O trabalho demonstra que políticas generativas de um único passo, quando adequadamente guiadas por gradientes $Q$ ótimos, podem superar tanto modelos de difusão multi-etapa quanto baselines de um único passo existentes em tarefas complexas de controle contínuo.