Resumo Técnico: Aprendizado por Reforço Q Condicionado a Ruído Ancorado em Fluxo (FAN)

Declaração do Problema

O Aprendizado por Reforço (RL) Offline visa aprender políticas ótimas a partir de conjuntos de dados fixos e pré-coletados, sem interação adicional com o ambiente. Um desafio primário neste domínio é a mudança de distribuição, onde agentes superestimam o valor de ações fora da distribuição (OOD), levando a um desempenho ruim. Para mitigar isso, abordagens recentes de última geração utilizam algoritmos expressivos tanto para o aprendizado de política (por exemplo, correspondência de fluxo) quanto para a estimativa de valor (por exemplo, críticos distribucionais).

No entanto, esses métodos expressivos introduzem ineficiências computacionais significativas:

1. Políticas de Fluxo: Gerar uma única ação frequentemente requer amostragem iterativa via solucionadores de Equações Diferenciais Ordinárias (ODE), escalando linearmente com o número de etapas de fluxo.
2. Críticos Distribucionais: Estimar distribuições de retorno tipicamente envolve processar múltiplas amostras (por exemplo, quantis ou expectílios), escalando linearmente com o número de amostras.

O artigo pergunta: Como podemos aproveitar políticas de fluxo e críticos distribucionais para alcançar desempenho de última geração em RL offline, enquanto simultaneamente melhoramos a eficiência computacional?

Metodologia: FAN

Os autores propõem o Aprendizado por Reforço Q Condicionado a Ruído Ancorado em Fluxo (FAN), um algoritmo ator-crítico projetado para reter a expressividade de políticas baseadas em fluxo e funções de valor distribucionais, enquanto reduz drasticamente a sobrecarga computacional. O FAN consiste em duas inovações centrais:

1. Ancoragem de Fluxo (Regularização de Comportamento)

A regularização de comportamento baseada em fluxo tradicional requer a resolução de ODEs para amostrar ações a partir da política de comportamento, o que é computacionalmente caro. O FAN introduz a Ancoragem de Fluxo, uma técnica que regulariza as redes de política e valor sem exigir soluções iterativas de ODE.

• Mecanismo: Em vez de amostrar o estado terminal da trajetória de fluxo, o FAN regulariza a política $\pi_\omega$ diretamente contra o campo de velocidade $v_\theta$ do fluxo de comportamento em um passo de tempo específico $t$.
• Formulação: A perda de regularização $L_B(\omega)$ minimiza a distância entre a saída da política (ajustada para ruído) e o campo de velocidade do fluxo de comportamento:
  $$\mathbb{E}[\|(\pi_\omega(s, \epsilon) - \epsilon) - v_\theta(s, t, a_{t,\omega})\|^2]$$
  onde $a_{t,\omega} = (1-t)\epsilon + t\pi_\omega(s, \epsilon)$.
• Benefício: Isso permite inferência e treinamento de ação em um único passo, eliminando a necessidade de solucionadores iterativos de ODE durante a etapa de regularização.

2. Crítico Condicionado a Ruído ($T^\pi_n$)

Críticos distribucionais padrão frequentemente dependem de múltiplos quantis ou expectílios para modelar a distribuição de retorno. O FAN propõe um Crítico Condicionado a Ruído que captura informações distribucionais usando uma única amostra de ruído gaussiano.

• Definição do Operador: Os autores definem um novo operador de Bellman distribucional $T^\pi_n$ que condiciona o valor Q a um vetor de ruído $\epsilon$:
  $$T^\pi_n Q(s, a, \epsilon') \stackrel{d}{=} r + \gamma \cdot \text{ess sup}_{\epsilon \sim \mathcal{N}(0, I)} Q(s', \pi(s', \epsilon'), \epsilon)$$
• Implementação:
  • O crítico $Q_\phi(s, a, \epsilon)$ é treinado para modelar a distribuição de retorno condicionada ao ruído.
  • Para aproximar o supremo essencial ($\text{ess sup}$) exigido pelo operador, o FAN treina uma rede auxiliar $Z_\psi(s, a)$ para modelar o expectílio superior (com $\kappa \approx 0.9$) da distribuição de retorno.
  • A atualização do crítico usa uma única amostra de ruído $\epsilon'$ tanto para o estado atual quanto para o alvo, reduzindo significativamente o número de passagens para frente em comparação com métodos de múltiplos quantis.
• Base Teórica: O operador $T^\pi_n$ é provado ser uma contração $\gamma$ na métrica do supremo, garantindo convergência para um ponto fixo único. O expectílio superior é mostrado para convergir para o supremo essencial à medida que $\kappa \to 1$.

Visão Geral do Algoritmo

O FAN emprega um framework acoplado ator-crítico:

1. Atualização do Crítico: Minimiza uma perda de Diferença Temporal (TD) usando o alvo condicionado a ruído e o estimador de expectílio superior, incorporando o termo de regularização de Ancoragem de Fluxo.
2. Atualização da Política: Maximiza o retorno estimado usando tanto o valor Q condicionado a ruído quanto o valor do expectílio superior, enquanto é regularizado pelo termo de Ancoragem de Fluxo.
3. Treinamento da Política de Fluxo: Uma política de fluxo de comportamento separada $v_\theta$ é treinada via correspondência de fluxo padrão para modelar a distribuição do conjunto de dados, servindo como a âncora para regularização.

Contribuições Chave

1. Ancoragem de Fluxo: Uma técnica inovadora de regularização de comportamento que alinha a política aprendida com o comportamento do conjunto de dados usando uma única iteração de fluxo, evitando o custo computacional da amostragem iterativa de ODE.
2. Função de Valor Condicionada a Ruído: Uma função de valor distribucional definida pelo operador $T^\pi_n$ que captura informações expressivas de retorno usando uma única amostra de ruído gaussiano, eliminando a necessidade de estimativa de quantis de múltiplas amostras.
3. Algoritmo FAN: Um algoritmo integrado que alcança desempenho de última geração em RL offline, enquanto reduz significativamente os tempos de execução de treinamento e inferência em comparação com métodos expressivos anteriores.

Resultados Experimentais

Os autores avaliaram o FAN no D4RL (tarefas AntMaze e Adroit) e OGBench (tarefas baseadas em estado e baseadas em pixels).

• Desempenho: O FAN alcançou desempenho de última geração (ou próximo da última geração) em 7 de 9 ambientes de tarefa. Destacou-se superando baselines não distribucionais (ReBRAC, IDQL, FQL) em tarefas complexas de manipulação (por exemplo, quebra-cabeças, cubos) e superou baselines distribucionais (IQN, CODAC, Value Flows) em média.
• Eficiência:
  • Treinamento: O FAN reduziu o tempo de execução de treinamento em pelo menos 5$\times$ em comparação com abordagens distribucionais anteriores (por exemplo, CODAC, IQN) que dependem de múltiplas amostras de quantis.
  • Inferência: O FAN demonstrou a velocidade de inferência mais rápida entre todas as baselines, competitiva até mesmo com métodos não distribucionais, devido à sua exigência de amostragem em um único passo.
• Estudos de Ablação:
  • Ancoragem de Fluxo vs. BC Padrão: A Ancoragem de Fluxo consistentemente produziu desempenho melhor ou comparável ao clonagem de comportamento (BC) padrão e ao BC estilo FQL, validando sua eficiência e eficácia.
  • $T^\pi_n$ vs. Bellman Padrão: O uso do operador condicionado a ruído $T^\pi_n$ com Ancoragem de Fluxo melhorou o desempenho sobre o uso de operadores de Bellman não distribucionais padrão com a mesma regularização.
  • Hiperparâmetros: O método foi robusto à escolha de $\kappa$ (coeficiente de expectílio), com $\kappa=0.9$ fornecendo o melhor equilíbrio. Aumentar o número de amostras de ruído para treinamento de valor não produziu ganhos significativos de desempenho, justificando o projeto de amostra única.
  • Offline para Online: O FAN demonstrou fortes capacidades no ajuste fino de offline para online, alcançando resultados de última geração em 4 de 5 tarefas após 1 milhão de passos de interação online.

Significado e Alegações

O artigo alega que o FAN conecta com sucesso a lacuna entre expressividade e eficiência no RL offline. Ao fundamentar teoricamente as simplificações de "fluxo de um único passo" e "críticos distribucionais de amostra única", os autores demonstram que alto desempenho não requer necessariamente altos custos computacionais.

O significado do FAN reside em:

• Escalabilidade: Permitir o uso de modelos generativos expressivos (políticas de fluxo) e funções de valor distribucionais em ambientes com recursos limitados.
• Praticidade: Reduzir as operações de ponto flutuante (FLOPs) e o tempo de relógio exigidos tanto para treinamento quanto para inferência, facilitando a implantação de políticas capazes em hardware robótico.
• Solvência Teórica: Fornecer garantias de convergência para o operador condicionado a ruído proposto e provas de validade para a regularização de Ancoragem de Fluxo, garantindo que os ganhos de eficiência não venham à custa da estabilidade teórica.

Os autores concluem que o FAN abre caminhos para a aplicação de políticas de fluxo em configurações de RL online e para o aproveitamento de informações distribucionais para tarefas sensíveis a riscos ou baseadas em modelos, enquanto se concentra estritamente na eficiência algorítmica em vez de habilitar novas capacidades disruptivas.