Resumo Técnico: Upper-Expectile Multi-Step Q-Learning para Aprendizado por Reforço Off-Policy

Declaração do Problema

O aprendizado de valor off-policy em aprendizado por reforço (RL) visa aprender políticas melhoradas a partir de experiências registradas coletadas por políticas anteriores ou operadores humanos. Embora os retornos multi-passo (n-step TD) acelerem a propagação de recompensas ao encurtar a cadeia de bootstrap efetiva, eles introduzem um desafio significativo em configurações off-policy: o viés pessimista.

No n-step TD padrão, o alvo para um par estado-ação $(s_t, a_t)$ incorpora as recompensas das ações subsequentes registradas $a_{t+1:t+n-1}$, que são geradas por uma política de comportamento $\pi_\beta$ em vez da política alvo que está sendo aprendida. Isso acopla a avaliação da decisão inicial às continuações subótimas que a seguem. Em dados offline heterogêneos, isso induz um viés pessimista sistemático que cresce com o horizonte $n$, podendo degradar o desempenho em horizontes longos.

Remédios existentes enfrentam limitações:

• Variantes de Importance Sampling (IS) (ex: Retrace, V-trace): Requerem verossimilhanças de ação, que muitas vezes não estão disponíveis ou são dispendiosas de calcular para políticas generativas expressivas (ex: modelos de difusão ou flow-matching).
• Long-Horizon Q-learning (LQL): Utiliza desigualdades de otimalidade ao nível de trajetória para restringir as estimativas de valor. Embora eficaz, requer a avaliação dos críticos em múltiplas posições dentro de uma trajetória e a construção de restrições de pares, aumentando o overhead computacional.

Os autores perguntam: É possível manter a rápida propagação de backups de n-passos enquanto se reduz o viés off-policy, utilizando apenas as duas avaliações de crítico realizadas por uma atualização n-step padrão?

Metodologia: Expectile n-step Q-learning (ENQ)

O artigo propõe o Expectile n-step Q-learning (ENQ), uma modificação do n-step TD padrão que substitui a perda de erro temporal diferencial (TD) quadrática simétrica por uma perda de expectile assimétrica.

Mecanismo Central

Em vez de minimizar o erro quadrático do resíduo TD, o ENQ minimiza a perda de expectile assimétrica $\ell_\tau$ sobre o erro de valor de ação:
$$\ell_\tau(u) \triangleq |\tau - \mathbb{I}(u < 0)| u^2$$
onde $\tau \in (0, 1)$ é o nível do expectile.

• Construção do Alvo: Para um segmento de comprimento $n$, o alvo $Y_{t,n}$ é construído como a soma do retorno parcial $G_{t:t+n}$ e o valor de bootstrap em $s_{t+n}$:
  $$Y_{t,n} = G_{t:t+n} + \gamma^n \bar{Q}^\rho_\theta(s_{t+n}, a^*(s_{t+n}))$$
  onde $\bar{Q}^\rho_\theta$ é uma média de ensemble conservadora dos críticos de alvo.
• Função de Perda: O crítico $Q_\theta$ é treinado para ajustar o $\tau$-expectile da distribuição desses alvos n-step condicionada em $(s_t, a_t)$.
  $$L_{ENQ}(\theta) = \mathbb{E}_D \left[ v_t \cdot \frac{1}{K} \sum_{i=1}^K \ell_\tau(\delta_i) \right]$$
  onde $\delta_i = \text{sg}[Y_{t,n}] - Q_{\theta,i}(s_t, a_t)$.

Escolhas de Design Chave

1. Ponderação Assimétrica: Para $\tau > 0.5$, resíduos positivos (subestimação) recebem peso $\tau$, enquanto resíduos negativos (superestimação) recebem peso $1-\tau$. Isso força o crítico a rastrear a cauda superior da distribuição do alvo n-step registrado, ignorando efetivamente continuações ruins causadas por ações de comportamento subótimas, enquanto retém o sinal de recompensa multi-passo.
2. Overhead Mínimo: Ao contrário do LQL, o ENQ avalia o crítico apenas no par inicial $(s_t, a_t)$ e no estado de bootstrap final $s_{t+n}$. Não requer avaliações intermediárias, verossimilhanças de ação ou penalidades de pares ao nível de trajetória.
3. Hiperparâmetros: O método introduz apenas um hiperparâmetro específico do método, o nível do expectile $\tau$, além do horizonte de backup padrão $n$.

Contribuições Teóricas

O artigo fornece uma análise teórica rigorosa do operador ENQ $T^n_\tau$:

1. Propriedade de Contração: O operador ENQ é provado como uma $\gamma^n$-contração para qualquer $\tau \in (0, 1]$, garantindo a existência de um ponto fixo único e limitado $Q^n_\tau$ alcançável por iteração.
2. Análise de Dinâmica Determinística:
   • Decomposição de Viés: Sob dinâmica determinística, o pessimismo do n-step TD padrão (em $\tau=0.5$) é exatamente decomposto em uma soma de gaps de subotimalidade descontados das ações registradas intervenientes.
   • Otimalidade em $\tau=1$: Em $\tau=1$, o viés do operador desaparece em pares cobertos pelo suporte (onde a política de comportamento coloca probabilidade positiva em continuações ótimas). O ponto fixo $Q^n_1$ satisfaz a desigualdade de limite inferior usada pelo LQL em separações $n, 2n, \dots$ por construção.
   • Monotonicidade: O ponto fixo $Q^n_\tau$ é não-decrescente em relação a $\tau$ e é limitado superiormente pela função de valor ótima $Q^*$.
3. Análise de Dinâmica Estocástica:
   • O viés do operador admite limites de dois lados com constantes de ruído independentes do horizonte. O viés é limitado inferiormente pelo drift comportamental (pessimismo) e superiormente por um termo dependente da variância dos retornos e do nível do expectile $\tau$.
   • Um limiar "seguro" $\tau_{safe}$ é derivado para garantir que o viés do operador permaneça não-positivo (pessimista) sob dinâmica estocástica.

Resultados Experimentais

Os autores avaliaram o ENQ em 27 instâncias de tarefas do OGBench e RoboMimic, cobrindo domínios de manipulação e navegação.

Configuração

• Baselines: Comparado contra 1-step TD, n-step TD padrão e Long-Horizon Q-learning (LQL).
• Configuração: Utilizou um $\tau$ fixo de $0.8$e$n=4$ em todas as tarefas sem ajuste específico da tarefa.
• Extração de Política: Avaliado com Flow Q-Learning (FQL) e variantes de chunking de ação.

Principais Descobertas

1. Desempenho: O ENQ alcançou a maior taxa média agregada de sucesso em 4 de 5 comparações contra o LQL. Ganhos notáveis foram observados em domínios complexos como cube-triple, humanoid-md e antmaze-giant.
2. Throughput: Em um estudo de profiling controlado com horizontes e tamanhos de lote correspondentes, o ENQ demonstrou um throughput de treinamento de 1.27x a 1.77x maior que o LQL. Isso é atribuído ao fato de o ENQ exigir menos avaliações de crítico por atualização (apenas estados inicial e final vs. múltiplos pontos em uma trajetória).
3. Escalabilidade de Ensemble: Em um experimento de escalonamento aumentando o tamanho do ensemble do crítico de $K=2$ para $K=10$, o ENQ beneficiou-se mais significativamente do que o LQL, atingindo uma taxa de sucesso de 78.0% contra 59.1% do LQL em cube-triple.
4. Ablações:
   • Nível do Expectile: Upper expectiles ($\tau > 0.5$) geralmente superaram a baseline simétrica ($\tau=0.5$). O $\tau$ ótimo tendeu a aumentar com o horizonte $n$.
   • Posicionamento: Aplicar diretamente a perda de expectile ao erro de valor-ação (ENQ) superou substancialmente uma baseline estilo n-step IQL que roteava a assimetria através de uma função de valor de estado auxiliar.
   • Robustez: Sob alto ruído estocástico ($\sigma=0.25$), o ENQ manteve desempenho superior (59.0% de sucesso) comparado ao LQL (5.4%) e n-step TD padrão (48.4%).

Significância e Alegações

O artigo afirma que o ENQ oferece uma alternativa simples, flexível e computacionalmente eficiente para métodos off-policy multi-step existentes. Sua significância reside em:

• Redução do Pessimismo sem Verossimilhanças: Ele mitiga o viés induzido por ações registradas subótimas sem requerer verossimilhanças de ação ou pesos de importância, tornando-o compatível com classes de políticas generativas modernas.
• Eficiência Computacional: Ao evitar restrições ao nível de trajetória e avaliações de crítico intermediárias, ele alcança um throughput de treinamento superior a métodos baseados em restrições como o LQL.
• Fundamentação Teórica: Fornece um elo teórico claro entre o nível do expectile $\tau$ e a redução do viés pessimista, mostrando que o ponto fixo $\tau=1$ satisfaz desigualdades de otimalidade semelhantes às impostas pelo LQL, mas através de um operador mais simples.

Os autores concluem que o ENQ é um substituto competitivo e de fácil integração (drop-in replacement) para o n-step TD simétrico, equilibrando efetivamente a velocidade de propagação de recompensa com a redução de viés em aprendizado por reforço off-policy.