Resumo Técnico: Aprendizado Q de Longo Horizonte (LQL)

Declaração do Problema

O aprendizado por reforço (RL) baseado em valor e off-policy, particularmente o Q-learning, é teoricamente atraente porque pode aprender a partir de experiências arbitrárias, incluindo dados coletados por políticas mais antigas ou outros agentes. No entanto, na prática, o aprendizado de longo horizonte via bootstrapping é frágil. Erros de estimativa em estados posteriores propagam-se para trás através de atualizações de diferença temporal (TD), acumulando-se ao longo do tempo e desestabilizando o aprendizado.

Uma estratégia comum de mitigação envolve alvos de múltiplos passos (por exemplo, retornos de $n$ passos ou retornos $\lambda$), que reduzem a dependência do bootstrapping de um único passo ao incorporar recompensas observadas ao longo de um horizonte mais longo. No entanto, em configurações off-policy, os alvos de $n$ passos introduzem uma nova tensão: eles assumem implicitamente que o agente continuará seguindo a política de comportamento (que gerou a trajetória registrada) pelos próximos $n$ passos. Se as ações registradas forem subótimas, a atualização resultante pode ser pessimista ou enviesada, falhando em capturar o potencial da política em melhoria que está sendo aprendida. Esse viés off-policy frequentemente faz com que o desempenho do TD de $n$ passos degrade à medida que $n$ aumenta, particularmente em tarefas com recompensas esparsas e horizontes longos.

Metodologia: Aprendizado Q de Longo Horizonte (LQL)

Os autores propõem o Aprendizado Q de Longo Horizonte (LQL), um método projetado para fornecer um "respaldo" principiado contra erros de TD acumulados sem introduzir o viés off-policy inerente aos alvos de $n$ passos padrão.

Insight Central: Desigualdades de Optimalidade

O LQL baseia-se em uma propriedade fundamental das funções de valor ótimas: qualquer sequência realizada de ações fornece um limite inferior para o que a política ótima pode alcançar em expectativa a partir do mesmo estado inicial. Especificamente, agir de forma ótima imediatamente não deve ser pior (em retorno esperado) do que comprometer-se com uma sequência arbitrária de ações observadas por um período e, em seguida, comportar-se de forma ótima daí em diante.

Os autores formalizam isso como desigualdades de optimalidade sobre trajetórias. Para um segmento de trajetória do estado $s_i$ ao estado $s_j$ (onde $j > i$):

1. Limite Inferior: O valor da ação observada em $s_i$ deve ser pelo menos a soma das recompensas observadas de $i$ a $j$ mais o valor descontado da ação ótima em $s_j$.
2. Limite Superior: O valor da ação ótima em um estado anterior $s_i$ deve ser pelo menos a soma das recompensas observadas de $i$ a $j$ mais o valor descontado da ação observada em $s_j$.

Implementação Algorítmica

O LQL aumenta a perda padrão de TD de 1 passo com penalidades de dobradiça assimétricas derivadas dessas desigualdades.

• Penalidades de Limite Inferior (LB): Se a estimativa atual $Q_\theta(s_k, a_k)$ for menor que o retorno realizado do segmento de trajetória $G_{k:\ell}$ mais o valor bootstrapado em um estado futuro $s_\ell$, uma penalidade é aplicada para empurrar $Q_\theta(s_k, a_k)$ para cima.
• Penalidades de Limite Superior (UB): Se combinar a estimativa atual $Q_\theta(s_k, a_k)$ com recompensas precedentes implicar um retorno maior do que o que poderia ser alcançado agindo de forma ótima em um estado anterior $s_i$, uma penalidade é aplicada para empurrar $Q_\theta(s_k, a_k)$ para baixo.

Característica de Eficiência Chave: Crucialmente, o LQL calcula essas penalidades usando apenas as saídas da rede já geradas durante uma atualização TD padrão (ou seja, $Q_\theta(s, a)$ e os valores da rede alvo $Q_{\bar{\theta}}(s, a^*)$). Não requer redes auxiliares e nenhum passo forward adicional em relação ao Q-learning padrão. O método amostra trajetórias do buffer de replay e agrega essas perdas de dobradiça ao longo da trajetória.

Contribuições Principais

1. Respaldo Principiado: O LQL introduz um mecanismo para detectar e corrigir inconsistências de valor entre estados temporalmente distantes, abordando diretamente o problema de erro acumulativo no aprendizado off-policy.
2. Eficiência Computacional: Ao contrário de métodos anteriores que dependem de desigualdades de optimalidade (por exemplo, Apertamento de Optimalidade), o LQL evita a sobrecarga computacional de passos forward adicionais ou redes auxiliares, reutilizando as saídas existentes da rede TD.
3. Escalabilidade com o Comprimento da Trajetória: O método trata o comprimento da trajetória como um eixo de escalabilidade. Diferente da escalabilidade de tamanho de lote em TD, que pode levar ao sobreajuste e degradação de desempenho, aumentar o comprimento da trajetória no LQL melhora consistentemente o desempenho.
4. Compatibilidade: O LQL é agnóstico ao mecanismo de extração de política e pode ser combinado com várias arquiteturas de ator (Gaussiana, baseada em Fluxo, Agrupamento de Ações).

Resultados Experimentais

Os autores avaliaram o LQL em uma variedade de benchmarks online e de offline para online, incluindo OGBench (navegação e manipulação robótica com horizontes longos) e RoboMimic (manipulação humanoides).

• Desempenho vs. Baselines: Em quatro famílias diferentes de extração de política (Melhor-de-N, Q-Learning baseado em Fluxo, Gaussiana e Agrupamento de Ações), o LQL superou consistentemente tanto o TD de 1 passo quanto o TD de $n$ passos com comprimento correspondido.
• Sucesso em Longo Horizonte: Na tarefa mais desafiadora, humanoidmaze-giant (recompensas esparsas, milhares de passos), o TD de 1 passo falhou em resolver qualquer tarefa (0% de sucesso). O TD de $n$ passos padrão mostrou melhoria parcial, mas degradou significativamente à medida que $n$ aumentava além de 4. Em contraste, o LQL com um comprimento de trajetória de $L=64$ alcançou uma taxa de sucesso média de 75,7%, resolvendo duas tarefas com sucesso quase perfeito (>97%).
• Estabilidade: O LQL demonstrou estabilidade superior na estimativa de valor. Enquanto o TD de 1 passo frequentemente sofria de superestimação "descontrolada" (valores Q divergindo para magnitudes extremas), o LQL manteve os valores Q dentro de faixas analiticamente válidas, prevenindo a divergência.
• Robustez: O LQL manteve o desempenho em ambientes estocásticos onde vieses teóricos de desigualdades em expectativa poderiam ser esperados para causar problemas.
• Sobrecarga: O método incorreu em um custo de tempo de execução negligenciável (desaceleração média de 4,7% por atualização) em comparação com o TD padrão.

Significado e Alegações

O artigo afirma que o LQL oferece uma solução prática para o "triângulo mortal" do aprendizado off-policy, bootstrapping e aproximação de função, fornecendo uma verificação de consistência de longo horizonte que não herda o viés off-policy dos alvos de múltiplos passos.

Os autores destacam duas implicações mais amplas:

1. Absorção de Informação: O LQL fornece um caminho para absorver informações de trajetórias muito longas sem o viés off-policy que limita os alvos de $n$ passos.
2. Eixo de Escala: O comprimento da trajetória emerge como um eixo de escalabilidade viável para RL baseado em valor profundo que evita a degradação patológica observada ao escalar tamanhos de lote no aprendizado TD padrão.

O trabalho é modesto quanto às limitações teóricas, reconhecendo que as desigualdades de optimalidade são declarações em expectativa, o que introduz um viés teórico em ambientes estocásticos quando aproximado via amostras únicas. No entanto, os resultados empíricos e limites teóricos sugerem que esse viés é limitado e não prejudica materialmente o desempenho na prática.