Resumo Técnico: Endpoint Replay: Comprimindo o Buffer de Recência em Aprendizado por Reforço Profundo

Declaração do Problema

Algoritmos de Aprendizado por Reforço Profundo (DRL), particularmente métodos off-policy como DQN, SAC e DreamerV3, dependem fortemente de grandes buffers de replay de experiência (tipicamente 1 milhão de transições) para descorrelacionar amostras, reter dados para exploração difícil e propagar recompensas esparsas. Embora eficazes, esses grandes buffers incorrem em custos significativos de armazenamento e overhead computacional.

Tentativas anteriores de reduzir o tamanho do buffer focaram em:

1. RL Contínuo: Comprimir buffers para rastrear tarefas não estacionárias, muitas vezes sacrificando a retenção de longo prazo.
2. Métodos Generativos/Streaming: Eliminar buffers inteiramente ou usar modelos generativos, o que pode introduzir viés de simulação ou instabilidade.
3. Construção de Coreset: Selecionar transições representativas (por exemplo, via amostragem de reservatório) para resumir um grande buffer.

O problema central abordado por este artigo é se um grande buffer de recência pode ser comprimido em uma ordem de magnitude (10x a 50x) mantendo os benefícios de desempenho do buffer grande original. Os autores identificam um modo de falha crítico, anteriormente não reconhecido, nas abordagens de coreset existentes: alvos de bootstrap não ancorados. Quando um coreset consiste em transições isoladas e não contíguas, os alvos de bootstrap (os pares próximo estado-ação) frequentemente não existem dentro do próprio coreset. Consequentemente, as estimativas de valor para esses alvos nunca são atualizadas por transições no buffer, levando a alvos imprecisos e não ancorados que corrompem a função de valor.

Metodologia: Endpoint Replay

Os autores propõem o Endpoint Replay, um método que comprime a experiência mantendo um pequeno buffer de recência e um buffer de coreset maior construído a partir de transições $n$-step "encadeadas".

1. Transições $n$-Step Encadeadas (Ancoragem)

Em vez de armazenar transições isoladas $(s_t, a_t, r_{t+1}, s_{t+1}, a_{t+1})$, o Endpoint Replay constrói um coreset de transições "saltitantes". À medida que os dados saem de um pequeno buffer de recência ($D_r$), eles são agregados em sequências $n$-step.

• Mecanismo: Um "buffer de atraso" acumula $n$ transições do buffer de recência. Uma vez cheio (ou após terminação), ele computa o retorno $n$-step $G_{t,n} = \sum_{i=0}^{n-1} \gamma^i r_{t+i+1}$ e armazena uma única transição: $(s_t, a_t, G_{t,n}, \gamma^n, s_{t+n}, a_{t+n})$.
• Ancoragem: Crucialmente, o endpoint $(s_{t+n}, a_{t+n})$ de uma transição serve como o ponto de partida para a próxima transição no coreset. Isso garante que todo alvo de bootstrap seja "ancorado" — ele existe como um estado inicial em outra transição dentro do coreset e é, portanto, atualizado durante o treinamento. Isso elimina o problema do alvo não ancorado encontrado em amostragem de coreset ingênua.

2. Atualização Expectile Sarsa

O uso de alvos $n$-step introduz um novo desafio: viés pessimista. Em configurações off-policy, retornos $n$-step são computados de trajetórias geradas por políticas mais antigas, potencialmente subótimas. Atualizações $n$-step padrão usando o valor de ação máxima ($\max_a Q$) podem ser excessivamente otimistas ou enviesadas, enquanto atualizações Sarsa padrão (usando a ação realmente tomada $a_{t+n}$) podem ser pessimistas se a política antiga foi subótima.

Para mitigar isso, os autores introduzem o $n$-step Expectile Sarsa:

• Função de Perda: Eles substituem a perda de erro quadrático padrão por uma perda de expectile com parâmetro $\tau \in (0, 1)$.
• Mecanismo: A perda de expectile $u$ equilibra desvios descendentes esperados (ponderados por $1-\tau$) e desvios ascendentes (ponderados por $\tau$). Ao definir $\tau > 0.5$ (ex: $\tau=0.7$), a atualização foca em retornos mais altos, efetivamente maximizando sobre a sequência de ações tomadas no dataset sem consultar ações fora da distribuição.
• Sarsa vs. Q-Learning: A atualização usa a ação realmente tomada no endpoint ($a_{t+n}$) em vez de $\max_a Q(s_{t+n}, a)$, garantindo que a ação também esteja "ancorada" dentro da distribuição do dataset.

3. Arquitetura do Algoritmo

O sistema utiliza uma arquitetura de dois buffers:

• Buffer de Recência ($D_r$): Armazena as $j$ transições mais recentes (ex: 10k). Atualizado com atualizações Double DQN (DDQN) padrão.
• Buffer de Coreset ($D_c$): Armazena as transições $n$-step comprimidas (ex: 90k). Atualizado com a perda $n$-step Expectile Sarsa.
• Amostragem: Mini-batches são amostrados com uma alta proporção do buffer de recência (ex: proporção de 7:1 de $D_r$ para $D_c$) para priorizar o aprendizado de dados frescos enquanto usa o coreset para regularização e propagação de valor.

Principais Contribuições

1. Algoritmo Endpoint Replay: Um método de compressão de buffer que combina um pequeno buffer de recência com um coreset de transições $n$-step encadeadas, atualizado via Expectile Sarsa. Ele alcança desempenho comparável a grandes buffers com 10x a 50x menos armazenamento.
2. Identificação de Alvos de Bootstrap Não Ancorados: O artigo identifica e demonstra formalmente que transições de coreset isoladas levam a alvos de bootstrap não ancorados, causando a corrupção da função de valor. Eles provam que o encadeamento de transições $n$-step resolve isso ao garantir que todos os estados de bootstrap sejam atualizados.
3. Análise Teórica de $n$-step Expectile Sarsa:
   • Formaliza valores de ação de expectile $n$-step e prova que o operador Bellman associado é uma contração, garantindo convergência para $n \ge 1$.
   • Prova que a iteração de política converge para uma política ótima sob dinâmicas determinísticas.
   • Estabelece uma relação ordenada entre valores de expectile $n$-step, mostrando que horizontes mais longos produzem estimativas mais conservadoras.

Resultados Experimentais

Os autores avaliaram o Endpoint Replay no ambiente Pinball e em 12 jogos de Atari 2600.

• Pinball: O Endpoint Replay com um buffer 50x menor (10k total vs. 500k padrão) igualou o desempenho de um grande buffer de recência (1M) e superou significativamente buffers pequenos de tamanho igual, coresets de amostragem de reservatório e MeDQN.
• Atari 2600:
  • Compressão de 10x (buffer de 100k): O Endpoint Replay superou buffers de tamanho igual e coresets de reservatório, igualando ou superando ligeiramente o desempenho de um baseline padrão de 1M.
  • Compressão de 50x (buffer de 20k): O Endpoint Replay superou todos os baselines de buffer pequeno (1-step e 10-step) e igualou o desempenho de buffer grande em 5 de 12 jogos.
• Estudos de Ablação:
  • Ancoragem: Remover o encadeamento (estados não ancorados) ou a ancoragem de ação (usando DDQN em vez de Sarsa) degradou significativamente o desempenho.
  • Perda de Expectile: Substituir a perda de expectile pela perda de erro quadrático padrão (removendo a correção de viés) resultou em menor desempenho, confirmando a necessidade da atualização de expectile para alvos $n$-step.

Significância e Alegações

O artigo afirma que o Endpoint Replay aborda com sucesso o compromisso entre eficiência de armazenamento e desempenho de aprendizado em DRL off-policy. Ao identificar o problema do "alvo de bootstrap não ancorado", os autores demonstram que a simples seleção de coreset é insuficiente para DRL. Sua solução — ancorar endpoints via cadeias $n$-step e corrigir o viés via perdas de expectile — permite que agentes retenham os benefícios de grandes buffers (atribuição de crédito de longo horizonte e exploração) com uma fração da pegada de memória.

Os autores observam que, embora o método seja robusto a baixa estocasticidade, a garantia teórica de convergência para a política ótima mantém-se estritamente sob dinâmicas determinísticas, pois a perda de expectile pode perseguir a estocasticidade do ambiente em vez de sequências de ações. O trabalho sugere um caminho para um DRL mais eficiente em recursos sem sacrificar a estabilidade e a eficiência de amostra fornecidas por grandes buffers de replay.