Resumo Técnico: Ensemble Elastic DQN (EEDQN)

Declaração do Problema

As Redes Q Profundas (DQN) e outros algoritmos de aprendizado por reforço baseados em valor frequentemente sofrem de viés de superestimação. Isso ocorre porque os alvos de bootstrap utilizam uma operação de maximização sobre estimativas de valor ruidosas, permitindo que erros positivos sejam selecionados e propagados através de atualizações subsequentes. Essa inflação dos valores Q pode induzir o agente a selecionar ações erradas, encorajá-lo a revisitar regiões de estado-ação superestimadas e contribuir para a convergência para políticas subótimas.

Embora métodos baseados em ensemble (ex: Averaged DQN, MaxMin DQN) e métodos multi-passo (ex: Rainbow, Elastic Step DQN) tenham demonstrado, de forma independente, promessa em melhorar a estabilidade e a eficiência de amostragem, sua interação permanece pouco explorada. Combinar essas abordagens não é trivial; embora a agregação de ensemble possa reduzir a superestimação, aplicar uma agregação conservadora uniformemente em todos os alvos corre o risco de introduzir um viés de subestimação. Além disso, métodos multi-passo adaptativos existentes, como o Elastic Step DQN, dependem de testes de similaridade baseados em agrupamento (clustering) computacionalmente caros, o que limita sua escalabilidade.

Metodologia

O artigo propõe o Ensemble Elastic DQN (EEDQN), um algoritmo baseado em valor que integra retornos multi-passo elásticos adaptativos com agregação de ensemble dependente de horizonte.

1. Mecanismo de Passo Elástico Escalável

O EEDQN modifica o original Elastic Step DQN para eliminar o overhead computacional do clustering. Em vez de usar o agrupamento de representação para determinar a similaridade de estado, o EEDQN emprega uma regra leve de diferença de valores Q:

• Ele mantém um ensemble de $N$ redes alvo $\{\hat{Q}_i\}$.
• Ele calcula o vetor alvo de média do ensemble $\bar{Q}^-(s, \cdot)$.
• Ele calcula a diferença $L_1$ ($z$) entre os vetores de média alvo do estado inicial ($s_0$) e do estado seguinte atual ($s'$).
• Um limiar adaptativo ($h$) é derivado de um buffer histórico de valores $z$ recentes ($h = \text{média}(B) + \text{desvio\_padrão}(B)/\sqrt{|B|}$).
• Se $z > h$, a trajetória é considerada como tendo entrado em uma nova região de valor, disparando o armazenamento do retorno acumulado e resetando a acumulação. Caso contrário, as recompensas continuam a se acumular.

2. Agregação de Ensemble Dependente de Horizonte

Uma inovação central do EEDQN é o uso de diferentes regras de agregação baseadas no comprimento do retorno acumulado (horizonte $k$):

• Alvos de um passo ($k=1$): O valor de bootstrap é calculado usando a média do ensemble. Isso evita que os alvos se tornem excessivamente conservadores, o que poderia dificultar o aprendizado em regiões onde o bootstrapping é necessário.
• Retornos elásticos multi-passo ($k > 1$): O valor de bootstrap é calculado usando o mínimo do ensemble. Como os retornos mais longos já acumulam informação significativa de recompensa antes do termo de bootstrap, o uso do mínimo reduz a extrapolação otimista extrema sem dominar o valor total do alvo.

O valor do alvo $y$ é definido como:
$$y = \begin{cases} R(k) & \text{se terminal} \\ R(1) + \gamma G_{\text{mean}}(s', a^*) & \text{se } k=1 \\ R(k) + \gamma^k G_{\text{min}}(s', a^*) & \text{se } k>1 \end{cases}$$
onde $a^*$ é a ação gulosa selecionada com base na média do ensemble.

Principais Contribuições

1. Proposta de Algoritmo: Introdução do EEDQN, que combina retornos multi-passo elásticos adaptativos com agregação de alvo baseada em ensemble.
2. Melhoria de Escalabilidade: Substituição do teste de similaridade baseado em clustering do Elastic Step DQN por uma regra de diferença de valor Q leve, tornando a construção de retorno adaptativo mais aplicável a configurações de controle discretas.
3. Agregação Dependente de Horizonte: Proposta de uma regra onde alvos de um passo usam a média do ensemble enquanto retornos elásticos mais longos usam o mínimo do ensemble, visando equilibrar a redução do viés otimista com a preservação da eficiência de amostragem.
4. Avaliação Empírica: Avaliação abrangente contra DQN, Double DQN, Averaged DQN, MaxMin DQN e Elastic Step DQN em cinco ambientes MinAtar.
5. Análise de Ablação: Investigação de várias regras de agregação (média, mínimo, troca e combinações convexas) para analisar a interação entre o conservadorismo do ensemble e o comprimento do retorno adaptativo.

Resultados Experimentais

O EEDQN foi avaliado em cinco ambientes MinAtar (Seaquest, SpaceInvaders, Asterix, Breakout, Freeway) usando 10 sementes aleatórias correspondentes.

• Desempenho: O EEDQN alcançou o maior retorno final em quatro dos cinco ambientes (SpaceInvaders, Asterix, Breakout, Freeway). Em Seaquest, o MaxMin DQN teve o melhor desempenho, com o EEDQN ocupando o segundo lugar.
• Controle de Inflação de Valor: Uma métrica diagnóstica comparando os valores Q máximos observados contra o limite superior do retorno descontado teórico mostrou que o EEDQN e o MaxMin DQN permaneceram abaixo do limiar de inflação em todos os ambientes. Em contraste, DQN, DDQN, Averaged DQN e Elastic Step DQN excederam esse limite em pelo menos um ambiente.
• Achados de Ablação: Nenhuma regra de agregação única dominou em todos os ambientes.
  • O EEDQN (Média para $k=1$, Mínimo para $k>1$) teve o melhor desempenho em Asterix, Breakout e Freeway.
  • O MinEEDQN (Mínimo para todos) teve o melhor desempenho em Seaquest, um ambiente com problemas severos de superestimação.
  • O ConvexEEDQN2 (mistura 50/50) teve o melhor desempenho em SpaceInvaders.
  • Isso sugere que o grau ideal de conservadorismo é dependente do ambiente.

Significância e Alegações

O artigo afirma que o EEDQN demonstra com sucesso que os retornos multi-passo adaptativos e a agregação de ensemble são mecanismos complementares para reduzir o viés de superestimação. No entanto, os resultados também indicam que uma estratégia de agregação "tamanho único" é suboptimal; o melhor grau de conservadorismo depende das características específicas do ambiente.

Os autores posicionam o EEDQN como uma abordagem de valor leve que estuda como as regras de agregação devem se adaptar ao horizonte de backup. Eles afirmam explicitamente que a contribuição não reside meramente no uso de ensembles ou retornos multi-passo isoladamente, mas no estudo de uma regra dependente de horizonte que altera o operador de agregação com base no comprimento do retorno adaptativo. O artigo conclui que, embora o EEDQN melhore em relação aos baselines padrão, é necessário trabalho futuro para investigar regras de agregação adaptativas que ajustem o trade-off média-mínimo online e para avaliar o método em benchmarks maiores, como o full Atari Learning Environment.