Resumen Técnico: Ensemble Elastic DQN (EEDQN)

Planteamiento del Problema

Las Redes Q Profundas (DQN) y otros algoritmos de aprendizaje por refuerzo basados en el valor sufren frecuentemente de sesgo de sobreestimación. Esto ocurre porque los objetivos de bootstrap utilizan una operación de maximización sobre estimaciones de valor ruidosas, lo que permite que los errores positivos sean seleccionados y propagados a través de actualizaciones subsecuentes. Esta inflación de los valores Q puede confundir la selección de acciones, fomentar que los agentes revisiten regiones de estado-acción sobreestimadas y contribuir a la convergencia hacia políticas subóptimas.

Si bien los métodos basados en conjuntos (por ejemplo, Averaged DQN, MaxMin DQN) y los métodos de múltiples pasos (por ejemplo, Rainbow, Elastic Step DQN) han mostrado de forma independiente una promesa para mejorar la estabilidad y la eficiencia de muestreo, su interacción permanece poco explorada. Combinar estos enfoques no es trivial; mientras que la agregación de conjuntos puede reducir la sobreestimación, aplicar una agregación conservadora de manera uniforme en todos los objetivos conlleva el riesgo de introducir un sesgo de subestimación. Además, los métodos de paso elástico adaptativo existentes, como Elastic Step DQN, dependen de pruebas de similitud basadas en agrupamiento (clustering) computacionalmente costosas, lo que limita su escalabilidad.

Metodología

El artículo propone Ensemble Elastic DQN (EEDQN), un algoritmo basado en el valor que integra retornos elásticos multi-paso adaptativos con una agregación de conjuntos dependiente del horizonte.

1. Mecanismo de Paso Elástico Escalable

EEDQN modifica el original Elastic Step DQN para eliminar la sobrecarga computacional del agrupamiento. En lugar de utilizar el agrupamiento de representaciones para determinar la similitud de los estados, EEDQN emplea una regla ligera de diferencia de valores Q:

• Mantiene un conjunto de $N$ redes de objetivo $\{\hat{Q}_i\}$.
• Calcula el vector de objetivo de la media del conjunto $\bar{Q}^-(s, \cdot)$.
• Calcula la diferencia $L_1$ ($z$) entre los vectores de valor medio del estado inicial ($s_0$) y el estado siguiente actual ($s'$).
• Se deriva un umbral adaptativo ($h$) a partir de un búfer histórico de valores $z$ recientes ($h = \text{media}(B) + \text{desviación\_estándar}(B)/\sqrt{|B|}$).
• Si $z > h$, se considera que la trayectoria ha entrado en una nueva región de valor, lo que activa el almacenamiento del retorno acumulado y reinicia la acumulación. De lo contrario, las recompensas continúan acumulándose.

2. Agregación de Conjuntos Dependiente del Horizonte

Una innovación central de EEDQN es el uso de diferentes reglas de agregación basadas en la longitud del retorno acumulado (horizonte $k$):

• Objetivos de un solo paso ($k=1$): El valor de bootstrap se calcula utilizando la media del conjunto. Esto evita que los objetivos se vuelvan excesivamente conservadores, lo que podría dificultar el aprendizaje en regiones donde el bootstrapping es necesario.
• Retornos elásticos de múltiples pasos ($k > 1$): El valor de bootstrap se calcula utilizando el mínimo del conjunto. Dado que los retornos más largos ya acumulan información de recompensa significativa antes del término de bootstrap, el uso del mínimo reduce la extrapolación optimista extrema sin dominar el valor total del objetivo.

El valor objetivo $y$ se define como:
$$y = \begin{cases} R(k) & \text{si es terminal} \\ R(1) + \gamma G_{\text{mean}}(s', a^*) & \text{si } k=1 \\ R(k) + \gamma^k G_{\text{min}}(s', a^*) & \text{si } k>1 \end{cases}$$
donde $a^*$ es la acción codiciosa (greedy) seleccionada basada en la media del conjunto.

Principales Contribuciones

1. Propuesta de Algoritmo: Introducción de EEDQN, que combina retornos multi-paso elásticos adaptativos con agregación de objetivos basada en conjuntos.
2. Mejora de la Escalabilidad: Reemplazo de la prueba de similitud basada en agrupamiento de Elastic Step DQN por una regla de diferencia de valores Q ligera, haciendo que la construcción de retornos adaptativos sea más aplicable a entornos de control discretos.
3. Agregación Dependiente del Horizonte: Propuesta de una regla donde los objetivos de un solo paso utilizan la media del conjunto mientras que los retornos elásticos más largos utilizan el mínimo del conjunto, con el objetivo de equilibrar la reducción del sesgo optimista con la preservación de la eficiencia de muestreo.
4. Evaluación Empírica: Evaluación exhaustiva contra DQN, Double DQN, Averaged DQN, MaxMin DQN y Elastic Step DQN a través de cinco entornos MinAtar.
5. Análisis de Ablación: Investigación de varias reglas de agregación (media, mínimo, intercambiadas y combinaciones convexas) para analizar la interacción entre el conservadurismo del conjunto y la longitud del retorno adaptativo.

Resultados Experimentales

EEDQN fue evaluado en cinco entornos MinAtar (Seaquest, SpaceInvaders, Asterix, Breakout, Freeway) utilizando 10 semillas aleatorias coincidentes.

• Rendimiento: EEDQN logró el retorno final más alto en cuatro de los cinco entornos (SpaceInvaders, Asterix, Breakout, Freeway). En Seaquest, MaxMin DQN fue el mejor, con EEDQN ocupando el segundo lugar.
• Control de la Inflación de Valor: Una métrica diagnóstica que compara los valores Q máximos observados frente al límite superior del retorno descontado teórico mostró que EEDQN y MaxMin DQN permanecieron por debajo del umbral de inflación en todos los entornos. En contraste, DQN, DDQN, Averaged DQN y Elastic Step DQN excedieron este límite en al menos un entorno.
• Hallazgos de Ablación: Ninguna regla de agregación única dominó en todos los entornos.
  • EEDQN (Media para $k=1$, Mínimo para $k>1$) funcionó mejor en Asterix, Breakout y Freeway.
  • MinEEDQN (Mínimo para todo) funcionó mejor en Seaquest, un entorno con graves problemas de sobreestimación.
  • ConvexEEDQN2 (mezcla 50/50) funcionó mejor en SpaceInvaders.
  • Esto sugiere que el grado óptimo de conservadurismo depende del entorno.

Significancia y Reivindicaciones

El artículo afirma que EEDQN demuestra con éxito que los retornos multi-paso adaptativos y la agregación de conjuntos son mecanismos complementarios para reducir el sesgo de sobreestimación. Sin embargo, los resultados también indican que una estrategia de agregación de "talla única" es subóptima; el grado de conservadurismo óptimo depende de las características específicas del entorno.

Los autores posicionan a EEDQN como un enfoque ligero basado en el valor que estudia cómo las reglas de agregación deben adaptarse al horizonte de retroceso (backup). Expresan explícitamente que la contribución no radica meramente en el uso de conjuntos o retornos multi-paso de forma aislada, sino en el estudio de una regla dependiente del horizonte que cambia el operador de agregación basándose en la longitud del retorno adaptativo. El artículo concluye que, si bien EEDQN mejora sobre las líneas base estándar, es necesario realizar trabajos futuros para investigar reglas de agregación adaptativas que ajusten el intercambio entre media y mínimo de forma online y para evaluar el método en benchmarks más grandes como el entorno completo de aprendizaje de Atari.