Resumen Técnico: Endpoint Replay: Comprimiendo el Buffer de Recencia en el Aprendizaje por Refuerzo Profundo

Planteamiento del Problema

Los algoritmos de Aprendizaje por Refuerzo Profundo (DRL), particularmente los métodos off-policy como DQN, SAC y DreamerV3, dependen fuertemente de grandes buffers de experiencia (típicamente 1 millón de transiciones) para descorrelacionar las muestras, retener datos para una exploración difícil y propagar recompensas dispersas. Aunque son efectivos, estos grandes buffers incurren en costos de almacenamiento y sobrecarga computacional significativos.

Los intentos previos para reducir el tamaño del buffer se han centrado en:

1. RL Continual: Comprimir buffers para rastrear tareas no estacionarias, a menudo sacrificando la retención a largo plazo.
2. Métodos Generativos/Streaming: Eliminar los buffers por completo o utilizar modelos generativos, lo que puede introducir sesgo de simulación o inestabilidad.
3. Construcción de Coresets: Seleccionar transiciones representativas (por ejemplo, mediante muestreo de reservorio) para resumir un gran buffer.

El problema central abordado por este artículo es si un gran buffer de recencia puede comprimirse en un orden de magnitud (10x a 50x) manteniendo los beneficios de rendimiento del buffer grande original. Los autores identifican un modo de falla crítico, previamente no reconocido en los enfoques de coreset existentes: objetivos de bootstrap no anclados (unanchored bootstrap targets). Cuando un coreset consiste en transiciones aisladas y no contiguas, los objetivos de bootstrap (los pares estado-acción siguientes) a menudo no existen dentro del propio coreset. En consecuencia, las estimaciones de valor para estos objetivos nunca se actualizan mediante las transiciones en el buffer, lo que conduce a objetivos inexactos y no anclados que corrompen la función de valor.

Metodología: Endpoint Replay

Los autores proponen Endpoint Replay, un método que comprime la experiencia manteniendo un pequeño buffer de recencia y un buffer de coreset construido a partir de transiciones encadenadas de $n$-pasos.

1. Transiciones de $n$-pasos encadenadas (Anclaje)

En lugar de almacenar transiciones aisladas $(s_t, a_t, r_{t+1}, s_{t+1}, a_{t+1})$, Endpoint Replay construye un coreset de transiciones "saltarinas". A medida que los datos envejecen y salen de un pequeño buffer de recencia ($D_r$), se agregan en secuencias de $n$-pasos.

• Mecanismo: Un "buffer de retardo" (lag buffer) acumula $n$ transiciones del buffer de recencia. Una vez lleno (o tras la terminación), calcula el retorno de $n$-pasos $G_{t,n} = \sum_{i=0}^{n-1} \gamma^i r_{t+i+1}$ y almacena una única transición: $(s_t, a_t, G_{t,n}, \gamma^n, s_{t+n}, a_{t+n})$.
• Anclaje: Crucialmente, el punto final $(s_{t+n}, a_{t+n})$ de una transición sirve como punto de partida para la siguiente transición en el coreset. Esto asegura que cada objetivo de bootstrap esté "anclado": existe como un estado inicial en otra transición dentro del coreset y, por lo tanto, es actualizado durante el entrenamiento. Esto elimina el problema de los objetivos no anclados encontrado en el muestreo de coreset ingenuo.

2. Actualización de Expectile Sarsa

El uso de objetivos de $n$-pasos introduce un nuevo desafío: el sesgo pesimista. En entornos off-policy, los retornos de $n$-pasos se calculan a partir de trayectorias generadas por políticas más antiguas y potencialmente subóptimas. Las actualizaciones estándar de $n$-pasos usando el valor de acción máxima ($\max_a Q$) pueden ser excesivamente optimistas o sesgadas, mientras que las actualizaciones estándar de Sarsa (usando la acción realmente tomada $a_{t+n}$) pueden ser pesimistas si la política antigua fue subóptima.

Para mitigar esto, los autores introducen la Expectile Sarsa de $n$-pasos:

• Función de Pérdida: Reemplazan la pérdida de error cuadrático estándar con una pérdida de expectil (expectile loss) con parámetro $\tau \in (0, 1)$.
• Mecanismo: La pérdida de expectil $u$ equilibra las desviaciones descendentes esperadas (ponderadas por $1-\tau$) y las desviaciones ascendentes (ponderadas por $\tau$). Al establecer $\tau > 0.5$ (por ejemplo, $\tau=0.7$), la actualización se enfoca en los retornos más altos, maximizando efectivamente sobre la secuencia de acciones tomadas en el conjunto de datos sin consultar acciones fuera de la distribución.
• Sarsa vs. Q-Learning: La actualización utiliza la acción realmente tomada en el punto final ($a_{t+n}$) en lugar de $\max_a Q(s_{t+n}, a)$, asegurando que la acción también esté "anclada" dentro de la distribución del conjunto de datos.

3. Arquitectura del Algoritmo

El sistema utiliza una arquitectura de dos buffers:

• Buffer de Recencia ($D_r$): Almacena las $j$ transiciones más recientes (por ejemplo, 10k). Se actualiza con actualizaciones estándar de Double DQN (DDQN).
• Buffer de Coreset ($D_c$): Almacena las transiciones encadenadas de $n$-pasos comprimidas (por ejemplo, 90k). Se actualiza con la pérdida de Expectile Sarsa de $n$-pasos.
• Muestreo: Se extraen mini-batches con una alta proporción del buffer de recencia (por ejemplo, una relación de 7:1 de $D_r$ a $D_c$) para priorizar el aprendizaje de datos frescos mientras se usa el coreset para la regularización y la propagación de valores.

Contribuciones Clave

1. Algoritmo Endpoint Replay: Un método de compresión de buffer que empareja un pequeño buffer de recencia con un coreset de transiciones de $n$-pasos encadenadas, actualizado mediante Expectile Sarsa. Logra un rendimiento comparable al de los buffers grandes con 10x a 50x menos almacenamiento.
2. Identificación de Objetivos No Anclados: El artículo identifica y demuestra formalmente que las transiciones de coreset aisladas conducen a objetivos de bootstrap no anclados, causando la corrupción de la función de valor. Prueba que encadenar transiciones de $n$-pasos resuelve esto al asegurar que todos los estados de bootstrap sean actualizados.
3. Análisis Teórico de $n$-step Expectile Sarsa:
   • Formaliza los valores de acción de $n$-pasos de expectil y demuestra que el operador de Bellman asociado es una contracción, garantizando la convergencia para $n \ge 1$.
   • Prueba que la iteración de política converge a una política óptima bajo dinámica determinista.
   • Establece una relación ordenada entre los valores de expectil de $n$-pasos, mostrando que los horizontes más largos producen estimaciones más conservadoras.

Resultados Experimentales

Los autores evaluaron Endpoint Replay en el entorno Pinball y en 12 juegos de Atari 2600.

• Pinball: Endpoint Replay con un buffer 50x más pequeño (10k total vs. 500k estándar) igualó el rendimiento de un gran buffer de recencia (1M) y superó significativamente a los buffers pequeños de igual tamaño, a los coresets de muestreo de reservorio y a MeDQN.
• Atari 2600:
  • Compresión de 10x (100k buffer): Endpoint Replay superó a los buffers pequeños de igual tamaño y a los coresets de reservorio, igualando o superando ligeramente el rendimiento de la línea base de 1M de buffer.
  • Compresión de 50x (20k buffer): Endpoint Replay superó a todas las líneas base de buffer pequeño (1-paso y 10-pasos) e igualó el rendimiento del buffer grande en 5 de los 12 juegos.
• Estudios de Ablación:
  • Anclaje: Eliminar el encadenamiento (estados no anclados) o el anclaje de la acción (usando DDQN en lugar de Sarsa) degradó significativamente el rendimiento.
  • Pérdida de Expectil: Reemplazar la pérdida de expectil con el error cuadrático estándar (eliminando la corrección de sesgo) resultó en un menor rendimiento, confirmando la necesidad de la actualización de expectil para los objetivos de $n$-pasos.

Significado y Reivindicaciones

El artículo afirma que Endpoint Replay aborda con éxito el compromiso entre la eficiencia de almacenamiento y el rendimiento de aprendizaje en el DRL off-policy. Al identificar el problema de los "objetivos de bootstrap no anclados", los autores demuestran que la selección simple de coreset es insuficiente para el DRL. Su solución —anclar los puntos finales mediante cadenas de $n$-pasos y corregir el sesgo mediante pérdidas de expectil— permite a los agentes retener los beneficios de los buffers grandes (asignación de crédito de largo horizonte y exploración) con una fracción de la huella de memoria.

Los autores señalan que, aunque el método es robusto ante la baja estocasticidad, la garantía teórica de convergencia a la política óptima se mantiene estrictamente bajo dinámicas deterministas, ya que la pérdida de expectil puede perseguir la estocasticidad del entorno en lugar de las secuencias de acciones. El trabajo sugiere un camino hacia un DRL más eficiente en recursos sin sacrificar la estabilidad y la eficiencia de muestra proporcionadas por los grandes buffers de experiencia.