ETGL-DDPG: A Deep Deterministic Policy Gradient Algorithm for Sparse Reward Continuous Control

1. Planteamiento del Problema

El algoritmo DDPG (Deep Deterministic Policy Gradient) es un método fundamental en el aprendizaje por refuerzo (RL) para control continuo. Sin embargo, su rendimiento se degrada significativamente en entornos con recompensas dispersas (sparse rewards), donde la señal de recompensa solo se recibe al alcanzar un estado objetivo específico, y no durante el trayecto.

Los autores identifican tres deficiencias críticas de DDPG en este contexto:

1. Falta de exploración direccional: Las estrategias estándar ($\epsilon$-greedy o ruido en la política) son ineficaces en espacios de estado grandes y dispersos porque carecen de abstracción temporal y no utilizan la experiencia previa para guiar la exploración hacia áreas no visitadas.
2. Tratamiento uniforme de las transiciones: El búfer de experiencia (replay buffer) estándar muestrea transiciones de manera uniforme. En entornos dispersos, esto significa que las transiciones recompensadas (exitosas) son extremadamente raras y se pierden entre miles de transiciones sin recompensa.
3. Propagación lenta de la información: En DDPG estándar, la recompensa solo se propaga hacia atrás un paso (TD de un paso). En episodios largos, el agente necesita alcanzar el objetivo muchas veces para que la recompensa llegue a los estados iniciales, lo que ralentiza el aprendizaje.

2. Metodología: ETGL-DDPG

Para abordar estos problemas, los autores proponen ETGL-DDPG, un algoritmo que integra tres componentes ortogonales diseñados para mejorar la exploración, el uso de datos y la propagación de recompensas.

A. $\epsilon_t$-greedy: Exploración con Búsqueda

Se introduce una variante temporal de la política $\epsilon$-greedy que incorpora un procedimiento de búsqueda ligero.

• Mecanismo: Con probabilidad $\epsilon$, el agente no elige una acción aleatoria, sino que ejecuta una búsqueda en árbol utilizando el búfer de experiencia como modelo de transición aproximado.
• Hash Sensible a la Localidad (LSH): Se utiliza una función de hash (SimHash) para discretizar el espacio de estados continuo y estimar la frecuencia de visitas a vecindarios de estados ($n(\phi(s))$).
• Generación de Opciones: El algoritmo construye un árbol de búsqueda desde el estado actual. Si encuentra un nodo en un área no visitada ($n=0$), devuelve la secuencia de acciones (opción) desde la raíz hasta ese nodo. Si no, selecciona el camino hacia el nodo menos visitado dentro del presupuesto de búsqueda $N$.
• Ventaja: Esto permite una exploración dirigida hacia áreas desconocidas, evitando obstáculos y regiones saturadas, superando la exploración ciega de $\epsilon$-greedy o $\epsilon_z$-greedy.

B. GDRB: Búfer de Rejuego Dual Condicionado al Objetivo (Goal-conditioned Dual Replay Buffer)

Se propone una arquitectura de búfer de doble memoria para diferenciar entre experiencias exitosas y fallidas.

• Búfer $D_\beta$ (Explotación/General): Almacena todas las transiciones del entrenamiento. Utiliza muestreo por reservorio (reservoir sampling) para mantener la cobertura de datos antiguos.
• Búfer $D_e$ (Éxito): Almacena exclusivamente transiciones de episodios exitosos (donde se alcanzó el objetivo). Utiliza política FIFO (First-In-First-Out).
• Estrategia de Muestreo Adaptativa: La proporción de muestreo entre ambos búferes cambia dinámicamente a lo largo del entrenamiento. Al inicio, se muestrea más de $D_\beta$ para explorar; a medida que el agente aprende, se aumenta la proporción de $D_e$ para aprovechar las trayectorias exitosas.

C. Retorno de $n$-pasos más Largo (Longest n-step Return)

Se reemplaza la actualización de un solo paso (TD) por un retorno de $n$-pasos que abarca todo el episodio.

• Episodios Exitosos: La recompensa final se propaga instantáneamente a todas las transiciones del episodio mediante un retorno de Monte Carlo (la suma descontada de todas las recompensas hasta el final).
• Episodios Fallidos: Se utiliza el valor Q del último estado alcanzado para reducir el sesgo de sobreestimación, actuando como un bootstrap.
• Beneficio: Acelera drásticamente la propagación de la señal de recompensa desde el objetivo hasta los estados iniciales, eliminando la necesidad de repetir el éxito muchas veces para aprender.

3. Contribuciones Clave

1. $\epsilon_t$-greedy: Un nuevo mecanismo de exploración basado en búsqueda en árbol que utiliza datos históricos para generar opciones dirigidas. Los autores demuestran teóricamente que este método tiene complejidad de muestra polinómica bajo suposiciones de MDP, garantizando su eficiencia (PAC-MDP).
2. GDRB: Un marco de búfer dual que separa explícitamente el aprendizaje de la exploración general y la explotación de trayectorias exitosas, mejorando la eficiencia del muestreo en tareas de objetivo.
3. Integración y Validación: La combinación de estas tres técnicas en DDPG (ETGL-DDPG) demuestra un rendimiento superior a los métodos de vanguardia en múltiples entornos.

4. Resultados Experimentales

Los autores evaluaron ETGL-DDPG en seis entornos continuos de control (3 de navegación 2D/3D y 3 de manipulación robótica) con recompensas dispersas.

• Rendimiento General: ETGL-DDPG superó consistentemente a DDPG, TD3, SAC y al estado del arte DOIE (Deep Optimistic Initialization for Exploration) en todos los entornos probados.
• Cobertura del Entorno: En el entorno "Wall-maze" (laberinto con paredes), ETGL-DDPG logró una cobertura del 80% del espacio, mientras que DOIE alcanzó solo el 60% y otras estrategias menos del 30%. Esto demuestra la superioridad de la exploración dirigida.
• Estudio de Ablación:
  • $\epsilon_t$-greedy fue el componente individual más impactante, siendo el único capaz de hacer que DDPG funcionara en el entorno más difícil (Wall-maze).
  • GDRB mejoró el rendimiento en la mayoría de los entornos.
  • El retorno de $n$-pasos más largo ayudó en tareas específicas (U-maze, press-button) pero mostró variabilidad en otras debido a la varianza de las actualizaciones multi-paso.
• Costo Computacional: El algoritmo requiere aproximadamente 1.5 veces más tiempo de entrenamiento que DDPG estándar, principalmente debido a la búsqueda local en cada paso de $\epsilon_t$-greedy.

5. Significado y Conclusiones

El trabajo de ETGL-DDPG es significativo porque aborda de manera integral los tres cuellos de botella principales del aprendizaje por refuerzo en entornos de recompensa dispersa:

1. Exploración Inteligente: Demuestra que la exploración no necesita ser aleatoria; puede ser guiada por la estructura del espacio de estados y la experiencia previa sin modificar la función de recompensa (evitando el reward shaping manual).
2. Eficiencia de Datos: La separación de experiencias exitosas y la propagación rápida de recompensas permiten aprender políticas óptimas con menos interacciones con el entorno.
3. Teoría y Práctica: Proporciona una justificación teórica (complejidad de muestra polinómica) para una estrategia de exploración práctica, cerrando la brecha entre la teoría de MDPs y la aplicación en control continuo profundo.

Limitaciones y Trabajo Futuro:
El método actual utiliza hash estático para estimar visitas, lo cual puede ser subóptimo para problemas basados en imágenes (como navegación real). Los autores sugieren el uso de técnicas de hash dinámico (como flujos normalizantes) para futuras extensiones. Además, los componentes están diseñados para dominios deterministas y requerirían adaptación para entornos estocásticos.