Resumen Técnico: Gradientes de Política de Reintento en Espacios de Acción Continuos

Planteamiento del Problema

La exploración sigue siendo un desafío central en el aprendizaje por refuerzo (RL), particularmente en el control continuo. Los enfoques estándar suelen depender de políticas estocásticas combinadas con regularización de entropía explícita (por ejemplo, Soft Actor-Critic, SAC) o inyección de ruido. Aunque son efectivos, estos métodos introducen un bono de entropía auxiliar que sesga la política óptima hacia una mayor entropía, lo que puede impedir la convergencia hacia el verdadero óptimo determinista.

Recientemente, los objetivos basados en "reintentos" (por ejemplo, pass@K, max@K) han mostrado promesa en espacios de acción discretos y en el post-entrenamiento de Grandes Modelos de Lenguaje (LLM). Estos objetivos optimizan el máximo retorno obtenido de $M$ trayectorias muestreadas en lugar del retorno esperado. El trabajo previo (ReMax) demostró que, en espacios discretos, este objetivo fomenta naturalmente la exploración al adaptarse a la incertidumbre del retorno, incluso sin bonos de entropía explícitos. Sin embargo, las propiedades teóricas de ReMax en espacios de acción continuos permanecieron inexploradas, y los estimadores de gradiente existentes para espacios discretos no se extienden a dominios continuos.

Metodología

Marco Teórico

Los autores extienden el objetivo ReMax a espacios de acción continuos utilizando un estimador de derivada de trayectoria.

• Objetivo: Dado una función Q $Q(s, a)$ y un presupuesto de reintento $M$, el objetivo se define como:
  $$J^M(\pi, Q) := \mathbb{E}_{s \sim p_0} \left[ \mathbb{E}_{a_{1:M} \sim \pi(\cdot|s)} \left[ \max_{m=1:M} Q(s, a_m) \right] \right]$$
  A diferencia de los objetivos con regularización de entropía, esta formulación preserva la política óptima determinista ($\pi^*$) como el óptimo global, evitando el sesgo hacia la estocasticidad inherente a los bonos de entropía.

• Estimación del Gradiente: Dado que el cálculo exacto es infactible en espacios continuos, los autores emplean un estimador de gradiente de Reparametrización (RP). Las acciones se muestrean mediante $a_i = \mu + \sigma \epsilon_i$ (donde $\epsilon_i \sim \mathcal{N}(0, I)$). El objetivo se aproxima muestreando $B$ acciones, ordenando sus valores Q y computando una suma ponderada de los $M$ valores superiores. Esto permite la retropropagación a través de la red Q y los parámetros de la política.

Análisis Teórico de la Dinámica de Gradientes

El artículo proporciona un análisis detallado de cómo el gradiente de ReMax remodela el paisaje de optimización para una política gaussiana $\mathcal{N}(\mu, \sigma^2)$ con una recompensa cuadrática $r(a) = -a^2$. Se identifican dos mecanismos clave cuando $M > 1$:

1. Aumento de Entropía (Efecto Direccional): Cuando la media de la política está lejos del óptimo y la escala $\sigma$ es pequeña, la dirección del gradiente apunta naturalmente hacia el aumento de $\sigma$. Esto ocurre porque el operador "max" sobre $M$ muestras crea una fluctuación positiva esperada hacia arriba en la recompensa (o hacia abajo en el costo) que solo es accesible aumentando la escala de la política. Esto promueve la exploración estocástica sin un bono explícito.
2. Amortiguación del Gradiente (Efecto de Magnitud): A medida que la política se acerca al óptimo, la norma del gradiente disminuye. Seleccionar lo mejor de $M$ muestras reduce la desviación del óptimo, "perdonando" efectivamente las muestras subóptimas y ralentizando la convergencia. Este efecto de amortiguación ayuda a mantener una entropía más alta durante más tiempo durante el entrenamiento.

Los autores también analizan la interacción con el optimizador Adam. Muestran que la normalización adaptativa de Adam (específicamente el parámetro de estabilización $\epsilon$) puede contrarrestar el efecto de amortiguación del gradiente. Un $\epsilon$ pequeño (por defecto $10^{-8}$) normaliza los gradientes, lo que potencialmente acelera la convergencia y reduce el efecto de mantenimiento de la entropía, mientras que un $\epsilon$ mayor restaura el comportamiento de amortiguación.

Algoritmo: ReMAC

Los autores instancian estos hallazgos en ReMax Actor-Critic (ReMAC), un algoritmo actor-crítico off-policy.

• Crítico: Entrenado mediante regresión de diferencia temporal estándar con doble Q-learning recortado (usando dos críticos para reducir la sobreestimación).
• Actor: Optimizado utilizando la derivada de trayectoria del objetivo ReMax.
• Implementación: ReMAC se presenta como una modificación mínima de SAC, eliminando el bono de entropía del objetivo del crítico y del ajuste de temperatura, y reemplazando la pérdida del actor con la pérdida ReMax.

Resultados Clave

Hallazgos Teóricos

• Análisis de Campo de Vectores: Las visualizaciones del campo de vectores de gradiente para políticas gaussianas de 1D confirman que, para $M > 1$, los gradientes empujan la política hacia una mayor entropía cuando está lejos del óptimo, mientras que el RL estándar ($M=1$) siempre empuja hacia una menor entropía.
• Propiedades de Convergencia: ReMax converge al óptimo determinista ($\mu=0, \sigma=0$), mientras que la regularización de entropía converge a un óptimo estocástico ($\mu=0, \sigma>0$).
• Interacción con Adam: El análisis teórico y empírico de un problema de juguete demuestra que el efecto de amortiguación es sensible al parámetro $\epsilon$ de Adam.

Evaluación Empírica

Se realizaron experimentos en seis tareas de control continuo de la suite Brax (Ant, HalfCheetah, Hopper, Reacher, Swimmer, Walker2d) durante 3 millones de pasos.

• Desempeño: ReMAC con $M > 1$ logró un desempeño comparable al de SAC y generalmente superó a PPO. En varios entornos (Ant, Reacher, Swimmer, Walker2d), presupuestos de reintento más grandes ($M=4, 8$) produjeron retornos promedio más altos que $M=1$.
• Dinámica de Entropía: Consistente con las predicciones teóricas, ReMAC con $M > 1$ mantuvo una entropía de política más alta que $M=1$ (RL estándar) durante todo el entrenamiento. La entropía generalmente aumentó con $M$, particularmente en los entornos Ant y Swimmer.
• Comparación con SAC: Aunque ReMAC logró una mayor entropía que el RL estándar ($M=1$), su entropía se mantuvo inferior a la de SAC, lo cual es de esperar dado el objetivo de maximización de entropía explícito de SAC.

Significancia y Reivindicaciones

El artículo posiciona sus contribuciones de la siguiente manera:

1. Extensión Teórica: Es el primer trabajo que extiende ReMax a espacios de acción continuos y proporciona una explicación teórica rigurosa de sus propiedades de promoción de la exploración mediante derivadas de trayectoria.
2. Exploración Intrínseca: Demuestra que los objetivos basados en reintentos pueden inducir la exploración estocástica a través de la geometría del paisaje del gradiente (dirección y magnitud) en lugar de mediante bonos de entropía explícitos. Esto evita el sesgo de desplazar la política óptima lejos de la solución determinista.
3. Viabilidad Práctica: La introducción de ReMAC muestra que estas propiedades teóricas se traducen a entornos prácticos de deep RL, logrando un desempeño de nivel SAC con cambios arquitectónicos mínimos.
4. Perspectiva de Optimización: El trabajo destaca el papel crítico de los hiperparámetros del optimizador (específicamente el $\epsilon$ de Adam) en la modulación del compromiso entre exploración y explotación en los objetivos de reintento.

Los autores mantienen la modestia respecto al alcance, señalando que su análisis teórico asume suavidad y convexidad fuerte, lo cual puede no cumplirse en todos los entornos prácticos de deep RL. Presentan ReMAC como una prueba de concepto para la exploración estocástica y sugieren que trabajos futuros podrían integrar ReMax con el muestreo posterior sobre funciones Q para permitir una "exploración profunda" en entornos de recompensa dispersa.