Resumen Técnico: Emergencia de la Exploración en el Aprendizaje por Refuerzo de Gradiente de Política mediante el Reintento

1. Planteamiento del Problema

En el Aprendizaje por Refuerzo (RL), la exploración suele impulsarse mediante la adición de bonificaciones explícitas (por ejemplo, entropía, curiosidad o bonificaciones basadas en conteos) a la señal de recompensa o mediante el empleo de métodos de muestreo posterior. Los autores postulan un mecanismo distinto: la exploración debe emerger naturalmente de la necesidad del agente de maximizar las recompensas bajo incertidumbre a través del reintento.

La intuición central es que en entornos donde un agente puede reintentar acciones o encontrar estados similares, una política codiciosa (greedy) es subóptima si ignora el potencial de obtener mayores retornos en intentos posteriores. Sin la oportunidad de reintentar, la elección racional es la acción que actualmente se cree que produce la mayor recompensa. Sin embargo, bajo incertidumbre, una política que se protege contra la incertidumbre explorando acciones alternativas puede lograr un máximo esperado de retorno más alto a lo largo de múltiples ensayos. Los métodos existentes suelen requerir modelos auxiliares complejos para estimar la incertidumbre o construir bonificaciones; este artículo se pregunta si la exploración puede inducirse puramente mediante la optimización de un objetivo basado en recompensas que formalice el valor del reintento.

2. Metodología

2.1 El Objetivo ReMax

Los autores proponen ReMax (Retry Maximum), un objetivo que evalúa una política $\pi$ mediante el máximo esperado de $M$ muestras independientes (ensayos), en lugar del retorno esperado de un solo ensayo.

En un entorno de bandidos con valores de acción $\mu$ y una distribución sobre estos valores $\Pi$ (que representa la incertidumbre epistémica), el objetivo ReMax se define como:
$$J^M_{\text{ReMax}}(\pi) := \mathbb{E}_{\mu \sim \Pi} \left[ \mathbb{E}_{A^{[M]} \sim \pi} \left[ \max_{m \in [M]} \mu_{A_m} \mid \mu \right] \right]$$
donde $A^{[M]}$ representa $M$ extracciones independientes de la política $\pi$.

• Mecanismo: Al maximizar el máximo esperado de $M$ extracciones, el objetivo incentiva a la política a asignar masa de probabilidad a acciones que podrían producir altas recompensas, incluso si no son actualmente la media máxima estimada. Esto induce estocasticidad (exploración) como una propiedad emergente para protegerse contra la incertidumbre.
• Caso Determinista: Incluso con recompensas fijas, ReMax reconfigura la geometría del objetivo. Aumentar el parámetro de reintento $M$ aplana el gradiente cerca del óptimo, ralentizando la convergencia y manteniendo la exploración, mientras que un $M$ más pequeño acelera las actualizaciones.

2.2 Extensión al RL (MDPs)

Extender ReMax a Procesos de Decisión de Markov (MDP) presenta desafíos:

1. Unidad de Incertidumbre: La incertidumbre en RL abarca todo el entorno (recompensas y transiciones).
2. Viabilidad de los Reintentos: Reestablecer físicamente el entorno para reintentar múltiples acciones desde el mismo estado suele ser inviable.

Para abordar esto, los autores definen el objetivo ReMax utilizando una función Q $Q^\pi_M(s, a)$, que representa el retorno episódico esperado. El objetivo se formula como el máximo esperado sobre $M$ extracciones de valores Q en un estado $s$:
$$J^M_{\text{ReMax}}(\pi, s, Q) := \mathbb{E}_{Q \sim \mathcal{Q}} \left[ \mathbb{E}_{A^{[M]} \sim \pi} \left[ \max_{m \in [M]} Q(s, A_m) \right] \right]$$
Aquí, la distribución $\mathcal{Q}$ captura la incertidumbre sobre los valores Q (ya sea mediante modelado explícito como ensambles o implícitamente a través de la no estacionariedad de los críticos profundos).

2.3 Formulación del Gradiente de Política

Para optimizar ReMax de manera eficiente, los autores derivan un nuevo estimador de gradiente de política (PG) que es computable a partir de retornos de trayectorias únicas.

• Fallo del Enfoque Naïve: Una aplicación directa del teorema del gradiente de política requiere observar los retornos para todas las $M$ acciones muestreadas simultáneamente, lo cual es inviable en RL episódico.
• Reformulación de Mejora Esperada (EI): Los autores introducen una línea base basada en la "Mejora Esperada" (tomada de la optimización bayesiana). Ellos descomponen el operador de máximo en un término específico de la acción y una línea base que representa el máximo de las otras $M-1$ extracciones ($W_{-m}$).
• Solución de Forma Cerrada: Mediante el ordenamiento de los valores Q, derivan una expresión de forma cerrada para el término de mejora esperada. Esto permite estimar el gradiente utilizando un retorno de trayectoria única $R(s, a)$ y las estimaciones actuales de Q.
• Parámetro Continuo $m$: El recuento de reintentos entero $M$ se generaliza a un parámetro real continuo $m > 0$. Esto permite un control fino del compromiso entre exploración y explotación. El término $(1 - C_j)^{M-1}$ en la solución de forma cerrada se reemplaza por $(1 - C_j)^{m-1}$.

2.4 Algoritmo RePPO

Los autores instancian ReMax dentro del marco de la Optimización de Política Próxima (PPO), creando ReMax PPO (RePPO).

• Arquitectura: Un método actor-crítico on-policy que utiliza un crítico Q.
• Objetivo Sustituto: RePPO modifica el sustituto estándar de PPO reemplazando la ventaja estándar por una ventaja basada en EI.
  $$A^+(t) = R^+(t) - b^+(s_t)$$
  donde $R^+(t) = \text{EIm}(R^\lambda_t, \pi_\theta, Q_\phi(s_t, \cdot))$ y $b^+$ es el valor esperado de los valores Q transformados por EI.
• Estrategia de Reemplazo de Q: Para evitar que el crítico sobreestime la mejora de la acción muestreada (debido a la subestimación del valor Q), los autores reemplazan el valor Q de la acción muestreada con el retorno real de la trayectoria al calcular el término de EI. Esto asegura que la "mejora" se mida contra el retorno real, no contra una estimación potencialmente sesgada.

3. Contribuciones Clave

1. Objetivo ReMax: Un nuevo objetivo de RL que induce la exploración mediante la maximización del máximo esperado de retorno bajo incertidumbre (reintento) sin bonificaciones de exploración explícitas.
2. Derivación Teórica: Una nueva formulación de gradiente de política para ReMax que es estimable a partir de retornos de trayectorias únicas, utilizando una expresión de forma cerrada para el máximo esperado sobre $M$ extracciones.
3. Control Continuo: La generalización del recuento de reintentos discreto $M$ a un parámetro continuo $m$, permitiendo el ajuste preciso de la tasa de exploración.
4. Algoritmo RePPO: Un algoritmo de RL profundo práctico (RePPO) que implementa ReMax dentro de un marco PPO, demostrando que la exploración puede emerger del propio objetivo de la función.

4. Resultados Experimentales

4.1 Experimentos de Bandidos

• Estocasticidad: En un bandido de dos brazos, ReMax induce políticas estocásticas para $M \ge 2$, mientras que el RL estándar ($M=1$) produce políticas deterministas.
• Adaptabilidad: ReMax adapta la exploración a la magnitud de la incertidumbre de la recompensa. A medida que la varianza aumenta, la política óptima de ReMax incrementa la exploración para capturar resultados de alta recompensa poco frecuentes, a diferencia de la softmax con regularización de entropía que permanece fija según la media.
• Regret (Arrepentimiento): En entornos de bandidos con distribución posterior (Beta-Bernoulli y Gaussiano-Gaussiano), ReMax exhibe empíricamente un regret acumulado sublineal, comparable a Thompson Sampling y UCB, y superior a la línea base de Softmax.

4.2 Benchmarks de MinAtar

Evaluado en cuatro juegos (Breakout, Asterix, Freeway, Space Invaders):

• Rendimiento: RePPO (con $m \in [1.2, 1.4]$) superó a las variantes estándar de PPO (PPO-V, PPO-Q) y a PPO con bonificaciones de entropía o de RND (Random Network Distillation).
• Exploración: RePPO mantuvo una entropía de política más alta durante el entrenamiento en comparación con PPO con un bono de entropía explícito, a pesar de no tener tal bono.
• Sensibilidad de Parámetros: El rendimiento alcanzó su punto máximo alrededor de $m=1.2$ a $1.4$. Un $m$ mayor ralentizó la caída de la entropía (manteniendo la exploración), mientras que un $m$ menor llevó a una convergencia más rápida pero con un rendimiento inferior.
• Ablación: Eliminar la línea base independiente de la acción o la estrategia de reemplazo de Q degradó significamente el rendimiento, confirmando su necesidad.

4.3 Benchmark de Craftax

Evaluado en Craftax, un entorno de RL a gran escala y de horizonte abierto:

• Rendimiento: RePPO ($m=1.2$) logró un rendimiento competitivo (11.87% de la recompensa máxima) comparado con las variantes de PPO con bonos de entropía y RND (11.66% y 11.68%), y superó a PPO sin bonos.
• Escalabilidad: RePPO mantuvo una entropía más alta sin bonos explícitos, demostrando que el mecanismo escala a tareas complejas de largo horizonte.

5. Significado y Afirmaciones

El artículo afirma que ReMax ofrece una alternativa prometedora a los métodos de exploración tradicionales al:

• Eliminar la necesidad de bonos explícitos: La exploración emerge naturalmente del objetivo de maximizar el máximo esperado de retorno sobre los reintentos.
• Simplificar el diseño de algoritmos: Evita la sobrecarga computacional y la complejidad de diseñar bonos de curiosidad o mantener modelos posteriores explícitos (aunque puede utilizarlos para la estimación de la incertidumbre).
• Proporcionar control de grano fino: El parámetro continuo $m$ permite el ajuste preciso del compromiso entre exploración y explotación.

Los autores señen que, aunque sus experimentos de RL profundo demostraron principalmente exploración estocástica (incremento de la entropía de la política), el marco teórico respalda la exploración profunda (recolección de información temporalmente coherente) si se combina con un modelado de incertidumbre explícito (por ejemplo, ensambles). Posicionan a ReMax como un principio general aplicable a dominios donde el reintento es valioso, incluyendo tareas de razonamiento con Modelos de Lenguaje de Gran Escala (LLMs), trazando paralelismos con los objetivos pass@K en ese campo.

El trabajo es modesto en sus afirmaciones teóricas, señalando que los límites formales de regret para el entorno de RL profundo se dejan para trabajos futuros, y que los resultados actuales son demostraciones empíricas de efectividad.