EEPO: Exploration-Enhanced Policy Optimization via Sample-Then-Forget

1. El Problema: Colapso de Entropía en RLVR

El artículo aborda un desafío central en el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) para Modelos de Lenguaje Grandes (LLMs): el equilibrio entre exploración y explotación.

• Contexto: Métodos actuales como GRPO (Group Relative Policy Optimization), utilizados en modelos de razonamiento avanzados (ej. DeepSeek-R1, o1), tienden a sobre-enfatizar la explotación de trayectorias con alta recompensa.
• Fenómeno observado: Esto conduce a un colapso de entropía. A medida que la entropía de la política disminuye rápidamente, el modelo se vuelve determinista, concentrando su probabilidad en un único "modo dominante" de razonamiento.
• Consecuencias:
  • Sobreajuste: El modelo se ajusta excesivamente a la distribución de entrenamiento, perdiendo capacidad de generalización en datos fuera de distribución (OOD).
  • Bucle de realimentación: El modelo muestrea repetidamente el mismo modo dominante, recibe retroalimentación positiva, y amplifica aún más esa probabilidad, suprimiendo alternativas. Esto atrapa al modelo en óptimos locales.
  • Fallo de las soluciones actuales: Técnicas como aumentar la temperatura de muestreo o la regularización de entropía simplemente aplanan la distribución de manera uniforme, pero no logran desplazar la masa de probabilidad de los modos dominantes, ni romper el bucle de realimentación.

2. Metodología: EEPO (Optimización de Políticas Mejorada con Exploración)

Los autores proponen EEPO, un marco que introduce un mecanismo de "Muestrear y Olvidar" (Sample-Then-Forget) durante el proceso de rollout (generación de trayectorias) para forzar la exploración de regiones no dominantes.

Mecanismo Principal: Rollouts en Dos Etapas

A diferencia de GRPO, que muestrea todas las trayectorias de un modelo fijo, EEPO divide el proceso en dos etapas separadas por un paso de olvido temporal:

1. Etapa 1 (Muestreo): El modelo de rollout ($\pi_{rollout}$) genera la mitad de las trayectorias ($G/2$).
2. Paso de Olvido (Unlearning): El modelo de rollout se actualiza mediante un paso de gradiente ligero para "olvidar" (suprimir) las respuestas recién muestreadas.
3. Etapa 2 (Muestreo): El modelo actualizado genera la segunda mitad de las trayectorias restantes.
4. Optimización: Se calculan las recompensas y ventajas para las $G$ trayectorias completas y se actualiza la política principal ($\pi_\theta$) usando el objetivo estándar de GRPO.

Diseño Adaptativo del Olvido

Para que el olvido sea efectivo y no dañe el entrenamiento, se implementan tres diseños clave:

• Activación Condicionada a la Entropía: El olvido solo se activa cuando la entropía de la política cae por debajo de un umbral ($\alpha$). Esto evita interrumpir la exploración cuando el modelo ya está diversificando naturalmente.
• Pérdida de Olvido Complementaria: En lugar de maximizar la verosimilitud negativa estándar (que castiga más a las predicciones de baja probabilidad), EEPO utiliza una pérdida complementaria: $L_{comp} = -\log(1 - p_{clip})$. Esto castiga fuertemente a los tokens de alta probabilidad (los modos dominantes) y débilmente a los de baja probabilidad, forzando al modelo a alejarse de las respuestas más comunes.
• Actualización de Un Solo Paso y Temporal: El olvido se aplica solo al modelo de rollout (sincronizado con la política al inicio de la iteración) mediante un solo paso de gradiente. Esto desacopla el olvido de la optimización de la política principal, asegurando que el efecto sea temporal y confinado a la fase de muestreo de la iteración actual.

3. Contribuciones Clave

1. Mecanismo de Interrupción Activa: EEPO rompe el bucle de realimentación de modos dominantes interviniendo directamente en el proceso de rollout, en lugar de solo modificar la función de objetivo.
2. Exploración Estratégica vs. Indiscriminada: Transforma la estocasticidad indiscriminada (ruido) en una exploración estratégica que busca activamente trayectorias alternativas que el modelo evitaría naturalmente.
3. Eficiencia Computacional: Al realizar el olvido solo en el modelo de rollout y con un solo paso, el método no añade una sobrecarga computacional significativa en comparación con GRPO estándar.

4. Resultados Experimentales

El método se evaluó en cinco benchmarks de razonamiento matemático (Minerva Math, OlympiadBench, AMC 2023, AIME 2024, AIME 2025) utilizando tres modelos LLM distintos: Qwen2.5-3B, Llama3.2-3B-Instruct y Qwen3-8B-Base.

• Rendimiento Superior: EEPO superó consistentemente a GRPO y a otras variantes de exploración (temperatura aumentada, regularización de entropía, DAPO, más rollouts).
  • Mejora relativa promedio en Qwen2.5-3B: +24.3%.
  • Mejora relativa promedio en Llama3.2-3B-Instruct: +33.0%.
  • Mejora relativa promedio en Qwen3-8B-Base: +10.4%.
• Generalización: EEPO mostró una mejora significativa en benchmarks OOD (como AMC 2023), donde GRPO y otros métodos tendían a estancarse o degradarse debido al sobreajuste.
• Mantenimiento de la Entropía: Las curvas de entrenamiento muestran que EEPO mantiene una entropía mucho más alta durante todo el entrenamiento, evitando el colapso prematuro.
• Eficiencia: El tiempo de entrenamiento de EEPO es comparable al de GRPO estándar, mientras que métodos basados en alta temperatura o más rollouts incrementaron significativamente el tiempo de cómputo (hasta un 30% más lento o más costoso).

5. Significado e Impacto

El trabajo de EEPO es significativo porque ofrece una solución práctica y escalable al dilema exploración-explotación en el RLVR, un campo crucial para el desarrollo de modelos de razonamiento avanzado.

• Cambio de Paradigma: Demuestra que la exploración efectiva no requiere necesariamente funciones de objetivo más complejas o ruido aleatorio, sino intervenciones dinámicas en el proceso de generación de datos.
• Robustez: Al prevenir el colapso de entropía, EEPO permite a los modelos descubrir patrones de razonamiento más diversos y generalizables, lo cual es esencial para tareas complejas donde la solución óptima puede no ser la más obvia o frecuente.
• Aplicabilidad: Al ser agnóstico al modelo y eficiente, EEPO se presenta como un componente viable para mejorar el entrenamiento de futuros sistemas de IA generativa orientados al razonamiento lógico y matemático.

En resumen, EEPO introduce un mecanismo de "olvido temporal" que fuerza al modelo a salir de sus zonas de confort (modos dominantes) durante la generación de datos, logrando así una exploración más profunda y un rendimiento superior en tareas de razonamiento complejo.