Resumen Técnico: Volver a lo Básico: Revisitando la Exploración en el Aprendizaje por Refuerzo para el Razonamiento de LLM mediante Probabilidades Generativas

1. Planteamiento del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) se ha convertido en un paradigma dominante para mejorar el razonamiento en los Modelos de Lenguaje Grande (LLM), particularmente para generar trayectorias largas de Cadena de Pensamiento (CoT). Sin embargo, los métodos estándar de optimización de políticas, como la Optimización de Política Relativa de Grupo (GRPO), sufren de colapso de entropía y colapso de modo.

El problema central radica en el objetivo de maximización de la verosimilitud ponderada por la recompensa. Durante la optimización, este objetivo amplifica desproporcionadamente la masa de probabilidad de las trayectorias de alta recompensa (correctas). En consecuencia, el modelo converge hacia políticas de baja entropía que suprimen cadenas de razonamiento alternativas válidas, lo que conduce a una severa falta de diversidad en la salida. Aunque las soluciones existentes, como la regularización de la entropía o el recorte dinámico (clipping), intentan mitigar esto, a menudo permanecen limitadas a modificaciones locales dentro del marco de maximización de la recompensa y no logran mejorar fundamentalmente el modelado de diversos caminos de razonamiento.

2. Metodología: ProGRPO

Los autores proponen ProGRPO (GRPO basado en Probabilidades), un nuevo paradigma que reexamina la construcción de la función de Ventaja desde la perspectiva de las probabilidades generativas. La innovación central es un Mecanismo de Reponderación de la Ventaja (ARM) diseñado para equilibrar los niveles de confianza en todas las respuestas correctas.

2.1. Mecanismo de Reponderación de la Ventaja (ARM)

En lugar de modificar la señal de recompensa directamente (lo que podría distorsionar las actualizaciones si todas las respuestas en un grupo son correctas o incorrectas), ProGRPO ajusta la Ventaja ($\tilde{A}_i$) incorporando señales internas del modelo:

• Confianza del Prompt ($c_\theta(q_i)$): La confianza del modelo en el prompt de entrada, calculada como el exponencial de la media del log-probabilidad de los tokens de baja probabilidad en el prompt.
• Confianza de la Respuesta ($c_\theta(o_i | q_i)$): La confianza del modelo en generar una respuesta específica $o_i$ para un prompt $q_i$, calculada de manera similar sobre los tokens de baja probabilidad en la respuesta.

La ventaja reponderada se define como:
$$\tilde{A}_i = A_i + \alpha (c_\theta(q_i) - c_\theta(o_i | q_i))$$
donde $A_i$ es la ventaja estándar de GRPO y $\alpha$ es un coeficiente de ponderación. Este mecanismo reconfigura dinámicamente la señal de recompensa: atenúa las actualizaciones de gradiente para los caminos de razonamiento excesivamente confiados y redistribuye la masa de probabilidad hacia las soluciones correctas menos exploradas.

2.2. Normalización de Longitud de Tokens de Baja Probabilidad

Los autores observan que aplicar la normalización de longitud sobre una secuencia completa diluye la señal de recompensa con tokens de alta confianza "triviales". La incertidumbre predictiva suele concentrarse en una pequeña fracción de los pasos de generación (aprox. 20%).

• Estrategia: El método identifica un subconjunto crítico de tokens ($T^{low}$) que representan las posiciones con la mayor incertidumbre predictiva.
• Implementación: Los puntajes de confianza tanto para los prompts como para las respuestas se calculan exclusivamente sobre este subconjunto informativo, preservando variaciones significativas que reflejan la calidad del razonamiento en lugar de la certeza superficial.

2.3. Función Objetivo

La función objetivo final integra estas ventajas reponderadas en la pérdida estándar de GRPO, utilizando un objetivo sustituto recortado (clipped surrogate objective) para asegurar la estabilidad del entrenamiento mientras se fomenta una exploración diversa.

3. Contribuciones Clave

• Innovación Metodológica: La introducción de ProGRPO, que extiende GRPO al incorporar un Mecanismo de Reponderación de la Ventaja (ARM) consciente de la confianza. Esto permite una exploración dirigida sin comprometer la estabilidad del entrenamiento.
• Efectividad Amplia: Validación en diversos benchmarks (Matemáticas y Generación de Código) utilizando múltiples escalas de modelos (Qwen2.5-7B/32B, DeepSeek-R1-Distill-Qwen-1.5B/7B). El método supera consistentemente a las líneas base principales como GRPO y FlowRL.
• Robustez OOD: Demostración de una capacidad de adaptación superior fuera de la distribución (OOD), manteniendo un rendimiento robusto en distribuciones de datos no vistos (ej. GPQA, MMLU-Pro).
• Ganancias de Rendimiento Significativas: El método logra un equilibrio superior entre exploración y explotación, mejorando significativamente tanto la precisión como la diversidad de la salida.

4. Resultados Experimentales

Los experimentos se realizaron en benchmarks de razonamiento matemático (AIME, AMC, MATH, OlympiadBench) y generación de código (LiveCodeBench, CodeForces, HumanEval+).

• Razonamiento Matemático:
  • En Qwen2.5-7B, ProGRPO supera a GRPO en un 5.7% en Pass@1 y un 13.9% en Pass@32.
  • En Qwen2.5-32B, mejora el Pass@1 en un 4.8% respecto a GRPO.
  • En DeepSeek-R1-Distill-Qwen-1.5B, el Pass@1 mejoró del 49.4% (GRPO) al 58.3% (ProGRPO).
• Generación de Código:
  • En CodeForces, ProGRPO alcanzó un rating de 1422.49, superando a GRPO por casi +180 puntos y a FlowRL por +293 puntos.
  • En HumanEval+, logró un puntaje Avg@16 de 84.01%, el mejor entre los métodos comparados.
• Diversidad y Entropía:
  • El análisis de la entropía de entrenamiento muestra que, mientras GRPO conduce al colapso de la entropía, ProGRPO exhibe un aumento estable en la entropía, lo que indica una exploración sostenida.
  • Las métricas de diversidad (Self-BLEU, Coseno Semántico) en AIME 2024 muestran una redundancia significativamente menor en las salidas de ProGRPO en comparación con GRPO, confirmando la generación de caminos de razonamiento estructuralmente diversos.
• Estudios de Ablación:
  • Se encontró que el hiperparámetro $\alpha$ (coeficiente de ponderación) es crítico. Un $\alpha$ de 0.3 proporcionó el equilibrio óptimo entre rendimiento y estabilidad. Los valores de 0 (GRPO puro) arrojaron resultados más débiles, mientras que valores más altos (0.7, 1.0) degradaron el rendimiento al enfatizar demasiado las señales de confianza.

5. Significado y Reivindicaciones

El artículo sostiene que ProGRPO aborda el compromiso entre Exploración y Explotación (Exploration-Exploitation trade-off) en tareas de razonamiento de LLM. Al cambiar el enfoque de la simple maximización de la recompensa al equilibrio de las probabilidades generativas y la confianza, el método:

1. Mitiga el Colapso de la Entropía: Evita que el modelo converja hacia un único camino de razonamiento dominante.
2. Mejora la Diversidad: Genera una variedad más amplia de cadenas de razonamiento válidas, evidenciado por las ganancias significativas en las métricas Pass@k (donde $k > 1$).
3. Mejora la Generalización: Mantiene un rendimiento robusto en conjuntos de datos OOD, lo que sugiere que las capacidades de razonamiento aprendidas son más transferibles.

Los autores posicionan este trabajo como un enfoque de "volver a lo básico", revisitando la naturaleza probabilística de la generación de LLM para resolver las limitaciones de los paradigmas actuales de RLVR, allanando el camino para un aprendizaje por refuerzo más estable y exploratorio en modelos de razonamiento.