Resumen Técnico: Comprensión del Colapso de la Diversidad en RLVR a través de la Lente del Sobreentrenamiento

Declaración del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) se ha convertido en un método primordial para mejorar las capacidades de razonamiento de los Grandes Modelos de Lenguaje (LLMs) en tareas con resultados objetivamente comprobables. Sin embargo, un problema persistente conocido como colapso de la diversidad plaga este paradigma: mientras que la precisión de una sola muestra del modelo (Pass@1) mejora, su capacidad para encontrar una solución correcta a través de múltiples intentos (alto-k Pass@k) frecuentemente se degrada a medida que el entrenamiento progresa.

Explicaciones previas atribuyen esto a la naturaleza autorreforzada de las actualizaciones on-policy, donde las trayectorias que ya son propensas a tener éxito son muestreadas y reforzadas con mayor frecuencia, agudizando la distribución de la política hacia un subconjunto decreciente de soluciones. Este artículo argumenta que este "sesgo de agudización" es una propiedad universal de las actualizaciones de RLVR, pero no explica completamente cuándo una actualización expande la frontera de razonamiento del modelo frente a cuándo simplemente remodela la masa de probabilidad entre soluciones ya alcanzables. Los autores proponen ver el colapso de la diversidad a través de la lente del sobreentrenamiento: una vez que la contribución de un problema a una métrica de referencia (específicamente el alto-k Pass@k) se ha saturado, las actualizaciones posteriores no pueden expandir la frontera de razonamiento, sino que continúan concentrando la masa de probabilidad, provocando el colapso.

Metodología

Análisis Teórico: Sobreentrenamiento y Saturación

Los autores formalizan la frontera de razonamiento utilizando Pass@k, definido como $1 - (1-p)^k$ para un problema con probabilidad de éxito $p$. Demuestran que bajo configuraciones estándar de RLVR (típicamente $n=8$ rollouts por problema), la tasa de éxito empírica $\hat{p}$ está cuantizada (por ejemplo, $0/8, 1/8, \dots$).

• Saturación Agresiva: Para un $k$ grande (por ejemplo, $k=256$), incluso un único éxito observado ($\hat{p}=1/8$) produce un valor de Pass@256 de $\approx 1$.
• Régimen de Sobreentrenamiento: En consecuencia, cualquier problema que haya producido al menos un rollout correcto está efectivamente en un régimen de "saturación" con respecto a la frontera de razonamiento. Las actualizaciones en estos problemas (ya sea reforzando trayectorias correctas o suprimiendo las incorrectas) proporcionan una ganancia marginal insignificante para el alto-k Pass@k, pero continúan agudizando la política, causando el colapso de la diversidad.
• El Cubo de Cero Éxitos: El único cubo donde las actualizaciones pueden expandir significativamente la frontera de razonamiento es $B_{0/n}$, donde no se han observado rollouts correctos.

Investigación Empírica

El estudio emplea dos enfoques complementarios para validar que el RLVR sí expande la frontera de razonamiento, incluso si las métricas agregadas sugieren lo contrario:

1. Seguimiento Observacional: Seguimiento de problemas que son inicialmente irresolubles (Pass@256 = 0) bajo el modelo base. Los autores encuentran que una fracción no trivial de estos problemas se vuelven resolubles durante el entrenamiento estándar, incluso mientras un mayor número de problemas previamente resolubles salen de la frontera.
2. Restricción Intervencionista: Variantes de entrenamiento donde las actualizaciones se restringen a cubos específicos de éxito de rollout ($B_{m/8}$). Restringir las actualizaciones a $B_{0/8}$ (el único cubo no saturado) resulta en mejoras de Pass@256 sobre el modelo base en benchmarks difíciles, mientras que las actualizaciones en cubos de mayor éxito conducen a declives.

Solución Propuesta: Control de Frontera Bayesiano (BBG)

Para mitigar el sobreentrenamiento, los autores proponen el Control de Frontera Bayesiano (BBG, por sus siglas en inglés), un método a nivel de problema que redirige la optimización lejos de los problemas saturados.

• Mecanismo: BBG estima la contribución marginal esperada de un problema a la frontera de razonamiento utilizando un modelo Bayesiano Beta-Binomial. Dados $m$ éxitos en $n$ rollouts, la distribución posterior de la verdadera probabilidad de éxito $p$ es $Beta(m+1, n-m+1)$.
• Cálculo de Utilidad: La utilidad marginal esperada $u(m; n, k)$ se calcula como la esperanza de la derivada del objetivo Pass@k: $E[k(1-p)^{k-1}]$.
• Estrategia de Control: Los problemas con una utilidad de frontera insignificante (donde la contribución marginal estimada cae por debajo de un umbral $\tau$) son filtrados mediante un control estricto (hard-gated) y excluidos de la retropropagación. Solo los problemas con utilidad marginal significativa (primordialmente aquellos en cubos de bajo éxito) reciben actualizaciones.
• Implementación: BBG se aplica como un coeficiente en la pérdida a nivel de problema, compatible con diseños de objetivos existentes como W-RF (Reinforcement con Negatividad Ponderada).

Resultados Clave

Los experimentos se realizaron utilizando Qwen2.5-Math-7B entrenado en el conjunto de datos MATH, evaluado en cuatro benchmarks: MATH-500, OlympiadBench, MinervaMath y AIME 2025.

• Rendimiento de la Línea Base: Los métodos estándar de RLVR (REINFORCE, GRPO, W-RF) mejoran consistentemente el Pass@1 pero sufren una degradación significativa en el alto-k Pass@k (por ejemplo, Pass@256) en benchmarks de dificultad intermedia, confirmando el fenómeno de colapso de la diversidad.
• Rendimiento de BBG:
  • BBG logra el Pass@k promedio más alto en todo el rango $k \in [1, 256]$ en todos los benchmarks.
  • Crucialmente, BBG es el único método que mantiene o mejora el Pass@256 relativo al modelo base en los cuatro benchmarks, previniendo efectivamente el colapso observado en otros métodos.
  • En el benchmark más difícil (AIME 2025), BBG muestra ganancias sustanciales en todo el rango evaluado, mientras que otros métodos se degradan en valores altos de $k$.
• Perspectivas de Ablación: Los autores muestran que intervenciones simples como el parada temprana (detenerse cuando el Pass@1 de validación se satura) o el enmascaramiento de cubos (excluir cubos de alto éxito) pueden recuperar parcialmente el rendimiento de alto-k, validando la hipótesis de sobreentrenamiento. Sin embargo, BBG proporciona una solución más fundamentada y efectiva al ponderar dinámicamente las actualizaciones basadas en la utilidad de la frontera estimada.

Significado y Reivindicaciones

El artículo reivindica tres contribuciones primarias:

1. Formalización del Colapso de la Diversidad: Reencuadra el colapso de la diversidad no solo como un problema de sesgo de muestreo, sino como una consecuencia del sobreentrenamiento relativo a la frontera de razonamiento. Demuestra que, bajo presupuestos de rollout estándar, la gran mayoría de las actualizaciones de RLVR son sobreentrenamiento para el alto-k Pass@k.
2. Reinterpretación del Declive Agregado: El documento proporciona evidencia de que el declive agregado en el alto-k Pass@k reportado ampliamente no implica un fallo en la adquisición de nuevas capacidades de razonamiento. En cambio, refleja un resultado neto donde las ganancias en problemas inicialmente irresolubles son enmascaradas por las pérdidas inducidas por el sobreentrenamiento en problemas ya resolubles.
3. Mitigación Efectiva vía BBG: Al redirigir la optimización hacia problemas con contribuciones de frontera no saturadas, BBG logra desacoplar la mejora del Pass@1 de la degradación del alto-k Pass@k, mejorando la diversidad de razonamiento general del modelo.

Los autores mantienen un tono modesto respecto a las limitaciones, señalando que sus experimentos están limitos a modelos de escala 7B y un único conjunto de entrenamiento. Reconocen que el colapso de la diversidad puede tener otras causas (por ejemplo, la asignación de crédito a nivel de token) y que la supresión de actualizaciones en problemas de alto éxito por parte de BBG puede reducir el Pass@1 en escenarios donde la precisión de muestra única es la única prioridad. Sin embargo, el trabajo establece una nueva perspectiva sobre la dinámica de entrenamiento de RLVR, sugiriendo que el "aguzamiento" de la política es a menudo un subproducto de optimizar para una métrica que ya se ha maximizado para problemas específicos.