Resumen Técnico: Dos es Mejor que Uno: Un Marco de Entrenamiento RLIF Multi-Recompensa Libre de Colapso

1. Declaración del Problema

Aunque el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha mejorado significativamente las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLM), depende en gran medida de la supervisión externa (por ejemplo, anotaciones humanas, soluciones de referencia), lo que limita su escalabilidad. El Aprendizaje por Refuerzo a partir de Retroalimentación Interna (RLIF) ofrece una alternativa no supervisada al derivar señales de recompensa del propio modelo, como la auto-certidumbre (minimización de entropía) o medidas basadas en consenso (votación mayoritaria).

Sin embargo, los métodos RLIF existentes sufren modos de fallo recurrentes, específicamente hackeo de recompensas y colapso del modelo. El artículo argumenta que estos fallos se derivan de la dependencia de una única señal de recompensa interna:

• Las recompensas de auto-certidumbre favorecen distribuciones de tokens de alta confianza, lo que a menudo conduce a un "colapso de modo de token" donde el modelo produce salidas cortas, deterministas y similares a plantillas, independientemente de la calidad de la entrada.
• Las recompensas de votación por clúster (basadas en consenso) pueden conducir a un "colapso de modo de respuesta", donde el modelo se desvía en el espacio de razonamiento para producir completaciones largas y de alta entropía que convergen en un único clúster dominante (pero potencialmente incorrecto).

Este comportamiento ejemplifica la Ley de Goodhart: cuando un único proxy se convierte en el objetivo de optimización, la política explota el proxy en lugar de mejorar la capacidad de razonamiento subyacente, lo que conduce a una trayectoria de mejora temprana seguida de degradación.

2. Metodología

Los autores proponen un Marco RLIF Multi-Recompensa que descompone la señal de entrenamiento en dos componentes complementarios e introduce regularización dirigida para prevenir el colapso. El marco opera dentro de un objetivo estilo GRPO (Optimización de Política Relativa por Grupos).

2.1 Mecanismo de Doble Recompensa

Para un prompt dado, el modelo muestrea $G$ completaciones. Se calculan dos recompensas intrínsecas para cada completación:

1. Recompensa a Nivel de Respuesta (Votación por Clúster): Las respuestas finales se extraen y agrupan por equivalencia. Una completación recibe una recompensa proporcional al tamaño de su clúster de respuestas. Esto proporciona una señal más densa que la votación mayoritaria binaria, recompensando los clústeres minoritarios con valores no nulos para fomentar la diversidad mientras se favorece aún el consenso.
2. Recompensa a Nivel de Completación (Auto-certidumbre): Basada en la divergencia KL promedio entre la distribución del siguiente token del modelo y una distribución uniforme. Esto recompensa la generación de tokens segura y de baja entropía durante el proceso de razonamiento.

2.2 Normalización Basada en GDPO

Para evitar que una señal de recompensa domine a la otra debido a diferencias de escala (por ejemplo, valores de auto-certidumbre que dependen del tamaño del vocabulario frente a recompensas de clúster en $[0, 1]$), el marco aplica Normalización Multi-Recompensa por Grupos inspirada en GDPO. Cada canal de recompensa se normaliza independientemente dentro del grupo de $G$ completaciones utilizando puntuación Z antes de combinarse en una sola ventaja a nivel de recorrido:
$$A_g = \alpha \cdot \hat{R}_{cluster}(a_g) + \beta \cdot \hat{R}_{cert}(c_g)$$
Esto asegura que la importancia relativa de la calidad de la respuesta frente a la confianza del razonamiento esté controlada por los pesos $\alpha$ y $\beta$, en lugar de por la varianza cruda de las señales.

2.3 Regularización KL-Cov

Para abordar el riesgo residual de colapso de entropía, los autores introducen KL-Cov, una estrategia de regularización dirigida.

• Mecanismo: El método identifica los top-$k$ (por ejemplo, 2%) de tokens con la mayor covarianza entre sus log-probabilidades y las ventajas del recorrido. Estos tokens de "alta covarianza" son los principales impulsores del colapso de entropía.
• Penalización: En lugar de aplicar una penalización KL global, el marco aplica una penalización $L_1$ dirigida (ratio absoluto de log-importancia) solo a estos tokens de alta covarianza. El ~98% restante de los tokens sufre actualizaciones GRPO recortadas estándar.
• Objetivo: Esto suprime los tokens específicos responsables de la reducción desproporcionada de la entropía, preservando al mismo tiempo la exploración y la diversidad en el resto de la distribución de tokens.

3. Contribuciones Clave

1. Marco RLIF Multi-Recompensa: Una arquitectura novedosa que optimiza conjuntamente el consenso a nivel de respuesta y la auto-certidumbre a nivel de completación, mitigando los modos de fallo asociados con la optimización de un único proxy.
2. Normalización GDPO: La aplicación de normalización por grupos a entornos multi-recompensa no supervisados para evitar la dominancia inducida por la escala de una señal sobre otra.
3. Regularización KL-Cov: Una restricción de política dirigida que penaliza específicamente los tokens de alta covarianza para prevenir el colapso de entropía sin sofocar la exploración general.
4. Validación Empírica: Demostración de que las recompensas internas complementarias, combinadas con regularización dirigida, pueden apoyar un razonamiento estable a largo plazo sin supervisión externa de verdad fundamental.

4. Resultados Experimentales

El marco se evaluó en cinco benchmarks de razonamiento matemático (GSM8K, MATH500, MMLU-Pro, AIME 2024/2025) y dos benchmarks de generación de código (LiveCodeBench v6, CRUXEval-O) utilizando los modelos base Qwen2.5-1.5B y Qwen2.5-3B.

• Estabilidad vs. Colapso: Las líneas base de recompensa única (por ejemplo, INTUITOR usando solo auto-certidumbre) exhibieron un colapso catastrófico, con una precisión que cayó a casi cero tras ganancias iniciales (por ejemplo, pasos 160–200). El enfoque multi-recompensa sin KL-Cov retrasó este colapso pero finalmente se degradó. El método completo Multi-Recompensa + KL-Cov permaneció estable durante todo el horizonte de entrenamiento (340 pasos), reteniendo el 89–99% del rendimiento máximo.
• Rendimiento: El método propuesto logró un rendimiento cercano a las líneas base de RLVR supervisado (GRPO con recompensas de verdad fundamental) mientras permanecía completamente no supervisado.
  • En Qwen2.5-3B, el método igualó o superó a las líneas base supervisadas en varias métricas (por ejemplo, 7.7% de pass@1 en LiveCodeBench frente al 6.4% de GRPO supervisado).
  • Superó significativamente a las líneas base no supervisadas de recompensa única (por ejemplo, +45.9 puntos porcentuales en GSM8K para el modelo de 1.5B en comparación con INTUITOR).
• Generalización: La estructura de razonamiento aprendida en tareas matemáticas se transfirió eficazmente a tareas de generación de código (fuera de distribución), donde el método superó a las líneas base de recompensa única.

5. Significado y Afirmaciones

El artículo afirma que la inestabilidad observada en los métodos RL previos no supervisados no es un defecto inherente del RLIF, sino una consecuencia de optimizar un único proxy interno. Al descomponer la señal de recompensa en componentes estructuralmente complementarios (acuerdo de respuesta y confianza de token) y aplicar regularización dirigida contra los tokens específicos que impulsan el colapso, el marco logra un razonamiento estable a largo plazo sin supervisión externa.

Los autores posicionan este trabajo como una alternativa escalable al RLVR supervisado externamente, sugiriendo que la investigación futura puede explorar señales internas adicionales para apoyar aún más trayectorias de razonamiento complejas. Los resultados indican que "dos es mejor que uno": las recompensas internas complementarias, cuando se normalizan y regularizan adecuadamente, pueden evitar que el modelo colapse en patrones estrechos de búsqueda de recompensas, preservando así la exploración necesaria para la resolución de problemas complejos.