Resumen Técnico: No dejes que las ganancias se DESVANEZCAN (FADE): Desglosando los pesos del gradiente de política en RL

1. Planteamiento del problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha mejorado significativamente las capacidades de razonamiento de los Grandes Modelos de Lenguaje (LLMs) en dominios como la generación de código y las matemáticas. Sin embargo, este progreso se ve obstaculizado por la inestabilidad del entrenamiento y el colapso de la diversidad, donde los modelos convergen hacia modos de solución estrechos, sacrificando la amplitud de las estrategias de razonamiento necesarias para un rendimiento robusto.

Aunque las funciones de ventaja (o pesos de política) se utilizan ampliamente para remodelar los objetivos de entrenamiento y reponderar los rollouts, el campo sufre una proliferación de métodos (por ejemplo, GRPO, DAPO, DR-GRPO, objetivos pass@k) que carecen de un marco teórico unificado. No está claro qué función de ventaja utilizar y cuándo, ya que los métodos existentes difieren simultáneamente a lo largo de múltiples ejes, lo que dificulta el análisis comparativo. Específicamente, la interacción entre el refuerzo de los éxitos, la supresión de los fallos y el enfoque en la dificultad de los problemas no se comprende bien, lo que conduce a compromisos subóptimos entre la velocidad de aprendizaje y la diversidad de soluciones.

2. Metodología: Un marco unificado

Los autores proponen un marco que descompone cualquier peso de política en masas de gradiente positivas ($m_S$) y negativas ($m_F$) a lo largo de dos ejes ortogonales: el Eje de Signo y el Eje de Dificultad.

2.1 La descomposición

Para un lote de rollouts con una tasa de resolución $p$, el gradiente de la política se aproxima como:
$$\nabla_\theta J \approx m_S \cdot \bar{\nabla}_S - m_F \cdot \bar{\nabla}_F$$
donde $\bar{\nabla}_S$ y $\bar{\nabla}_F$ son los gradientes promedio sobre las trayectorias exitosas y fallidas, respectivamente.

El marco identifica tres ejes de diseño críticos:

1. Eje de Signo: Determina el equilibrio entre $m_S$ y $m_F$.
2. Eje de Dificultad: Determina si la masa del gradiente alcanza su pico en prompts fáciles (alta $p$) o difíciles (baja $p$).
3. Eje de Escala: La magnitud general del gradiente (reescalado implícito de la tasa de aprendizaje).

2.2 Compromisos identificados

A través del análisis teórico y la observación empírica, el artículo identifica tres compromisos fundamentales impulsados por la asimetría representacional entre las trayectorias correctas e incorrectas:

• Refuerzo de Éxitos vs. Colapso de Entropía: Las soluciones correctas suelen estar agrupadas y ser similares. Amplificarlas ($m_S \gg m_F$) concentra la política en un modo estrecho, lo que conduce al colapso de la entropía. La tasa de este colapso es predecible únicamente a partir de la relación de signos.
• Supresión de Fallos vs. Colapso de Actualización de Rango 1: Los fallos son diversos y descorrelacionados. Amplificarlos ($m_F \gg m_S$) dirige la actualización de los pesos hacia una única dirección de supresión. Esto induce un colapso de actualización de rango 1, donde el modelo aprende solo a lo largo de un eje (el "embudo de rango 1"), bloqueando el aprendizaje multidimensional y reduciendo la generalización fuera de la distribución (out-of-distribution).
• Enfoque en Problemas Difíciles vs. Varianza: Centrar la masa del gradiente en prompts con baja tasa de resolución genera actualizaciones más informativas, pero incurre en una mayor varianza debido a la escasez de muestras exitosas.

2.3 FADE: Ventaja Focal con Entropía Dinámica

Para abordar las limitaciones de las funciones de ventaja estáticas, los autores proponen FADE, una función de ventaja autoadaptativa que programa los pesos del gradiente automáticamente basándose en la dinámica del entrenamiento. FADE combina dos mecanismos:

1. Equilibrio de Signo Dinámico ($\delta$): Ajusta la relación de masa negativa a positiva basada en la entropía actual ($\hat{H}$) de la política.
   • Fase de Exploración: Cuando la entropía es alta, $\delta \approx 1$ (signo equilibrado) para evitar un colapso prematuro de rango 1.
   • Fase de Explotación: Cuando la entropía cae por debajo de un objetivo $H^*$, $\delta < 1$ (sesgado hacia el fallo) para acelerar el aprendizaje mediante la supresión de fallos.
2. Enfoque de Dificultad Dinámico ($\alpha$): Ajusta el enfoque en problemas difíciles basado en la tasa de resolución ($\hat{p}$).
   • Al principio del entrenamiento, $\alpha$ es alto para centrarse en problemas difíciles (aprendizaje de frontera).
   • A medida que las tasas de resolución aumentan, $\alpha$ decae para evitar el sobreajuste a problemas cada vez más fáciles y para mantener la eficiencia de muestreo.

La regla de actualización se define como:
$$A_i = (1 - \bar{r})^{\alpha-1} \cdot \begin{cases} r_i - \bar{r} & \text{si } r_i \ge \bar{r} \\ \frac{r_i - \bar{r}}{\delta} & \text{si } r_i < \bar{r} \end{cases}$$
donde $\alpha$ y $\delta$ son funciones recortadas (clipped) de la tasa de resolución y la entropía estimadas.

3. Contribuciones Clave

1. Marco Unificado: Una descomposición de los pesos de la política en masas de gradiente positiva/negativa a lo largo de los ejes de signo y dificultad, aclarando las diferencias estructurales de los métodos existentes.
2. Perspectivas Teóricas: Identificación de los mecanismos detrás del colapso de la entropía (impulsado por el desequilibrio de signos) y el colapso de actualización de rango 1 (impulsado por el sesgo de fallo), vinculando estas patologías con el espectro de valores singulares de las actualizaciones de peso.
3. Algoritmo FADE: Un programador dinámico que se adapta a los estados de entrenamiento, equilibrando la exploración (signos equilibrados, enfoque en dificultad) y la explotación (supresión de fallos, enfoque medio) sin necesidad de ajuste manual.
4. Validación Empírica: Experimentos exhaustivos en modelos Qwen 2.5 7B y CWM 32B a través de los benchmarks LiveCodeBench y AIME.

4. Resultados

• Velocidad de Entrenamiento: FADE alcanza el rendimiento máximo de pass@1 20,000 pasos antes que el mejor baseline estático (Power $\alpha=2$) en el modelo 7B y 2,000 pasos antes en el modelo 32B.
• Compromiso Precisión-Diversidad: FADE logra el mejor equilibrio entre precisión (pass@1) y diversidad (pass@10, pass@100) en todas las escalas de modelos y benchmarks. Mantiene puntuaciones altas en pass@100 donde los métodos estáticos suelen degradarse debido al colapso de la diversidad.
• Generalización: Los modelos entrenados con FADE muestran una generalización superior en AIME 2024/2025 (competencias matemáticas no vistas) en comparación con los métodos estáticos sesgados hacia el fallo, que sufren de colapso de rango 1.
• Estudios de Ablación: Eliminar el componente dinámico $\delta$ conduce al colapso de la entropía, mientras que eliminar $\alpha$ reduce la diversidad. Ambos componentes son necesarios para equilibrar eficazmente el compromiso entre exploración y explotación.

5. Significado y Reivindicaciones

El artículo afirma que la confusión en el campo de RLVR proviene de confundir ejes de diseño ortogonales. Al separar explícitamente el equilibrio de signo (que gobierna la entropía y el colapso de rango) del enfoque de dificultad (que gobierna la relación señal-ruido), los autores proporcionan una forma fundamentada de diseñar funciones de ventaja.

La importancia de FADE radica en su capacidad para navegar automáticamente la trayectoria de entrenamiento:

• Comienza en un modo exploratorio (signos equilibrados, enfoque en dificultad) para construir estrategias de razonamiento diversas y evitar el sobreajuste temprano.
• Transiciona a un modo explotador (supresión de fallos, enfoque medio) una vez que la política se ha estabilizado, acelerando la convergencia sin sacrificar la multidimensionalidad del aprendizaje requerida para la generalización.

Los autores concluyen que, aunque su marco asume recompensas binarias y terminales, la descomposición de $m_S$ y $m_F$ ofrece una lente general para comprender la dinámica del entrenamiento de RL, sugiriendo que el trabajo futuro debería explorar estos compromisos en entornos de múltiples turnos y agentes.