Resumen Técnico: Optimización de Política de Secuencia Libre de Sesgo de Longitud (LUSPO)

1. Planteamiento del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) se ha convertido en una piedra angular para mejorar las capacidades de razonamiento de los Grandes Modelos de Lenguaje (LLM) y los Modelos de Lenguaje-Visión (VLM). Una observación predominante en el entrenamiento de RLVR es que el aumento de la longitud de la respuesta suele correlacionarse con un mejor razonamiento, ya que los modelos aprenden a descomponer problemas complejos en pasos detallados. Sin embargo, el artículo identifica un fallo crítico en los algoritmos de RLVR convencionales, específicamente en la Optimización de Política Relativa de Grupo (GRPO) y la Optimización de Política de Secuencia de Grupo (GSPO): exhiben un sesgo inherente de longitud de respuesta que puede conducir al "colapso de la longitud de la respuesta", donde los modelos generan respuestas cada vez más breves, socavando así la eficacia del entrenamiento y la profundidad del razonamiento.

Los autores analizan las fuentes de este sesgo:

• En GRPO: La función objetivo promedia las proporciones de importancia a nivel de token dentro de una trayectoria. Esta normalización causa que los tokens en respuestas más cortas contribuyan con mayor peso a la actualización del gradiente que los de las respuestas más largas. En consecuencia, para respuestas correctas, el modelo es incentivado a ser breve; para respuestas incorrectas, se le penaliza menos por ser largo, creando una dinámica inestable.
• En GSPO: Aunque GSPO aborda la inestabilidad de GRPO en modelos de Mezcla de Expertos (MoE) mediante el uso de un pesaje de importancia a nivel de secuencia, no logra resolver el sesgo de longitud. El artículo argumenta que el mecanismo de recorte (clipping) a nivel de secuencia de GSPO, combinado con la operación "Clip-Higher", trunca desproporcionadamente las muestras negativas (incorrectas). Esto resulta en una actualización de gradiente dominada por muestras positivas, lo que, debido al sesgo de longitud subyacente, incentiva aún más la generación de salidas más cortas. La evidencia empírica muestra que mientras GRPO tiende a aumentar la longitud de la respuesta, GSPO a menudo causa un colapso en la longitud de la respuesta durante el entrenamiento, particularmente en modelos densos y de visión-lenguaje (VL).

2. Metodología: Optimización de Política de Secuencia Libre de Sesgo de Longitud (LUSPO)

Para rectificar el sesgo de longitud inherente en GSPO, los autores proponen la Optimización de Política de Secuencia Libre de Sesgo de Longitud (LUSPO). La innovación central es una modificación fundamentada de la función objetivo de GSPO.

Base Teórica

Los autores proporcionan un análisis teórico que demuestra que la función de pérdida estándar de GSPO está sesgada contra secuencias más largas. Para neutralizar esto, LUSPO escala la pérdida de cada secuencia por su propia longitud ($|y_i|$).

El Algoritmo

La función objetivo de optimización de LUSPO se define como:
$$J_{LUSPO}(\theta) = \mathbb{E}_{x \sim \mathcal{D}, \{y_i\}_{i=1}^G \sim \pi_{\theta_{old}}(\cdot|x)} \left[ \frac{1}{G} \sum_{i=1}^G \min\left( s_i(\theta) \hat{A}_i, \text{clip}(s_i(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_i \right) \cdot |y_i| \right]$$

Donde:

• $s_i(\theta)$ es la proporción de importancia a nivel de secuencia (igual que en GSPO).
• $\hat{A}_i$ es la estimación de ventaja basada en el grupo.
• $|y_i|$ es la longitud de la respuesta.

Al multiplicar el término de ventaja recortado por la longitud de la secuencia $|y_i|$, el algoritmo asegura que las secuencias más largas no sean penalizadas injustamente durante el proceso de actualización del gradiente. El análisis de gradiente teórico confirma que esta modificación elimina el sesgo dependiente de la longitud presente en GSPO, asegurando que la magnitud de la actualización del gradiente sea proporcional a la longitud de la secuencia en lugar de inversamente proporcional a ella.

3. Contribuciones Clave

El artículo describe tres contribuciones primarias:

1. Análisis del Sesgo de Longitud: Un análisis teórico y empírico detallado de las funciones objetivo de GRPO y GSPO, aclarando los mecanismos subyacentes que causan el sesgo inherente de longitud de respuesta y el subsecuente colapso de longitud.
2. Algoritmo LUSPO: La propuesta de una nueva estrategia de optimización que neutraliza el sesgo de longitud de GSPO mediante una modificación sencilla (escalado de longitud), haciendo que la función de pérdida sea imparcial con respecto a la longitud de la respuesta.
3. Validación Exhaustiva: Experimentos extensos en diversas arquitecturas (densas y MoE) y modalidades (solo texto y visión-lenguaje) demostrando que LUSPO logra un rendimiento y estabilidad superiores en comparación con los métodos existentes.

4. Resultados Experimentales

Los autores realizaron experimentos en Qwen2.5-7B-Base (denso), Qwen3-30B-A3B-Instruct (MoE) y Qwen2.5-VL-7B-Instruct (Visión-Lenguaje).

Dinámicas de Entrenamiento

• Longitud de Respuesta: LUSPO previene consistentemente el colapso de la longitud de la respuesta. En el modelo Qwen2.5-VL-7B-Instruct, GSPO exhibió un colapso pronunciado en la longitud de la respuesta, mientras que LUSPO mantuvo respuestas estables y significativamente más largas.
• Estabilidad del Gradiente: El método asegura dinámicas de entrenamiento estables tanto en arquitecturas densas como en MoE, abordando los problemas de inestabilidad asociados frecuentemente con el RLVR en modelos MoE.

Benchmarks de Rendimiento

• Modelos Solo Texto:
  • Qwen2.5-7B-Base: LUSPO mejoró la precisión en un +2.9% en AIME24 y un +7.4% en MATH500 en comparación con GSPO.
  • Qwen3-30B-A3B-Instruct: LUSPO logró una mejora de +6.9% en AIME24 y de +17.1% en AIME25 sobre GSPO.
• Modelos Multimodales:
  • Qwen2.5-VL-7B-Instruct: LUSPO superó tanto a GRPO como a GSPO en múltiples benchmarks. Notablemente, logró un +1.6% de mayor precisión que GRPO y un +0.5% superior a GSPO en MathVista-Mini. En LogicVista, LUSPO mostró una mejora de +6.0% sobre GSPO.
• Generalización: El método demostró robustez en diferentes conjuntos de datos (ViRL39K y DAPO-MATH-17K), superando consistentemente a GSPO incluso en escenarios donde GSPO no sufría de un colapso de longitud severo.

5. Significado y Reivindicaciones

El artículo posiciona a LUSPO como una estrategia de optimización novedosa y de vanguardia para el entrenamiento de RLVR. Los autores afirman que, al abordar el sesgo de longitud fundamental en la optimización de política a nivel de secuencia, LUSPO:

• Resuelve el Colapso de la Longitud de Respuesta: Evita la degradación de la longitud de la respuesta que impide la capacidad del modelo para realizar razonamientos complejos.
• Mejora las Capacidades de Razonamiento: Al permitir que los modelos generen respuestas más largas y coherentes sin penalización, LUSPO facilita la exploración de patrones de razonamiento más amplios, lo que conduce a un mejor rendimiento en tareas matemáticas y lógicas complejas.
• Amplia Aplicabilidad: El método es efectivo tanto en arquitecturas densas como MoE, así como en entornos de solo texto y multimodales, lo que lo convierte en una solución versátil para el entrenamiento de la próxima generación de modelos grandes.

Los autores concluyen que LUSPO representa un paso significativo hacia la estabilización del entrenamiento de RLVR y la maximización del potencial de razonamiento de los grandes modelos de lenguaje.