On the Optimal Reasoning Length for RL-Trained Language Models

Resumen Técnico: Sobre la Longitud Óptima de Razonamiento para Modelos de Lenguaje Entrenados con RL

Planteamiento del Problema
El aprendizaje por refuerzo (RL) aplicado durante el post-entrenamiento ha mejorado significativamente las capacidades de razonamiento de los grandes modelos de lenguaje (LLMs), particularmente a través de la generación extendida de cadena de pensamiento (CoT). Sin embargo, un efecto secundario crítico es que los modelos entrenados con RL tienden a producir salidas cada vez más verbosas, lo que aumenta tanto los costos de entrenamiento como de inferencia. Aunque la literatura reciente ha propuesto diversos métodos de control de longitud para penalizar la generación excesiva, la relación precisa entre la longitud de la salida y la exactitud del razonamiento sigue sin estar clara. Específicamente, se desconoce si la relación no monótona entre la longitud del razonamiento y la corrección —observada previamente en intervenciones en tiempo de prueba sobre modelos fijos— también se manifiesta en políticas entrenadas con RL que difieren únicamente en sus configuraciones de control de longitud. Además, el mecanismo subyacente que impulsa la degradación de la exactitud en regímenes de salidas largas no ha sido completamente descompuesto.

Metodología
Los autores realizaron un estudio empírico controlado para investigar la relación longitud–exactitud a través de múltiples modelos y tareas.

• Modelos y Tareas: Los experimentos se realizaron en tres modelos: DeepSeek-R1-Distill-Qwen-1.5B, Qwen3-1.7B y Qwen3-4B-Base. Las tareas incluyeron razonamiento matemático (benchmarks: AIME 2024, AIME 2025, AMC, MATH-500) y generación de código (HumanEval, MBPP+).
• Configuración de Entrenamiento: El entrenamiento siguió el marco DAPO con modificaciones: se desactivó el modelado de recompensa por exceso de longitud para aislar los efectos de métodos específicos de control de longitud, y los tamaños de mini-batch de PPO se establecieron iguales a los tamaños de batch de generación para actualizaciones totalmente on-policy.
• Métodos de Control de Longitud: El estudio comparó varios métodos de control de longitud mediante el barrido de sus hiperparámetros primarios para generar una familia de políticas con variaciones en la longitud promedio de salida. Los métodos incluyeron:
  • Baselines: Sample Avg (GRPO) y Token Avg (DAPO), que normalizan los gradientes sin penalizaciones de longitud explícitas.
  • Penalizaciones Explícitas: RLOO-LP (modelado de recompensa basado en longitud), ALP (penalización de longitud basada en exactitud) y DRPO (ponderación basada en longitud dentro del marco DisCO).
• Métricas de Evaluación: Más allá de la exactitud de la muestra estándar, los autores introdujeron una descomposición de la distribución de respuestas:
  • Exactitud de la Moda (Mode Accuracy): La fracción de problemas donde la respuesta más frecuentemente muestreada (la moda) es correcta. Esto mide la corrección del centro de la distribución.
  • Fuga de la Moda (Mode Leakage): La fracción promedio de muestras que caen fuera del grupo modal. Esto mide la dispersión de las muestras alrededor del centro.

Resultados Clave

1. Relación No Monótona Longitud–Exactitud: En todos los modelos, benchmarks y métodos de control de longitud, la exactitud de la muestra es no monótona con respecto a la longitud promedio de salida. La exactitud aumenta inicialmente con la longitud, alcanza un pico en un valor intermedio y luego se estanca o declina a medida que la longitud aumenta más. Este patrón se mantiene tanto para el razonamiento matemático como para la generación de código.
2. Divergencia entre Exactitud de la Moda y de la Muestra: Un hallazgo crítico es la divergencia entre la exactitud de la moda y la exactitud de la muestra en regímenes de salida larga. Mientras que la exactitud de la muestra declina o se satura, la exactitud de la moda continúa mejorando a medida que la longitud de salida aumenta. Esto indica que el "centro" de la distribución de respuestas se vuelve más correcto incluso cuando las muestras individuales son menos confiables.
3. Mecanismo de Degradación: El declive en la exactitud de la muestra en longitudes largas es impulsado por el aumento de la dispersión (fuga de la moda). En el régimen de salida larga, las muestras se dispersan más lejos de una moda central cada vez más correcta. El efecto neto es que las ganancias de un centro más exacto son eventualmente compensadas por la pérdida en la concentración de las muestras.
4. Dispersión en Forma de U: La fuga de la moda exhibe una relación en forma de U con la longitud en varios entornos. En longitudes cortas, la fuga es alta debido a la falta de convergencia en una respuesta dominante. En longitudes óptimas, la fuga se minimiza. En longitudes excesivas, la fuga aumenta nuevamente a medida que las muestras se esparcen alrededor de una moda correcta pero menos concentrada.

Contribuciones Clave

• Generalización de la No Monotonicidad: El artículo demuestra que la relación no monótona entre la longitud de salida y la exactitud, documentada previamente para intervenciones en tiempo de prueba en modelos fijos, también surge a través de una comparación controlada de políticas entrenadas con RL que abarcan múltiples modelos, benchmarks y métodos de control de longitud.
• Descomposición de la Distribución de Respuestas: Los autores descomponen la distribución de respuestas en la corrección de su centro (exactitud de la moda) y la dispersión de las muestras (fuga de la moda). Muestran cómo las salidas más largas mejoran la primera mientras aumentan la segunda, proporcionando una explicación mecánica para la desconcertante divergencia entre la exactitud de la moda y la exactitud de la muestra.

Significancia y Reivindicaciones
El artículo afirma resolver la ambigüedad que rodea la eficacia del control de longitud en los modelos de razonamiento entrenados con RL. Establece que extender la longitud del razonamiento no mejora uniformemente el rendimiento; existe una longitud intermedia óptima. El estudio aclara que la degradación en el rendimiento en longitudes excesivas no se debe a que el modelo esté aprendiendo rutas de razonamiento incorrectas (el centro permanece correcto o mejora), sino a que el modelo se vuelve menos confiable o consistente en su muestreo (aumento de la dispersión).

Los autores concluyen que la fuerza de la penalización óptima para el control de longitud varía entre métodos y modelos, lo que sugiere la necesidad de trabajos futuros para desarrollar métodos automatizados para identificar el régimen de longitud óptimo sin búsqueda manual de hiperparámetros. El trabajo no propone nuevos algoritmos de control de longitud, sino que proporciona un marco de diagnóstico para comprender los compromisos inherentes a los métodos actuales.