Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

1. Planteamiento del Problema

En los modelos autoregresivos modernos (LLM y VLM), la longitud de generación es una unidad fundamental de cómputo que impacta directamente en el costo de inferencia (cómputo, memoria, latencia) y en el rendimiento del razonamiento. Aunque los métodos existentes intentan controlar o predecir la longitud de generación, sufren limitaciones significativas:

• Control de Granos Gruesos: La mayoría de los enfoques operan a nivel de secuencia (por ejemplo, penalizaciones a nivel de secuencia durante el entrenamiento o instrucciones basadas en prompts durante la inferencia) en lugar de modelar la dinámica de generación a nivel de token.
• Falta de Señales de Granos Finos: Existe una ausencia de mecanismo para estimar el horizonte de generación restante en cada paso de decodificación.
• Cuello de Botella de Anotación: El modelado de recompensas tradicional para la longitud a menudo requiere etiquetado humano o modelos de recompensa complejos, los cuales no escalan bien.
• Rigidez en el Compromiso: Las restricciones duras (por ejemplo, "detenerse en 200 tokens") a menudo degradan el rendimiento, mientras que los métodos actuales carecen de un mecanismo suave para intercambiar entre la calidad del razonamiento y el presupuesto de tokens.

2. Metodología: El Modelo de Valor de Longitud (LenVM)

Los autores proponen LenVM, un marco a nivel de token que modela la longitud de generación restante como un problema de estimación de valor dentro de un marco estándar de función de valor de Aprendizaje por Refuerzo (RL).

Formulación Central

En lugar de predecir directamente recuentos de tokens crudos, LenVM formula el modelado de la longitud como un problema de retorno descontado:

• Estructura de Recompensa: Se asigna una recompensa negativa constante a cada token generado: $r_t = -(1 - \gamma)$, donde $\gamma \in (0, 1)$ es un factor de descuento. El estado terminal (EOS) tiene una recompensa de 0.
• Retorno Descontado: El valor objetivo $G_t$ en el paso $t$ para una trayectoria de longitud total $L$ se define como la suma de recompensas futuras descontadas:
  $$G_t = \sum_{i=0}^{L-t-1} \gamma^i r_{t+i} = -(1 - \gamma^{L-t})$$
• Propiedades:
  • Acotado: $G_t \in (-1, 0)$, evitando el rango dinámico ilimitado de las longitudes crudas.
  • Monótono: Horizontes restantes más cortos producen valores más cercanos a 0; horizontes más largos producen valores más cercanos a -1.
  • Consistente con Bellman: Satisface la recursión $G_t = r_t + \gamma G_{t+1}$.

Arquitectura y Entrenamiento

• Cabeza: LenVM adjunta una cabeza de valor escalar (un MLP de 2 capas con activación SiLU) al estado oculto de la última capa de un LLM o VLM base.
• Salida: La cabeza produce un valor $V_\theta(s_t) = -\sigma(z_t)$, asegurando que la salida permanezca en el rango $(-1, 0)$.
• Objetivo de Entrenamiento: El modelo se entrena mediante regresión densa a nivel de token, libre de anotaciones.
  • Generación de Datos: Para un prompt dado, se muestrean múltiples completaciones desde una política de despliegue fija.
  • Supervisión: El retorno realizado $G_t$ se calcula determinísticamente a partir de la longitud de la completación muestreada.
  • Pérdida: Error Cuadrático Medio (MSE) promediado por token entre el valor predicho y el retorno realizado.
  • Escalabilidad: La señal de supervisión es densa (cada token es un objetivo), no sesgada (muestra de Monte Carlo bajo política fija) y escala naturalmente con el tamaño del modelo, la cantidad de prompts y el número de completaciones muestreadas.

3. Contribuciones Clave

1. Modelado de Longitud a Nivel de Token: LenVM es el primer marco que modela la longitud de generación restante como una señal de valor continua a nivel de token, permitiendo control y predicción de granos finos.
2. Escalabilidad Libre de Anotaciones: La señal de entrenamiento se deriva enteramente de completaciones muestreadas sin etiquetado humano ni modelos de recompensa externos, lo que la hace altamente escalable a través de tamaños de modelos y conjuntos de datos.
3. Control en Tiempo de Inferencia: LenVM proporciona un mecanismo para controlar la longitud de generación sin modificar los pesos del modelo base, soportando tanto restricciones duras como compromisos continuos.
4. Interpretabilidad: Los valores a nivel de token revelan "tokens de longitud" que señalan cambios en los regímenes de razonamiento (por ejemplo, tokens como "espera" o "ah" indicando un cambio hacia un razonamiento más largo, frente a "por lo tanto" indicando cierre).

4. Resultados Experimentales

Los autores evaluaron LenVM en LLMs (Qwen2.5, Qwen3) y VLMs en dominios de matemáticas, código y seguimiento de instrucciones.

• Generación Controlada por Longitud (LIFEBench):
  • LenVM supera significativamente a modelos cerrados de vanguardia (GPT-4o, Claude, Gemini) en la coincidencia exacta de longitud.
  • En un modelo de 7B, la Puntuación de Longitud mejoró de 30.9 a 64.8 en la restricción "Igual a", mientras que se redujo la desviación de longitud del 71% al 44%.
• Compromiso Rendimiento-Eficiencia:
  • Utilizando inclinación exponencial basada en los valores predichos por LenVM, el modelo puede equilibrar continuamente la precisión y el presupuesto de tokens.
  • En GSM8K con un presupuesto de 200 tokens, LenVM mantuvo una precisión del 63%, mientras que una línea base de presupuesto de tokens duro logró solo un 6%. Esto demuestra que el modelo base contiene trayectorias de razonamiento exitosas más cortas que LenVM puede descubrir.
• Predicción de Longitud de Generación:
  • LenVM puede predecir el horizonte de generación esperado desde el límite del prompt (antes de generar cualquier token).
  • A una escala de 32B, logra un Error Relativo Medio (MRE) de 9.8% para matemáticas, 14.9% para código y 17.1% para seguimiento de instrucciones.
• Escalabilidad:
  • La pérdida de validación disminuye consistentemente a medida que aumentan el tamaño del modelo, la cantidad de prompts de entrenamiento y la cantidad de completaciones muestreadas por prompt.
• Estudio de Caso (Tokens de Longitud):
  • El análisis de los residuos de diferencia temporal revela tokens específicos que actúan como marcadores para cambios de longitud (por ejemplo, "ah", "pero" para extender el razonamiento; "por lo tanto", "perfecto" para terminar).

5. Significado e Implicaciones Futuras

• Marco General: LenVM establece que la longitud de generación puede modelarse efectivamente como una señal de valor a nivel de token, proporcionando una alternativa principial a las penalizaciones de granos gruesos.
• Fundamento de RL: El artículo destaca que LenVM sirve como una línea base de valor natural y específica de longitud para RL estilo PPO. Puede utilizarse como un componente directo del objetivo (para optimizar la eficiencia) o como una señal de conformación de recompensa basada en potencial (para mejorar la asignación de crédito sin cambiar el objetivo de la tarea).
• Utilidad Práctica: La capacidad de predecir la longitud y controlar la generación dinámicamente ofrece beneficios inmediatos para la programación de inferencia, la gestión de memoria y la reducción de costos en sistemas de LLM de producción.
• Interpretabilidad: Al visualizar cómo tokens específicos desplazan el horizonte predicho, LenVM ofrece una nueva lente sobre la dinámica interna de los modelos de razonamiento.

En resumen, LenVM transforma el problema del control de longitud de una restricción a nivel de secuencia en una tarea densa, escalable y de estimación de valor a nivel de token, permitiendo un control preciso, una inferencia eficiente y una mayor interpretabilidad de la generación autoregresiva.