Resumen Técnico: Predicción de Progreso en Tiempo Real en Modelos de Lenguaje de Razonamiento

Declaración del Problema

Los recientes modelos de lenguaje de razonamiento (Reasoning LMs), particularmente aquellos que utilizan largas cadenas latentes de pensamiento (CoT), han demostrado un rendimiento sólido en tareas agénticas complejas. Sin embargo, a medida que estos modelos operan en horizontes temporales cada vez más largos, su progreso interno se vuelve opaco para los usuarios. Esta opacidad genera desafíos significativos para la interacción del usuario, específicamente en la gestión de expectativas y la supervisión en tiempo real. Los usuarios no pueden determinar fácilmente cuánto tiempo tomará una tarea o si el modelo está realizando un progreso genuino hacia una solución. Aunque algunos trabajos previos intentan imponer presupuestos de razonamiento fijos, esta estrategia falla cuando el presupuesto requerido no puede inferirse únicamente de la consulta, lo que potencialmente conduce a una terminación prematura o a respuestas incorrectas.

La pregunta central abordada es si los Reasoning LMs codifican información sobre su distancia computacional restante hasta una respuesta final dentro de sus estados ocultos, y si esta información puede aprovecharse para la predicción de progreso en tiempo real.

Metodología

Los autores emplean un enfoque de dos frentes: sondeo diagnóstico de modelos existentes y ajuste fino supervisado (SFT) para generar informes de progreso explícitos.

1. Sondeo Diagnóstico (Análisis de Estados Ocultos)

Para determinar si la información de progreso está intrínsecamente codificada en las representaciones del modelo, los autores entrenaron sondas lineales sobre estados ocultos intermedios.

• Conjunto de datos: Aproximadamente 25.000 trazas de razonamiento matemático de OpenR1-Math.
• Etiquetado: El progreso de razonamiento se discretizó en 10 bins (0–10%, 11–20%, ..., 91–100%) basándose en la posición normalizada del token ($k/m$) dentro de una traza de longitud $m$.
• Arquitectura de la sonda: Se entrenaron dos tipos de sondas lineales:
  • $f_{token}$: Predice el grupo de progreso a partir del estado oculto del token actual.
  • $f_{q+token}$: Predice a partir de la concatenación del estado actual y los estados ocultos de los $n=2$ tokens precedentes.
• Evaluación: El rendimiento se midió utilizando la precisión top-1 y el Error Absoluto Medio (MAE) tanto en datos del dominio como en trazas largas fuera de distribución (OOD) (>16K tokens).

2. Ajuste Fino Supervisado (Informes de Progreso Explícitos)

Los autores investigaron si la supervisión explícita podía mejorar la estimación de progreso entrenando modelos para que emitieran porcentajes de progreso directamente dentro del CoT.

• Construcción de datos: Las trazas de OpenR1-Math se aumentaron con tokens <progressbar> X% </progressbar> insertados después de segmentos de párrafo. El valor de progreso $a_i$ se calculó como la cuenta acumulada de tokens del segmento relativa a la longitud total de la traza.
• Variantes de entrenamiento:
  • SFT Estándar: Los modelos se ajustaron finamente utilizando LoRA con pérdida de entropía cruzada, ponderando más los tokens dentro de las anotaciones de progreso.
  • Programa de enmascaramiento: Para evitar que los modelos dependan del espaciado regular de los marcadores en lugar del contenido de razonamiento, se aplicó un programa de enmascaramiento donde las anotaciones de progreso anteriores se enmascararon aleatoriamente durante el entrenamiento (programa coseno de 0 a 0.5).
• Modelos evaluados: DEEPSCALER-1.5B, QWEN3-0.6B y QWEN3-4B.
• Líneas base: Las comparaciones se realizaron frente a líneas base de posición de token (Longitud media global, Longitud media/mediana de la tarea) y una línea base de "Marcador anterior" que extrapola a partir de informes previos.

3. Análisis de Ambigüedad Intrínseca

Para cuantificar la incertidumbre inherente en las etiquetas de progreso, los autores midieron la dispersión de los valores de progreso a través de múltiples continuaciones estocásticas desde el mismo prefijo parcial.

• Métrica: Desviación Absoluta Media (MAD) y Desviación Porcentual Absoluta Media (MAPD) de los valores de progreso realizados ($g_{i,\ell}$) a través de $r=8$ continuaciones muestreadas.

Resultados Clave

Codificación en Estados Ocultos

Las sondas lineales demostraron que los estados ocultos contienen información correlacionada con la posición normalizada de la traza, aunque esta señal no es puramente semántica.

• Precisión: Las sondas alcanzaron precisiones significativamente superiores a la adivinanza aleatoria (10%), con los mejores resultados del dominio alcanzando ~35.9% (QWEN3-4B, capa intermedia).
• Generalización: El rendimiento disminuyó significativamente en trazas largas OOD, indicando dificultad en la generalización de longitud.
• Interpretación: Los autores señalan que estos resultados sirven como un "diagnóstico de representación" en lugar de evidencia concluyente de seguimiento semántico del progreso, ya que las etiquetas se derivan de la posición del token ($k/m$).

Rendimiento de Informes de Progreso

Los modelos ajustados finamente aprendieron con éxito a generar estimaciones de progreso, con un rendimiento que varió según el tamaño del modelo y la estrategia de entrenamiento.

• Mejor Rendimiento: El checkpoint QWEN3-4B enmascarado logró los resultados más fuertes, con un MAE de 0.161 en trazas de razonamiento matemático y 0.157 en el conjunto fuera de dominio BBEH (Big-Bench Extra Hard).
• Efecto del enmascaramiento: El enmascaramiento generalmente mejoró la calidad de la predicción de progreso (menor MAE), pero a veces resultó en una compensación con la precisión de la tarea aguas abajo. Por ejemplo, el QWEN3-4B enmascarado tuvo una precisión macro ligeramente inferior en los benchmarks de matemáticas en comparación con su contraparte sin enmascarar, pero una estimación de progreso significativamente mejor.
• Comparación con líneas base: En los benchmarks matemáticos, los mejores checkpoints de progreso-SFT superaron a las líneas base de posición de token en conjunto. Sin embargo, en BBEH, las líneas base simples basadas en longitud fueron altamente competitivas, lo que sugiere que las estimaciones de progreso fuera de dominio pueden depender en gran medida de regularidades estructurales en lugar de un razonamiento sensible al contenido.

Ambigüedad Intrínseca

El estudio cuantificó el "ruido" inherente al razonamiento estocástico.

• Dispersión: QWEN3-4B exhibió la dispersión de despliegue más baja (MAD = 0.027), seguida por DEEPSCALER-1.5B (0.059) y QWEN3-0.6B (0.065).
• Correlación: El modelo con la dispersión más baja (QWEN3-4B) también logró el MAE de predicción más bajo. Esto sugiere que los modelos más grandes pueden hacer que las etiquetas de progreso sean más estables al reducir la variación en la longitud restante de la solución.
• Brecha: El MAE observado sigue siendo más alto que la dispersión intrínseca (MAD), lo que indica que, aunque la estocasticidad explica parte del error, aún hay margen de mejora en los algoritmos de estimación.

Significado y Afirmaciones

El artículo afirma cuatro contribuciones principales:

1. Visibilidad en Tiempo Real: Introduce un marco para la predicción de progreso en tiempo real en Reasoning LMs, ofreciendo una solución potencial a la opacidad de las trayectorias de razonamiento largas.
2. Evidencia de Representación: Demuestra que los modelos de razonamiento codifican información relacionada con el progreso en sus representaciones internas, como lo demuestra el éxito de las sondas lineales.
3. Integración Directa: Muestra que los informes de progreso pueden incorporarse directamente en el proceso de generación mediante SFT, con el checkpoint QWEN3-4B enmascarado alcanzando un MAE de 0.161 en trazas matemáticas.
4. Cuantificación de Ambigüedad: Cuantifica la ambigüedad intrínseca de las etiquetas de progreso midiendo la dispersión de despliegue, encontrando que los modelos más grandes (QWEN3-4B) producen estimaciones de progreso más estables debido a la reducción de la variación en las longitudes de solución restantes.

Los autores mantienen una postura modesta, reconociendo que las señales de progreso a menudo están vinculadas a la posición del token y a regularidades de longitud de traza en lugar de una comprensión puramente semántica. Señalan que, aunque los informes de progreso son analizables y numéricamente alineados fuera de dominio, su interpretación debe ser relativa a los controles estructurales. El estudio se limita a tres modelos compactos y principalmente al razonamiento matemático, con un rendimiento de predicción que se degrada en trazas más largas que la distribución de entrenamiento.