Resumen Técnico: El Razonamiento Puede Restaurarse Corrigiendo Algunos Tokens de Decisión

Enunciado del Problema

Los Modelos de Razonamiento Grandes (LRM) superan consistentemente a sus contrapartes base, los Modelos de Lenguaje Grandes (LLM), en benchmarks de razonamiento desafiantes, una brecha a menudo atribuida al escalado en tiempo de prueba y al entrenamiento posterior basado en aprendizaje por refuerzo (por ejemplo, RLVR). Sin embargo, los mecanismos específicos que impulsan esta brecha de rendimiento permanecen poco comprendidos. No está claro dónde fallan los modelos base durante la generación token a token, si las capacidades de razonamiento son latentes dentro de los modelos base, ni cómo cerrar eficientemente la brecha de rendimiento sin el costo computacional de ejecutar un LRM completo para cada token.

Metodología

Los autores proponen un marco para analizar y cerrar la brecha entre base y LRM mediante la discrepancia distribucional a nivel de token.

1. Cuantificación de la Discrepancia

El estudio utiliza divergencias basadas en verosimilitud, principalmente la Entropía Cruzada (CE) y la divergencia de Kullback–Leibler (KL) inversa, para medir la discrepancia entre un modelo base ($M_b$) y un modelo de razonamiento más fuerte ($M_r$) en cada paso de generación $t$. La puntuación de discrepancia $s_t$ se define como:
$$s_t = D_{CE}(p_b(\cdot | x_t), p_r(\cdot | x_t)) = -\sum_{y \in V} p_b(y | x_t) \log p_r(y | x_t)$$
donde $p_b$ y $p_r$ son las distribuciones de probabilidad del siguiente token.

2. Intervención de Token Guiada por Discrepancia

Basándose en el análisis de los patrones de discrepancia, los autores introducen un esquema de delegación escaso en tiempo de inferencia llamado intervención de token guiada por discrepancia.

• Mecanismo: El sistema utiliza por defecto el modelo base eficiente ($M_b$). Sin embargo, cuando la puntuación de discrepancia $s_t$ supera un umbral global calibrado $\tau$ y una condición de pico relativo local ($s_t > \lambda \cdot \bar{s}_{t,W}$), se produce una "toma de control de un solo token".
• Toma de control: En estas posiciones de alta discrepancia, el modelo de razonamiento ($M_r$) genera el siguiente token. Inmediatamente después, el control vuelve al modelo base.
• Calibración: Los umbrales se calibran en un conjunto de retención para apuntar a una "relación de picos" específica $r$ (por ejemplo, el 3% o 5% superior de las puntuaciones de discrepancia), asegurando que el presupuesto de intervención permanezca pequeño.

Hallazgos Clave y Contribuciones

1. Escasez y Concentración de las Brechas de Razonamiento

El documento demuestra que la brecha de rendimiento entre los modelos base y los modelos de razonamiento es altamente escasa.

• Distribución de Cola Pesada: Una fracción diminuta de tokens (por ejemplo, $\sim8\%$ en Qwen3-0.6B) representa la gran mayoría de la discrepancia distribucional. El coeficiente de Gini para la masa de discrepancia es extremadamente alto ($\approx 0.936$), lo que indica que la mayoría de los tokens acumulan poca masa de discrepancia.
• Concentración Temprana: Los picos de alta discrepancia están cargados al inicio, ocurriendo desproporcionadamente temprano en la trayectoria de generación (moda en $u \approx 0.05$). Esto contradice la intuición de que las ganancias en razonamiento provienen principalmente de trazas largas más adelante en el proceso.

2. Alineación con la Incertidumbre y la Planificación

Los picos de discrepancia no son aleatorios; exhiben propiedades estructurales específicas:

• Alineación con la Incertidumbre: Los picos de discrepancia se superponen fuertemente con la incertidumbre intrínseca del modelo base (entropía de Shannon).
• Riqueza en Planificación: Estos tokens críticos están fuertemente enriquecidos en decisiones relacionadas con la planificación (por ejemplo, selección de estrategia, vinculación de variables, descomposición). En Qwen3-0.6B, los tokens de planificación constituyen solo $\sim1.9\%$ del flujo global pero aparecen en $\sim14\%$ de los picos de discrepancia (un enriquecimiento de $7.46\times$).

3. Poder Predictivo

Agrupar las puntuaciones de discrepancia sobre los tokens superiores-$K$ sirve como un fuerte predictor del fallo en el razonamiento. La puntuación basada en discrepancia supera a la entropía del modelo base en la predicción de respuestas finales incorrectas (por ejemplo, AUROC de 0.851 frente a 0.817 en GSM8K).

4. Recuperación del Rendimiento mediante Intervención Escasa

El esquema de intervención propuesto produce una recuperación de rendimiento desproporcionada:

• Eficiencia: Interviniendo en un pequeño presupuesto de tokens (por ejemplo, $\bar{\rho} \approx 0.13$, o el 13% de los tokens), permite que un modelo base de 0.6B recupere el 157% de la brecha Pass@8 en relación con una variante "Pensante" del mismo tamaño (0.6B), superándola efectivamente.
• Comparación con Líneas Base: La sustitución aleatoria de tokens o la sustitución solo de los primeros $\rho$ tokens (solo al inicio) produce ganancias significativamente menores, confirmando que la selección de tokens específicos de alta discrepancia es el factor crítico, no meramente el volumen de intervención.
• Generalización: El fenómeno se transfiere entre familias de modelos (Qwen3 y LLaMA) y dominios (matemáticas y preguntas y respuestas científicas), aunque la magnitud de la recuperación varía.

Significado y Afirmaciones

El documento aboga por una visión de control escaso del razonamiento. Plantea que los modelos base poseen maquinaria de razonamiento latente que a menudo está desalineada en puntos específicos de planificación de alta incertidumbre. El "modo de razonamiento" de los LRM no es necesariamente una arquitectura fundamentalmente diferente, sino una estabilización de estas decisiones críticas tempranas.

Los autores afirman que:

1. El razonamiento es escaso: Un pequeño número de compromisos de planificación temprana dirige toda la trayectoria de razonamiento.
2. La corrección es suficiente: Al corregir selectivamente solo estos tokens de decisión de alta discrepancia, un modelo base puede recuperar las capacidades de razonamiento de un modelo mucho más fuerte sin un entrenamiento posterior completo ni inferencia continua de LRM.
3. Perspectiva Mecanística: La intervención actúa como un mecanismo ligero de "parar y verificar", resolviendo ambigüedades en la vinculación de variables o la selección de estrategias antes de devolver la ejecución al modelo base.

El trabajo sugiere que la "brecha de razonamiento" no es una falta de capacidad en el modelo base, sino un fallo para comprometerse con la trayectoria correcta en puntos de bifurcación específicos, lo cual puede remediarse mediante una intervención dirigida y guiada por la discrepancia.