Reasoning Models Don't Just Think Longer, They Move Differently

Resumen Técnico: Los Modelos de Razonamiento No Solo Piensan Más, Sino que Se Mueven de Forma Diferente

Enunciado del Problema
Los Modelos de Lenguaje Grandes (LLM) entrenados en razonamiento asignan frecuentemente más cómputo en tiempo de prueba a problemas más difíciles, lo que resulta en cadenas de pensamiento significativamente más largas. Sin embargo, la literatura existente ha tenido dificultades para distinguir si estos modelos están meramente realizando más pasos computacionales o alterando fundamentalmente su trayectoria de razonamiento interna. Un factor de confusión crítico en el análisis de las trayectorias de estados ocultos es la longitud de generación: las rutas más largas son mecánicamente menos directas (más "tortuosas") independientemente de la lógica interna del modelo. En consecuencia, los análisis geométricos crudos a menudo atribuyen erróneamente los efectos mecánicos de la longitud de la ruta a la dificultad del problema o a la arquitectura del modelo, oscureciendo si el entrenamiento en razonamiento induce dinámicas internas distintas.

Metodología
Los autores emplean un diseño experimental emparejado en tres dominios: programación competitiva (Codeforces), matemáticas (MATH) y satisfacibilidad booleana (SAT).

1. Calibración de Dificultad: Para establecer una escala de dificultad continua independiente de las etiquetas específicas de la plataforma, los autores ajustan un modelo Rasch (Teoría de Respuesta al Ítem) utilizando el rendimiento de 32 modelos en 1.500 ítems. Esto produce una variable latente de dificultad ($b_i$) para cada problema.
2. Extracción de Trayectorias: Las trayectorias de estados ocultos se extraen del flujo residual en cinco capas equidistantes durante la generación de segmentos de solución. Para los modelos de razonamiento, este segmento es el bloque de pensamiento explícito; para las líneas base ajustadas a instrucciones, es el texto anterior al límite de respuesta detectado.
3. Métricas Geométricas: Se calculan dos estadísticas principales:
   • Directitud ($D$): La relación entre el desplazamiento neto y la longitud total de la ruta ($\Delta / L$), midiendo la eficiencia del punto final.
   • Variabilidad de Curvatura ($V$): La desviación estándar de la curvatura de Menger sobre ternas consecutivas, midiendo la heterogeneidad local de la flexión.
4. Corrección de Longitud: Reconociendo que la geometría cruda está dominada por la longitud de generación ($N$), los autores realizan un procedimiento de residualización. Ajustan una regresión solo de longitud ($\bar{D} \sim \log N$) para cada modelo y capa, y luego correlacionan los residuos ($D_\perp$) con la dificultad del ítem ($b_i$). Esto aísla el acoplamiento dificultad-geometría independiente de la longitud de la ruta.
5. Análisis Comparativo: El estudio compara seis pares emparejados de modelos entrenados en razonamiento (usando destilación R1, SFT+RL o destilación o3-mini) frente a sus líneas base ajustadas a instrucciones.
6. Análisis Auxiliares: Los autores emplean sondas lineales para probar la decodificabilidad de la dificultad en la etapa de prompt y utilizan jueces LLM independientes para anotar las trazas generadas en comportamientos de razonamiento (por ejemplo, cambio de estrategia, monitoreo de incertidumbre).

Resultados Clave

1. Inversión de Signo Mediante Corrección de Longitud: En las trayectorias crudas, los problemas más difíciles parecen menos directos porque generan rutas más largas. Tras la corrección de longitud, esta relación se invierte en los tres dominios: los problemas más difíciles elicitan trayectorias corregidas más directas. Esto indica que la geometría cruda es un artefacto estructural de la longitud, no una representación fiel de la organización del razonamiento.
2. Separación de Razonamiento Dependiente del Dominio:
   • Programación Competitiva: Aquí emerge la distinción más clara. Los seis modelos de razonamiento exhiben una fuerte correlación positiva entre la dificultad y la directitud corregida ($\rho_{D_\perp} \approx +0.41$), mientras que las líneas base emparejadas permanecen cerca de cero o negativas ($\approx -0.06$). Los modelos de razonamiento también muestran una variabilidad de curvatura reducida en problemas difíciles.
   • Matemáticas: La separación es más débil y más heterogénea ($\rho_{D_\perp} \approx +0.05$ para razonamiento frente a $-0.07$ para líneas base).
   • Satisfacibilidad Booleana: Tanto los modelos de razonamiento como las líneas base muestran un acoplamiento corregido positivo, lo que sugiere que el acoplamiento dificultad-geometría puede emerger en modelos ajustados a instrucciones sin entrenamiento específico de razonamiento en este dominio.
3. Desacoplamiento de las Sondas Lineales: Las sondas lineales en la etapa de prompt no reflejan la separación entre razonamiento y línea base observada en la geometría corregida. En el dominio del código, la brecha geométrica es grande mientras que la diferencia en la decodificabilidad lineal de la dificultad es insignificante. Esto sugiere que el efecto no es simplemente un acceso lineal más fuerte a la información de dificultad, sino un cambio en cómo evoluciona la trayectoria durante la generación.
4. Correlatos Conductuales: Un acoplamiento geométrico corregido más fuerte coexiste con comportamientos de razonamiento observables, específicamente "cambio de estrategia" y "monitoreo de incertidumbre", particularmente en modelos destilados R1. Estas anotaciones son correlatos descriptivos medidos a partir de las mismas trazas, no mecanismos causales.

Significado y Afirmaciones
El artículo establece que la longitud de generación es un factor de confusión estructural en el análisis de trayectorias en tiempo de generación y que la corrección de longitud es un prerrequisito para una interpretación válida. Los autores afirman que el entrenamiento en razonamiento se asocia con una geometría de trayectoria corregida distinta, pero este efecto es dependiente del dominio, siendo más pronunciado en la programación competitiva.

Los hallazgos sugieren que los modelos de razonamiento no solo "piensan más"; siguen rutas internas diferentes que se vuelven más directas y menos heterogéneas localmente a medida que aumenta la dificultad del problema, específicamente en dominios que requieren selección compleja de estrategias. El artículo postula que esta señal geométrica es complementaria a, en lugar de una reafirmación de, la decodificabilidad lineal de la dificultad. Finalmente, los autores lanzan un archivo de trayectorias a gran escala que empareja cadenas de pensamiento generadas con trayectorias de estados ocultos muestreadas para facilitar futuras investigaciones sobre las dinámicas internas del razonamiento.

Limitaciones
Los autores reconocen que el análisis identifica una asociación geométrica robusta en lugar de un mecanismo causal. La segmentación de los segmentos de solución depende de heurísticas para las líneas base, y las anotaciones conductuales son correlatos descriptivos derivados de los mismos datos que la geometría, lo que excluye afirmaciones causales sobre cómo comportamientos específicos impulsan la señal geométrica. Además, el muestreo de pasos fijos puede pasar por alto estructuras temporales más finas.