Humans Disengage, Reasoning Models Persist: Separating Difficulty Registration from Deliberation Allocation

Resumen Técnico: Los humanos se desvinculan, los modelos de razonamiento persisten

Planteamiento del problema
Trabajos recientes (de Varda et al., 2025) establecieron una alineación superficial entre los Modelos de Razonamiento de Gran Escala (LRM, por sus siglas en inglés) y los humanos: ambos sistemas generan trazas de razonamiento más largas (o tardan más tiempo) en elementos difíciles. Esta "alineación entre ítems" sugiere que los LRM registran la dificultad de manera similar a los humanos. Sin embargo, esta correlación entre ítems confunde dos procesos cognitivos distintos: el registro de dificultad (clasificar ítems por dificultad) y la asignación de deliberación (decidir cuánto cómputo dedicar a un ítem específico una vez conocida su dificultad).

El artículo argumenta que las correlaciones entre ítems son insuficientes para afirmar una similitud mecánica porque no revelan cómo un agente programa el cómputo en relación con sus propios éxitos y fracasos. Específicamente, se desconoce si los LRM, al igual que los humanos, dedican más esfuerzo a los ítems que esperan resolver (compromiso/engagement) o si asignan el esfuerzo basándose en una señal diferente, como la incertidumbre, incluso cuando ese esfuerzo conduce al fracaso.

Metodología
El estudio introduce un diagnóstico de dos niveles para separar el registro de la asignación, utilizando un corpus emparejado público humano–LRM a través de tres paradigmas de razonamiento: H-ARC (abstracción visual), INTUIT (física intuitiva) y Cortes (razonamiento relacional binario).

1. Registro de dificultad (Sonda 1): Los autores replican el análisis entre ítems, correlacionando la longitud de la traza de razonamiento del LRM con el tiempo de reacción (RT) humano a través de los ítems.
2. Asignación de deliberación (Sonda 2): La innovación central es un diagnóstico condicionado al resultado y controlado por ítem. Los autores preguntan: Dado un ítem fijo, ¿dedica el agente más deliberación a los ensayos que responde correctamente frente a los que responde incorrectamente?
   • Métrica: La relación $d$ dentro del agente, definida como la $d$ de Cohen sobre el logaritmo del tiempo de deliberación (segundos para humanos, tokens de razonamiento para LRM) entre los ensayos erróneos y los correctos: $d = (\bar{\ell}_{erróneo} - \bar{\ell}_{correcto}) / s_{agrupada}$.
   • Controles: Para aislar la asignación de la dificultad, el análisis utiliza efectos fijos de ítem (absorbiendo la identidad del ítem) y regresiones controladas por dificultad. Esto asegura que la comparación sea estrictamente dentro del mismo ítem, evitando que los gradientes de dificultad entre ítems confundan el resultado.
   • Normalización: La deliberación se mide dentro de la escala nativa de cada agente (segundos frente a tokens); nunca se comparan magnitudes absolutas directamente.
   • Modelos: Se comparan seis LRM de pensamiento de pesos abiertos (por ejemplo, DeepSeek-R1, Qwen-QwQ, gpt-oss) y un modelo de base no pensante (DeepSeek-V3) contra muestras humanas emparejadas.

Resultados clave
El estudio encuentra una disociación entre el registro y la asignación:

• Registro (Alineación): Los LRM de pensamiento y los humanos coinciden en qué ítems son difíciles. La longitud de la traza del LRM se correlaciona positivamente con el RT humano a través de los ítems (Spearman $\rho = 0.16–0.30$), replicando a de Varda et al. (2025).
• Asignación (Divergencia): Una vez fijada la identidad del ílem, los dos sistemas exhiben políticas de asignación opuestas:
  • Humanos: Muestran una relación $d$ negativa o cercana a cero ($d = -0.10$ en H-ARC). Los humanos dedican menos tiempo a los ensayos que responden incorrectamente, lo cual es consistente con una estrategia de compromiso frente a abandono: persisten en los ítems que esperan resolver y se desvinculan (abandonan) en aquellos que no pueden.
  • LRM de pensamiento: Muestran una relación $d$ positiva grande ($d = 1.47–3.13$ en H-ARC). Los LRM utilizan más tokens en los ensayos que responden incorrectamente. Esto sugiere una política de longitud basada en la incertidumbre: las cadenas crecen cuando el modelo tiene dudas, que es precisamente cuando tiende a fallar.
  • Modelo de base no pensante: El DeepSeek-V3 no pensante también muestra una relación $d$ positiva en algunas tareas, lo que sugiere que la expansión de la longitud bajo incertidumbre puede ser una propiedad de la generación base más que una política de asignación de razonamiento específica, aunque los modelos de pensamiento muestran efectos más fuertes.
• Contenido de la traza: Dentro de las trazas de los LRM, los ensayos erróneos contienen densidades más altas de marcadores de duda propia (ej. "espera", "hmm") en H-ARC y una mayor repetición léxica en Cortes, lo que respalda la interpretación de que la longitud es impulsada por la incertidumbre en lugar de una búsqueda productiva.

Contribuciones

1. Descomposición conceptual: El artículo separa formalmente el registro de dificultad de la asignación de deliberación, demostrando que la alineación entre ítems no implica una política de parada compartida.
2. Nuevo diagnóstico: Introduce la relación $d$ condicionada al resultado y controlada por ítem como una prueba necesaria para la alineación metacognitiva entre humanos y LRM.
3. Hallazgo empírico: Revela que, si bien los LRM y los humanos están de acuerdo en qué es difícil, discrepan fundamentalmente en cómo responder a esa dificultad. La aparente alineación en trabajos previos enmascaraba una política de asignación opuesta.

Significancia y afirmaciones
El artículo afirma que la disociación observada desafía la visión de que los LRM implementan un control metacognitivo similar al humano.

• Desacoplamiento metacognitivo: Los resultados sugieren que en los actuales LRM de pensamiento, el monitoreo de la incertidumbre (señalizado por vacilación o longitud) está desacoplado del control de parada. Los humanos utilizan el monitoreo para filtrar el esfuerzo (abandonando ensayos de bajo valor), mientras que los LRM parecen continuar generando tokens cuando hay incertidumbre, independientemente de que la ganancia marginal de precisión disminuya.
• Interpretación de racionalidad de recursos: Bajo un marco de racionalidad de recursos, el patrón humano es consistente con una regla de parada que retira el esfuerzo cuando la ganancia marginal esperada desaparece. El patrón de los LRM implica un fallo al condicionar la ganancia esperada a las características específicas del ítem, o un objetivo de optimización diferente a la precisión de la tarea (ej. preferencias condicionadas a la longitud).
• Cambio metodológico: Los autores argumentan que el modelado cognitivo futuro de los LRM debe combinar pruebas de registro entre ítems con pruebas de asignación dentro del ítem. Confiar únicamente en correlaciones entre ítems es insuficiente para reclamar similitud mecánica.

Limitaciones y direcciones futuras
Los autores declaran explícitamente que sus hallazgos son observacionales y no prueban el valor causal de los tokens adicionales. No afirman que los LRM sean "irracionales", sino que implementan una política de racionalidad de recursos distinta. El artículo propone la truncación controlada en el tiempo de inferencia como el siguiente paso necesario para discriminar entre "longitud por incertidumbre" (donde la truncación no dañaría la precisión) y "búsqueda útil" (donde la truncación degradaría el rendimiento), una prueba que no se realizó en este estudio. El alcance se limita a modelos de pesos abiertos y conjuntos de datos específicos, y la lectura de compromiso frente a abandono es una interpretación de firmas conductuales, no una observación directa de la arquitectura interna.