📄 other

Humans Disengage, Reasoning Models Persist: An Item-Controlled Dissociation in Deliberation Allocation

Este artículo revela una disociación crítica entre los humanos y los modelos de razonamiento de gran escala (LRM) en la asignación de la deliberación: si bien ambos dedican más tiempo a los problemas más difíciles en general, los humanos invierten menos tiempo en los elementos que finalmente erran (abandonando tareas difíciles), mientras que los LRM paradójicamente generan trazas de razonamiento más largas en problemas en los que fallan (persistiendo en la incertidumbre), lo que resalta una diferencia fundamental en las políticas de parada y control a pesar de las similitudes superficiales.

Autores originales: Han-yu Wang

Publicado 2026-07-23

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Han-yu Wang

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás observando a dos estudiantes diferentes realizar un examen de matemáticas realmente difícil. Uno es un adolescente humano brillante y el otro es un programa informático superinteligente diseñado para "pensar" a través de los problemas paso a paso. Durante mucho tiempo, los científicos se han sentido fascinados por cómo se comparan ambos. Han notado una similitud superficial: cuando un problema es complicado, tanto el humano como la computadora tienden a dedicarle más tiempo. Es como observar el velocímetro de un coche; si el camino se vuelve empinado, ambos conductores reducen la velocidad para subir la cuesta. Esta observación llevó a muchos a creer que las computadoras están empezando a "pensar" de forma similar a los humanos, utilizando engranajes mentales parecidos para determinar qué problemas son difíciles y cuáles son fáciles.

Pero aquí está el giro: el hecho de que dos conductores reduzcan la velocidad ante la misma pendiente no significa que estén conduciendo de la misma manera. Un conductor podría reducir la velocidad para navegar cuidadosamente la curva, mientras que el otro podría reducirla porque está confundido y mirando el mapa, sin saber qué hacer a continuación. La gran pregunta en el mundo de la inteligencia artificial y la psicología humana es: cómo deciden estos pensadores cuándo seguir intentándolo y cuándo rendirse. ¿Dedican un esfuerzo extra a los problemas con los que están teniendo dificultades, o cortan sus pérdidas y pasan a otra cosa? Comprender esto no es solo una cuestión de puntuaciones en matemáticas; se trata de averiguar si las computadoras están aprendiendo realmente a razonar como nosotros, o si solo están imitando la apariencia del pensamiento sin la misma lógica interna.

El Gran Desajuste del "Pensamiento"

Un nuevo estudio del investigador Han-yu Wang despoja las capas de este misterio y encuentra un secreto sorprendente escondido a plena vista. Mientras que los humanos y los modelos de IA avanzados de "razonamiento" coinciden en qué problemas son difíciles, discrepan completamente en qué hacer al respecto.

Piénsalo como un videojuego. Cuando un jugador se topa con un jefe que es demasiado fuerte, un jugador humano inteligente podría darse cuenta de: "Esto es demasiado difícil en este momento", y decidir dejar de perder el tiempo, tal vez probando una estrategia diferente o pasando a un nivel distinto. Se desvincula. Pero la IA, según este estudio, hace exactamente lo contrario. Cuando la IA se equivoca en un problema, no se detiene; sigue adelante, generando aún más texto, más "pensamientos" y más pasos antes de finalmente rendirse con la respuesta incorrecta.

El Descubrimiento Central: La Brecha entre lo "Incorrecto" y lo "Correcto"
El estudio analizó una colección masiva de datos donde humanos y seis modelos de IA diferentes resolvieron los mismos acertijos visuales (llamados H-ARC). Los investigadores midieron dos cosas:

Registro: ¿Coincidieron en qué acertijos eran difíciles? Sí. Tanto los humanos como la IA dedicaron más tiempo a los acertijos difíciles.
Asignación: Cuando fallaban un acertijo, ¿dedicaban más o menos tiempo a él en comparación con cuando acertaban? No. Aquí es donde se separan.

Humanos: Cuando los humanos fallaban un acertijo, dedicaban menos tiempo a él que cuando acertaban. Los datos muestran un "d de Cohen" de -0.10. Esto sugiere una estrategia de "rendición". Si un humano siente que está estancado, a menudo deja de pensar en ello rápidamente.
Modelos de IA: Cuando la IA fallaba, dedicaba significativamente más tiempo a ello. Los modelos de IA mostraron un "d de Cohen" que oscilaba entre 1.47 y 3.13. Esto significa que la IA seguía generando "pensamientos" (tokens) incluso cuando claramente estaba fallando.

El artículo argumenta que esto no es solo un pequeño error; es una diferencia fundamental en cómo "piensan". El patrón humano parece ser de compromiso vs. abandono: nos quedamos en los problemas que creemos que podemos resolver y abandonamos los que no podemos. El patrón de la IA es de longitud sobre la incertidumbre: cuando la IA tiene dudas, simplemente sigue hablando, generando cadenas de razonamiento más largas, aunque ese exceso de palabras no le ayude a obtener la respuesta correcta.

Las Pistas del "Rastro"

Para entender por qué la IA hace esto, los investigadores examinaron el texto real que la IA generó (su "rastro de pensamiento"). Descubrieron que cuando la IA estaba a punto de responder incorrectamente, su texto estaba lleno de "vacilación" y "autoduda". Decía cosas como "espera, en realidad", "hmm" o "déjame reconsiderar". Básicamente, estaba hablando consigo misma, insegura del camino, pero no se detenía.

En contraste, cuando los humanos fallaban una pregunta rápidamente, a menudo realizaban menos movimientos (como menos ediciones de cuadrícula en el acertijo), lo que sugería que ya habían decidido que el acertijo no valía el esfuerzo. El estudio sugiere que, para los humanos, la decisión de detenerse es una elección metacognitiva inteligente. Para la IA, la decisión de detenerse parece estar ligada a una regla diferente: sigue adelante hasta que se queda sin "presupuesto" o choca contra un muro, incluso si sabe (o debería saber) que va por el camino equivocado.

Lo que esto Significa (y lo que no)

El artículo es muy cuidadoso en no decir que la IA es "estúpida" o que los humanos son "perfectos". En su lugar, sugiere que la IA y los humanos están jugando con libros de reglas distintos.

La IA no necesariamente está fallando al pensar: Podría estar siguiendo una regla que dice: "Si tienes dudas, genera más texto". Esto podría ser una buena estrategia para algunas tareas, pero para estos acertijos, conduce a un esfuerzo desperdiciado.
El "Pensamiento" no es el mismo: El hecho de que la IA produzca una larga cadena de texto que parezca razonamiento humano no significa que esté utilizando las mismas reglas de parada mental. El estudio muestra que el "pensamiento" de la IA es más como un hámster corriendo en una rueda cuando está confundido, mientras que el humano es como un excursionista que decide dar media vuelta cuando el sendero se vuelve demasiado empinado.

Los investigadores también probaron esto en otros tipos de acertijos (como física intuitiva y razonamiento binario). El patrón se mantuvo: la IA seguía dedicando tiempo extra a sus errores, mientras que los humanos tendían a dedicar menos tiempo. Sin embargo, en un tipo específico de acertijo (Cortes), el comportamiento de la IA cambió ligeramente, mostrando que la regla de "longitud sobre la incertidumbre" podría depender del juego específico que se esté jugando.

La Conclusión

Este estudio no demuestra que la IA no pueda pensar; demuestra que la IA y los humanos asignan su pensamiento de manera diferente. La similitud superficial (ambos tardan más en las cosas difíciles) esconde una diferencia profunda: los humanos tendemos a dejar de pensar cuando nos damos cuenta de que estamos estancados, mientras que los modelos de IA tienden a seguir pensando (y hablando) incluso cuando están estancados.

Los autores sugieren que para comprender verdaderamente a la IA, debemos mirar cuándo se detienen, no solo cuánto tiempo piensan. Proponen una nueva forma de probar esto: si cortamos el "pensamiento" de la IA prematuramente (truncamiento), podríamos ver si esas palabras extra eran realmente útiles o solo ruido. Hasta que no hagamos eso, el artículo concluye que la "persistencia" de la IA en las respuestas incorrectas es una señal de que su lógica interna para decidir "cuándo rendirse" es fundamentalmente distinta a la nuestra. Es un recordatorio de que, en la carrera por construir una IA similar a la humana, podríamos estar construyendo máquinas que son muy buenas para parecer que están pensando, pero muy malas para saber cuándo detenerse.

Resumen Técnico: Los humanos se desconectan, los modelos de razonamiento persisten

Planteamiento del problema

Una cuestión central en la ciencia cognitiva de la deliberación es cómo los agentes deciden cuándo continuar pensando en un problema y cuándo desconectarse. Investigaciones previas (p. ej., de Varda et al., 2025) establecieron una alineación "entre ítems" (cross-item) entre los Modelos de Razonamiento de Gran Escala (LRM) y los humanos: ambos sistemas generan trazas más largas (tokens de razonamiento para los LRM, tiempos de reacción para los humanos) en ítems que son objetivamente más difíciles. Esto sugiere una registración de dificultad compartida: la capacidad de percibir que una tarea es difícil.

Sin embargo, esta similitud superficial enmascara una posible divergencia en la asignación de la deliberación: cómo un agente programa la computación después de registrar la dificultad, específicamente en relación con su propio éxito o fracaso. El artículo argumenta que las correlaciones entre ítems por sí solas no pueden distinguir entre un mecanismo de razonamiento compartido y una alineación coincidente en la graduación de la dificultad. El problema central es determinar si los LRMs y los humanos asignan recursos de deliberación (tiempo/tokens) a los ensayos correctos e incorrectos de la misma manera cuando la identidad del ítem se mantiene constante.

Metodología

El estudio emplea un marco de diagnóstico de dos niveles utilizando análisis condicionados al resultado y controlados por ítem, empleando conjuntos de datos públicos y desidentificados (H-ARC, INTUIT, Cortes) y una muestra de seis LRM de pesos abiertos (p. ej., DeepSeek-R1, Qwen-QwQ, gpt-oss) además de una línea base sin razonamiento (DeepSeek-V3).

1. Diagnóstico de dos niveles

Nivel 1: Registración de dificultad (Entre ítems): Mide la correlación entre la longitud de la traza del LRM y el tiempo de reacción humano a través de diferentes ítems. Esto replica el hallazgo de que ambos sistemas coinciden en qué ítems son difíciles.
Nivel 2: Asignación de la deliberación (Dentro del ítem): Mide la relación entre la longitud de la deliberación y la corrección dentro del mismo agente y dentro del mismo ítem. Esta es la contribución novedosa. Pregunta: "¿El agente dedica más deliberación a los ensayos que acierta o a los que falla?".

2. Enfoque estadístico

Métrica: La métrica principal es la d-ratio (la d de Cohen sobre el logaritmo de la deliberación), calculada como $(\bar{\ell}_{wrong} - \bar{\ell}_{right}) / s_{pooled}$ $(\overset{ˉ}{ℓ}_{w r o n g} - \overset{ˉ}{ℓ}_{r i g h t}) / s_{p oo l e d}$ .
- d positivo: El agente delibera más tiempo en los fallos.
- d negativo: El agente delibera más tiempo en los aciertos.
Controles: Para aislar la asignación de la dificultad, los autores utilizan regresiones de efectos fijos por ítem. Esto absorbe la identidad del ítem, asegurando que la comparación sea impulsada puramente por el resultado de corrección dentro del mismo ítem.
Alcance: El análisis es "controlado por ítem" en lugar de estrictamente "dentro del agente" en un sentido de medidas repetidas, ya que los datos públicos proporcionan un único resultado por par (ítem $\times$ modelo). El contraste se identifica entre modelos (y humanos) que intentan el mismo ítem específico.

3. Sondas mecanísticas

Para interpretar la divergencia conductual, los autores analizaron el contenido de las trazas:

Datos humanos: Descompusieron el tiempo de reacción usando "conteos de acciones" (ediciones de cuadrícula) para distinguir entre "abandono" (errores rápidos) y "fallo comprometido" (errores lentos).
Datos de LRM: Analizaron las trazas de razonamiento en busca de "marcadores de duda propia" (vacilación), marcadores de autocorrección y tasas de repetición léxica para ver si las trazas más largas se correlacionan con la incertidumbre.

Resultados clave

1. La brecha de asignación (Reversión de signo)

En el conjunto de datos principal (H-ARC), surge una disociación marcada:

Humanos: Exhiben un d-ratio negativo ( $d = -0.10$ ). Al controlar la dificultad del ítem, los humanos pasan menos tiempo en los ensayos en los que fallan. Esto sugiere una política de compromiso vs. abandono: los humanos persisten en ítems que esperan resolver y se desconectan rápidamente en aquellos que no.
LRM de razonamiento: Exhiben un d-ratio positivo ( $d = 1.47–3.13$ ). Al controlar la dificultad del ítem, los LRM emplean más tokens en los ensayos en los que fallan. Esto sugiere una política de longitud basada en la incertidumbre: el modelo genera cadenas más largas cuando no está seguro, que es precisamente cuando tiende a fallar.

2. Robustez y generalización

Trans-paradigma: La reversión de signo se mantiene en INTUIT (física intuitiva), donde los LRM muestran un $d > 0$ y los humanos muestran un $d \approx 0$ .
Caso límite (Cortes): En Cortes (razonamiento relacional binario), la pendiente dentro del ítem de solo LRM es positiva (opuesta a H-ARC), pero la interacción entre el tipo de agente y la corrección sigue siendo significativa porque los humanos muestran una pendiente positiva aún más fuerte. La disociación sobrevive, aunque la lectura del mecanismo es más compleja aquí.
Línea base: El modelo no pensante DeepSeek-V3 también muestra una tendencia a dedicar más tokens a los ensayos erróneos (d-ratio positivo), lo que sugiere que este comportamiento de "longitud bajo incertidumbre" puede ser una propiedad de la generación de modelos base bajo incertidumbre, no solo una característica de "razonamiento".

3. Evidencia mecanística

Compromiso humano: La pendiente positiva dentro del ítem para los humanos (en ensayos correctos) está mediada por los conteos de acciones. Los ensayos erróneos rápidos (abandono) tienen significativamente menos acciones que los ensayos erróneos lentos (fallo comprometido), lo que respalda la hipótesis de "compromiso vs. abandono".
Incertidumbre de LRM: En H-ARC, las cadenas de los ensayos erróneos contienen significativamente más marcadores de duda propia/vacilación. En Cortes, muestran mayor repetición de 5-gramas y menores tasas de tipo-token. Estos marcadores superficiales sugieren que el modelo está "atascado" o es incierto, generando más tokens sin mejorar necesariamente la precisión.

Contribuciones clave

Desacoplamiento de la registración y la asignación: El artículo separa dos niveles conductuales que a menudo se confunden en las comparaciones entre humanos y modelos. Demuestra que, mientras los LRM y los humanos se alinean en qué ítems son difíciles (registración), divergen fundamentalmente en cómo asignan los recursos a esos ítems (asignación).
Diagnóstico controlado por ítem: Introduce un diagnóstico rigurooso condicionado al resultado que mantiene fija la identidad del ítem. Esto revela que las correlaciones entre ítems (registración de dificultad) son ortogonales a las políticas de deliberación dentro del ítem.
Reencuadre de la alineación: El artículo argumenta que la aparente alineación en la longitud de la traza es una "similitud superficial" que oculta políticas internas opuestas. Reencuadra la alineación humano-LRM no como una cuestión de la longitud de la traza únicamente, sino como una cuestión de políticas de parada y control.

Significado y afirmaciones

El artículo sostiene que la disociación observada desafía la noción de que los LRM actuales implementan un control metacognitivo similar al humano.

Desacoplamiento metacognitivo: En los humanos, el monitoreo (incertidumbre) está vinculado al control (parada/abandono). En los LRM, los signos de monitoreo (vacilación, marcadores de incertidumbre) aumentan en los ensayos erróneos, pero están débilmente vinculados a la parada; el modelo continúa generando tokens incluso cuando es probable que el resultado sea incorrecto.
Interpretación de racionalidad de recursos: El patrón humano es consistente con una política de racionalidad de recursos donde la computación se retira cuando la ganancia marginal esperada desaparece (abandono). El patrón de los LRM sugiere una política donde se asignan más tokens a ítems inciertos independientemente de su utilidad final, optimizando potencialmente para un objetivo diferente (p. ej., señales de entrenamiento, recompensas del verificador) en lugar de la precisión del ítem.
Cambio metodológico: Los autores afirman que el trabajo futuro que compare los LRM con la cognición humana debe emparejar las pruebas de alineación entre ítems con pruebas de asignación dentro del íem. Confiar únicamente en las correlaciones entre ítems es insuficiente para reclamar mecanismos de razonamiento compartidos.

Limitaciones: Los autores señalan explícitamente que los datos son observacionales. No prueban que los tokens adicionales en los ensayos erróneos de los LRM tengan un valor causal cero, sino que su patrón de asignación es el inverso del comportamiento humano. Proponen un experimento de "truncamiento controlado" como el siguiente paso necesario para determinar si los tokens adicionales son una "búsqueda útil" o simplemente "relleno". El estudio se limita a modelos de pesos abiertos y no prueba sistemas de frontera cerrados.