💬 NLP

Thinking Hard, Not Smart: Reasoning Models Fail to Ration Test-Time Compute Across Questions

Este artículo introduce un marco de evaluación de estilo examen que revela que los modelos de razonamiento actuales fallan al asignar estratégicamente un presupuesto compartido de cómputo en tiempo de prueba entre múltiples preguntas, comportándose en su lugar como resolutores secuenciales ávidos que priorizan el orden de presentación sobre la dificultad o el valor de la pregunta.

Autores originales: Chenrui Fan, Yize Cheng, Ming Li, Yongyuan Liang, Tianyi Zhou, Soheil Feizi

Publicado 2026-08-11

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Chenrui Fan, Yize Cheng, Ming Li, Yongyuan Liang, Tianyi Zhou, Soheil Feizi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás sentado en una biblioteca gigante y de alta tecnología donde los libros han sido escritos por computadoras superinteligentes llamadas "modelos de razonamiento". Estas computadoras son increíbles resolviendo acertijos, pero tienen una extraña peculiaridad: cuanto más difícil es el acertijo, más "piensan" antes de responder. Este proceso de pensamiento cuesta algo llamado "cómputo", que es como un suministro limitado de energía o un límite de tiempo estricto en un examen. Los científicos han sabido durante mucho tiempo que si le das a la computadora más tiempo para pensar en un solo problema difícil, esta mejora en su resolución. Pero ha surgido una nueva pregunta: ¿Qué pasa cuando le das a la computadora una pila entera de diferentes acertijos, pero un solo límite de tiempo compartido para toda la pila? ¿Puede la computadora decidir en qué acertijos vale la pena gastar su energía, o simplemente avanza a través de ellos en el orden en que aparecen, desperdiciando su tiempo en los fáciles y quedándose sin aliento antes de llegar a los difíciles? Este es el gran misterio que los investigadores están tratando de resolver, porque si estas computadoras inteligentes no pueden gestionar su propia energía a través de un grupo de tareas, podrían fallar en situaciones del mundo real donde necesitan hacer malabares con muchos trabajos a la vez.

Este artículo, titulado "Thinking Hard, Not Smart" (Pensar Duro, No Inteligente), se sumerge precisamente en ese problema. Los investigadores organizaron un "examen" digital para varios de los modelos de razonamiento más avanzados del mundo. En lugar de darle a cada pregunta su propio límite de tiempo, le dieron a todo el examen un único presupuesto compartido de "tokens de pensamiento" (una unidad de esfuerzo computacional). El examen incluía preguntas de diversas dificultades, algunas que valían más puntos que otras, y los modelos tenían que descubrir cómo dividir su energía limitada para obtener la puntuación total más alta. Los resultados fueron un poco impactantes: los modelos no lograron actuar como estudiantes estratégicos. En lugar de saltarse una pregunta difícil de pocos puntos para ahorrar energía para una fácil de muchos puntos, se comportaron como un estudiante codicioso que simplemente lee las preguntas de arriba abajo. Gastaron una enorme cantidad de esfuerzo en las primeras preguntas, agotando a menudo sus tokens antes de siquiera llegar al final del examen, independientemente de cuántos puntos valieran las preguntas posteriores.

El estudio encontró que estos modelos son estrategas "ciegos a la posición". No parecen importarles si una pregunta está etiquetada como "Difícil" o "Fácil", o si vale 20 puntos o 5. La mayoría de las veces, solo siguen el orden en que se presentan las preguntas. Si una pregunta es la primera, vuelcan toda su energía en ella; si es la última, a menudo la ignoran por completo. Los investigadores probaron esto cambiando el orden de las preguntas y alterando sus valores de puntos, pero los modelos no se adaptaron. Incluso cuando los investigadores dieron a los modelos una instrucción especial diciéndoles que "planificaran con antelación" y "asignaran con sabiduría", los modelos no cambiaron sus hábitos. Simplemente distribuyeron su falta de estrategia de manera un poco más uniforme. El artículo sugiere que, si bien estos modelos están mejorando en el "pensar duro" en un solo problema, aún no han aprendido a "pensar inteligentemente" sobre qué problemas merecen ser pensados.

Para que esto sea más claro, imagina que tienes una mochila con un límite de peso estricto de 10 libras y estás en un mercado de pulgas con 20 artículos. Algunos artículos son pesados pero valen mucho dinero (alto valor, alto costo), otros son ligeros pero valen muy poco (bajo valor, bajo costo) y otros son pesados pero no valen nada. Un comprador inteligente miraría la lista completa, elegiría los artículos que ofrecen el mejor "valor por libra" y llenaría su bolsa para obtener la mayor cantidad de dinero. Pero estos modelos de IA actuaron como un comprador que simplemente agarra el primer artículo que ve, luego el segundo, luego el tercero, metiéndolos en la mochila hasta que esta es demasiado pesada para levantarla. Para cuando llegaron al final de la fila, ya no tenían espacio para las mejores ofertas. Los investigadores encontraron que a medida que el número de preguntas (o artículos) crecía de 5 a 20, los modelos se volvían peores cubriendo toda la lista. Por ejemplo, con 20 preguntas, los modelos solo realizaban un trabajo serio en unos 4 a 8 de ellas, dejando el resto completamente sin tocar.

El artículo también analizó si los modelos estaban reaccionando a la dificultad de las preguntas. Resulta que sí dedican más tiempo a las preguntas difíciles, pero solo después de haberlas comenzado. No miran una pregunta difícil y dicen: "Esto parece difícil, la saltaré para ahorrar energía para después". En su lugar, se lanzan, se dan cuenta de que es difícil y siguen adelante hasta que se quedan sin energía. Esto es lo que los autores llaman pensamiento "reactivo" en lugar de "prospectivo". Son buenos resolviendo un problema una vez que lo empiezan, pero malos decidiendo qué problemas empezar en primer lugar.

Curiosamente, los investigadores realizaron estas pruebas tanto en problemas matemáticos como en problemas de programación, y los resultados fueron los mismos. Ya fuera la tarea de resolver una ecuación o escribir un programa informático, los modelos se comportaron como un tren en una vía fija: avanzaban hacia adelante, una pregunta a la vez, hasta que se les acababa el combustible. No cambiaban de vía hacia las paradas más fáciles o valiosas. El estudio concluye que esta capacidad de gestionar un presupuesto compartido a través de múltiples tareas es una habilidad distinta de la que carecen los modelos actuales. Saben cómo pensar duro, pero no han descubierto cómo racionar su pensamiento. Esto no es solo un pequeño error; sugiere que, a medida que les pidamos realizar trabajos más complejos y de múltiples pasos, es posible que necesitemos enseñarles un nuevo tipo de "metacognición": la capacidad de pensar sobre su propio pensamiento y gestionar sus recursos, no solo resolver el acertijo que tienen delante.

Resumen Técnico: Pensar Duro, No Inteligente

Declaración del Problema

Los modelos de lenguaje de razonamiento actuales aprovechan cada vez más el cómputo en tiempo de prueba para mejorar el rendimiento en problemas individuales. Sin embargo, las evaluaciones existentes suelen evaluar estos modelos pregunta por pregunta, asignando un presupuesto independiente a cada una. Esta configuración no captura una restricción crítica en el despliegue en el mundo real: la asignación de presupuesto global. Cuando múltiples problemas compiten por un presupuesto de inferencia único y finito (por ejemplo, un límite de tokens o una restricción de latencia), un modelo debe tomar decisiones estratégicas sobre cómo distribuir sus recursos de cómputo. Debe determinar qué problemas vale la pena intentar, cuándo omitir o posponerlos y cuánto esfuerzo invertir en cada uno para maximizar la utilidad total.

El artículo postula que, si bien los modelos pueden ser capaces de "pensar duro" en un solo problema, carecen del control metacognitivo para "pensar inteligentemente" a través de un conjunto de problemas en competencia. Específicamente, no está claro si los modelos pueden estimar el valor de una pregunta en relación con su costo y ajustar dinámicamente su estrategia de razonamiento para optimizar la utilidad global, de forma similar a resolver un problema de la mochila donde los pesos (costos) no se conocen explícitamente.

Metodología

Marco de Evaluación: El Entorno de "Examen"

Los autores introducen un marco de evaluación de estilo examen para investigar la asignación de presupuesto compartido.

Tarea: Un modelo se le presenta con $N$ preguntas simultáneamente, cada una con un valor de puntos visible ( $v_i$ ).
Restricción: El modelo recibe un presupuesto único y compartido de $B$ tokens de razonamiento para todo el examen.
Objetivo: Maximizar la puntuación total (suma de los puntos de las preguntas respondidas correctamente).
Mecanismo: El modelo genera un único rastro de razonamiento para todo el examen. El prompt no impone un orden específico. Después de la fase de razonamiento, se le pide al modelo que proporcione las respuestas finales basadas en el rastro.

Conjunto de Datos y Construcción

Fuente: Los experimentos primarios utilizan Omni-MATH (Gao et al., 2024).
Variables: Los exámenes se construyen con $N \in \{5, 10, 20\}$ preguntas.
Esquemas de Puntuación: Para probar la sensibilidad al valor, los autores varían las asignaciones de puntos:
- Fijo: Todas las preguntas valen 10 puntos.
- Aleatorio: Puntuaciones de 1 a 15, independientes de la dificultad.
- Alineado: Las preguntas más difíciles reciben puntuaciones más altas.
- Inverso: Las preguntas más fáciles reciben puntuaciones más altas.
Ordenamiento: Las preguntas se presentan en órdenes aleatorio, ascendente de dificultad o descendente de dificultad para desacoplar la posición de presentación de la dificultad intrínseca.

Modelos Evaluados

El estudio cubre una gama de modelos de pesos abiertos y de frontera:

Pesos Abiertos: DeepSeek-R1-Distill-Qwen (7B, 14B) y Qwen3 (8B, 14B, 32B).
Modelos API: DeepSeek-V4 Flash y Pro (versiones preliminares).
Generalización: Los hallazgos se validan en un dominio de razonamiento de código utilizando CRUXEval-O.

Métricas

Para analizar el comportamiento de asignación, los autores definen:

Esfuerzo de Tokens ( $t_i$ ): El número total de tokens de razonamiento atribuidos a la pregunta $i$ .
Conjunto de Trabajo ( $W$ ): Preguntas que reciben un esfuerzo sustantivo (definido como $\ge 200$ tokens o $\ge 2$ segmentos de razonamiento).
Orden de Resolución: La secuencia en la que se abordan sustantivamente las preguntas en $W$ , determinada por el centroide ponderado por tokens de sus segmentos de razonamiento.
Análisis de Correlación: Se computan correlaciones de Spearman entre los comportamientos de asignación (esfuerzo, orden) y las señales (posición de presentación, dificultad, valor de puntos). Se utilizan correlaciones parciales para controlar los factores de confusión entre posición y dificultad.

Hallazgos Clave

1. Asignación Secuencial, No Estratégica

Los modelos se comportan mayoritariamente como resolutores secuenciales codiciosos en lugar de asignadores estratégicos.

Dominancia de la Posición: El predictor más fuerte tanto del esfuerzo como del orden de resolución es la posición de presentación. Los modelos priorizan las preguntas basándose en el orden en que aparecen en el prompt.
Negligencia de las Preguntas Posteriores: A medida que aumenta el número de preguntas ( $N$ ), el razonamiento se concentra cada vez más en el inicio del examen. La correlación entre la posición de presentación y el esfuerzo de tokens es fuertemente negativa ( $\rho \approx -0.48$ en $N=20$ ), mientras que la correlación entre la posición y el orden de resolución es fuertemente positiva ( $\rho \approx +0.68$ ).
Insensibilidad al Valor: Los modelos muestran una sensibilidad insignificante a los valores de puntos declarados. La correlación entre el esfuerzo/orden y los valores de puntos permanece cerca de cero en todas las condiciones.

2. Manejo de la Dificultad Reactivo, No Prospectivo

Los modelos no asignan proactivamente más cómputo a las preguntas difíciles antes de intentarlas.
Si bien las preguntas más difíciles reciben más tokens, este es un efecto reactivo: una vez que un modelo entra en una pregunta difícil, continúa razonando hasta que el presupuesto se agota o el problema se resuelve. Este efecto se debilita a medida que el presupuesto se reduce (es decir, cuando $N$ aumenta), lo que sugiere que los modelos no pueden identificar preventivamente problemas de alto costo para omitirlos o posponerlos.

3. La Presión del Presupuesto Amplifica el Fallo

Reducción de la Cobertura: A medida que crece la longitud del examen, la fracción de preguntas que reciben un esfuerzo sustantivo (cobertura) cae monótonamente. Para $N=20$ , la cobertura cae aproximadamente al 40% para modelos abiertos y tan bajo como el 23% para modelos API.
Tasa de Cero Tokens: Una fracción significativa de las preguntas (hasta el 69% para DSV4-F en $N=20$ ) no recibe ningún token de razonamiento, lo que indica que son efectivamente ignoradas.

4. Los Prompts de Planificación No Solucionan el Problema

Las instrucciones explícitas para "planificar la asignación" o "considerar la dificultad y el costo" mejoran la cobertura (los modelos intentan más preguntas) pero no logran inducir una priorización consciente del valor.
Los modelos siguen siguiendo el orden de presentación y no adaptan su estrategia cuando los valores o las dificultades de las preguntas se reordenan o se revalorizan.

5. Generalización al Razonamiento de Código

Los mismos patrones de comportamiento (resolución impulsada por la posición, insensibilidad al valor) se extienden a las tareas de razonamiento de código en CRUXEval-O, lo que indica que esto es una limitación fundamental de las arquitecturas de razonamiento actuales y no un artefacto específico de un dominio.

Contribuciones

Marco de Evaluación: El artículo introduce un marco controlado de "estilo examen" para estudiar el razonamiento de presupuesto compartido, distinguiéndolo de las evaluaciones convencionales por pregunta.
Análisis Basado en Trazas: Proporciona un análisis granular basado en trazas del esfuerzo de razonamiento realizado y el orden de resolución, revelando la brecha entre la capacidad de razonamiento a nivel de objeto y el control estratégico.
Evidencia Empírica: Establece que los modelos de razonamiento actuales, a pesar de su capacidad para resolver problemas complejos individuales, fallan en exhibir el control metacognitivo requerido para asignar el cómputo de manera estratégica.

Significancia y Reivindicaciones

El artículo concluye que la asignación de presupuesto global es una capacidad distinta que no se captura en las evaluaciones convencionales. Los autores argumentan que los modelos actuales "saben cómo pensar duro sobre la pregunta que tienen delante, pero no cómo decidir qué pregunta merece ser pensada".

Los hallazgos sugieren que simplemente escalar los modelos de razonamiento o mejorar el rendimiento por pregunta no será suficiente para escenarios con recursos globales finitos. La incapacidad de racionar el cómputo estratégicamente —específicamente el fallo al priorizar basándose en el valor y la tendencia a concentrar el esfuerzo al principio independientemente de la importancia de la pregunta— representa un cuello de botella significativo para el despliegue de modelos de razonamiento en entornos con restricciones de costo o multitarea. El artículo no propone una solución, sino que destaca esto como un desafío crítico y aún no abordado para el campo.