💬 NLP

Thinking Hard, Not Smart: Reasoning Models Fail to Ration Test-Time Compute Across Questions

Este artigo introduz um framework de avaliação em estilo de exame revelando que os modelos de raciocínio atuais falham ao alocar estrategicamente um orçamento compartilhado de computação em tempo de teste entre múltiplas questões, comportando-se, em vez disso, como resolvedores sequenciais gananciosos que priorizam a ordem de apresentação em detrimento da dificuldade ou valor da questão.

Autores originais: Chenrui Fan, Yize Cheng, Ming Li, Yongyuan Liang, Tianyi Zhou, Soheil Feizi

Publicado 2026-08-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chenrui Fan, Yize Cheng, Ming Li, Yongyuan Liang, Tianyi Zhou, Soheil Feizi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está sentado em uma biblioteca gigante e de alta tecnologia onde os livros são escritos por computadores superinteligentes chamados "modelos de raciocínio". Esses computadores são incríveis em resolver enigmas, mas têm uma peculiaridade estranha: quanto mais difícil o enigma, mais eles "pensam" antes de responder. Esse processo de pensamento custa algo chamado "computação" (compute), que é como um suprimento limitado de energia ou um limite de tempo rigoroso em uma prova. Cientistas há muito sabem que, se você der a esses computadores mais tempo para pensar em um único problema difícil, eles melhoram o desempenho. Mas uma nova questão surgiu: o que acontece quando você dá ao computador uma pilha inteira de diferentes enigmas, mas apenas um limite de tempo compartilhado para toda a pilha? O computador consegue decidir quais enigmas valem a pena gastar sua energia, ou ele apenas avança pelos problemas na ordem em que aparecem, desperdiçando seu tempo com os fáceis e ficando sem fôlego antes mesmo de chegar aos difíceis? Este é o grande mistério que os pesquisadores estão tentando resolver, porque se esses computadores inteligentes não conseguirem gerenciar sua própria energia em um grupo de tarefas, eles podem falhar em situações do mundo real onde precisam lidar com vários trabalhos ao mesmo tempo.

Este artigo, intitulado "Thinking Hard, Not Smart" (Pensando Muito, Não Inteligente), mergulha exatamente nesse problema. Os pesquisadores organizaram um "exame" digital para vários dos modelos de raciocínio mais avançados do mundo. Em vez de dar a cada questão seu próprio limite de tempo, eles deram ao exame inteiro um orçamento único e compartilhado de "tokens de pensamento" (uma unidade de esforço computacional). O exame incluía questões de várias dificuldades, algumas valendo mais pontos do que outras, e os modelos tiveram que descobrir como dividir sua energia limitada para obter a pontuação total mais alta. Os resultados foram um choque: os modelos falharam em agir como candidatos estratégicos. Em vez de pular uma questão difícil e de baixa pontuação para economizar energia para uma fácil e de alta pontuação, eles se comportaram como um estudante ganancioso que apenas lê as questões de cima para baixo. Eles gastaram um esforço enorme nas primeiras questões, muitas vezes ficando sem tokens antes mesmo de chegarem ao fim do papel, independentemente de quantos pontos as questões posteriores valiam.

O estudo descobriu que esses modelos são estrategistas "cegos à posição". Eles não parecem se importar se uma questão é rotulada como "Difícil" ou "Fácil", ou se vale 20 pontos ou 5. Eles majoritariamente apenas seguem a ordem em que as questões são apresentadas. Se uma questão é a primeira, eles despejam toda a sua energia nela; se é a última, eles frequentemente a ignoram completamente. Os pesquisadores testaram isso embaralhando a ordem das questões e alterando seus valores de pontos, mas os modelos não se adaptaram. Mesmo quando os pesquisadores deram aos modelos um comando especial dizendo para "planejar com antecedência" e "alocar com sabedoria", os modelos não mudaram seus hábitos. Eles ainda gastaram sua energia da mesma forma, apenas espalhando sua falta de estratégia de maneira um pouco mais uniforme. O artigo sugere que, embora esses modelos estejam ficando melhores em "pensar muito" em um único problema, eles ainda não aprenderam a "pensar de forma inteligente" sobre quais problemas valem a pena ser pensados.

Para tornar isso mais claro, imagine que você tem uma mochila com um limite de peso rigoroso de 10 libras e está em um mercado de pulgas com 20 itens. Alguns itens são pesados, mas valem muito dinheiro (alto valor, alto custo), outros são leves, mas valem muito pouco (baixo valor, baixo custo), e alguns são pesados, mas inúteis. Um comprador inteligente olharia para a lista inteira, escolheria os itens que oferecem o melhor "valor por libra" e encheria a bolsa para obter o máximo de dinheiro. Mas esses modelos de IA agiram como um comprador que simplesmente pega o primeiro item que vê, depois o segundo, depois o terceiro, socando-os dentro até que a mochila esteja pesada demais para levantar. Quando chegaram ao final da fila, não tinham mais espaço para os melhores negócios. Os pesquisadores descobriram que, conforme o número de questões (ou itens) crescia de 5 para 20, os modelos ficavam piores em cobrir a lista inteira. Por exemplo, com 20 questões, os modelos realizaram um trabalho sério em apenas cerca de 4 a 8 delas, deixando o resto completamente intocado.

O artigo também observou se os modelos estavam reagindo à dificuldade das questões. Acontece que eles gastam mais tempo em questões difíceis, mas apenas depois que já as começaram. Eles não olham para uma questão difícil e dizem: "Isso parece difícil, vou pular para economizar energia para depois". Em vez disso, eles mergulham, percebem que é difícil e continuam até que a energia acabe. Isso é o que os autores chamam de pensamento "reativo" em vez de "prospectivo". Eles são bons em resolver um problema uma vez que o iniciam, mas ruins em decidir quais problemas devem iniciar em primeiro lugar.

Curiosamente, os pesquisadores testaram isso tanto em problemas matemáticos quanto em problemas de programação, e os resultados foram os mesmos. Quer a tarefa fosse resolver uma equação ou escrever um programa de computador, os modelos se comportaram como um trem em um trilho fixo: eles seguiam em frente, uma questão por vez, até que o combustível acabasse. Eles não mudavam de trilho para as paradas mais fáceis ou valiosas. O estudo conclui que essa habilidade de gerenciar um orçamento compartilhado entre múltiplas tarefas é uma habilidade distinta que os modelos atuais carecem. Eles sabem como pensar muito, mas não descobriram como racionar seu pensamento. Isso não é apenas um pequeno erro; sugere que, à medida que pedimos a esses modelos para realizar trabalhos mais complexos e de múltiplas etapas, talvez precisemos ensiná-los um novo tipo de "metacognição" — a habilidade de pensar sobre o próprio pensamento e gerenciar seus recursos, não apenas resolver o enigma à frente deles.

Resumo Técnico: Pensar com Intensidade, Não com Inteligência

Declaração do Problema

Os modelos de linguagem de raciocínio atuais utilizam cada vez mais o computação em tempo de teste (test-time compute) para melhorar o desempenho em problemas individuais. No entanto, as avaliações existentes tipicamente avaliam esses modelos questão a questão, atribuindo um orçamento independente para cada uma. Essa configuração falha em capturar uma restrição crítica no implantação no mundo real: a alocação de orçamento global. Quando múltiplos problemas competem por um único orçamento de inferência finito (por exemplo, um limite de tokens ou uma restrição de latência), um modelo deve tomar decisões estratégicas sobre como distribuir seus recursos de computação. Ele deve determinar quais problemas valem a pena tentar, quando pular ou adiar e quanto esforço investir em cada um para maximizar a pontuação total.

O artigo postula que, embora os modelos possam ser capazes de "pensar com intensidade" (think hard) em um único problema, eles carecem do controle metacognitivo para "pensar com inteligência" (think smart) em um conjunto de problemas concorrentes. Especificamente, não está claro se os modelos conseguem estimar o valor de uma questão em relação ao seu custo e ajustar dinamicamente sua estratégia de raciocínio para otimizar a utilidade global, de forma análoga à resolução de um problema da mochila (knapsack problem) onde os pesos (custos) não são explicitamente conhecidos.

Metodologia

Estrutura de Avaliação: O Cenário de "Exame"

Os autores introduzem uma estrutura de avaliação do tipo exame para investigar a alocação de orçamento compartilhado.

Tarefa: Um modelo é apresentado com $N$ questões simultaneamente, cada uma com um valor de ponto visível ( $v_i$ ).
Restrição: O modelo recebe um único orçamento compartilhado de $B$ tokens de raciocínio para todo o exame.
Objetivo: Maximizar a pontuação total (soma dos pontos para questões respondidas corretamente).
Mecanismo: O modelo gera um único rastro de raciocínio (reasoning trace) para todo o exame. O prompt não impõe uma ordem específica. Após a fase de raciocínio, o modelo é solicitado a fornecer respostas finais baseadas no rastro.

Conjunto de Dados e Construção

Fonte: Os experimentos primários utilizam o Omni-MATH (Gao et al., 2024).
Variáveis: Os exames são construídos com $N \in \{5, 10, 20\}$ questões.
Esquemas de Pontuação: Para testar a sensibilidade ao valor, os autores variam as atribuições de pontos:
- Fixa: Todas as questões valem 10 pontos.
- Aleatória: Pontuações de 1 a 15, independentes da dificuldade.
- Alinhada: Questões mais difíceis recebem pontuações mais altas.
- Invertida: Questões mais fáceis recebem pontuações mais altas.
Ordenação: As questões são apresentadas em ordens aleatória, ascendente de dificuldade ou descendente de dificuldade para desacoplar a posição de apresentação da dificuldade intrínseca.

Modelos Avaliados

O estudo abrange uma gama de modelos de pesos abertos e modelos de fronteira:

Pesos Abertos: DeepSeek-R1-Distill-Qwen (7B, 14B) e Qwen3 (8B, 14B, 32B).
Modelos de API: DeepSeek-V4 Flash e Pro (versões de prévia).
Generalização: Os achados são validados em um domínio de raciocínio de código usando CRUXEval-O.

Métricas

Para analisar o comportamento de alocação, os autores definem:

Esforço de Tokens ( $t_i$ ): O número total de tokens de raciocínio atribuídos à questão $i$ .
Conjunto de Trabalho ( $W$ ): Questões que recebem esforço substantivo (definido como $\ge 200$ tokens ou $\ge 2$ segmentos de raciocínio).
Ordem de Resolução: A sequência na qual as questões em $W$ são abordadas substantivamente, determinada pelo centroide ponderado por tokens de seus segmentos de raciocínio.
Análise de Correlação: Correlações de Spearman são computadas entre comportamentos de alocação (esforço, ordem) e sinais (posição de apresentação, dificuldade, valor de ponto). Correlações parciais são usadas para controlar confusões entre posição e dificuldade.

Principais Descobertas

1. Alocação Sequencial, Não Estratégica

Os modelos comportam-se majoritariamente como resolvedores sequenciais gananciosos (greedy sequential solvers) em vez de alocadores estratégicos.

Dominância da Posição: O preditor mais forte tanto do esforço quanto da ordem de resolução é a posição de apresentação. Os modelos priorizam questões com base na ordem em que aparecem no prompt.
Negligência de Questões Posteriores: À medida que o número de questões ( $N$ ) aumenta, o raciocínio torna-se cada vez mais concentrado no início do exame. A correlação entre a posição de apresentação e o esforço de tokens é fortemente negativa ( $\rho \approx -0,48$ em $N=20$ ), enquanto a correlação entre posição e ordem de resolução é fortemente positiva ( $\rho \approx +0,68$ ).
Insensibilidade ao Valor: Os modelos mostram sensibilidade negligenciável aos valores de pontos declarados. A correlação entre esforço/ordem e valores de pontos permanece próxima de zero em todas as condições.

2. Tratamento de Dificuldade Reativo, Não Prospectivo

Os modelos não alocam proativamente mais computação para questões difíceis antes de tentá-las.
Embora questões mais difíceis recebam mais tokens, este é um efeito reativo: uma vez que o modelo entra em uma questão difícil, ele continua o raciocínio até que o orçamento seja esgotado ou o problema seja resolvido. Esse efeito enfraquece conforme o orçamento aperta (ou seja, conforme $N$ aumenta), sugerindo que os modelos não conseguem identificar preventivamente problemas de alto custo para pular ou adiar.

3. Pressão de Orçamento Amplifica a Falha

Encolhimento da Cobertura: À medida que a extensão do exame cresce, a fração de questões que recebem esforço substantivo (cobertura) cai monotonicamente. Para $N=20$ , a cobertura cai para cerca de 40% para modelos abertos e tão baixo quanto 23% para modelos de API.
Taxa de Zero Tokens: Uma fração significativa de questões (até 69% para DSV4-F em $N=20$ ) não recebe nenhum token de raciocínio, indicando que são efetivamente ignoradas.

4. Prompts de Planejamento Não Resolvem o Problema

Instruções explícitas para "planejar a alocação" ou "considerar dificuldade e custo" melhoram a cobertura (os modelos tentam mais questões), mas falham em induzir uma priorização consciente do valor.
Os modelos ainda seguem a ordem de apresentação e não adaptam sua estratégia quando os valores ou dificuldades das questões são reordenados ou reprecificados.

5. Generalização para Raciocínio de Código

Os mesmos padrões comportamentais (resolução baseada na posição, insensibilidade ao valor) estendem-se para tarefas de raciocínio de código no CRUXEval-O, indicando que esta é uma limitação fundamental das arquiteturas de raciocínio atuais, e não um artefato específico de um domínio.

Contribuições

Estrutura de Avaliação: O artigo introduz uma estrutura controlada de "tipo exame" para estudar o raciocínio de orçamento compartilhado, distinguindo-o das avaliações convencionais por questão.
Análise Baseada em Rastro: Fornece uma análise granular, baseada em rastros, do esforço de raciocínio realizado e da ordem de resolução, revelando a lacuna entre a capacidade de raciocínio ao nível do objeto e o controle estratégico.
Evidência Empírica: Estabelece que os modelos de raciocínio atuais, apesar de sua capacidade de resolver problemas individuais complexos, falham em exibir o controle metacognitivo necessário para alocar computação estrategicamente entre tarefas concorrentes.

Significância e Alegações

O artigo conclui que a alocação de orçamento global é uma capacidade distinta que não é capturada pelas avaliações convencionais. Os autores argumentam que os modelos atuais "sabem como pensar intensamente sobre a questão à frente deles, mas não como decidir qual questão vale a pena pensar".

Os achados sugerem que simplesmente escalar modelos de raciocínio ou melhorar o desempenho por questão não será suficiente para cenários com recursos globais finitos. A incapacidade de racionar a computação estrategicamente — especificamente a falha em priorizar com base no valor e a tendência de concentrar o esforço no início, independentemente do valor da questão — representa um gargalo significativo para a implantação de modelos de raciocínio em ambientes de múltiplas tarefas ou com restrição de custos. O artigo não propõe uma solução, mas destaca isso como um desafio crítico e ainda não endereçado para o campo.