📄 other

Humans Disengage, Reasoning Models Persist: An Item-Controlled Dissociation in Deliberation Allocation

Este artigo revela uma dissociação crítica entre humanos e grandes modelos de raciocínio (LRMs) na alocação de deliberação: embora ambos dediquem mais tempo a problemas mais difíceis no geral, os humanos investem menos tempo em itens que acabam errando (abandonando tarefas difíceis), ao passo que os LRMs paradoxalmente geram traços de raciocínio mais longos em problemas nos quais falham (persistindo na incerteza), destacando uma diferença fundamental nas políticas de interrupção e controle, apesar das semelhanças superficiais.

Autores originais: Han-yu Wang

Publicado 2026-07-23

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Han-yu Wang

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está observando dois estudantes diferentes fazendo uma prova de matemática muito difícil. Um é um adolescente humano brilhante e o outro é um programa de computador superinteligente projetado para "pensar" através de problemas passo a passo. Por muito tempo, cientistas têm se fascinado por como esses dois se comparam. Eles notaram uma semelhança superficial: quando um problema é complicado, tanto o humano quanto o computador tendem a gastar mais tempo nele. É como observar o velocímetro de um carro; se a estrada fica íngreme, ambos os motoristas diminuem a velocidade para subir. Essa observação levou muitos a acreditar que os computadores estão começando a "pensar" de forma semelhante aos humanos, usando engrenagens mentais similares para determinar quais problemas são difíceis e quais são fáceis.

Mas aqui está a reviravolta: o fato de dois motoristas diminuírem a velocidade na mesma subida íngreme não significa que eles estejam dirigindo da mesma maneira. Um motorista pode diminuir a velocidade para navegar cuidadosamente em uma curva, enquanto o outro pode diminuir a velocidade porque está confuso e encarando o mapa, sem saber o que fazer a seguir. A grande questão no mundo da inteligência artificial e da psicologia humana é: como esses pensadores decidem quando continuar tentando e quando desistir? Eles dedicam esforço extra aos problemas nos quais estão tendo dificuldades ou eles aceitam a derrota e seguem em frente? Compreender isso não é apenas sobre notas em matemática; é sobre descobrir se os computadores estão realmente aprendendo a raciocinar como nós, ou se estão apenas mimetizando a aparência do pensamento sem a mesma lógica interna.

O Grande Descompasso do "Pensamento"

Um novo estudo do pesquisador Han-yu Wang remove as camadas deste mistério e encontra um segredo surpreendente escondido à vista de todos. Embora humanos e modelos de IA avançados de "raciocínio" concordem sobre quais problemas são difíceis, eles discordam completamente sobre o que fazer a respeito disso.

Pense nisso como um videogame. Quando um jogador encontra um chefe que é forte demais, um jogador humano inteligente pode perceber: "Isso está difícil demais agora", e decidir parar de perder tempo, talvez tentando uma estratégia diferente ou passando para um nível diferente. Ele se desengaja. Mas a IA, de acordo com este estudo, faz exatamente o oposto. Quando a IA erra um problema, ela não para; ela continua seguindo, gerando ainda mais texto, mais "pensamentos" e mais etapas antes de finalmente desistir da resposta errada.

A Descoberta Central: A Lacuna entre o "Errado" e o "Certo"
O estudo analisou uma coleção massiva de dados onde humanos e seis modelos diferentes de IA resolveram os mesmos enigmas visuais (chamados H-ARC). Os pesquisadores mediram duas coisas:

Registro: Eles concordavam sobre quais enigmas eram difíceis? Sim. Tanto humanos quanto IA levaram mais tempo nos enigmas difíceis.
Alocação: Quando eles erravam um enigma, eles gastavam mais ou menos tempo nele em comparação a quando acertavam? Não. É aqui que eles se dividem.

Humanos: Quando os humanos erravam um enigma, eles gastavam menos tempo nele do que quando acertavam. Os dados mostram um "Cohen's d" de -0,10. Isso sugere uma estratégia de "desistência". Se um humano sente que está travado, ele geralmente para de pensar sobre aquilo rapidamente.
Modelos de IA: Quando a IA errava um enigma, ela gastava significativamente mais tempo. Os modelos de IA mostraram um "Cohen's d" variando de 1,47 a 3,13. Isso significa que a IA continuava produzindo "pensamentos" (tokens) mesmo quando estava claramente falhando.

O artigo argumenta que isso não é apenas um pequeno erro; é uma diferença fundamental em como eles "pensam". O padrão humano parece ser de engajamento vs. abandono: permanecemos em problemas que achamos que podemos resolver e desistimos daqueles que não podemos. O padrão da IA parece ser de comprimento baseado na incerteza: quando a IA está insegura, ela apenas continua falando, gerando cadeias de raciocínio mais longas, embora esse excesso de fala não ajude a obter a resposta correta.

As Pistas do "Rastro"

Para entender por que a IA faz isso, os pesquisadores examinaram o texto real que a IA gerou (seu "rastro de pensamento"). Eles descobriram que, quando a IA estava prestes a errar uma questão, seu texto estava cheio de "hesitação" e "autodúvida". Ela dizia coisas como "espere, na verdade", "hum" ou "deixe-me reconsiderar". Ela estava essencialmente falando consigo mesma, incerta do caminho, mas não parava.

Em contraste, quando os humanos erravam uma questão rapidamente, eles frequentemente faziam menos movimentos (como menos edições de grade no enigma), sugerindo que já haviam decidido que o enigma não valia o esforço. O estudo sugere que, para os humanos, a decisão de parar é uma escolha metacognitiva inteligente. Para a IA, a decisão de parar parece estar ligada a uma regra diferente: ela continua até esgotar seu "orçamento" ou bater em um muro, mesmo sabendo (ou devendo saber) que está indo pelo caminho errado.

O Que Isso Significa (e o Que Não Significa)

O artigo é muito cuidadoso para não dizer que a IA é "estúpida" ou que os humanos são "perfeitos". Em vez disso, sugere que a IA e os humanos estão jogando com livros de regras diferentes.

A IA não está necessariamente falhando em pensar: Ela pode estar seguindo uma regra que diz: "Se você estiver inseguro, gere mais texto". Isso pode ser uma boa estratégia para algumas tarefas, mas para esses enigmas, leva ao esforço desperdiçado.
O "Pensamento" não é o mesmo: O fato de a IA produzir uma longa cadeia de texto que se parece com o raciocínio humano não significa que ela esteja usando as mesmas regras de parada mental. O estudo mostra que o "pensamento" da IA é mais como um hamster correndo em uma roda quando está confuso, enquanto o humano é como um trilheiro que decide voltar quando a trilha fica íngreme demais.

Os pesquisadores também testaram isso em outros tipos de enigmas (como física intuitiva e raciocínio binário). O padrão se manteve: a IA continuou gastando tempo extra em seus erros, enquanto os humanos tendiam a gastar menos tempo. No entanto, em um tipo específico de enigma (Cortes), o comportamento da IA mudou ligeiramente, mostrando que a regra de "comprimento baseado na incerteza" pode depender do jogo específico que está sendo jogado.

A Conclusão

Este estudo não prova que a IA não consegue pensar; prova que a IA e os humanos alocam seu pensamento de forma diferente. A semelhança superficial (ambos levando mais tempo em coisas difíceis) esconde uma diferença profunda: humanos tendem a parar de pensar quando percebem que estão travados, enquanto modelos de IA tendem a continuar pensando (e falando) mesmo quando estão travados.

Os autores sugerem que, para entender verdadeiramente a IA, precisamos olhar para quando eles param, não apenas para quanto tempo pensam. Eles propõem uma nova maneira de testar isso: se cortarmos o "pensamento" da IA precocemente (truncamento), poderemos ver se aquelas palavras extras estavam realmente ajudando ou eram apenas ruído. Até que façamos isso, o artigo conclui que a "persistência" da IA em respostas erradas é um sinal de que sua lógica interna para decidir "quando parar" é fundamentalmente diferente da nossa. É um lembrete de que, na corrida para construir uma IA semelhante à humana, podemos estar construindo máquinas que são muito boas em parecer que estão pensando, mas muito ruins em saber quando parar.

Resumo Técnico: Humanos Desengajam, Modelos de Raciocínio Persistem

Declaração do Problema

Uma questão central na ciência cognitiva da deliberação é como os agentes decidem quando continuar pensando em um problema e quando se desengajar. Pesquisas anteriores (ex: de Varda et al., 2025) estabeleceram um alinhamento "entre itens" (cross-item) entre Grandes Modelos de Raciocínio (LRMs) e humanos: ambos os sistemas geram traços mais longos (tokens de raciocínio para LRMs, tempos de reação para humanos) em itens que são objetivamente mais difíceis. Isso sugere um registro de dificuldade compartilhado — a capacidade de perceber que uma tarefa é difícil.

No entanto, essa semelhança superficial mascara uma possível divergência na alocação de deliberação: como um agente agenda a computação após registrar a dificuldade, especificamente em relação ao seu próprio sucesso ou falha. O artigo argumenta que correlações entre itens sozinhas não podem distinguir entre um mecanismo de raciocínio compartilhado e um alinhamento coincidente na gradação de dificuldade. O problema central é determinar se os LRMs e os humanos alocam recursos de deliberação (tempo/tokens) para tentativas corretas e incorretas da mesma maneira quando a identidade do item é mantida constante.

Metodologia

O estudo emprega uma estrutura de diagnóstico de dois níveis usando análises condicionadas ao resultado e controladas por item em conjuntos de dados públicos e desidentificados (H-ARC, INTUIT, Cortes) e uma amostra de seis LRMs de pensamento de pesos abertos (ex: DeepSeek-R1, Qwen-QwQ, gpt-oss), além de uma linha de base não-pensante (DeepSeek-V3).

1. Diagnóstico de Dois Níveis

Nível 1: Registro de Dificuldade (Entre Itens): Mede a correlação entre o comprimento do traço do LRM e o tempo de reação humano através de diferentes itens. Isso replica o achado de que ambos os sistemas concordam sobre quais itens são difíceis.
Nível 2: Alocação de Deliberação (Dentro do Item): Mede a relação entre o comprimento da deliberação e a correção dentro do mesmo agente e dentro do mesmo item. Esta é a contribuição novel. Ela pergunta: "O agente gasta mais deliberação em tentativas que acerta ou que erra?"

2. Abordagem Estatística

Métrica: A métrica primária é o d-ratio (Cohen's d no log-deliberação), calculado como $(\bar{\ell}_{errado} - \bar{\ell}_{correto}) / s_{agrupado}$ $(\overset{ˉ}{ℓ}_{er r a d o} - \overset{ˉ}{ℓ}_{cor r e t o}) / s_{a g r u p a d o}$ .
- d positivo: O agente delibera por mais tempo em falhas.
- d negativo: O agente delibera por mais tempo em sucessos.
Controles: Para isolar a alocação da dificuldade, os autores utilizam regressões de efeitos fixos de item. Isso absorve a identidade do item, garantindo que a comparação seja impulsionada puramente pelo resultado de correção dentro do mesmo item.
Escopo: A análise é "controlada por item" em vez de estritamente "dentro do agente" em um sentido de medidas repetidas, pois os dados públicos fornecem um resultado por par (item $\times$ modelo). O contraste é identificado através de modelos (e humanos) tentando o mesmo item específico.

3. Sondas Mecanísticas

Para interpretar a divergência comportamental, os autores analisaram o conteúdo do traço:

Dados Humanos: Decomposição do tempo de reação usando "contagens de ação" (edições de grade) para distinguir entre "abandono" (erros rápidos) e "falha engajada" (erros lentos).
Dados de LRM: Análise de traços de raciocínio para "marcadores de autocrítica" (hesitação/hedging), marcadores de autocorreção e taxas de repetição lexical para ver se traços mais longos correlacionam com incerteza.

Principais Resultados

1. O Gap de Alocação (Inversão de Sinal)

No conjunto de dados primário (H-ARC), emerge uma dissociação gritante:

Humanos: Exibem um d-ratio negativo ( $d = -0,10$ ). Ao controlar a dificuldade do item, os humanos passam menos tempo em tentativas que erram. Isso sugere uma política de engajamento vs. abandono: humanos persistem em itens que esperam resolver e se desengajam rapidamente naqueles que não conseguem.
LRMs de Pensamento: Exibem um d-ratio positivo ( $d = 1,47–3,13$ ). Ao controlar a dificuldade do item, os LRMs gastam mais tokens em tentativas que erram. Isso sugere uma política de comprimento-na-incerteza: o modelo gera cadeias mais longas quando está incerto, que é precisamente quando tende a falhar.

2. Robustez e Generalização

Trans-paradigma: A inversão de sinal mantém-se no INTUIT (física intuitiva), onde os LRMs mostram $d > 0$ e os humanos mostram $d \approx 0$ .
Caso Limite (Cortes): No Cortes (raciocínio relacional binário), a inclinação dentro do item apenas para LRM torna-se positiva (oposta ao H-ARC), mas a interação entre o tipo de agente e a correção permanece significativa porque os humanos mostram uma inclinação positiva ainda mais forte. A dissociação sobrevive, embora a leitura do mecanismo seja mais complexa aqui.
Linha de Base: O DeepSeek-V3, também não-pensante, mostra uma tendência a gastar mais tokens em tentativas erradas (d-ratio positivo), sugerindo que este comportamento de "comprimento-na-incerteza" pode ser uma propriedade da geração de modelos base sob incerteza, não apenas uma característica de "raciocínio".

3. Evidência Mecanística

Engajamento Humano: A inclinação positiva dentro do item para humanos (em tentativas corretas) é mediada pelas contagens de ação. Tentativas erradas rápidas (abandono) têm significativamente menos ações do que falhas engajadas (erros lentos), apoiando a hipótesia de "engajamento vs. abandono".
Incerteza de LRM: No H-ARC, as cadeias de tentativas erradas contêm significativamente mais marcadores de autocrítica/hesitação. No Cortes, elas mostram maior repetição de 5-gramas e menores razões tipo-token. Esses marcadores superficiais sugerem que o modelo está "preso" ou incerto, gerando mais tokens sem necessariamente melhorar a precisão.

Principais Contribuições

Desacoplamento de Registro e Alocação: O artigo separa dois níveis comportamentais frequentemente confundidos em comparações humano-modelo. Ele demonstra que, embora os LRMs e os humanos se alinhem sobre quais itens são difíceis (registro), eles divergem fundamentalmente sobre como alocam recursos para esses itens (alocação).
Diagnóstico Controlado por Item: Introduz um diagnóstico rigoroso, condicionado ao resultado, que mantém a identidade do item fixa. Isso revela que correlações entre itens (registro de dificuldade) são ortogonais às políticas de deliberação dentro do item.
Reenquadramento do Alinhamento: O artigo argumenta que o aparente alinhamento no comprimento do traço é uma "semelhança superficial" que esconde políticas internas opostas. Ele reenquadra o alinhamento humano-LRM não como uma questão de comprimento de traço, mas como uma questão de políticas de parada e controle.

Significância e Alegações

O artigo alega que a dissociação observada desafia a noção de que os atuais LRMs implementam um controle metacognitivo semelhante ao humano.

Desacoplamento Metacognitivo: Em humanos, o monitoramento (incerteza) é acoplado ao controle (parar/abandonar). Nos LRMs, assinaturas de monitoramento (hesitação, marcadores de incerteza) aumentam em tentativas erradas, mas são fracamente acopladas à parada; o modelo continua gerando tokens mesmo quando o resultado provavelmente será incorreto.
Interpretação de Racionalidade de Recursos: O padrão humano é consistente com uma política de racionalidade de recursos, onde a computação é retirada quando o ganho marginal esperado desaparece (abandono). O padrão dos LRMs sugere uma política onde tokens extras são alocados para itens incertos independentemente de sua utilidade final, potencialmente otimizando para um objetivo diferente (ex: sinais de treinamento, recompensas de verificadores) em vez da precisão do item.
Mudança Metodológica: Os autores afirmam que trabalhos futuros comparando LRMs à cognição humana devem parear testes de alinhamento entre itens com testes de alocação dentro do item. Confiar apenas em correlações entre itens é insuficiente para reivindicar mecanismos de raciocínio compartilhados.

Limitações: Os autores explicitamente notam que os dados são observacionais. Eles não provam que os tokens extras em tentativas erradas de LRM têm zero valor causal, apenas que seu padrão de alocação é o inverso do comportamento humano. Eles propõem um experimento de "truncamento controlado" como o próximo passo necessário para determinar se os tokens extras são "busca útil" ou "preenchimento" (padding). O estudo é limitado a modelos de pesos abertos e não testa sistemas de fronteira fechados.