Humans Disengage, Reasoning Models Persist: Separating Difficulty Registration from Deliberation Allocation

Resumo Técnico: Humanos Desengajam, Modelos de Raciocínio Persistem

Definição do Problema
Trabalhos recentes (de Varda et al., 2025) estabeleceram um alinhamento superficial entre Grandes Modelos de Raciocínio (LRMs) e humanos: ambos os sistemas geram rastros de raciocínio mais longos (ou levam mais tempo) em itens mais difíceis. Esse "alinhamento entre itens" sugere que os LRMs registram a dificuldade de forma semelhante aos humanos. No entanto, essa correlação confunde dois processos cognitivos distintos: registro de dificuldade (classificar itens por dificuldade) e alocação de deliberação (decidir quanto de computação gastar em um item específico uma vez que sua dificuldade é conhecida).

O artigo argumenta que correlações entre itens são insuficientes para alegar similaridade mecânica porque não revelam como um agente agenda a computação em relação aos seus próprios sucessos e falhas. Especificamente, não se sabe se os LRMs, como os humanos, alocam mais esforço em itens que esperam resolver (engajamento) ou se alocam o esforço com base em um sinal diferente, como a incerteza, mesmo quando esse esforço leva ao erro.

Metodologia
O estudo introduz um diagnóstico de dois níveis para separar o registro da alocação, utilizando um corpus pareado humano–LRM através de três paradigmas de raciocínio: H-ARC (abstração visual), INTUIT (física intuitiva) e Cortes (raciocínio relacional binário).

1. Registro de Dificuldade (Sonda 1): Os autores replicam a análise entre itens, correlacionando o comprimento do rastro de raciocínio do LRM com o tempo de reação (RT) humano entre os itens.
2. Alocação de Deliberação (Sonda 2): A inovação central é um diagnóstico condicionado ao resultado e controlado pelo item. Os autores perguntam: Dado um item fixo, o agente gasta mais deliberação em tentativas corretas versus incorretas?
   • Métrica: O $d$-ratio intra-agente, definido como o Cohen's $d$ sobre o logaritmo do tempo de deliberação (segundos para humanos, tokens de raciocínio para LRMs) entre tentativas erradas e certas: $d = (\bar{\ell}_{errado} - \bar{\ell}_{certo}) / s_{agrupado}$.
   • Controles: Para isolar a alocação da dificuldade, a análise utiliza efeitos fixos de item (absorvendo a identidade do item) e regressões controladas por dificuldade. Isso garante que a comparação seja estritamente dentro do mesmo item, evitando que gradientes de dificuldade entre itens confundam o resultado.
   • Normalização: A deliberação é medida dentro da escala nativa de cada agente (segundos vs. tokens); magnitudes absolutas nunca são comparadas diretamente.
   • Modelos: Seis LRMs de pensamento de pesos abertos (ex: DeepSeek-R1, Qwen-QwQ, gpt-oss) e uma linha de base não-pensante (DeepSeek-V3) são comparados contra amostras humanas pareadas.

Resultados Principais
O estudo encontra uma dissociação entre registro e alocação:

• Registro (Alinhamento): LRMs de pensamento e humanos concordam sobre quais itens são difíceis. O comprimento do rastro do LRM correlaciona-se positivamente com o RT humano entre os itens (Spearman $\rho = 0,16–0,30$), replicando de Varda et al. (2025).
• Alocação (Divergência): Uma vez fixada a identidade do item, os dois sistemas exibem políticas de alocação opostas:
  • Humanos: Mostram um $d$-ratio negativo ou próximo de zero ($d = -0,10$ em H-ARC). Humanos gastam menos tempo em tentativas que erram, consistentes com uma estratégia de engajamento-vs-abandono: eles persistem em itens que esperam resolver e desengajam (abandonam) naqueles que não conseguem.
  • LRMs de Pensamento: Mostram um grande $d$-ratio positivo ($d = 1,47–3,13$ em H-ARC). Os LRMs gastam mais tokens em tentativas que erram. Isso sugूनere uma política de comprimento-sobre-incerteza: as cadeias crescem quando o modelo está incerto, que é precisamente quando ele tende a falhar.
  • Linha de Base Não-Pensante: O DeepSeek-V3 não-pensante também mostra um $d$-ratio positivo em algumas tarefas, sugerindo que a expansão de comprimento sob incerteza pode ser uma propriedade da geração base em vez de uma política de alocação de "raciocínio" específica, embora os modelos de pensamento mostrem efeitos mais fortes.
• Conteúdo do Rastro: Dentro dos rastros dos LRMs, as tentativas erradas contêm densidades maiores de marcadores de autocrítica (ex: "espere", "hum") em H-ARC e maior repetição lexical em Cortes, apoiando a interpretação de que o comprimento é impulsionado pela incerteza, não por uma busca produtiva.

Contribuições

1. Decomposição Conceitual: O artigo separa formalmente o registro de dificuldade da alocação de deliberação, demonstrando que o alinhamento entre itens não implica políticas de parada compartilhadas.
2. Novo Diagnóstico: Introduz o $d$-ratio condicionado ao resultado e controlado pelo item como um teste necessário para o alinhamento metacognitivo humano–LRM.
3. Achado Empírico: Revela que, embora os LRMs e os humanos concordem sobre o que é difícil, eles discordam fundamentalmente sobre como responder a essa dificuldade. O aparente alinhamento em trabalhos anteriores mascarou uma política de alocação oposta.

Significância e Alegações
O artigo alega que a dissociação observada desafia a visão de que os LRMs implementam controle metacognitivo semelhante ao humano.

• Desacoplamento Metacognitivo: Os resultados sugerem que, nos atuais LRMs de pensamento, o monitoramento da incerteza (sinalizado por hesitação ou comprimento) está desacoplado do controle de parada. Humanos usam o monitoramento para filtrar o esforço (abandonando tentativas de baixo valor), enquanto os LRMs parecem continuar gerando tokens quando estão incertos, independentemente do rendimento decrescente na precisão.
• Interpretação de Racionalidade de Recursos: Sob um framework de racionalidade de recursos, o padrão humano é consistente com uma regra de parada que retira o esforço quando o ganho marginal esperado desaparece. O padrão do LRM implica ou uma falha em condicionar o ganho esperado às características específicas do item ou um objetivo de otimização diferente da precisão da tarefa (ex: preferências condicionadas ao comprimento).
• Mudança Metodológica: Os autores argumentam que o futuro da modelagem cognitiva de LRMs deve parear testes de registro entre itens com testes de alocação dentro do item. Depender apenas de correlações entre itens é insuficiente para alegar similaridade mecânica.

Limitações e Direções Futuras
Os autores declaram explicitamente que seus achados são observacionais e não provam o valor causal dos tokens extras. Eles não alegam que os LRMs são "irracionais", mas que implementam uma política de racionalidade de recursos diferente. O artigo propõe a truncamento controlado de inferência como o próximo passo necessário para discriminar entre "comprimento-sobre-incerteza" (onde o truncamento não prejudicaria a precisão) e "busca útil" (onde o truncamento degradaria o desempenho), um teste não realizado neste estudo. O escopo é limitado a modelos de pesos abertos e conjuntos de dados específicos, e a leitura de engajamento-vs-abandono é uma interpretação de assinaturas comportamentais, não uma observação direta da arquitetura interna.