Think-Aloud Reshapes Automated Cognitive Model Discovery Beyond Behavior

Este artigo demonstra que a incorporação de rastros de Pensar em Voz Alta na descoberta automatizada de modelos cognitivos melhora significativamente o desempenho preditivo e desloca as estruturas de modelo identificadas para mecanismos de utilidade mais integrados, revelando processos cognitivos que os dados comportamentais isolados não conseguem recuperar.

O essencial

Imagine que você está tentando descobrir como um amigo decide o que comer no jantar. Você tem duas maneiras de aprender sobre o processo dele:

1. O "O Quê" (Comportamento): Você observa ele pedir. Ele escolhe a pizza. Você vê o resultado.
2. O "Como" (Pensar em Voz Alta): Você pede para ele falar em voz alta seus pensamentos enquanto decide. Ele diz: "Hmm, estou com fome, mas pizza é pesada. Talvez eu deva verificar as calorias primeiro, depois comparar o custo."

Por muito tempo, cientistas tentando construir modelos computacionais do pensamento humano tiveram acesso apenas ao "O Quê". Eles observam pessoas fazendo escolhas (como escolher entre uma aposta arriscada ou uma segura) e tentam recriar a matemática por trás disso.

O problema é que o "O Quê" é frequentemente um espelho embaçado. Muitas fórmulas matemáticas internas diferentes podem produzir exatamente a mesma escolha final. É como ver um carro dirigindo por uma rua; você sabe que ele se moveu de A para B, mas não sabe se o motorista estava usando um GPS, um mapa ou apenas chutando. Isso torna os modelos computacionais "subdeterminados" — há muitas respostas possíveis, e o computador pode escolher a errada apenas porque se encaixa razoavelmente bem nos dados.

A Nova Abordagem: Ouvindo o Monólogo Interno

Este artigo apresenta uma nova maneira de construir esses modelos. Em vez de apenas observar a escolha final, os pesquisadores alimentaram os modelos computacionais com o "Como" também — os pensamentos falados reais (rastros de Pensar em Voz Alta) que as pessoas tiveram enquanto tomavam decisões.

Eles usaram uma IA superinteligente (um Modelo de Linguagem de Grande Escala) para atuar como um detetive. A IA recebeu dois tipos de pistas:

• Pista A: A lista de escolhas que a pessoa fez.
• Pista B: A transcrição do que a pessoa disse enquanto fazia essas escolhas.

A IA então tentou escrever um programa de computador que pudesse explicar tanto as escolhas quanto os pensamentos falados.

O Que Eles Encontraram

Os pesquisadores testaram isso em pessoas tomando decisões arriscadas (como escolher entre uma recompensa pequena certa ou uma chance de uma recompensa grande). Eis o que aconteceu quando eles adicionaram os "pensamentos falados" à mistura:

1. Os Modelos Ficaram Mais Inteligentes (Melhores Previsões)
Quando a IA usou apenas as escolhas, ela fez palpites decentes. Mas quando usou as escolhas mais os pensamentos falados, os modelos ficaram muito melhores em prever o que a pessoa faria na próxima vez. É como um detetive resolvendo um crime: se você só ver as pegadas, pode adivinhar o suspeito errado. Mas se você também ouvir o álibi do suspeito, pode apontar a verdade com muito mais precisão.

2. Os Modelos Mudaram Seu "DNA" (Mudança Estrutural)
Esta é a parte mais surpreendente. A IA não apenas ajustou os números; ela mudou completamente o tipo de lógica que usava para explicar a mente humana.

• Sem os pensamentos falados: A IA pensava principalmente que os humanos estavam usando um método de "Tira-Teima". Ela assumia que as pessoas calculavam o valor da Opção A, calculavam o valor da Opção B e, em seguida, simplesmente comparavam os dois números para ver qual era maior.
• Com os pensamentos falados: A IA percebeu que, para a maioria das pessoas (cerca de 70%), o cérebro funciona mais como um "Liquidificador". Em vez de apenas comparar dois números separados, as pessoas estavam realmente misturando os ingredientes (risco, recompensa, probabilidade) dentro de cada opção primeiro, misturando-os em uma única sensação, e depois fazendo a escolha.

O artigo descobriu que, para quase 7 em cada 10 pessoas, adicionar os pensamentos falados forçou a IA a abandonar o modelo de "Tira-Teima" e mudar para o modelo de "Liquidificador".

A Grande Conclusão

O ponto principal deste artigo é que ouvir como as pessoas pensam muda o mapa que traçamos de suas mentes.

Se você olhar apenas para o destino (a escolha), pode desenhar um mapa que parece uma linha reta. Mas se você ouvir o comentário do viajante, percebe que ele seguiu um caminho sinuoso, parou para olhar uma vista e talvez até tenha voltado atrás.

Ao adicionar dados de "Pensar em Voz Alto", os pesquisadores não obtiveram apenas um mapa ligeiramente melhor; eles descobriram que o terreno em si era diferente do que pensavam. As palavras faladas atuaram como uma restrição, forçando o computador a parar de chutar e começar a encontrar a máquina mental real que as pessoas estavam usando — uma máquina que era invisível se você apenas observasse suas mãos.

Resumo técnico

Resumo Técnico: O Pensar em Voz Alto Reconfigura a Descoberta Automatizada de Modelos Cognitivos

Declaração do Problema
Modelos cognitivos computacionais derivados exclusivamente de dados comportamentais são frequentemente subdeterminados; mecanismos computacionais distintos podem produzir padrões idênticos ou altamente similares de escolha, levando a uma ambiguidade substancial na seleção de modelos (Wilson & Collins, 2019). Embora protocolos de "pensar em voz alto" tenham sido usados há muito tempo para capturar raciocínio em nível de processo em linguagem natural, trabalhos anteriores focaram principalmente em validar a confiabilidade desses relatos verbais ou desenvolver métodos para analisá-los. Uma questão fundamental permanece inexplorada: os rastros de raciocínio de pensar em voz alto podem facilitar a descoberta automatizada de estruturas computacionais que são irrecuperáveis a partir de dados comportamentais apenas?

Metodologia
Os autores empregam uma estrutura de descoberta de modelos automatizada chamada GeCCo (Rmus et al., 2025), que utiliza um Modelo de Linguagem Grande (LLaMA-3.1-70B) para gerar iterativamente modelos computacionais candidatos. Esses modelos são definidos como funções executáveis que mapeiam entradas de tarefas para escolhas. O LLM é instruído a propor estruturas de modelo alternativas que melhorem o modelo de melhor desempenho atual com base no seu ajuste a dados mantidos de fora.

O estudo aplica essa estrutura a um conjunto de dados de tomada de decisão arriscada envolvendo 72 participantes. Nesta tarefa, os participantes fazem escolhas binárias em 19 ensaios com base no paradigma estabelecido por Kahneman e Tversky (1979). O experimento compara duas condições:

1. Apenas Comportamento: Modelos são descobertos usando apenas os dados de escolha comportamental.
2. Comportamento + Pensar em Voz Alto: Modelos são descobertos usando tanto dados comportamentais quanto os rastros de raciocínio verbalizados dos participantes como entrada para o LLM.

Para cada participante, o processo de descoberta é repetido 10 vezes com divisões de dados idênticas. O modelo de melhor ajuste para cada condição é selecionado com base no Critério de Informação Bayesiano (BIC) (Watanabe, 2013) avaliado em 10 ensaios mantidos de fora. Para analisar a estrutura do modelo, os programas descobertos são convertidos em grafos de computação normalizados, dos quais características estruturais são extraídas e agrupadas usando HDBSCAN (McInnes et al., 2017).

Principais Resultados

1. Desempenho Preditivo Melhorado: Modelos descobertos com a inclusão de dados de pensar em voz alto demonstraram desempenho preditivo fora da amostra significativamente melhor. Um teste t pareado revelou que as pontuações BIC mantidas de fora foram significativamente menores para a condição de pensar em voz alto em comparação com a condição de apenas comportamento ($t(71) = -3.41, p = 0.001$). Especificamente, 59,7% dos participantes mostraram BIC menor na condição de pensar em voz alto.
2. Reconfiguração Sistemática da Estrutura do Modelo: A inclusão de dados de linguagem em nível de processo não apenas refinou modelos existentes, mas alterou sistematicamente a classe estrutural dos mecanismos descobertos. O agrupamento identificou três famílias principais de mecanismos: Utilidade Integrada, Comparador Explícito e Operador Baseado em Regras.
   • Mudanças Estruturais: 69,4% dos participantes foram atribuídos a diferentes clusters de mecanismos ao passar da condição de apenas comportamento para a condição de pensar em voz alto.
   • Transições Específicas: A mudança mais proeminente ocorreu do cluster Comparador Explícito (que calcula utilidades e as compara diretamente, por exemplo, $\Delta U = U_A - U_B$) para o cluster Utilidade Integrada (que transforma e integra opções antes da comparação).
   • Diferenças Qualitativas: Essas transições representam mudanças fundamentais na organização computacional (por exemplo, mudar da comparação direta de valores para um processo de transformação e integração de ganhos/perdas dentro de cada opção) em vez de variações superficiais de código.

Significância e Afirmações
O artigo afirma que dados de linguagem em nível de processo servem a um papel funcional na restrição do espaço de modelos computacionais admissíveis. Ao fornecer restrições adicionais sobre os mecanismos cognitivos subjacentes, os rastros de pensar em voz alto resolvem a indeterminação inerente aos dados comportamentais apenas.

Os autores concluem que incorporar dados de pensar em voz alto:

• Melhora a qualidade preditiva da descoberta automatizada de modelos.
• Reconfigura sistematicamente a estrutura dos modelos cognitivos descobertos, levando à identificação de famílias de mecanismos que não são recuperáveis a partir do comportamento apenas.
• Sugere que relatos verbais não são apenas dados suplementares, mas são críticos para revelar a verdadeira arquitetura computacional da tomada de decisão humana.

O trabalho demonstra que estruturas de descoberta automatizada de modelos podem aproveitar rastros de linguagem natural para ir além da subdeterminação comportamental, revelando mecanismos cognitivos distintos que de outra forma permaneceriam ocultos.