🤖 AI

Small Foundation Models of Human Cognition and Behaviour

Este artigo demonstra que, embora modelos de fundação pequenos ajustados com dados comportamentais humanos possam equivaler eficazmente a basais de grande escala para tarefas psicológicas de distribuição interna, apenas modelos maiores melhoram significativamente a generalização para novas estruturas de tarefas, com o desempenho dependendo fortemente do processamento de conteúdo específico de estímulo e feedback, em vez de apenas do histórico de escolhas.

Autores originais: Nick Oh, Fernand Gobet

Publicado 2026-08-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Nick Oh, Fernand Gobet

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a pensar como um ser humano. Durante décadas, cientistas construíram pequenas "máquinas mentais" feitas à mão (como o ACT-R ou o Soar) que tentam explicar exatamente como nossos cérebros tomam decisões, passo a passo. Mas essas máquinas são frágeis; se você mudar o jogo ligeiramente, o robô quebra. Recentemente, uma nova ideia assumiu o controle: em vez de construir uma máquina mental do zero, por que não apenas alimentar um cérebro de computador gigante e superinteligente (um Grande Modelo de Linguagem) com milhões de exemplos de humanos reais fazendo escolhas? Se o computador puder prever o que um humano fará a seguir, talvez ele tenha aprendido as "regras" do pensamento humano. Este é o mundo dos "proxies cognitivos" — modelos de IA que atuam como substitutos para as mentes humanas. Mas uma grande questão permanece: esse cérebro gigante realmente entende a lógica do jogo ou é apenas um mestre em reconhecimento de padrões, memorizando atalhos como um estudante que apenas memorizou o gabarito sem ler o livro didático?

Este artigo, intitulado "Small Foundation Models of Human Cognition and Behaviour", mergulha nesse mistério. Os autores, Nick Oh e Fernand Gobet, decidiram testar se você realmente precisa de um cérebro "gigante" de 70 bilhões de parâmetros para imitar o comportamento humano, ou se um modelo muito menor, de "tamanho de bolso", poderia dar conta do recado. Eles treinaram quatorze modelos de IA diferentes, variando de minúsculos (135 milhões de parâmetros) a grandes (14 bilhões), em um conjunto de dados massivo chamado Psych-101, que contém mais de 10 milhões de escolhas feitas por pessoas em 160 experimentos psicológicos diferentes.

Aqui está o que eles descobriram, e é um pouco de uma reviravolta na trama. Primeiro, descobriram que o tamanho não importa tanto quanto se imagina se você estiver olhando apenas para os mesmos tipos de jogos que a IA já viu. Um modelo minúsculo com apenas 0,6 bilhão de parâmetros poderia performar quase tão bem quanto o gigante de 70 bilhões de parâmetros ao prever escolhas em experimentos familiares. É como um cachorro pequeno e ágil aprendendo um truque específico tão rápido quanto um enorme Dogue Alemão. No entanto, no momento em que lançaram um tipo de jogo novo para eles (fora da distribuição), o tamanho passou a importar novamente. Os modelos maiores foram muito melhores em descobrir as regras de um jogo que nunca tinham visto antes, enquanto os pequenos ficaram confusos.

Mas a parte mais emocionante é como esses modelos estão aprendendo. Alguns críticos temiam que essas IAs estivessem apenas dependendo de correlações espúrias, ignorando as regras reais do jogo e olhando apenas para o histórico de escolhas passadas (como adivinhar a próxima carta de um baralho apenas contando o que já foi jogado). Para testar isso, os autores jogaram um jogo de "esconde-esconde" com a informação. Eles removeram sistematicamente partes do prompt: esconderam as instruções, desfocaram os estímulos do jogo (as imagens ou números), apagaram o feedback e até embaralharam a ordem das tentativas.

Os resultados foram dramáticos. Quando eles desfocaram o conteúdo real do jogo (os estímulos e o feedback), o desempenho dos modelos desabou, caindo abaixo do que você obteria apenas chutando aleatoriamente. Isso prova que os modelos não estão apenas memorizando uma sequência de respostas; eles estão realmente prestando atenção ao conteúdo do jogo. Além disso, quando eles embaralharam a ordem das tentativas em um jogo onde a ordem não deveria importar, os modelos não se importaram. Mas quando eles embaralharam um jogo onde a ordem importava, os modelos ficaram confusos. Isso sugere que a IA é inteligente o suficiente para saber quando a sequência de eventos é importante e quando não é.

Em suma, esses modelos pequenos e ajustados são excelentes estimadores de "teto de ruído". Pense em um teto de ruído como um teto de vidro para o quão bem podemos prever o comportamento humano. Se um modelo atinge esse teto, significa que encontramos todos os padrões previsíveis nos dados, e quaisquer erros restantes são apenas "ruído" humano aleatório. Esses modelos pequenos mostram que podemos atingir esse teto sem precisar de um supercomputador, mas também nos lembram que esses modelos são tão bons quanto os jogos nos quais foram treinados. Eles são brilhantes em imitar o comportamento humano em laboratório, mas ainda não são uma teoria completa de como a mente humana funciona — eles são um espelho muito preciso, mas não a pessoa olhando para ele.

Resumo Técnico: Pequenos Modelos de Fundação da Cognição e Comportamento Humano

Problema
Modelos de linguagem de grande escala (LLMs) ajustados com dados comportamentais humanos, como o modelo Centaur de 70 bilhões de parâmetros, emergiram como proxies cognitivos de propósito geral. No entanto, duas questões críticas permanecem não resolvidas em relação a este paradigma:

Necessidade de Escala: A contagem massiva de parâmetros (ex: 70B) é necessária para a precisão preditiva ou é um artefato de configurações de treinamento específicas?
Mecanismo de Aprendizado: Estes modelos realmente processam a estrutura da tarefa e os estímulos ou exploram atalhos estatísticos (ex: dependendo apenas do histórico de escolhas ou templates de prompts) para alcançar alto desempenho?

Trabalhos anteriores sugeriram que os modelos poderiam depender de "atalhos", mas nenhum estudo decompôs sistematicamente o prompt para isolar os canais de informação específicos utilizados. Além disso, não está claro até que ponto esses modelos se generalizam para novas estruturas de tarefas (fora da distribuição/out-of-distribution) versus o ajuste à distribuição de treinamento (dentro da distribuição/in-distribution).

Metodologia
Os autores treinaram quatorze modelos através de quatro famílias de arquitetura (Qwen3, Llama-3/3.2, SmolLM2/3, e OLMo2/3) com contagens de parâmetros variando de 135M a 14B. Estes modelos foram ajustados no Psych-101, um conjunto de dados composto por 10,7 milhões de escolhas ao nível de tentativa de mais de 60.000 participantes em 160 experimentos psicológicos.

O estudo empregou um design experimental rigoroso variando três fatores de forma independente:

Escala do Modelo: Comparando modelos de 0,1B a 14B de parâmetros.
Capacidade do Adaptador: Varrendo os ranks de LoRA ( $r$ ) de 4 a 64 para determinar se a capacidade do adaptador pode substituir os parâmetros do modelo.
Dados de Treinamento: Usando subconjuntos aninhados e estratificados por experimento do Psych-101 para isolar o efeito da quantidade de dados.

Para diagnosticar o que os modelos aprendem, os autores realizaram ablação estrutural e testes de permutação em 32 experimentos:

Decomposição de Prompt: O prompt foi decomposto em quatro canais de informação: Instruções da Tarefa ( $I$ ), Estímulos Experimentais ( $S$ ), Feedback de Resultado ( $F$ ) e Histórico de Escolha ( $C$ ).
Condições de Ablação: Os modelos foram testados sob quatro condições: Original, Instrução-ablatada, Conteúdo-mascarado (substituindo estímulos/feedback específicos por placeholders genéricos) e Apenas-histórico.
Permutação de Ordem: A ordem das tentativas foi permutada em dois experimentos — um com tentativas independentes (permutáveis) e um com tentativas adaptativas (não-permutáveis) — para testar a sensibilidade a dependências sequenciais.

Resultados Principais

Desempenho Dentro da Distribuição (Psych-101):
- A escala não é o fator limitante: Dentro da distribuição de treinamento, a escala do modelo mal importa. Modelos pequenos (0,6B a 1B de parâmetros) com altos ranks de adaptador (ex: $r=32$ ) igualam ou excedem o desempenho de uma linha de base de 70B.
- Substituição por Adaptador: A capacidade do adaptador substitui a contagem de parâmetros. Um modelo de 0,6B com rank 64 alcança o mesmo desempenho que um modelo de 14B com rank 4, apesar de possuir 23 vezes menos parâmetros.
- Retornos Decrescentes: O aumento dos dados de treinamento gera retornos decrescentes; o ganho ao dobrar o tamanho do dataset diminui constantemente.
Desempenho Fora da Distribuição (Psych-201-RT):
- A Escala Reaparece: Quando testados em experimentos não vistos, a lacuna de desempenho aumenta significamente. Modelos maiores demonstram uma vantagem clara na generalização para novas estruturas de tarefas.
- Transferência vs. Ajuste: O tamanho do modelo é uma escolha sobre a capacidade de transferência em vez de ajuste dentro da distribuição. O "teto de ruído" (o melhor desempenho previsível) para tarefas dentro da distribuição é alcançado por modelos pequenos, mas este teto não se estende a tarefas fora da distribuição sem maior capacidade.
Achados Diagnósticos (Decomposição de Prompt):
- O Conteúdo é Crítico: Mascarar o conteúdo dos estímulos e do feedback destrói 75,7% da informação aprendida, empurrando os modelos para abaixo do desempenho ao acaso. Isso refuta a hipótese de atalho de "apenas histórico".
- Template vs. Conteúdo: Remover instruções custa pouco (perda de 12,5%), mas remover o conteúdo do template custa quase tudo. Os modelos dependem da informação específica fornecida ao participante, não apenas do formato estrutural.
- Sensibilidade Adaptativa à Tarefa: Os modelos exibem invariância de ordem em tarefas com tentativas independentes (permutáveis), mas permanecem sensíveis à ordem das tentativas em tarefas adaptativas. Isso indica que os modelos aprendem a estrutura computacional das tarefas específicas em vez de aplicar um heurístico sequencial uniforme.

Significância e Alegações
O artigo propõe um papel modesto, mas específico, para estes pequenos modelos cognitivamente ajustados:

Estimadores de Teto de Ruído: Estes modelos servem como limites empíricos (tetos de ruído) para experimentos psicológicos. Eles estimam quanto do comportamento em um determinado paradigma é previsível, identificando assim o "gap" onde as teorias interpretáveis atuais falham. Isso se alinha ao conceito de "minimização de arrependimento científico".
Não são Teorias Cognitivas: Os autores afirmam explicitamente que estes modelos não são teorias da cognição na tradição de ACT-R ou Soar. Eles não propõem arquitetura, não se comprometem com nenhum mecanismo e não explicam como uma escolha é gerada.
Validade do Instrumento: Os modelos são instrumentos válidos porque suas previsões repousam sobre a informação real utilizada pelos participantes (estímulos e feedback), conforme provado pelos estudos de ablação. No entanto, sua utilidade é limitada pelos paradigmas vistos no treinamento; eles não se generalizam confiavelmente além do escopo do Psych-101 sem escalonamento significativo.

Em conclusão, o estudo demonstra que 70 bilhões de parâmetros não são necessários para ajustar dados comportamentais humanos dentro de paradigmas conhecidos, mas escalas maiores são necessárias para a transferência para novas estruturas. Os modelos pequenos resultantes oferecem um ponto de referência baseado em dados para avaliar e melhorar teorias cognitivas de nível de processo, desde que seu escopo seja entendido como um estimador de previsibilidade em vez de uma explicação mecanística.

Mais como este