On the use of foundation models in cognitive science

Resumo Técnico: Sobre o uso de modelos de fundação na ciência cognitiva

Problema
Estudos recentes demonstraram que os Modelos de Fundação (MFs) — incluindo grandes modelos de linguagem, modelos multimodais e variantes restritas como o BabyLM — podem reproduzir assinaturas comportamentais da cognição humana em domínios como raciocínio matemático, compreensão de linguagem e raciocínio analógico. No entanto, os autores argumentam que utilizar MFs como modelos cognitivos explicativos impõe desafios metodológicos e conceituais significativos. O problema central é que o alinhamento comportamental (a correspondência estatística entre as saídas do modelo e os dados humanos) não identifica inerentemente os mecanismos que geram esses comportamentos. Sem um arcabouço inferencial estruturado, as semelhanças observadas correm o risco de serem incidentais, e tratar MFs como modelos cognitivos sem restrições rigorosas pode levar a "proxies comportamentais" em vez de modelos explicativos. O artigo questiona: Sob quais condições o alinhamento comportamental justifica tratar os MFs como modelos explicativos da cognição?

Metodologia: Um Arcabouço Inferencial de Quatro Estágios
O artigo propõe um arcabouço estruturado de quatro estágios para avaliar MFs como modelos cognitivos e de desenvolvimento. Este arcabouço separa a adaptação de tarefas, a vinculação de hipóteses, a avaliação comportamental e a comparação contrastiva de modelos para restringir a interpretação do alinhamento.

1. Adaptação de Estímulos e Tarefas Experimentais: Os materiais experimentais humanos devem ser traduzidos para modalidades de entrada-saída compatíveis com os MFs. Isso garante que o modelo e os participantes humanos realizem tarefas funcionalmente equivalentes. Por exemplo, as Matrizes Progressivas de Raven visuais são convertidas em "matrizes de dígitos" simbólicas para preservar a estrutura relacional, acomodando a modalidade textual dos MFs.
2. Especificação de Hipóteses de Vinculação: Pesquisadores devem definir explicitamente como as saídas do modelo mapeiam aspectos mensuráveis do comportamento humano. Este estágio é crítico, pois determina o que conta como evidência de alinhamento. O artigo analisa quatro hipóteses de vinculação comuns:
   • Similaridade: Mapear a geometria do espaço representacional de um modelo (ex: distâncias de embedding) para julgamentos humanos de tipicidade ou tempos de resposta.
   • Surpresa (Surprisal): Usar a log-probabilidade negativa de tokens para prever tempos de resposta humanos ou dificuldade de processamento.
   • Prompting: Instruir o modelo a seguir os mesmos protocolos que os participantes humanos para comparar diretamente as distribuições de geração ou probabilidades de escolha.
   • Vinculação de Traço de Processo (Process-Trace Linking): Mapear propriedades de traços de geração intermediários (ex: contagem de tokens de raciocínio, comprimento de etapa) para a dinâmica de processamento humano ou esforço cognitivo.
3. Avaliação de Correspondência: O desempenho do modelo é comparado aos dados humanos usando medidas de bondade de ajuste estatístico. Crucialmente, o alinhamento deve ser avaliado não apenas de forma agregada, mas através de variações teoricamente diagnósticas (ex: entre condições, indivíduos ou estímulos) para garantir que o modelo capture mecanismos cognitivos específicos em vez de tendências gerais.
4. Comparação Entre Modelos: Demonstrar o alinhamento em um único modelo fornece apenas uma "prova de possibilidade". O valor explicativo é derivado da avaliação contrastiva: comparar diferentes arquiteturas, regimes de treinamento, escalas ou variantes abladas para identificar quais componentes computacionais são necessários para reproduzir uma assinatura comportamental específica.

Principais Contribuições
O artigo apresenta três contribuições primárias para o campo da ciência cognitiva:

• Delineamento Estrutural: Apresenta um arcabouço de quatro estágios (Figura 1) que separa o loop de alinhamento interno (Estágios 1–3: adaptação, vinculação, avaliação) do loop contrastivo externo (Estágio 4: comparação). Esta estrutura esclarece como cada estágio restringe a interpretação do alinhamento.
• Papel Teórico das Hipóteses de Vinculação: Articula o papel interpretativo das hipóteses de vinculação, enfatizando que elas não são mapeamentos neutros, mas compromissos teóricos que definem como o comportamento do modelo é interpretado. O artigo demonstra que um ajuste forte sob uma hipótese de vinculação (ex: prompting) pode enfraquecer ou desaparecer sob outra (ex: similaridade representacional), sugerindo que o alinhamento é uma propriedade do modelo avaliado sob suposições específicas, e não do modelo isoladamente.
• Diretrizes para Avaliação Explicativa: Destila o arcaboiço em princípios operacionais para desenhar avaliações que priorizem o valor explicativo sobre a similaridade descritiva. Estas diretrizes enfatizam contrastes de medição diagnóstica, a preservação da estrutura da tarefa, a triangulação entre suposições de vinculação e a avaliação comparativa contra baselines e variantes manipuladas.

Resultos e Análise de Desafios
O artigo não apresenta novos resultados empíricos, mas sintetiza a literatura existente para identificar quatro desafios inferenciais principais que surgem ao usar MFs como modelos cognitivos:

1. Subdeterminação Teórica: Um alto ajuste agregado pode mascarar falhas em contrastes diagnósticos críticos. As alegações de alinhamento são fortalecidas apenas quando os modelos explicam um amplo conjunto de fenômenos teoricamente relacionados e contrastes diagnósticos, em vez de regularidades empíricas isoladas.
2. Opacidade Mecanística: Os MFs podem resolver tarefas no nível computacional enquanto divergem no nível algorítmico (dependendo de diferentes representações ou estratégias de busca). O artigo observa que os componentes internos do modelo (camadas, cabeças de atenção) não se mapeiam limpamente em construtos cognitivos (ex: memória de trabalho), tornando a inferência entre níveis difícil. A interpretabilidade mecânica e intervenções causais (Estágio 4) são propostas como rotas necessárias para validar se um modelo implementa construtos cognitivos específicos.
3. Descompasso de Treinamento e Desenvolvimento: As diferenças entre o treinamento de MFs (predição do próximo token em corpora estáticos) e o aprendizado humano (interativo, com andaime/scaffolding, biológico) complicam as alegações de alinhamento de desenvolvimento. Embora os checkpoints de treinamento intermediários ofereçam oportunidades para rastrear trajetórias de desenvolvimento, tais correspondências permanecem correlacionais, a menos que manipulações causais de regimes de treinamento ou ordenação de dados sejam testadas.
4. Variabilidade e Alinhamento ao Nível Populacional: Os MFs são tipicamente treinados em dados agregados, muitas vezes ignorando diferenças individuais. O artigo argumenta que as alegações de alinhamento correm o risco de superestimar a generalidade se ignorarem a variação estruturada entre indivíduos, grupos ou contextos. A variabilidade deve ser tratada como um alvo para explicação, e não como ruído.

Significância e Alegações
O artigo afirma que o ajuste comportamental por si só é insuficiente para estabelecer os MFs como modelos explicativos da cognição. O alinhamento torna-se cientificamente significativo apenas quando inserido em:

• Compromissos teóricos explícitos.
• Tarefas teoricamente diagnósticas.
• Avaliação contrastiva sistemática entre modelos candidatos.

Os autores não defendem a adoção acrítica dos MFs como modelos cognitivos. Em vez disso, argumentam que seu valor científico reside no potencial de iluminar quais princípios computacionais são suficientes (e talvez necessários) para reproduzir padrões característicos da cognição humana. O arcabouço proposto não é oferecido como uma prescrição fixa, mas como uma estrutura necessária para garantir que as alegações de alinhamento sejam desenvolvidas com salvaguardas teóricas e empíricas apropriadas, refinando, em última análise, a compreensão da estrutura, dos limites e do desenvolvimento do pensamento humano.