Language Statistics and False Belief Reasoning: Evidence from 41 Open-Weight LMs

1. O Problema e o Contexto

O estudo aborda uma lacuna crítica na pesquisa sobre raciocínio de estados mentais em Modelos de Linguagem (LMs). Trabalhos anteriores sobre a tarefa de "crença falsa" (False Belief Task - FB), usada para medir a Teoria da Mente, frequentemente dependem de amostras pequenas de LMs de código fechado (closed-source). Isso apresenta desafios inferenciais fundamentais:

• Contaminação de dados: É impossível verificar se os modelos foram treinados nos dados de teste.
• Falta de transparência: Propriedades como tamanho do modelo, número de tokens de treinamento e ajustes de instrução são desconhecidas.
• Reprodutibilidade: Modelos fechados são frequentemente descontinuados, impedindo a replicação de estudos.
• Generalização: Amostras pequenas impedem a determinação de se os achados são generalizáveis ou específicos de uma instância de modelo.

O objetivo principal é testar a hipótese de que a exposição às estatísticas distribucionais da linguagem é suficiente para explicar o raciocínio sobre estados mentais em humanos, utilizando uma amostra robusta e transparente de LMs.

2. Metodologia

Os autores replicaram e expandiram um estudo anterior (Trott et al., 2023) com as seguintes características:

• Amostra de Modelos: Foram avaliados 41 modelos de pesos abertos (open-weight) pertencentes a 5 famílias distintas (Gemma, Llama 3, OLMo-2, Pythia e Qwen 2.5). A amostra incluiu variações de tamanho (de milhões a bilhões de parâmetros), regimes de treinamento (base e instruídos/instruct) e provedores.
• Tarefa (Crença Falsa): Utilizaram 192 passagens textuais baseadas na tarefa canônica de crença falsa.
  • Manipulação de Estado de Conhecimento: Um personagem move um objeto de um local "Início" para um "Fim". A condição varia se o primeiro personagem estava presente (Crença Verdadeira) ou ausente (Crença Falsa) durante a mudança.
  • Manipulação de Pista de Conhecimento: A pergunta final sobre a localização do objeto era feita de forma Explícita (usando verbos não-fáticos como "John pensa que...") ou Implícita (usando verbos factivos ou descritivos como "John procura no...").
• Procedimento de Avaliação:
  • Os modelos foram executados localmente (NVIDIA DGX-H200).
  • Em vez de gerar texto, mediu-se a probabilidade logarítmica (log-prob) dos tokens correspondentes aos locais "Início" vs. "Fim".
  • Calculou-se a Log Odds (diferença entre as log-probs) para determinar a sensibilidade do modelo ao estado de conhecimento.
• Dados Humanos: Utilizaram dados públicos de 613 participantes do estudo original para comparação direta e cálculo de efeitos psicométricos.

3. Contribuições Principais

1. Amostragem em Grande Escala: É o primeiro estudo a avaliar sistematicamente 41 modelos abertos na tarefa de crença falsa, permitindo análises estatísticas robustas sobre a variabilidade entre modelos.
2. Teste da Hipótese Distribucional: O estudo quantifica diretamente a probabilidade de um efeito humano ocorrer dentro da distribuição de efeitos gerados por modelos puramente estatísticos.
3. Novo Hipótese Cognitiva: Gerou e testou uma nova hipótese sobre o viés de atribuição de crenças baseado em verbos não-fáticos, utilizando o comportamento dos LMs como base teórica.
4. Reprodutibilidade Total: Todos os materiais, dados e códigos são abertos, permitindo verificação independente.

4. Resultados Chave

• RQ1: Sensibilidade ao Estado de Conhecimento:

  • Apenas 34% (14 de 41) dos modelos testados mostraram sensibilidade estatisticamente significativa às manipulações de estado de conhecimento.
  • Modelos maiores e instruídos tenderam a ter melhor desempenho. O melhor modelo (OLMo 2 13B instruído) atingiu 74,5% de precisão, ainda abaixo do desempenho humano (~82,7%).

• RQ2: Explicação do Efeito Humano ("Explain Away"):

  • Nenhum modelo conseguiu "explicar" completamente o efeito humano. Mesmo os melhores LMs não conseguiram prever as respostas humanas sem que o fator "Estado de Conhecimento" fosse incluído no modelo estatístico.
  • Isso sugere que as estatísticas da linguagem, por si só, não são suficientes para replicar a sensibilidade humana total a estados mentais.

• RQ3 e RQ4: Fatores Preditivos:

  • O número de parâmetros foi o único fator significativo para prever tanto a precisão na tarefa quanto o Poder Preditivo Psicométrico (PPP) (a capacidade do LM de prever o comportamento humano).
  • Modelos maiores não apenas acertaram mais, mas também se correlacionaram melhor com os padrões de resposta humana.

• RQ5: Viés de Verbos Não-Fáticos (Novo Achado):

  • Tanto humanos quanto LMs mostraram um viés consistente: eram mais propensos a atribuir uma crença falsa (localização incorreta) quando a pergunta usava um verbo não-fático ("pensa") em comparação com uma pista implícita ("procura").
  • Diferença Crucial: Enquanto o efeito principal de "Estado de Conhecimento" é muito maior em humanos do que em LMs, o efeito da "Pista de Conhecimento" (verbos) em humanos cai dentro da distribuição dos efeitos dos LMs.
  • Isso implica que as estatísticas distribucionais podem explicar o viés linguístico (verbos), mas não a capacidade completa de modelagem de estados mentais (crença falsa).

5. Significado e Implicações

• Limites da Estatística Linguística: O estudo fornece evidências de que, embora a exposição à linguagem possa conferir alguma sensibilidade a estados mentais (especialmente em modelos grandes), ela não é suficiente para explicar totalmente o raciocínio humano sobre crenças falsas. Fatores como interação social, grounding (ancoragem no mundo real) ou restrições biológicas podem ser necessários.
• LMs como "Organismos Modelo": O uso de grandes amostras de LMs abertos permite testar teorias de cognição humana de forma mais rigorosa. A descoberta de que LMs replicam o viés de verbos não-fáticos humanos sugere que certas nuances de cognição social podem emergir puramente da distribuição de dados linguísticos.
• Taxonomia de Comportamento: A variação entre modelos de diferentes famílias e tamanhos destaca a necessidade de uma taxonomia comportamental para LMs, em vez de tratá-los como entidades monolíticas.
• Validade Construtiva: O trabalho reforça a importância de usar modelos abertos para investigar a validade construtiva de tarefas psicológicas, evitando a contaminação de dados e permitindo a caracterização precisa dos mecanismos de aprendizado.

Em resumo, o artigo demonstra que, embora os LMs modernos capturem aspectos da Teoria da Mente através de estatísticas linguísticas, eles ainda falham em replicar a profundidade e a robustez do raciocínio humano, exceto em casos específicos onde o viés é puramente linguístico (como o uso de certos verbos).