Developmental Trajectories of Situation Modeling and Mentalizing in Transformer Language Models

Resumo Técnico: Trajetórias de Desenvolvimento de Modelagem de Situação e Mentalização em Modelos de Linguagem Transformer

Problema
Estudos recentes sugerem que Grandes Modelos de Linguagem (LLMs) exibem sensibilidade aos estados de crença de agentes descritos em texto, tipicamente medida via Tarefa de Falsa Crença (FBT, do inglês False Belief Task). No entanto, preocupações persistentes quanto à validade de construto questionam se esses modelos realmente possuem capacidades de "mentalização" ou se estão apenas explorando heurísticas superficiais e dependentes de tarefas. Os autores argumentam que avaliações transversais são insuficientes para resolver essas questões. Em vez disso, eles propõem uma perspectiva de desenvolvimento para rastrear a emergência do comportamento de mentalização através dos estágios de treinamento, examinando se tal comportamento segue uma sequência de desenvolvimento lógica (precedida pela modelagem de situação básica) e se permanece robusto sob condições de teste de estresse.

Metodologia
O estudo emprega um framework de análise de desenvolvimento através de múltiplos checkpoints de treinamento de duas suítes de modelos de pesos abertos: Olmo2 (especificamente 1B, 7B e 13B parâmetros) e Pythia (variando de 14M a 12B parâmetros). A suíte Pythia serve como um controle para modelos com significativamente menos tokens de treinamento (uma ordem de magnitude a menos que os equivalentes do Olmo2).

O design experimental envolve dois índices comportamentais primários:

1. Mentalização (Tarefa de Falsa Crença): Utilizando um conjunto de estímulos de 192 passagens (Trott et al., 2023), os modelos preveem o local de busca de um agente "Alvo" que detém uma Crença Verdadeira ou uma Falsa Crença sobre a localização de um item. A tarefa varia por Estado de Conhecimento (Crença Verdadeira/Falsa) e Pista de Conhecimento (Referência explícita a crenças, ex: "acha", vs. Implícita, ex: "procura").
2. Modelagem de Situação (Testes de Estresse): Para avaliar a coerência da representação interna da cena pelo modelo, os autores modificaram os estímulos para consultar propriedades fatuais que não exigem mentalização:
   • Rastreamento de Crença do Antagonista: Consultar o local onde o "Antagonista" (que sempre sabe a localização real) procuraria.
   • Rastreamento de Estrutura Causal: Consultar as localizações iniciais/finais de itens e a identidade dos agentes que os moveram.

O desempenho é medido via log-odds das probabilidades de tokens corretos vs. incorretos. Os autores utilizam modelos lineares de efeitos mistos para analisar a interação entre o tamanho do modelo, o volume cumulativo de tokens de treinamento e as propriedades do estímulo através dos estágios de pré-treinamento e pós-treinamento (SFT, DPO, Ajuste de Instrução).

Principais Contribuições

• Mapeamento da Trajetória de Desenvolvimento: O artigo fornece uma linha do tempo granular de quando o desempenho na FBT emerge em relação ao tamanho do modelo e ao volume de treinamento, indo além das avaliações estáticas de "checkpoint final".
• Análise de Precondição: Investiga se a "modelagem de situação" (rastreamento de propriedades fatuais básicas) precede e apoia a "mentalização" (raciocínio sobre falsas crenças), uma hipótese fundamentada na psicologia do desenvolvimento.
• Framework de Teste de Estresse: O estudo introduz testes de estresse específicos para sondar a coerência dos modelos de situação, revelando que os modelos podem ter sucesso em tarefas de mentalização complexas enquanto falham em consultas fatuais mais simples sobre a mesma cena.

Principais Resultados

1. Emergência da Mentalização: O desempenho acima do acaso na FBT não é garantido apenas pelo tamanho do modelo. Requer uma combinação de capacidade de modelo suficiente (ex: Olmo2 7B/13B) e volume substancial de treinamento. Modelos sub-treinados (Pythia) performam ao nível do acaso independentemente do tamanho, enquanto modelos menores e bem treinados do Olmo2 falham em alavancar efetivamente seus dados de treinamento.
2. Emergência Tardia e Fragilidade: O comportamento de mentalização emerge relativamente tarde no pré-treinamento. Crucialmente, o desempenho é altamente frágil:
   • Os modelos são sensíveis a verbos não-factuais (ex: "acha"). Mesmo em condições de Crença Verdadeira, a presença de "acha" aumenta as atribuições de falsa crença.
   • Intervenções de pós-treinamento (SFT, DPO) melhoram o desempenho especificamente na condição mais diagnóstica (Falsa Crença, Implícita), mas não eliminam a fragilidade em relação aos verbos não-factuais.
3. A Modelagem de Situação Precede a Mentalização: A precisão ao relatar propriedades fatuais básicas (Modelagem de Situação) geralmente precede e excede a precisão da FBT. Isso apoia a hipótese de que o rastreamento de fatos da cena é uma precondição para o raciocínio de crença.
4. Incoerência nos Modelos de Situação: Apesar da precedência de desenvolvimento, os modelos de situação provam ser incoerentes de formas específicas:
   • Viés do Antagonista: Quando questionado sobre o Antagonista (que sempre sabe a verdade), o Olmo2 13B atribui incorretamente probabilidades baseadas no estado de conhecimento do Alvo e é enviesado por verbos não-factuais, suger que há uma falha em manter uma representação consistente da onisciência do Antagonista.
   • Confusão de Identidade de Agente: O modelo tem dificuldade em identificar o agente que moveu um item para o local inicial (o Alvo), frequentemente recorrendo ao Antagonista, embora consiga rastrear com sucesso as crenças do Alvo na FBT.

Significância e Alegações
O artigo alega que estes resultados oferecem uma visão matizada das capacidades dos LLMs, sugerindo que, embora modelos maiores e suficientemente treinados construam modelos de situação "parcialmente coerentes" em uma sequência de desenvolvimento apropriada, esses modelos exibem uma "fragilidade surpreendente".

Os autores argumentam que o comportamento observado provavelmente reflete uma coleção de sensibilidades sobrepostas a características superficiais (como verbos não-factuais) e padrões de treinamento específicos, em vez de um constructo de "Teoria da Mente" unificado e robusto. O estudo conclui que o input linguístico sozinho, mesmo em escalas massivas, pode ser insuficiente para produzir um comportamento de mentalização generalizável.

Metodologicamente, o artigo defende a adoção de abordagens de desenvolvimento e de teste de estresse como um padrão para avaliar as capacidades de LLMs. Ao rastrear a ontogenia dos comportamentos junto com suas precondições e testar sua robustez, pesquisadores podem melhor distinguir entre capacidades genuínas de tipo cognitivo e heurísticas rasas, abordando assim as preocupações de longa data sobre a validade de construto em benchmarks de IA.