Language Models Might Not Understand You: Evaluating Theory of Mind via Story Prompting

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) demonstraram melhorias significativas em tarefas de raciocínio (matemática, codificação, lógica), mas sua capacidade de raciocinar sobre a Teoria da Mente (ToM) — a capacidade de atribuir estados mentais, crenças e perspectivas a outros — permanece incerta.

• Contaminação de Dados: As atuais benchmarks de ToM (por exemplo, teste de Sally-Anne, TOMI) provavelmente estão presentes nos dados de pré-treinamento dos LLMs modernos. Consequentemente, os modelos podem estar "memorizando" respostas em vez de raciocinar genuinamente, levando a métricas de desempenho infladas.
• Falta de Controle: Benchmarks sintéticos anteriores frequentemente dependem de LLMs para gerar as próprias histórias, o que introduz inconsistências e dificulta o isolamento de variáveis específicas (por exemplo, perspectiva do personagem vs. timing do evento).
• A Lacuna: Há necessidade de um framework robusto e livre de contaminação para avaliar se os LLMs podem realmente modelar estados mentais ou se dependem de heurísticas (como viés de recência) e memorização.

2. Metodologia: O Framework StorySim

Os autores introduzem o StorySim, um framework sintético programável projetado para gerar histórias novas para avaliar capacidades de ToM e Modelagem de Mundo (WM).

Componentes Principais

• O STORYBOARD: Uma especificação simbólica de alto nível definida como $D = (C, \phi, G, E, n)$, onde:
  • $C$: Conjunto de personagens.
  • $G$: Um grafo direcionado representando locais e conectividade.
  • $E$: Um conjunto de eventos-chave determinísticos com carimbo de tempo (por exemplo, "Personagem A move-se para o Quarto 2 em $t=5$").
  • $n$: Número total de eventos.
  • $\phi$: Tipos de ação (por exemplo, entrar, mover).
• Processo de Geração:
  1. Geração Simbólica: O StorySim gera uma sequência de eventos que adere estritamente às restrições do STORYBOARD. Ele preenche detalhes não determinísticos aleatoriamente, garantindo consistência lógica (por exemplo, personagens só podem mover-se para locais adjacentes).
  2. Tradução: Os eventos são convertidos em linguagem natural usando templates.
  3. Parafraseamento (Opcional): As histórias podem ser ulteriormente parafraseadas por um LLM (GPT-4o-mini) para aumentar o naturalismo linguístico, embora a lógica central permaneça ancorada no storyboard simbólico.
• Novidade: Como as histórias são geradas algoritmicamente com restrições específicas e variações aleatórias, a probabilidade de qualquer história gerada aparecer nos dados de pré-treinamento é "astronomicamente pequena".

Desenho Experimental

Os autores projetaram três tipos específicos de prompts para isolar diferentes capacidades cognitivas:

1. Prompt ToM: Pergunta sobre a crença de um personagem em relação à localização de outro (por exemplo, "Onde Bob acha que Alice está?"). Isso testa a capacidade de modelar uma perspectiva que difere da realidade.
2. Prompt WM-Humano: Pergunta sobre a localização objetiva de um personagem com base em eventos observados (por exemplo, "Para onde Alice foi quando Bob estava no quarto?"). Isso testa a Modelagem de Mundo sem exigir tomada de perspectiva.
3. Prompt WM-Inanimado: Similar ao WM-Humano, mas usa objetos inanimados movidos por forças externas. Isso testa se o raciocínio do modelo é sensível à natureza "animada" dos agentes.

Variáveis Chave Manipuladas:

• Distância de Engano: O número de passos de tempo entre a última vez que um personagem ($S1$) viu outro ($T$) mover-se e a localização final de $T$. Isso testa o viés de recência (prever a localização mais recente em vez da última localização observada).
• Ordem da ToM: Primeira ordem (A acha que B está em X) vs. Segunda ordem (A acha que B acha que C está em X).
• Contagem de Personagens: Variar o número de personagens para testar a generalização além de estruturas de histórias simples e familiares.

3. Contribuições Principais

1. Framework StorySim: Um benchmark sintético totalmente controlável que elimina riscos de contaminação de dados e permite manipulação precisa de variáveis narrativas (perspectiva, timing, estrutura de grafo).
2. Desacoplamento de ToM e WM: O estudo fornece um método para avaliar ToM independentemente da Modelagem de Mundo geral, revelando que os modelos frequentemente se destacam em rastrear eventos físicos (WM), mas falham em rastrear estados mentais (ToM).
3. Identificação de Heurísticas: O framework identificou com sucesso modos de falha específicos, como a "Heurística do Primeiro Local Comum" (prever onde os personagens se encontraram pela primeira vez em vez de onde estão atualmente) e o Viés de Recência.
4. Benchmarking Abrangente: O artigo avalia uma ampla gama de modelos (GPT-4, GPT-5.4, Llama 3.1/3.2/3.3, R1, Qwen) em configurações zero-shot e few-shot.

4. Resultados Principais

• Discrepância ToM vs. WM: A maioria dos modelos alcançou maior precisão em tarefas de Modelagem de Mundo (WM) do que em tarefas de Teoria da Mente (ToM). Isso sugere que os LLMs são melhores em rastrear estados físicos do que em simular perspectivas subjetivas de outros.
• Efeito "Humano": Os modelos performaram significativamente melhor em tarefas de WM envolvendo sujeitos humanos em comparação com objetos inanimados, sugerindo que a presença de "agentes" desencadeia caminhos de raciocínio diferentes (e mais precisos).
• Correlação com Tamanho do Modelo:
  • Na família Llama 3.1, houve uma correlação positiva clara entre o tamanho do modelo (parâmetros) e o desempenho em ToM.
  • O DeepSeek R1 mostrou a maior precisão geral em ToM e a menor lacuna entre o desempenho de ToM e WM.
  • O GPT-5.4 se destacou em WM, mas lutou com ToM, destacando que o poder de raciocínio bruto não equivale automaticamente ao raciocínio social.
• Falha no Teste de Sally-Anne: Quando testados em uma configuração padrão de Sally-Anne, os modelos alcançaram 100% de precisão. No entanto, quando testados em histórias geradas aleatoriamente da mesma duração, a precisão caiu significativamente (por exemplo, para ~75-87%), confirmando que o teste clássico é uma medida pobre de ToM genuíno devido à contaminação de dados.
• Dependência de Heurísticas:
  • Viés de Recência: O estudo não encontrou evidência significativa de que os modelos dependem do viés de recência (prever a última localização conhecida) como um modo de falha primário; o desempenho permaneceu estável através de "distâncias de engano" variadas.
  • Heurística do Primeiro Local Comum: Um padrão de erro dominante foi prever o local onde os personagens primeiro cruzaram caminhos, em vez de rastrear seus movimentos reais.
  • Problemas de Comprimento de Contexto: Modelos focados em raciocínio (como o R1) falharam frequentemente devido a comprimento de contexto insuficiente ao gerar longas cadeias de pensamento, levando a "recusa do prompt" ou erros alucinados.
• Complexidade: Aumentar o número de personagens em uma história não degradou significativamente o desempenho de ToM para modelos de ponta, sugerindo robustez no manuseio de grafos sociais complexos.

5. Significado e Trabalho Futuro

• Redefinição de Benchmarks: O artigo argumenta que o campo deve se afastar de conjuntos de dados estáticos e potencialmente contaminados (como Sally-Anne) em direção a benchmarks sintéticos dinâmicos como o StorySim para avaliar verdadeiramente as capacidades dos LLMs.
• Implicações de Segurança: A falta de uma ToM robusta é uma preocupação crítica de segurança. Se um LLM não consegue entender que um usuário tem uma perspectiva diferente ou intenção oculta, ele pode falhar em detectar cenários prejudiciais ou manipular usuários.
• Direções Futuras: Os autores sugerem usar o StorySim para explorar cenários mais complexos, incluindo raciocínio contrafactual, atribuição de objetivos e modelagem de preferências. Eles também destacam a necessidade de melhorar o manuseio de contexto dos modelos para suportar cadeias de raciocínio mais profundas exigidas por tarefas complexas de ToM.

Em conclusão, o artigo demonstra que, embora os LLMs estejam melhorando, eles ainda lutam com o salto cognitivo específico exigido pela Teoria da Mente, frequentemente dependendo de heurísticas ou falhando em distinguir entre estados objetivos do mundo e crenças subjetivas. O StorySim fornece a ferramenta necessária para medir e melhorar rigorosamente essas capacidades.