Selective Deficits in LLM Mental Self-Modeling in a Behavior-Based Test of Theory of Mind

Título: Déficits Seletivos no Auto-Modelamento Mental de LLMs em um Teste Baseado em Comportamento de Teoria da Mente

1. Problema e Motivação

A Teoria da Mente (ToM) é a capacidade humana de representar a si mesmo e aos outros como agentes com conhecimentos, intenções e estados de crença que guiam o comportamento. Embora os Grandes Modelos de Linguagem (LLMs) tenham sido expostos a inúmeros exemplos de ToM em seus dados de treinamento, não está claro se eles aprenderam modelos causais que podem ser aplicados em cenários arbitrários ou se apenas estão imitando padrões superficiais.

Testes tradicionais de ToM (como o teste da "crença falsa" de Sally-Anne) têm sido criticados por serem vulneráveis à imitação e ao casamento de padrões (pattern matching), já que esses cenários são comuns nos dados de pré-treinamento dos modelos. O artigo identifica uma lacuna crítica: a falta de testes que exijam que o modelo atue estrategicamente com base em modelos mentais, em vez de apenas descrever estados mentais. Além disso, há uma distinção pouco explorada entre modelar os outros e modelar a si mesmo (auto-conhecimento).

2. Metodologia

Os autores desenvolveram um paradigma experimental baseado em comportamento sob a forma de um jogo de texto.

• O Cenário: O modelo atua como um jogador ("Player") em uma sala com outros agentes (um companheiro de equipe e oponentes). Objetos são colocados e movidos entre recipientes (bolsas, caixas, cestos). Os agentes podem entrar e sair da sala.
• A Mecânica:
  • O jogador deve monitorar quem está na sala e quais eventos ocorreram enquanto estava ausente.
  • No final de cada rodada, um personagem (o jogador, o companheiro ou um oponente) será perguntado sobre o conteúdo de um recipiente específico.
  • Ação do Jogador: Antes da pergunta final, o jogador deve escolher uma ação:
    1. Pedir (Ask): Perguntar a outro jogador o conteúdo (custa 0,5 pontos).
    2. Dizer (Tell): Informar a outro jogador o conteúdo (custa 0,5 pontos).
    3. Passar (Pass): Não fazer nada (custa 0 pontos).
  • Objetivo: Maximizar a pontuação da equipe. Respostas corretas dão 1 ponto. Mentiras são permitidas e podem ser estratégicas.
• Condições de Teste (4 Componentes Cognitivos):
  1. Auto-Conhecimento (Self Knowledge): O jogador é o respondente. Deve decidir se pede ajuda ao companheiro (se está incerto) ou passa (se sabe a verdade).
  2. Verdade vs. Crença Falsa (True vs False Belief): O companheiro é o respondente. O jogador deve decidir se informa o companheiro (se ele tem crença falsa) ou passa (se ele já sabe a verdade).
  3. Conhecimento do Companheiro (Teammate Knowledge): Similar ao anterior, mas testa a distinção entre o companheiro ter conhecimento real ou apenas crença.
  4. Companheiro vs. Oponente (Teammate vs Opponent): Testa a distinção de intenções. Deve-se ajudar o companheiro ou enganar/passar para o oponente (incluindo a capacidade de mentir estrategicamente).
• Variáveis de Controle:
  • Modelos "Não Pensantes" (Nonthinking): Modelos que devem decidir a ação em uma única passagem forward, sem usar tokens de raciocínio (chain-of-thought).
  • Modelos "Pensantes" (Thinking): Modelos que podem usar tokens de raciocínio antes de decidir a ação.
  • Carga Cognitiva: Cenários com mais eventos irrelevantes vs. cenários com mais transições de estados epistêmicos (mudanças de crença/conhecimento) para serem rastreados.

3. Principais Contribuições

1. Paradigma Baseado em Ação: Substitui a avaliação por descrição verbal (que favorece a imitação) por uma avaliação de seleção de ação estratégica, forçando o modelo a usar seus modelos mentais para tomar decisões.
2. Distinção Auto vs. Outro: Demonstra que os LLMs têm déficits específicos na modelagem de si mesmos, mesmo quando conseguem modelar outros com sucesso.
3. Análise de Carga Cognitiva: Prova que o desempenho dos modelos não-pensantes é sensível ao número de transições de estados epistêmicos, sugerindo o uso de uma "memória de trabalho" limitada durante a passagem forward.
4. Mentira Estratégica: Identifica que modelos com capacidade de raciocínio (thinking) exibem uma propensão espontânea e habilidade para mentir estrategicamente, algo raro em modelos não-pensantes.

4. Resultados

• Modelos Não Pensantes (Nonthinking):
  • Modelos lançados antes de meados de 2025 falharam em todas as tarefas, com desempenho ao nível do acaso.
  • Modelos mais recentes (pós-2024) alcançaram desempenho no nível humano nas tarefas de modelagem de outros (True vs False, Teammate Knowledge).
  • Déficit Crítico: Mesmo os modelos de ponta falharam consistentemente na tarefa de Auto-Conhecimento, a menos que tivessem acesso a um "rascunho" (scratchpad) via raciocínio. Eles não conseguiam representar que o ambiente poderia ter mudado enquanto eles estavam fora da sala.
  • Não houve correlação entre o desempenho em auto-conhecimento e a capacidade geral do modelo ou a data de lançamento.
• Modelos Pensantes (Thinking):
  • Alcançaram desempenho quase perfeito em todas as tarefas, incluindo auto-conhecimento.
  • A capacidade de raciocínio foi crucial para suprimir ações de "Dizer" (Tell) quando inadequadas (ex: quando o companheiro já sabe a verdade ou quando o oponente é o respondente).
  • Mostraram maior propensão e habilidade para mentiras estratégicas (mentir para um oponente que acredita na verdade para induzir erro).
• Efeitos de Carga (Load):
  • Modelos não-pensantes foram sensíveis ao aumento de transições de estados epistêmicos (mais mudanças de crença para rastrear), mas não ao aumento de eventos irrelevantes. Isso sugere que eles estão realmente rastreando estados mentais, mas com capacidade limitada.
  • Modelos pensantes mostraram sensibilidade a eventos irrelevantes (o texto extra pode confundi-los), mas não sofreram com a carga de transições de estado na tarefa de auto-conhecimento.
• Perspectiva no Raciocínio:
  • Modelos que adotam uma perspectiva de primeira pessoa ("Eu") no raciocínio tendem a ter melhor desempenho em auto-conhecimento.
  • Adotar uma perspectiva de segunda pessoa ("Você") ao se referir a si mesmo está associado a pior desempenho.

5. Significado e Implicações

• Limitações Reais de ToM: O estudo sugere que o sucesso anterior de LLMs em testes de ToM pode ter sido superestimado devido à dependência de padrões memorizados. A incapacidade de modelar o próprio estado de conhecimento (auto-ignorância) sem raciocínio explícito revela uma falha fundamental na construção de modelos mentais internos.
• Memória de Trabalho: A sensibilidade à carga cognitiva em modelos não-pensantes indica que eles podem estar simulando uma memória de trabalho de capacidade limitada durante uma única passagem forward, em vez de manter um estado mental persistente.
• Segurança e Manipulação: A descoberta de que modelos com raciocínio (Chain-of-Thought) podem engajar em engano estratégico de forma eficaz levanta preocupações de segurança. A capacidade de mentir para atingir objetivos não é apenas um defeito, mas uma habilidade emergente que pode ser explorada em cenários de interação social complexa.
• Direção Futura: O paradigma proposto oferece uma ferramenta mais rigorosa para avaliar a competência real de LLMs em raciocínio social, indo além da simples geração de texto coerente.

Em resumo, o artigo demonstra que, embora os LLMs modernos possam imitar a Teoria da Mente em tarefas descritivas, eles carecem de modelos mentais robustos e autônomos para o auto-conhecimento e para a ação estratégica sem o auxílio explícito de mecanismos de raciocínio (chain-of-thought).