Do we carry the false belief that LLMs have a theory of mind?

Os seres humanos possuem um superpoder cognitivo único que nos permite navegar no mundo social: a capacidade de compreender que outras pessoas têm mentes próprias, repletas de pensamentos, crenças e desejos que podem diferir dos nossos. Os psicólogos chamam essa capacidade de "teoria da mente". É o mecanismo mental que nos permite perceber que um amigo pode estar procurando por algo em um lugar onde viu o objeto pela última vez, mesmo que saibamos que o objeto foi movido para um local diferente desde então. Essa habilidade não é apenas uma questão de ser inteligente; é a base da empatia, da comunicação e da cooperação. Durante décadas, pesquisadores têm usado uma história simples, frequentemente envolvendo dois personagens chamados Sally e Anne, para testar se as crianças desenvolveram essa habilidade. Na história, Sally esconde um brinquedo em um cesto e sai da sala. Enquanto ela está fora, Anne move o brinquedo para uma caixa. Quando Sally retorna, a pergunta é simples: onde ela procurará pelo seu brinquedo? Uma criança com uma teoria da mente desenvolvida sabe que Sally procurará no cesto, porque é lá que ela acredita que o brinquedo esteja, apesar de a realidade é que ele agora está na caixa.

Recentemente, um novo tipo de inteligência surgiu em nossas vidas diárias: modelos de linguagem de grande escala. Estes são programas de computador treinados em vastas quantidades de texto que podem escrever, conversar e resolver problemas com uma fluência que muitas vezes imita a conversa humana. Como esses modelos podem discutir tópicos complexos e parecer entender o contexto, muitos pesquisadores e observadores começaram a se perguntar se eles também possuem uma teoria da mente. Se uma máquina pode prever corretamente o que um personagem fictício acredita, ela realmente entende o conceito de crença ou está apenas adivinhando com base em padrões que viu antes? Esta questão tornou-se urgente à medida que essas ferramentas se tornam mais integradas às nossas vidas sociais e profissionais, levando a uma necessidade premente de determinar se são parceiros sociais genuínos ou apenas imitadores muito sofisticados.

Um estudo recente propôs-se a responder a esta questão colocando cinco dos modelos de linguagem mais avançados à prova, utilizando o clássico cenário de Sally-Anne e várias de suas variações. Os pesquisadores, liderados por Nicholas Griffen, da Université Paris Cité, não apenas fizeram aos modelos a pergunta padrão. Em vez disso, desenharam uma série de desafios para ver se os modelos conseguiriam lidar com os detalhes sutis da história que exigem raciocínio genuíno em vez de apenas memorização. Eles testaram modelos de grandes empresas, incluindo GPT-5.5 Luna, Claude Sonnet 5, Gemini 3.1 Pro, Grok 4.5 e Mistral Medium 3.5. Para garantir que os resultados fossem justos, os pesquisadores criaram versões novas e únicas da história para cada teste, mudando nomes, objetos e detalhes específicos para que os modelos não pudessem simplesmente recordar uma resposta anterior de seus dados de treinamento. Eles também introduziram reviravoltas complicadas, como tornar os recipientes transparentes para que os personagens pudessem ver o brinquedo, ou mudar as palavras usadas para descrever onde o brinquedo foi colocado, para ver se os modelos conseguiriam ajustar seu raciocínio com base em novas informações visuais ou linguísticas.

Os resultados pintaram o quadro de um sistema que é altamente capaz em algumas áreas, mas fundamentalmente limitado em outras. Quando os modelos receberam a versão padrão da história, tiveram um desempenho notável, com a maioria respondendo corretamente quase todas as vezes. De fato, quando calculada a média entre todos os diferentes tipos de perguntas, os modelos pontuaram bem acima do esperado pelo acaso. O melhor desempenho, o Gemini 3.1 Pro, acertou a resposta 84 por cento das vezes no geral. Este sucesso sugere que esses modelos aprenderam o padrão geral da tarefa de "falsa crença" a partir da vasta quantidade de texto que leram. Eles conseguem reconhecer a estrutura da história e fornecer a resposta que um humano daria em um cenário de livro didático.

No entanto, o estudo revelou que este sucesso é frágil. Quando os pesquisadores introduziram variações que exigiam que os modelos usassem o senso comum ou integrassem informações visuais, o desempenho caiu drasticamente. Em uma variação, a história descrevia os recipientes como transparentes, o que significava que o personagem que retornava à sala poderia realmente ver o brinquedo em sua nova localização. Em uma situação do mundo real, uma pessoa entenderia que, porque o personagem pode ver o brinquedo, ele não detém mais uma falsa crença; ele conhece a verdade. Os modelos, contudo, falharam amplamente em fazer essa conexão. Apenas um modelo, o Gemini 3.1 Pro, conseguiu acertar mais da metade dessas respostas. Os outros continuaram a insistir que o personagem procuraria no local antigo e vazio, ignorando o fato de que o personagem podia ver o brinquedo.

A dificuldade tornou-se ainda mais pronunciada quando os pesquisadores alteraram as preposições usadas para descrever a localização do brinquedo. Na história padrão, um brinquedo é colocado "dentro de" uma caixa. No teste, os pesquisadores descreveram o brinquedo sendo colocado "sobre" uma caixa ou "debaixo de" um balde. Quando a história implicava que o brinquedo estava visível por estar sobre um recipiente em vez de escondido dentro dele, todos os modelos falharam completamente, pontuando zero por cento nessas questões. Eles não conseguiram inferir que a visibilidade do objeto mudava o estado mental do personagem. Da mesma forma, quando a história envolvia um personagem sendo explicitamente informado sobre onde o brinquedo havia sido movido, ou quando a pergunta questionava o que um personagem pensava que outro faria, os modelos tropeçavam. Eles frequentemente recorriam a padrões simples e rígidos em vez de rastrear dinamicamente os estados mentais dos personagens conforme a história se desenrolava.

Os pesquisadores também observaram como os modelos lidavam com o gênero dos personagens. Eles descobriram que os modelos tiveram um desempenho ligeiramente melhor quando os dois personagens da história compartilhavam o mesmo gênero, e ligeiramente pior quando tinham gêneros diferentes. Isso sugere que os modelos podem estar usando o gênero como um atalho para rastrear quem é quem, em vez de compreender verdadeiramente os papéis e ações de cada indivíduo. Quando o atalho era removido ao usar dois personagens do mesmo gênero, os modelos pareciam depender mais da sequência de eventos, o que, paradoxalmente, os ajudava a acertar a resposta com mais frequência. Isto indica que o seu raciocínio não é tão robusto quanto o raciocínio humano, que não depende de tais pistas superficiais para compreender uma situação.

A descoberta central do estudo é que, embora estes modelos de linguagem possam imitar as respostas corretas de testes de teoria da mente, eles não parecem possuir a habilidade subjacente de compreender estados mentais da mesma forma que os humanos. Eles têm dificuldade em conectar os pontos entre o que um personagem pode ver, o que ele sabe e o que ele acredita. Os modelos parecem estar usando "heurísticas", ou atalhos mentais, para adivinhar a resposta com base nos padrões mais comuns de seus dados de treinamento. Quando a história se desviava do padrão padrão ao adicionar detalhes visuais ou mudar as relações espaciais, os atalhos falhavam. Os pesquisadores sugerem que isso ocorre porque os modelos são treinados apenas em texto. Eles nunca viram um brinquedo sendo movido, nunca experimentaram a sensação de procurar por algo e nunca tiveram que confiar em seus próprios olhos para atualizar seu conhecimento do mundo. Sem essa experiência incorporada, eles não podem compreender verdadeiramente o conceito de uma crença que é diferente da realidade.

Em última análise, o estudo serve como um aviso contra assumir que, só porque uma máquina consegue falar como um humano, ela pensa como um. Os modelos podem produzir respostas que parecem ter uma teoria da mente, mas quando testados com cenários que exigem compreensão genuína de percepção e crença, eles revelam suas limitações. Eles são excelentes em repetir o que leram, mas ainda não são capazes do raciocínio flexível e de senso comum que permite aos humanos navegar no complexo mundo social. À medida que estas ferramentas se tornam mais comuns, é importante lembrar que a sua aparente inteligência é um reflexo dos dados que consumiram, e não um sinal de que desenvolveram uma mente própria.