Dynamic Theory of Mind as a Temporal Memory Problem: Evidence from Large Language Models

Este artigo apresenta o DToM-Track, um novo framework de avaliação que revela que, embora os Grandes Modelos de Linguagem (LLMs) consigam inferir crenças atuais, eles apresentam dificuldades consistentes em rastrear e recuperar estados de crença anteriores ao longo do tempo, sugerindo que a Teoria da Mente dinâmica é um desafio distinto de memória temporal e interferência cognitiva.

O essencial

Imagine que a Teoria da Mente (a capacidade de entender o que os outros estão pensando) é como assistir a um filme.

A maioria dos testes atuais para Inteligência Artificial (IA) pergunta: "O que o personagem está pensando agora, neste exato momento?". É como se alguém apontasse para uma tela congelada e perguntasse: "O que ele está sentindo?". A IA é muito boa nisso.

Mas a vida real não é um filme congelado; é um filme em movimento. As pessoas mudam de ideia, aprendem coisas novas e esquecem o que pensavam antes. O grande desafio que este artigo propõe é: A IA consegue lembrar o que o personagem pensava antes de mudar de ideia?

Os autores chamam isso de "Teoria da Mente Dinâmica".

A Analogia do "Canal de TV" vs. O "Livro de Memórias"

Para entender o problema, vamos usar uma analogia simples:

1. O Canal de TV (O que a IA faz bem): Imagine que a IA é um controle remoto de TV. Se você mudar o canal (uma nova informação entra na conversa), a IA sabe perfeitamente qual programa está passando agora. Ela vê a imagem atual com clareza.
2. O Livro de Memórias (O que a IA falha): O problema é que, quando a IA muda para o novo canal, ela parece apagar a página do livro onde estava escrito o que o personagem pensava antes. Ela não consegue "voltar no tempo" para ler o capítulo anterior.

O Experimento: O Jogo do "Segredo e a Revelação"

Os pesquisadores criaram um jogo chamado DToM-Track para testar isso. Funciona assim:

• O Cenário: Duas IAs conversam. Uma delas (vamos chamar de "Alex") tem um pensamento secreto (ex: "Acho que preciso de 24 horas de aviso para reservar").
• A Mudança: No meio da conversa, alguém diz algo novo e Alex muda de ideia (ex: "Ah, na verdade, posso reservar na hora!").
• O Teste: Depois da conversa, perguntamos à IA que está observando:
  1. O que Alex acha agora? (Fácil: "Reserva na hora").
  2. O que Alex achava antes da mudança? (Difícil: "24 horas de aviso").
  3. Quando exatamente Alex mudou de ideia?

O Resultado Surpreendente: O "Vício do Recente"

O que eles descobriram foi fascinante e um pouco preocupante para o futuro da interação humano-IA:

• A IA é ótima em saber o "Agora": Ela acerta quase sempre o que a pessoa pensa no momento final da conversa.
• A IA é péssima em lembrar o "Antes": Assim que a nova informação chega, a IA "esquece" a antiga. É como se a nova informação tivesse empurrado a antiga para fora da memória.

Isso acontece mesmo com os modelos de IA mais inteligentes e grandes do mundo. Eles sofrem de um viés de recência (tendência a lembrar apenas do que aconteceu por último), exatamente como os humanos fazem quando estamos sobrecarregados, mas em um grau muito mais rígido.

Por que isso importa?

Imagine que você está conversando com um assistente virtual para planejar uma viagem.

• Você diz: "Quero ir para Paris em julho."
• O assistente anota.
• Você diz: "Ah, espera, mudei de ideia, vou em agosto."
• O assistente atualiza para agosto.
• O problema: Se você perguntar depois: "Lembra que eu queria ir em julho? Vamos ver se há voos mais baratos?", o assistente pode não conseguir acessar essa informação antiga. Ele só vê "agosto".

Para uma IA ser um bom parceiro social, ela não pode apenas saber o que você pensa hoje. Ela precisa ter uma memória temporal: saber o que você pensava ontem, o que mudou e quando mudou.

Conclusão Simples

Este artigo nos diz que, embora as IAs sejam brilhantes em entender o "presente" das pessoas, elas ainda são como amnésicos que só lembram do que aconteceu no último minuto.

A pesquisa propõe que, para criar IAs verdadeiramente sociais, precisamos ensiná-las a não apenas "atualizar" a memória, mas a arquivar as versões antigas das crenças das pessoas, permitindo que elas voltem atrás e entendam a história completa, não apenas o último capítulo. É como passar de um filme em câmera lenta para um filme completo com um "rewind" funcional.

Resumo técnico

1. O Problema

A Teoria da Mente (ToM) é a capacidade de representar e raciocinar sobre os estados mentais alheios (crenças, intenções, desejos). Embora a literatura tradicional e as avaliações atuais de Grandes Modelos de Linguagem (LLMs) tratem a ToM como um julgamento estático em um único momento (focando principalmente em tarefas de "crença falsa"), isso ignora uma dimensão crucial: a dinâmica temporal.

Na interação social real, os agentes devem não apenas inferir crenças atuais, mas também manter, atualizar e recuperar representações de crenças anteriores à medida que novas informações surgem. O problema central investigado é se os LLMs conseguem rastrear trajetórias de crenças ao longo do tempo ou se eles falham em acessar estados mentais passados após uma atualização, devido a vieses de memória (como o viés de recência) e efeitos de interferência.

2. Metodologia: DToM-Track

Para abordar essa lacuna, os autores introduzem o DToM-Track, um novo framework de avaliação projetado para investigar o raciocínio de crenças temporais em conversas multi-turno controladas.

• Geração de Conversas Controladas: O framework utiliza interações LLM-LLM para gerar diálogos onde as atualizações de crença são planejadas explicitamente em turnos pré-definidos.
• Inner Speech (Fala Interna): Os agentes verbalizam seus estados mentais (crenças, intenções, desejos) antes de cada fala, mas essas "falas internas" permanecem ocultas para o parceiro de conversa. Isso cria uma assimetria de informação que simula cenários de crença falsa e permite a verificação precisa dos estados mentais.
• Rastreamento de Estado: Um rastreador mantém uma estrutura de dados que registra a fonte da crença, o tipo, o status de atualização e o conteúdo anterior, permitindo a distinção entre crenças pré-atualização e pós-atualização.
• Tipos de Perguntas: O framework avalia os modelos através de três categorias temporais principais, além de tarefas padrão:
  1. Pré-atualização (Pre-Update): "O que o agente acreditava antes da mudança?" (Testa a recuperação da memória).
  2. Pós-atualização (Post-Update): "O que o agente acredita agora?" (Testa a inferência atual).
  3. Detecção de Atualização (Update Detection): "Em que turno a crença mudou?" (Testa a identificação do momento da mudança).
• Filtragem de Qualidade: Um pipeline de verificação automatizado garante que as atualizações planejadas ocorram, que as perguntas sejam respondíveis e que as opções de múltipla escolha sejam válidas.

3. Contribuições Principais

• Reenquadramento da ToM: Propõe que o rastreamento dinâmico de crenças é um problema de memória temporal e recuperação, e não apenas de inferência de estado.
• Novo Framework de Avaliação (DToM-Track): Oferece um método padronizado para testar a capacidade de modelos de IA de manter trajetórias de crenças, superando as limitações das avaliações estáticas (como testes de crença falsa tradicionais).
• Evidência de Dissociação: Demonstra empiricamente que a capacidade de inferir crenças atuais é dissociada da capacidade de recuperar crenças passadas após uma atualização.
• Conexão com Ciência Cognitiva: Conecta o desempenho dos LLMs a mecanismos cognitivos humanos documentados, especificamente o viés de recência (informações recentes dominam o julgamento) e a interferência (novas representações bloqueiam o acesso às antigas).

4. Resultados Experimentais

O estudo avaliou seis LLMs (incluindo famílias LLaMA, Mistral e GPT-4o-mini) em um conjunto de dados com 5.794 perguntas.

• Desempenho Geral: Os modelos superaram a linha de base aleatória (25%), com precisão variando de 35,7% a 63,3% dependendo do tamanho do modelo.
• Assimetria Crítica (O "Gap" de Recência):
  • Pós-atualização: Alta precisão (~63,9%). Os modelos inferem bem a crença atual.
  • Pré-atualização: Precisão muito baixa (~27,7%). Os modelos lutam severamente para lembrar o que o agente acreditava antes da mudança.
  • Detecção de Atualização: Alta precisão (~67,5%), indicando que os modelos percebem quando a mudança ocorreu, mas não conseguem recuperar o estado anterior.
• Comparação com Tarefas Padrão: A dificuldade em responder a perguntas de "Pré-atualização" foi significativamente maior do que em tarefas clássicas de "Crença Falsa" (44,7%). Isso sugere que o rastreamento temporal é um desafio distinto e mais difícil do que o raciocínio de crença falsa estática.
• Efeito de Escala: O padrão de falha na recuperação de crenças passadas persistiu mesmo nos modelos maiores (ex: LLaMA 3.3-70B), indicando que o problema não é apenas falta de capacidade computacional, mas uma limitação fundamental na representação temporal e recuperação de memória.

5. Significado e Implicações

• Limitações de IA Social: Os resultados alertam que, embora os LLMs pareçam ter uma boa Teoria da Mente em interações curtas ou estáticas, eles podem falhar em cenários de interação humana-AI estendida onde os objetivos e crenças dos usuários evoluem.
• Viés de Recência em IA: O comportamento observado nos LLMs espelha o viés de recência humano, sugerindo que os mecanismos de atenção e memória dos modelos priorizam informações recentes em detrimento de contextos anteriores, mesmo quando o contexto anterior é crucial para a lógica.
• Futuro da Pesquisa: O trabalho sugere que a próxima geração de modelos de raciocínio social deve focar em mecanismos de memória de longo prazo e controle de interferência, em vez de apenas aumentar o tamanho do modelo. O DToM-Track serve como uma ferramenta essencial para diagnosticar e melhorar essas capacidades temporais.

Em suma, o paper demonstra que a Teoria da Mente dinâmica é um problema de recuperação de memória temporal, e que os LLMs atuais sofrem de uma "amnésia seletiva" para estados mentais passados assim que novas informações são introduzidas.