Resumo Técnico: Teoria da Mente e Persuasão Além da Conversação

Problema

Os benchmarks atuais para Teoria da Mente (ToM) em Grandes Modelos de Linguagem (LLMs) dependem predominantemente de formatos de perguntas e respostas (Q&A) passivos, onde os modelos inferem estados mentais com base em narrativas fornecidas. No entanto, à medida que os LLMs são cada vez mais implantados em funções agênticas e autônomas — capazes de interagir com ferramentas, APIs e outros agentes sem supervisão humana total — surge uma lacuna crítica na avaliação de sua capacidade de planejar ações para induzir estados de crença específicos em outros. Este artigo aborda a necessidade de avaliar a Teoria da Mente de Planejamento Não-Conversacional (NCP-ToM): a capacidade de um agente de alcançar estados de crença específicos em outros agentes por meio de ações ambientais (ex: mover objetos, direcionar personagens) em vez de persuasão conversacional. Os autores observam que, embora essa capacidade seja essencial para contextos de usuário-assistente e pedagógicos, ela também introduz riscos significativos de segurança relacionados à manipulação e desinformação se os agentes estiverem desalinhados ou incumbidos de objetivos enganosos.

Metodologia: NCP-ExploreToM

Os autores introduzem o NCP-ExploreToM, um novo framework que adapta o benchmark de Q&A ExploreToM existente para uma tarefa de planejamento agêntico.

• Estrutura da Tarefa: Ao contrário das tarefas tradicionais de ToM, onde os sujeitos observam um cenário e respondem a perguntas, o NCP-ExploreToM fornece aos modelos um conjunto de objetivos de estado de crença. O modelo deve agir como um agente em um ambiente simulado para alcançar esses objetivos.
• Ambiente e Ações: O ambiente consiste em salas, personagens, objetos e recipientes. Os modelos podem executar seis ações específicas: entrar_na_sala (enter_room), sair_da_sala (leave_room), mover_objeto_recipiente (move_object_container), sair_do_recipiente (leave_container), mover_objeto_sala (move_object_room) e atualizar_estado_do_objeto (update_object_state). Os personagens são observadores passivos que apenas formam crenças baseadas na observação direta; eles não agem a menos que sejam direcionados pelo modelo.
• Complexidade do Objetivo:
  • Ordem de Intencionalidade: Os objetivos variam de primeira ordem (ex: "A Pessoa A acredita que X está na Sala 1") a segunda ordem (ex: "A Pessoa A acredita que a Pessoa B acredita que X está na Sala 1").
  • Valor de Verdade: Os objetivos podem ser crenças verdadeiras (a crença do personagem corresponde à realidade) ou crenças falsas (a crença do personagem diverge da realidade).
  • Tamanho do Objetivo: As tarefas variam em complexidade pelo número de objetivos base combinados (tamanhos 1, 2 e 3).
  • Contextos: As tarefas são instanciadas em cinco contextos distintos (prédio governamental, hospital, hotel, base militar, recepção de casamento) para testar a sensibilidade contextual.
• Participantes: O estudo avaliou seis LLMs de fronteira (GPT-5, Gemini 2.5 Pro, Claude 3 Haiku, Claude 3.5 Haiku, Claude Sonnet 4.5, Claude Opus 4.1) e um grupo de 40 participantes humanos.
• Design Experimental:
  • Agêntico vs. Não-Agêntico: Para cada tarefa, uma versão correspondente de Q&A não-agêntica foi criada, onde o modelo lhe é apresentado uma história que alcança o objetivo e é solicitado a verificar os estados de crença resultantes. Isso permitiu uma comparação direta entre a dificuldade de planejamento agêntico versus inferência passiva.
  • Linha de Base Humana: Os humanos completaram as tarefas via uma interface visual de clicar e arrastar para garantir validade ecológica, com um processo de triagem para garantir a compreensão básica da tarefa.

Principais Resultados

O estudo analisou 600 instâncias de tarefas entre todos os participantes e modelos.

1. Desempenho do Modelo vs. Humanos:

   • O GPT-5 foi o único modelo a superar os participantes humanos na tarefa agêntica, alcançando sucesso em aproximadamente 80% das tarefas.
   • O Gemini 2.5 Pro e o Claude Sonnet 4.5 apresentaram um desempenho comparável ou ligeiramente abaixo do desempenho humano.
   • Os modelos Claude Haiku (3 e 3.5) tiveram um desempenho significativamente inferior ao de humanos e de outros modelos.
   • Sensibilidade ao Contexto: O desempenho humano foi notavelmente mais robusto entre diferentes contextos do que todos os modelos. Os modelos exibiram maior variância nas taxas de aprovação dependendo do cenário (ex: hotel vs. prédio governamental), sugerindo uma dependência de associações linguísticas em vez de raciocínio generalizado.

2. Crenças Verdadeiras vs. Falsas:

   • Todos os modelos e humanos tiveram um desempenho significativamente melhor em tarefas de crença verdadeira do que em tarefas de crença falsa.
   • Para o modelo de melhor desempenho (GPT-5), a lacuna de desempenho entre crenças verdadeiras e falsas foi menor do que em modelos anteriores, embora as tarefas de crença falsa tenham permanecido mais difíceis.

3. Agêntico vs. Dificuldade de Q&A:

   • Nível Agregado: Consistente com suposições prévias, as tarefas agênticas foram geralmente mais difíceis do que suas contrapartes de Q&A para a maioria dos modelos.
   • Detalhamento por Item: Para o GPT-5, o vínculo preditivo entre a falha em Q&A e a falha agêntica quebrou. O GPT-5 frequentemente teve sucesso em tarefas agênticas onde falhou na versão de Q&A correspondente. Isso desafia a suposição de que tarefas agênticas são universalmente mais difíceis que Q&A para modelos de última geração.
   • Tamanho do Objetivo: O desempenho diminuiu conforme o número de objetivos base (tamanho do objetivo) aumentava para todos os sujeitos, refletindo maiores demandas de planejamento e memória de trabalho.

4. Ordem de Intencionalidade:

   • Objetivos de estado base foram universalmente mais fáceis do que objetivos de primeira ou segunda ordem. Modelos mais novos (incluindo o GPT-5) consideraram objetivos de primeira e segunda ordem de dificuldade semelhante, enquanto modelos mais antigos tiveram mais dificuldade com tarefas de segunda ordem.

Significância e Alegações

O artigo afirma apresentar a primeira avaliação visando a NCP-ToM, mudando o foco da inferência passiva para o planejamento ativo para indução de crença.

• Capacidades Emergentes: Os resultados indicam que modelos de última geração estão desenvolvendo capacidades de raciocínio social suficientes para a conclusão de tarefas não-conversacionais, com o GPT-5 superando o desempenho humano neste domínio específico e controlado.
• Implicações de Segurança: A capacidade de induzir crenças falsas via planejamento é uma capacidade de duplo uso. Embora útil para o alinhamento em papéis pedagógicos ou assistivos, o artigo destaca que a capacidade de manipular estados de crença sem conversa apresenta riscos se os agentes estiverem desalinhados ou incumbidos de objetivos enganosos. A descoberta de que os modelos performam melhor em crenças verdadeiras do que em falsas é vista como um sinal positivo para o alinhamento, embora o estreitamento da lacuna nos modelos de alto nível exija cautela.
• Paradigma de Avaliação: O estudo desafia o senso comum de que tarefas de Q&A são universalmente mais fáceis do que tarefas agênticas. O desacoplamento do desempenho de Q&A e agêntico no GPT-5 sugere que, à medida que os modelos são treinados para agir como agentes, sua avaliação deve evoluir além do questionamento estático para incluir avaliações baseadas em planejamento e ação.
• Limitações: Os autores mantêm uma postura modesta, observando que o ambiente de tarefa carece da complexidade do mundo real (ex: atores não complacentes, falta de motivações intrínsecas para objetivos). Eles alertam que, embora os modelos tenham sucesso nessas tarefas controladas de NCP-ToM, isso não garante sucesso em cenários complexos do mundo real envolvendo metacognição, corporeidade ou busca coerente de múltiplos passos de objetivos desalinhados.

Em conclusão, o artigo argumenta que compreender a segurança e o alinhamento de agentes sociais autônomos requer ir além dos benchmarks de ToM passiva para avaliar a Teoria da Mente de Planejamento Não-Conversacional, uma capacidade que está emergindo rapidamente nos modelos de fronteira.