Beyond Words: Evaluating and Bridging Epistemic Divergence in User-Agent Interaction via Theory of Mind

Título: Além das Palavras: Avaliando e Superando a Divergência Epistêmica na Interação Usuário-Agente via Teoria da Mente

1. O Problema: Divergência Epistêmica em Interações com LLMs

Embora os Grandes Modelos de Linguagem (LLMs) e agentes baseados neles tenham avançado rapidamente, eles ainda enfrentam dificuldades significativas ao compreender e responder às necessidades reais do usuário quando as intenções e instruções são imprecisas.

• A Raiz do Problema: Existe uma lacuna entre as crenças subjetivas do usuário (influenciadas por seu perfil, conhecimento de domínio e viés cognitivo) e o estado verdadeiro do ambiente (a realidade objetiva).
• Divergência Epistêmica: Ocorre quando o usuário possui uma crença errônea sobre o estado do sistema (ex: achar que um erro é causado por um bug de software, quando na verdade é uma configuração de rede). O agente, ao seguir cegamente as instruções baseadas nessa crença errônea, falha em resolver o problema real.
• Limitação Atual: As avaliações existentes de "Teoria da Mente" (ToM) em LLMs focam principalmente em inferência de crenças isolada (responder a perguntas sobre o que alguém pensa), ignorando a utilidade funcional dessa capacidade em interações do mundo real para corrigir essas divergências.

2. Metodologia e Formalização

Os autores propõem uma nova formalização da Teoria da Mente para LLMs, não como uma habilidade cognitiva isolada, mas como um mecanismo funcional para detecção e resolução de divergência epistêmica.

A. Formalização do Problema

O trabalho modela a interação como um processo de observação parcial:

• Ambiente ($s^*$): Possui um estado latente verdadeiro (a causa raiz do problema).
• Usuário ($\Psi_u$): Opera com uma visão parcial e subjetiva, formando uma crença latente ($b$) que pode divergir da realidade ($s^*$). O usuário gera uma trajetória de interação ($\tau$) baseada nessa crença.
• Agente: Observa a trajetória do usuário, as instruções explícitas e o conhecimento do mundo. O objetivo do agente é inferir a crença latente do usuário ($\hat{b}$), identificar o perfil do usuário e, crucialmente, sincronizar essa crença com o estado verdadeiro para corrigir o erro.

B. O Benchmark: SynchToM

Para avaliar essa capacidade, os autores criaram o SynchToM, um benchmark que simula cenários de interação complexos.

• Geração de Dados: Um pipeline de duas etapas gera dados sintéticos de alta fidelidade:
  1. Síntese de Cenários: Cria cenários onde há um "gap cognitivo" entre a crença do usuário e a realidade (ex: domínios de Engenharia de Software, Preferências de Usuário, Educação e Diferenças Culturais).
  2. Construção de Trajetória: Simula interações de múltiplas voltas (até 10 turnos) onde o usuário age consistentemente com sua crença errônea.
• Validação: Um módulo de validação baseado em LLM garante a consistência lógica, realismo e fidelidade comportamental dos dados.
• Métricas de Avaliação: O benchmark avalia três dimensões:
  1. Explicação da Crença Latente: O agente identifica corretamente o gap entre a crença do usuário e a realidade?
  2. Modelagem de Perfil: O agente entende o contexto e viés do usuário?
  3. Resolução do Problema: O agente consegue corrigir a crença e fornecer a solução correta?

C. Abordagens de Melhoria

Para superar as limitações dos modelos atuais, os autores propõem duas estratégias:

1. Aprendizado por Reforço (RL): Treinamento de modelos usando dados do SynchToM com recompensas específicas para alinhamento de crença e resolução de tarefas.
2. Colaboração Multi-Agente (Sem Treinamento): Um framework onde múltiplos agentes inferem estados mentais e selecionam as melhores crenças/perfis para guiar um agente principal na resolução da tarefa.

3. Principais Contribuições

1. Mudança de Paradigma: Formaliza a ToM como um mecanismo de resolução de divergência epistêmica em interações práticas, em vez de apenas uma tarefa de raciocínio estático.
2. Benchmark SynchToM: Introduz um conjunto de dados com 390 instâncias de teste de alta fidelidade e 6.522 instâncias de treinamento, cobrindo quatro domínios práticos e focando em trajetórias de interação.
3. Descoberta do "Link ToM-Resolução": Evidência empírica de que a precisão na inferência de estados mentais (crenças e perfis) é uma causa direta do sucesso na resolução de tarefas. Modelos que alinham crenças errôneas com a realidade têm desempenho significativamente superior.
4. Validação de Treinamento: Demonstra que o RL baseado em trajetórias de interação melhora consistentemente a capacidade de raciocínio sobre estados mentais e o desempenho downstream.

4. Resultados Chave

• Desempenho dos Modelos: A avaliação de 11 modelos líderes (incluindo GPT-5, Gemini, Claude, Qwen, etc.) revelou limitações significativas. Mesmo modelos proprietários avançados frequentemente falham em identificar a causa raiz das crenças errôneas dos usuários, priorizando o seguimento de instruções em vez do alinhamento epistêmico.
• Decoupling de Dimensões: A pontuação na dimensão "Crença" (identificar o erro mental) é mais difícil de melhorar do que a pontuação na "Solução". Isso indica que um modelo pode, às vezes, adivinhar a resposta correta sem entender por que o usuário estava errado.
• Importância da Trajetória: Interações mais longas (mais turnos) fornecem evidências suficientes para que o agente estabilize sua compreensão da crença do usuário. Modelos melhoram com mais contexto, especialmente em domínios subjetivos como preferências e cultura.
• Eficácia do Treinamento: O modelo Qwen3-8B, após ser treinado com RL usando dados do SynchToM, mostrou melhorias consistentes na dimensão de "Solução" e na inferência de crenças latentes, superando a versão base, especialmente em cenários de múltiplos turnos.
• Colaboração Multi-Agente: A troca de inferências de estados mentais entre diferentes modelos (multi-agente) resultou em ganhos de desempenho, provando que a ToM é uma habilidade transferível que pode guiar outros modelos.

5. Significado e Conclusão

O trabalho destaca que a Teoria da Mente é um componente essencial e mensurável para o desenvolvimento de agentes de IA colaborativos e resilientes.

• Implicação Prática: Para que agentes de IA sejam verdadeiramente úteis em cenários complexos (como medicina, engenharia de software ou suporte ao cliente), eles não devem apenas processar comandos, mas devem ativamente diagnosticar e corrigir mal-entendidos cognitivos do usuário.
• Futuro: A pesquisa sugere que a integração de mecanismos de ToM funcional, treinados através de trajetórias de interação realistas, é o caminho para superar a lacuna entre a intenção do usuário e a execução da tarefa, permitindo que os agentes atuem como parceiros cognitivos e não apenas como executores de instruções.

Em resumo, o artigo demonstra que a capacidade de um agente de "pensar sobre o pensamento do usuário" e alinhar essa visão com a realidade é o fator crítico para o sucesso em tarefas interativas complexas.