Resumo Técnico: OmniToM

Declaração do Problema

Os benchmarks atuais para avaliar a Teoria da Mente (ToM) em Modelos de Linguagem de Grande Escala (LLMs) dependem predominantemente de resposta a perguntas de ponto final (QA). Neste paradigma, um modelo é apresentado a uma narrativa e avaliado exclusivamente com base na produção da resposta final correta a uma consulta de raciocínio social (por exemplo, "Onde Bob procurará?"). Os autores argumentam que essa abordagem obscurece o processo cognitivo subjacente: um modelo pode responder corretamente explorando estratégias de atalho ou artefatos do benchmark sem, de fato, construir as representações de estados mentais de múltiplos atores necessárias.

Especificamente, a QA de ponto final falha em revelar se um modelo consegue rastrear:

• O que cada ator considera verdadeiro versus o que é objetivamente real.
• Como a informação é distribuída (quem tem acesso a quê).
• A natureza recursiva das crenças (por exemplo, "Bob acredita que Alice pensa...").
• A distinção entre declarações explícitas e inferências implícitas.

Consequentemente, os benchmarks existentes não conseguem diagnosticar por que um modelo falha — seja por ter perdido um ator relevante, atualizado uma crença incorretamente, identificado erroneamente o acesso à informação ou rotulado incorretamente a fonte de um estado mental.

Metodologia

Formulação do Benchmark OmniToM

OmniToM aborda essa lacuna ao deslocar a avaliação de respostas de ponto final para a modelagem explícita da estrutura de crenças. O benchmark operacionaliza o raciocínio ToM como um processo de duas etapas:

1. Etapa 1: Extração de Crenças

   • Tarefa: Dada uma história $S$, o modelo deve extrair um conjunto estruturado de proposições de crença $B$.
   • Estrutura: Cada proposição é uma tupla $(a_i, b_i, o_i)$, onde $a_i$ é o ator (ou "mundo" para fatos narrados), $b_i$ é o conteúdo mínimo da crença e $o_i$ é a ordem recursiva ($0$ para fatos do mundo, $1$ para crenças de primeira ordem, $2+$ para crenças de ordem superior).
   • Objetivo: Recuperar o conjunto completo de crenças específicas dos atores relevantes para a dinâmica social da história, incluindo fatos do mundo, crenças de primeira ordem sobre o mundo e crenças de ordem superior sobre os estados mentais de outros atores.

2. Etapa 2: Rotulagem de Crenças

   • Tarefa: Dadas as proposições extraídas, o modelo atribui um rótulo de esquema de sete dimensões a cada uma.
   • Esquema: Fundamentado no ATOMS (Habilidades no Espaço da Teoria da Mente), o esquema decompõe cada proposição em:
     • Ordem: Profundidade recursiva ($0$–$3$).
     • Status de Verdade: Alinhamento com a realidade narrativa (Verdadeiro, Falso, Desconhecido).
     • Acesso ao Conhecimento: Distribuição da informação (Privada, Compartilhada, Pública).
     • Representação: Explícita vs. Implícita (declarada vs. inferida).
     • Tipo de Conteúdo: Assunto (Localização, Epistêmico, Desejo, Emoção, etc.).
     • Fonte Mental: Método de aquisição (Narrativa, Percepção, Memória, Testemunho, Inferência, Imaginação).
     • Contexto: Condições de enquadramento (Enganoso, Temporal, Contrafactual, Neutro).

Construção do Benchmark

• Dados de Origem: Derivados do ToMBench, mantendo 895 histórias de sete categorias de alto volume (por exemplo, Tarefa de Crença Falsa, Reconhecimento de Faux-pas, Tarefa de Sugestão).
• Pipeline de Anotação: Devido ao alto custo da anotação manual para 22.343 proposições de crença, os autores empregaram um pipeline calibrado por humanos e assistido por LLM.
  • Um subconjunto de calibração (21 histórias) foi anotado manualmente por especialistas do domínio.
  • Juiz Semântico: O GPT-5 foi selecionado como juiz semântico para a avaliação da Etapa 1 com base em seu alto acordo (72,03%) com as decisões de alinhamento semântico humanas.
  • Modelo de Anotação: O Claude-Sonnet-4.5 foi selecionado como o modelo principal de anotação após atingir o desempenho de calibração mais forte (72,88% de F1 na Etapa 1, 93,62% de precisão na Etapa 2).
• Escala: O benchmark final contém 895 histórias e 22.343 proposições de crença rotuladas, totalizando 156.401 rótulos de esquema.

Protocolo de Avaliação

• Etapa 1 (Extração): Medida via pontuação F1 usando uma métrica de alinhamento semântico (MatchCount) em vez de correspondência estrita de strings. Isso leva em conta paráfrases e crenças compostas.
• Etapa 2 (Rotulagem): Medida via precisão de correspondência exata para os rótulos de esquema de sete dimensões.
• Linhas de Base: Avaliadas em diversos modelos de código aberto e fechado (por exemplo, Llama-3.3, Mistral-Large, GPT-5, Gemini-2.5 Flash) sob condições de zero-shot usando prompts do nível TELeR 3.

Resultados Principais

A avaliação revela um gargalo consistente de rastreamento de informações específico do ator em todos os modelos:

1. Desempenho de Extração (Etapa 1):

   • O modelo de melhor desempenho alcançou um F1 macro de 57,69%.
   • O desempenho cai significativamente ao passar da Ordem 0 (fatos do mundo) para a Ordem 1 e Ordem 2+ (crenças dos atores). Os modelos têm dificuldade em mapear fatos da história para perspectivas específicas dos atores.

2. Desempenho de Rotulagem (Etapa 2):

   • A precisão geral de rotulagem atingiu 85,95%.
   • No entanto, os erros não são uniformes. As menores precisões são encontradas em Acesso ao Conhecimento (56,13–74,59%) e Representação (54,33–87,58%).
   • As crenças de Ordem 1 são as mais difíceis de rotular corretamente (71,2% de precisão geral), particularmente no que diz respeito a quem tem acesso à informação e se uma crença é explícita ou inferida.

3. Identificação do Gargalo:

   • O modo de falha primário não é uma falta de compreensão geral da linguagem, mas uma falha em rastrear condições de informação: determinar quais fatos cada ator conhece, como esse conhecimento foi adquirido (percepção versus inferência) e como ele evolui ao longo do tempo.
   • Os modelos frequentemente falham em distinguir entre o que é verdadeiro no mundo e o que um ator acredita ser verdadeiro, especialmente quando essa crença está desatualizada ou é falsa.

Significado e Alegações

O artigo afirma que o OmniToM proporciona uma mudança necessária da avaliação baseada em resultados para a avaliação baseada em processos de ToM em LLMs.

• Poder Diagnóstico: Ao tornar as representações de estados mentais inspecionáveis, o OmniToM permite que os pesquisadores identifiquem falhas específicas de raciocínio (por exemplo, "o modelo falhou em atualizar a crença porque identificou erroneamente o acesso à informação") em vez de simplesmente observar uma resposta errada.
• Exposição de Limitações: O benchmark expõe uma limitação que a QA de ponto final pode ocultar: o raciocínio ToM robusto requer o rastreamento das condições de informação que dão origem aos estados mentais, uma capacidade com a qual os LLMs atuais lutam.
• Escopo: Os autores enquadram modestamente o OmniToM como uma ferramenta de avaliação para cenários controlados e baseados em texto. Eles afirmam explicitamente que o benchmark não certifica inteligência social no mundo real, confiabilidade interpessoal ou segurança em cenários de alto risco (por exemplo, domínios clínicos ou jurídicos).
• Trabalho Futuro: Os autores sugerem que direções futuras incluem a expansão para narrativas mais ricas, conjuntos de extração maiores auditados por humanos e o tratamento de aninhamento de crenças além da ordem 3, ao mesmo tempo em que reconhecem as limitações atuais no raciocínio multimodal e no rastreamento de longo horizonte.

Em resumo, o OmniToM demonstra que, embora os LLMs possam frequentemente recuperar fatos narrativos, eles atualmente carecem do mecanismo robusto para transformar esses fatos em representações precisas, específicas dos atores e temporalmente evolutivas de estados mentais.