Resumo Técnico: EnactToM

Declaração do Problema

As atuais avaliações para Teoria da Mente (ToM) em Modelos de Linguagem de Grande Escala (LLMs) avaliam principalmente a ToM literal: a capacidade de relatar explicitamente crenças, desejos ou intenções de outro agente quando solicitados. No entanto, essas avaliações falham em medir a ToM funcional, definida como a capacidade de agir de forma ótima com base em estados mentais inferidos em ambientes fundamentados e multiagente. As avaliações existentes carecem de três propriedades críticas:

1. Funcional: Medem o relato de crenças em vez da execução de ações baseadas nessas crenças.
2. Fundamentada: Operam em ambientes apenas textuais ou totalmente observáveis, carecendo das restrições espaciais e da assimetria de informação inerentes à colaboração corporificada.
3. Resistente à Saturação: Avaliações estáticas tornam-se triviais à medida que os modelos melhoram, e carecem de mecanismos para evoluir a dificuldade da tarefa com base em modos de falha específicos dos modelos.

Consequentemente, modelos de fronteira frequentemente demonstram alta precisão em sondas de crença, mas falham em coordenar-se efetivamente em ambientes físicos compartilhados, levando a ações redundantes, restrições ignoradas e riscos de segurança.

Metodologia: A Estrutura EnactToM

Os autores apresentam o EnactToM, uma avaliação evolutiva composta por 300 tarefas multiagente corporificadas ambientadas em um ambiente doméstico 3D (HSSD). A estrutura foi projetada para isolar a ToM funcional por meio de observabilidade parcial, informações privadas e comunicação restrita.

1. Representação da Tarefa e Profundidade Epistêmica

As tarefas são formalizadas como tuplas $T = (S, A, \phi, \delta, M, \Sigma, C)$, onde:

• $S$: Uma cena 3D.
• $A$: Um conjunto de agentes com posições de geração.
• $\phi$: Uma fórmula de objetivo PDDL combinando predicados físicos (por exemplo, is_on_top) com operadores epistêmicos ($K$).
• $\delta$: Uma descrição de tarefa em linguagem natural compartilhada por todos os agentes.
• $M$: Mecânicas que modelam restrições do mundo real (por exemplo, restrições de sala, largura de banda limitada, grafos de comunicação restritos).
• $\Sigma$: Segredos privados atribuídos a cada agente (por exemplo, IDs específicos de objetos, limites de acesso a salas) que criam assimetria de informação.
• $C$: Categoria da tarefa (Cooperativa ou de Motivo Misto).

A avaliação utiliza a profundidade epistêmica ($d$) para quantificar a complexidade da ToM:

• Profundidade 1 (Autoconsciente): Um agente reconhece sua própria lacuna de informação.
• Profundidade 2 (Consciente do Outro): Um agente age com base no que um parceiro sabe.
• Profundidade 3 (Recursiva): Um agente raciocina sobre o que um parceiro sabe que outro agente sabe.
  A avaliação limita a geração à profundidade 3, pois recursões mais profundas são frágeis mesmo para humanos.

2. Pipeline de Geração de Tarefas Agênticas

Para abordar a saturação da avaliação, o EnactToM emprega um agente de codificação autônomo para gerar tarefas. O pipeline inclui:

• Elaboração: O agente escreve primeiro o objetivo formal PDDL e, em seguida, deriva a narrativa e os segredos, garantindo que o objetivo seja a fonte da verdade.
• Verificação:
  • Análise PDDL: Verifica a validade sintática e o alinhamento da profundidade K.
  • Conselho de Julgamento LLM: Dois modelos (Kimi-K2.5 e GPT-5.2) avaliam independentemente as tarefas com base em critérios como necessidade do agente, qualidade dos segredos (sem vazamento de estratégia) e utilização de mecânicas.
  • Calibrador Estrutural: Executa uma simulação de base onde todos os segredos são revelados a todos os agentes. Se a tarefa falhar mesmo com informações completas, é rejeitada como fisicamente insolúvel. Isso garante que o sucesso no cenário padrão dependa do raciocínio epistêmico, e não apenas da navegação corporificada.
• Evolução: O agente de geração utiliza "tarefas semente" enviesadas para os modos de falha dos modelos de fronteira atuais (por exemplo, GPT-5.4, O3). À medida que os modelos melhoram, o pool de sementes se desloca para padrões de falha mais difíceis, evoluindo a dificuldade da avaliação sem modificar a infraestrutura do gerador.

3. Protocolo de Avaliação

A avaliação analisa sete modelos de fronteira em duas divisões: Padrão ($\rho=0.8$ taxa de falha de semente) e Difícil ($\rho=0.9$).

• Métrica Funcional: O sucesso é definido pela conclusão dos predicados físicos em $\phi$. A métrica principal é Pass^3, exigindo sucesso em todas as três execuções independentes para descartar a sorte.
• Métrica Literal: Ao final de cada episódio, os agentes são consultados sobre crenças específicas (por exemplo, "O que o agente_0 acha que é o estado da geladeira?"). Isso mede a precisão da ToM literal independente da ação.

Resultados Principais

A avaliação revela uma lacuna ação-relato marcante entre a ToM literal e a funcional:

• Falha Funcional: Na divisão Difícil, todos os sete modelos de fronteira avaliados alcançaram 0,0% Pass^3 na conclusão funcional da tarefa. Nenhum modelo pôde coordenar-se de forma reproduzível em três execuções.
• Sucesso Literal: Os mesmos modelos tiveram uma média de 45,0% em sondas de crença literal nas mesmas tarefas. Por exemplo, o Gemini-Pro alcançou 63,3% de precisão literal, mas apenas 6,7% de precisão funcional na divisão difícil.
• Análise de Falhas: Uma auditoria manual de 40 falhas identificou que 93% foram devidas a colapsos de coordenação epistêmica, categorizados em cinco padrões:
  1. Retenção de informações críticas: Agentes possuem fatos decisivos, mas comunicam-nos muito tarde.
  2. Colapso da cadeia epistêmica: Agentes completam ações físicas, mas falham em estabelecer que os parceiros conhecem o resultado.
  3. Sabotagem/divulgação de objetivos privados: Em tarefas de motivo misto, os agentes ou revelam objetivos privados prematuramente ou sabotam objetivos compartilhados.
  4. Má alocação de mensagens escassas: Agentes desperdiçam largura de banda limitada com parceiros inalcançáveis ou conteúdo de baixa prioridade.
  5. Ignorar restrições do parceiro: Agentes delegam tarefas a parceiros que não possuem o acesso à sala ou os recursos necessários.

Significado e Alegações

O artigo afirma que o EnactToM fornece a primeira medição rigorosa e evolutiva da ToM funcional em ambientes corporificados. Seu significado reside em:

1. Expor uma Lacuna Crítica: Demonstrar que alto desempenho em perguntas de crença baseadas em texto não se traduz na capacidade de usar essas crenças para coordenação em ambientes restritos.
2. Definir um Novo Padrão de Avaliação: Estabelecer uma estrutura que é corporificada (ambiente 3D), funcional (sucesso baseado em ação) e evolutiva (resistente à saturação via geração impulsionada por falhas).
3. Fornecer Alvos Concretos: Ao decompor falhas em colapsos específicos de coordenação epistêmica, a avaliação oferece alvos claros e acionáveis para pesquisas futuras em alinhamento e raciocínio multiagente.

Os autores concluem que, embora os modelos de fronteira frequentemente possam declarar o que os parceiros sabem, eles atualmente carecem da política para usar esse conhecimento para agir de forma confiável sob restrições de comunicação e informação. A avaliação serve como um instrumento de medição para acompanhar o progresso no fechamento dessa lacuna.