PDDL-Mind: Large Language Models are Capable on Belief Reasoning with Reliable State Tracking

Resumo Técnico: PDDL-MIND

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) atuais apresentam desempenho significativamente inferior ao nível humano em benchmarks de Teoria da Mente (ToM). A Teoria da Mente envolve a capacidade de inferir crenças, conhecimentos e intenções de agentes com base em narrativas de ações físicas ou diálogos.

A comunidade científica debate a causa raiz dessas falhas, dividindo-se em duas hipóteses principais:

1. Falha no Raciocínio: Os modelos conseguem rastrear os estados do mundo, mas falham ao inferir crenças ou intenções a partir desses estados.
2. Falha no Rastreamento de Estado: Os modelos falham em manter representações precisas e consistentes do estado do mundo à medida que os eventos se acumulam na narrativa.

Os autores argumentam que a principal limitação não é a capacidade de raciocínio de alto nível, mas sim o rastreamento de estado implícito e não confiável. Modelos tendem a alucinar ou esquecer detalhes críticos do estado atual quando processam narrativas longas ou complexas apenas via texto natural.

2. Metodologia: PDDL-MIND

O artigo introduz o PDDL-MIND, um framework neuro-simbólico projetado para desacoplar a evolução do estado do ambiente da inferência de crenças. A abordagem utiliza a Linguagem de Definição de Domínio de Planejamento (PDDL) para fornecer uma representação explícita e logicamente consistente dos estados do mundo.

O processo funciona em três etapas principais:

1. Definição de Domínio Pré-estabelecido:

   • Os autores definem um arquivo de domínio PDDL com tipos de objetos (agente, objeto, local, enunciado) e predicados para descrever o estado (ex: at, in, seen, heard).
   • São definidas 7 ações fundamentais com pré-condições e efeitos explícitos: move (mover), open (abrir), close (fechar), grab (pegar), drop (soltar), ask (perguntar) e tell (dizer).

2. Extração e Verificação de Estado (O Núcleo do Método):

   • Parsing: Um LLM é usado para converter a descrição narrativa inicial em um arquivo de problema PDDL (definindo o estado inicial $s_0$).
   • Tradução de Ações: O LLM traduz os eventos da narrativa em uma sequência de ações candidatas em PDDL.
   • Verificação Simbólica: Esta é a etapa crítica. O sistema verifica cada ação candidata contra o domínio PDDL:
     • Se as pré-condições da ação forem satisfeitas no estado atual, a ação é aceita e seus efeitos são aplicados para gerar o próximo estado ($s_i$).
     • Se as pré-condições não forem atendidas (ex: tentar abrir algo que já está aberto ou que o agente não está próximo), a ação é descartada.
   • Isso resulta em uma sequência de estados verificados, eliminando inconsistências lógicas e alucinações comuns em modelos puramente baseados em texto.

3. Resposta à Pergunta de Teoria da Mente:

   • O LLM recebe a sequência de estados verificados e a pergunta de ToM.
   • O modelo realiza o raciocínio (inferência de crenças) condicionado apenas aos estados explicitamente validados, utilizando Chain-of-Thought (Cadeia de Pensamento).

3. Contribuições Chave

• Desacoplamento Neuro-Simbólico: Demonstra que separar o rastreamento de estado (resolvido via lógica simbólica/PDDL) da inferência de crenças (resolvida via LLM) supera as limitações de abordagens puramente neurais.
• Abstração de Eventos Unificada: Propõe uma visão unificada onde tanto ações físicas quanto interações conversacionais são tratadas como eventos com pré-condições e efeitos, permitindo um tratamento consistente de benchmarks de agente único e multiagente.
• Eficiência de Custo: O método requer apenas 3 chamadas de LLM por exemplo (parsing, extração de ações, resposta), enquanto métodos anteriores de ponta (como AutoToM) exigem em média 27 chamadas por exemplo devido a iterações de busca e refinamento.
• Evidência Empírica da Hipótese de Rastreamento: Os resultados provam que, quando o rastreamento de estado é garantido, os LLMs possuem capacidade suficiente para raciocínio complexo de Teoria da Mente.

4. Resultados Experimentais

O PDDL-MIND foi avaliado em três benchmarks principais: MMToM-QA, MuMa-ToM e FanToM.

• Desempenho Superior:

  • No MMToM-QA, alcançou 88.3% de precisão (vs. 83.0% do estado da arte anterior, AutoToM).
  • No MuMa-ToM, alcançou 88.8% (vs. 81.4% do AutoToM).
  • No FanToM, alcançou 80.0%.
  • Houve um ganho absoluto de mais de 5% sobre os melhores métodos existentes em todas as métricas principais.

• Análise de Erros:

  • A análise manual de casos de falha revelou que 90% das sequências de ações geradas e verificadas estavam corretas.
  • Dos erros restantes, 33% foram devido a erros de parsing (tradução incorreta da narrativa para PDDL) e 67% foram falhas de raciocínio genuínas dadas as condições corretas.
  • Isso sugere que, com um parsing perfeito, a taxa de erro cairia para cerca de 8%, confirmando que o rastreamento de estado é o gargalo dominante.

• Eficiência: O método superou abordagens mais baratas (como Chain-of-Thought simples) e métodos complexos, mantendo um custo computacional significativamente menor.

5. Significado e Implicações

• Reavaliação dos Benchmarks de ToM: O trabalho sugere que muitos benchmarks atuais podem estar "saturados" ou avaliando incorretamente a capacidade de raciocínio, pois as falhas são na verdade falhas de memória e rastreamento de estado. Futuros benchmarks devem exigir rastreamento de estado verificável como pré-requisito.
• Scaffolding Competente: Alinha-se com o princípio de que a melhoria de modelos de linguagem deve focar em externalizar tarefas que eles realizam mal (rastreamento de estado complexo) e permitir que eles foquem no que fazem bem (raciocínio semântico e inferência).
• Limitações: O método atualmente depende de entradas textuais e abstrai o mundo para símbolos PDDL, não lidando diretamente com percepção multimodal (visual/espacial) ou domínios onde as regras de transição não são pré-definidas e explícitas.

Em conclusão, o PDDL-MIND demonstra que os LLMs são capazes de raciocínio sofisticado de Teoria da Mente, desde que o "ruído" do rastreamento de estado seja eliminado através de mecanismos de verificação simbólica rigorosa.