PDDL-Mind: Large Language Models are Capable on Belief Reasoning with Reliable State Tracking

Resumen Técnico: PDDL-MIND

1. El Problema

Los Grandes Modelos de Lenguaje (LLMs) actuales tienen un rendimiento significativamente inferior al nivel humano en las pruebas de Teoría de la Mente (ToM). Estas pruebas requieren que un agente infiera lo que otros agentes creen, sepan o intencionen basándose en narrativas de acciones físicas o diálogos.

A pesar de técnicas avanzadas como el Chain-of-Thought (Cadena de Pensamiento) o actualizaciones probabilísticas de creencias, los modelos siguen fallando. La comunidad académica ha debatido sobre la causa raíz de estos fallos, dividiéndose en dos hipótesis principales:

1. Limitaciones de Razonamiento: Los modelos no pueden inferir creencias o intenciones complejas a partir de estados correctos.
2. Rastreo de Estado Inconfiable: Los modelos fallan en mantener una representación precisa y consistente del estado del mundo a medida que evolucionan los eventos en la narrativa.

Los autores argumentan que el problema principal no es la capacidad de razonamiento de alto nivel, sino la inestabilidad en el rastreo implícito del estado. Los modelos tienden a "alucinar" o perder el rastro de dónde están los objetos, quién los ha visto o qué se ha dicho, lo que corrompe cualquier inferencia posterior.

2. Metodología: PDDL-MIND

Para abordar esto, los autores proponen PDDL-MIND, un marco neuro-simbólico que desacopla la evolución del estado del entorno de la inferencia de creencias. La metodología se basa en traducir narrativas naturales a un lenguaje formal y verificable: Planning Domain Definition Language (PDDL).

El proceso consta de tres etapas principales:

1. Definición del Dominio Predefinido:

   • Se utiliza un archivo de dominio PDDL que define tipos de objetos (agentes, lugares, objetos, enunciados) y predicados para describir estados (ej. at, in, seen, heard).
   • Se definen siete tipos de acciones fundamentales con precondiciones y efectos explícitos: move, open, close, grab, drop, ask, tell.

2. Extracción y Verificación de Estados y Acciones:

   • Parsing: Un LLM convierte la descripción inicial del entorno en un archivo de problema PDDL (estado inicial $s_0$) y traduce la narrativa en una secuencia de acciones candidatas.
   • Verificación Simbólica: Este es el paso crítico. En lugar de confiar en la salida del LLM, un verificador (basado en las reglas del dominio PDDL) comprueba si cada acción candidata es válida dadas las precondiciones del estado actual.
     • Si la acción es válida, se ejecuta y se actualiza el estado ($s_i$) aplicando sus efectos.
     • Si es inválida (ej. intentar abrir algo que ya está abierto o moverse a un lugar no conectado), se ignora.
   • Esto genera una secuencia de estados verificada y lógicamente consistente, eliminando las inconsistencias del rastreo implícito.

3. Inferencia de Teoría de la Mente:

   • Finalmente, se le presenta al LLM la secuencia de estados verificados junto con la pregunta de ToM.
   • El modelo realiza el razonamiento (inferencia de creencias/intenciones) basándose únicamente en los estados explícitos y verificados, utilizando un enfoque de Chain-of-Thought.

3. Contribuciones Clave

• Desacoplamiento Neuro-Simbólico: Separan explícitamente la tarea de "mantener el rastro del mundo" (resuelta mediante lógica simbólica PDDL) de la tarea de "razonar sobre creencias" (resuelta por el LLM).
• Verificación de Transiciones de Estado: Introducen un mecanismo de validación rigurosa que filtra acciones inválidas antes de que el modelo intente razonar, garantizando que el contexto de entrada sea factualmente correcto según la narrativa.
• Abstracción Unificada de Eventos: Demuestran que tanto las acciones físicas como los diálogos pueden modelarse como transiciones de estado con precondiciones y efectos, unificando benchmarks de agentes individuales y multiagente bajo un mismo formalismo.
• Eficiencia de Coste: Logran un rendimiento superior con un coste computacional mucho menor (3 llamadas al LLM por ejemplo) en comparación con métodos anteriores que requieren decenas de llamadas.

4. Resultados Experimentales

El método se evaluó en tres benchmarks representativos de ToM: MMToM-QA, MuMa-ToM y FanToM.

• Rendimiento Superior: PDDL-MIND (usando GPT-4o) superó a todos los métodos del estado del arte (SOTA), incluyendo AutoToM, BIP-ALM y EnigmaToM.
  • MMToM-QA: 88.3% de precisión (vs. 83.0% de AutoToM).
  • MuMa-ToM: 88.8% de precisión (vs. 81.4% de AutoToM).
  • FanToM: 80.0% de precisión.
  • Esto representa una mejora absoluta de más del 5% sobre los mejores métodos existentes.
• Eficiencia: Mientras que AutoToM requiere un promedio de 27 llamadas al LLM por ejemplo, PDDL-MIND solo requiere 3 llamadas.
• Análisis de Errores:
  • El 90% de las secuencias de acciones verificadas fueron correctas (verificación manual).
  • De los errores restantes, el 33% se debió a errores de parsing (traducción incorrecta de la narrativa a PDDL) y el 67% a fallos de razonamiento puro.
  • Esto sugiere que, si el rastreo de estado fuera perfecto, la tasa de error total podría caer al ~8%, confirmando que el rastreo de estado es el cuello de botella principal.

5. Significado e Implicaciones

• Reevaluación de las Capacidades de los LLMs: El estudio sugiere que los LLMs sí tienen la capacidad de realizar razonamiento complejo de Teoría de la Mente. Sus fallos actuales no se deben a una falta de inteligencia, sino a la incapacidad de mantener un modelo de mundo coherente de forma implícita.
• Nueva Dirección para los Benchmarks: Los autores argumentan que los futuros benchmarks de ToM deben tratar el rastreo de estado verificable como un prerrequisito para evaluar el razonamiento. Si un modelo no puede rastrear el estado correctamente, cualquier evaluación de su capacidad de inferencia es inválida.
• Scaffolding (Andamiaje) Alineado: El trabajo valida la idea de que los LLMs son excelentes para razonar sobre estados explícitos, pero pobres para recuperar esos estados a partir de variaciones lingüísticas. Por tanto, la mejor estrategia de mejora es externalizar la parte de rastreo de estado a sistemas simbólicos confiables.
• Limitaciones: El enfoque actual es puramente textual y simbólico, no abordando escenarios multimodales (visuales o espaciales) ni dependencias de conocimiento del mundo "de cola larga" que no estén definidos en el dominio PDDL.

En conclusión, PDDL-MIND demuestra que al proporcionar a los LLMs una representación lógica y verificada del estado del mundo, su capacidad para resolver problemas de Teoría de la Mente se acerca o supera a la de los humanos, resolviendo el problema fundamental de la inconsistencia en el seguimiento de eventos.