💬 NLP

PDDL-Mind: Large Language Models are Capable on Belief Reasoning with Reliable State Tracking

Le papier présente PDDL-Mind, un cadre neuro-symbolique qui améliore significativement les performances des grands modèles de langage dans le raisonnement sur la théorie de l'esprit en découplant le suivi d'état explicite via le langage PDDL de l'inférence des croyances.

Auteurs originaux : Wang Bill Zhu, Qiutong Tony Yi, Robin Jia, Jesse Thomason

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wang Bill Zhu, Qiutong Tony Yi, Robin Jia, Jesse Thomason

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : Les IA sont comme des enfants distraits

Imaginez que vous racontez une histoire à un enfant très intelligent, mais qui a du mal à se concentrer.
Vous dites : "Marie est dans la cuisine. Elle ouvre le frigo, prend une pomme, puis va dans le salon."
Ensuite, vous lui posez une question : "Où est la pomme maintenant ?"

Si l'enfant est distrait, il pourrait oublier que Marie a pris la pomme, ou penser qu'elle l'a laissée dans la cuisine. Il ne manque pas de logique (il sait ce qu'est une pomme), il manque juste de mémoire fiable sur ce qui s'est passé.

C'est exactement ce qui arrive aux Grands Modèles de Langage (IA) comme ChatGPT quand on leur demande de faire de la "Théorie de l'Esprit" (comprendre ce que les autres pensent ou savent). Ils sont brillants pour raisonner, mais ils sont très mauvais pour suivre l'état du monde (qui est où, qui a vu quoi, qui a entendu quoi) au fil d'une histoire longue. Ils "hallucinent" souvent des faits parce qu'ils essaient de tout deviner dans leur tête sans prendre de notes.

🛠️ La Solution : PDDL-MIND (Le Scribe et le Chef)

Les chercheurs de l'USC ont créé une nouvelle méthode appelée PDDL-MIND. Pour comprendre comment ça marche, imaginons un duo dans un restaurant :

L'IA (Le Chef) : C'est très douée pour comprendre les nuances, les intentions et répondre à des questions complexes. Mais elle a une mémoire à court terme fragile.
Le Système PDDL (Le Scribe) : C'est un outil rigide, comme un scribe qui note tout sur un tableau blanc avec des règles strictes. Il ne "réfléchit" pas, il se contente de noter les faits bruts : "Marie est ici", "Le frigo est ouvert".

Le secret de PDDL-MIND, c'est de séparer ces deux tâches :

Au lieu de demander à l'IA de se souvenir de tout l'histoire, on lui demande d'abord de traduire l'histoire en un langage de scribe (appelé PDDL, un langage informatique très précis).
Ensuite, un vérificateur (comme un contrôleur de train) regarde si les actions du scribe sont logiques. "Ah, Marie ne peut pas ouvrir le frigo si elle n'est pas dans la cuisine !" -> On corrige l'erreur.
Une fois que l'histoire est parfaitement notée sur le tableau blanc, on donne ce tableau à l'IA pour qu'elle réponde à la question.

🎭 L'Analogie du Théâtre

Imaginez une pièce de théâtre où les acteurs (les personnages de l'histoire) bougent et parlent.

Avant (Les anciennes IA) : L'IA jouait le rôle du spectateur. Elle regardait la pièce et essayait de deviner ce que l'acteur pensait. Mais comme elle regardait trop vite, elle perdait de vue qui était sur scène. Elle se trompait souvent.
Maintenant (PDDL-MIND) : On installe un scripteur à côté de la scène. À chaque fois qu'un acteur bouge, le scripteur met à jour un tableau géant avec des étiquettes précises : "Marie est dans la cuisine", "Le verre est sur la table".
- Si l'acteur dit "Je vais ouvrir la porte", le scripteur vérifie : "Attends, la porte est-elle fermée ? Marie est-elle assez proche ?". Si non, il ne note rien.
- À la fin, on donne le tableau mis à jour à l'IA. Elle n'a plus besoin de se souvenir de la pièce, elle n'a qu'à lire le tableau. Résultat ? Elle devient excellente pour répondre aux questions.

🏆 Les Résultats : Plus rapide et plus précis

Les chercheurs ont testé cette méthode sur des tests difficiles où l'IA doit deviner les croyances des personnages.

Avant : Les meilleures IA avaient environ 83 % de réussite, mais elles devaient "réfléchir" énormément (faire 27 tentatives par question), ce qui était lent et coûteux.
Avec PDDL-MIND : L'IA atteint 88 % de réussite en ne faisant que 3 tentatives par question.

C'est comme si un étudiant, au lieu de relire tout son cours 27 fois pour essayer de se souvenir d'un détail, avait un résumé parfait et vérifié sous les yeux. Il répond plus vite et mieux.

💡 La Conclusion Importante

Cette étude nous apprend quelque chose de fondamental sur l'intelligence artificielle actuelle :
Ce n'est pas que les IA sont "bêtes" ou incapables de raisonner. Le vrai problème, c'est qu'elles sont mauvaises pour suivre les faits dans une histoire complexe.

En leur donnant un "système de notes" externe et fiable (le PDDL), on libère leur véritable potentiel de raisonnement. C'est comme donner une calculatrice à un mathématicien : il ne fait plus les additions de base (qui sont source d'erreurs), il se concentre sur la résolution du problème complexe.

En résumé : PDDL-MIND ne rend pas l'IA plus intelligente, il lui donne simplement un carnet de notes infaillible pour qu'elle ne perde plus le fil de l'histoire.

1. Problématique

Les modèles de langage de grande taille (LLM) actuels obtiennent des résultats nettement inférieurs à ceux des humains sur les benchmarks de Théorie de l'Esprit (ToM). Ces tâches consistent à inférer les croyances, les connaissances ou les intentions d'agents à partir de récits narratifs (actions physiques ou dialogues).

L'article identifie deux hypothèses concurrentes pour expliquer ces échecs :

Limites du raisonnement : Les modèles suivent correctement les événements mais échouent à en déduire les croyances.
Suivi d'état peu fiable : Les modèles échouent à maintenir une représentation précise de l'état du monde à mesure que les événements s'accumulent.

Les auteurs soutiennent que la cause principale n'est pas une incapacité à raisonner, mais un suivi d'état implicite et peu fiable. Les LLMs peinent à extraire et à mettre à jour de manière cohérente les états du monde à partir de variations linguistiques, ce qui fausse les inférences ultérieures.

2. Méthodologie : PDDL-MIND

Pour résoudre ce problème, les auteurs proposent PDDL-MIND, un cadre neuro-symbolique qui découple l'évolution de l'état de l'environnement de l'inférence des croyances. L'approche repose sur l'utilisation du Planning Domain Definition Language (PDDL) pour fournir une représentation explicite et logiquement cohérente des états du monde.

Le processus se déroule en trois étapes principales :

Définition du Domaine (Domain File) :
- Un fichier PDDL prédéfini est établi, contenant des types d'objets (agents, lieux, objets, énoncés), des prédicats (ex: at, in, seen, heard) et sept types d'actions fondamentaux (move, open, close, grab, drop, ask, tell).
- Ce fichier encode les règles de transition d'état (préconditions et effets) de manière rigoureuse.
Extraction et Vérification (State & Action Extraction) :
- Parsing : Un LLM convertit la description narrative initiale en un fichier de problème PDDL (état initial $s_0$ ) et transforme la séquence d'événements narratifs en une séquence d'actions candidates PDDL.
- Vérification Symbolique : Chaque action candidate est vérifiée par rapport aux préconditions définies dans le domaine. Si une action est valide, elle est exécutée pour générer le nouvel état $s_i$ . Si elle est invalide (préconditions non satisfaites), elle est ignorée.
- Cela produit une séquence d'états vérifiée et logiquement cohérente, éliminant les hallucinations de suivi d'état.
Inférence de la ToM (Question Answering) :
- Le LLM reçoit la question de ToM ainsi que la séquence d'états et d'actions vérifiée.
- Le modèle effectue alors le raisonnement (inférence de croyances/intentions) uniquement sur la base de ces états explicites, utilisant une approche "Chain-of-Thought".

3. Contributions Clés

Découplage Neuro-Symbolique : La séparation explicite entre le suivi d'état (géré par la logique symbolique PDDL) et le raisonnement de haut niveau (géré par le LLM) permet d'isoler les sources d'erreur.
Abstraction Événementielle : En s'inspirant de la sémantique événementielle néo-davidsonienne, le cadre traite les actions physiques et les dialogues comme des événements unifiés avec des préconditions et des effets définis, offrant une abstraction stable au-delà des variations linguistiques.
Efficacité et Coût : Contrairement aux méthodes précédentes qui nécessitent de multiples appels au LLM pour itérer sur les hypothèses, PDDL-MIND ne nécessite que 3 appels par exemple (parsing, extraction, réponse), tout en obtenant de meilleures performances.
Preuve Empirique : L'étude démontre que les erreurs de ToM proviennent majoritairement du suivi d'état. Une analyse des erreurs montre que même avec un suivi d'état parfait, le taux d'erreur du LLM chute drastiquement, confirmant que le goulot d'étranglement est le suivi, non le raisonnement.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois benchmarks majeurs : MMToM-QA, MuMa-ToM et FanToM.

Performance : PDDL-MIND (avec GPT-4o) atteint 88,3 % sur MMToM-QA et 88,8 % sur MuMa-ToM.
Comparaison : Ces résultats surpassent l'état de l'art précédent (notamment AutoToM) d'une marge absolue supérieure à 5 %.
Efficacité des Coûts : Alors que AutoToM nécessite en moyenne 27 appels au LLM par exemple, PDDL-MIND n'en nécessite que 3, offrant une amélioration de performance avec une réduction massive du coût computationnel.
Robustesse : La méthode fonctionne bien sur différents modèles (GPT-4o, Claude-Sonnet-4.5, Kimi-K2) et sur des sous-catégories variées (croyance, objectif, accessibilité).
Analyse d'Erreur : Sur les échecs restants, environ 33 % sont dus à des erreurs de parsing (extraction incorrecte des actions), tandis que 67 % sont de véritables échecs de raisonnement. Cela suggère qu'avec un parsing parfait, la précision pourrait atteindre ~92 %.

5. Signification et Implications

Réévaluation des Benchmarks : L'article suggère que les échecs actuels des LLMs sur la ToM ne reflètent pas un manque de capacité de raisonnement, mais une incapacité à maintenir un modèle d'état cohérent. Les futurs benchmarks devraient traiter le suivi d'état vérifiable comme un prérequis pour évaluer le raisonnement.
Limites des Approches Probabilistes : Les auteurs critiquent les méthodes basées sur des mises à jour de croyances probabilistes implicites (comme AutoToM ou BIP-ALM), arguant qu'elles introduisent des goulots d'étranglement numériques et des incohérences. L'approche symbolique explicite de PDDL-MIND évite ces pièges.
Perspective Philosophique : En fixant un vocabulaire et des règles de mise à jour (via PDDL), le cadre transforme la tâche de ToM en un problème de "récupération d'algorithme". Cela met en lumière que la complexité d'une tâche de ToM dépend souvent de la capacité à définir correctement les partitions d'état, et non seulement de la complexité du raisonnement lui-même.

En conclusion, PDDL-MIND démontre que les LLMs sont capables de raisonner de manière sophistiquée sur la théorie de l'esprit, à condition que le suivi d'état sous-jacent soit externalisé et rendu fiable par des mécanismes symboliques rigoureux.