Résumé Technique : EnactToM

Énoncé du Problème

Les benchmarks actuels pour la Théorie de l'Esprit (ToM) dans les Grands Modèles de Langage (LLM) évaluent principalement la ToM littérale : la capacité à rapporter explicitement les croyances, désirs ou intentions d'un autre agent lorsqu'ils sont sollicités. Cependant, ces évaluations échouent à mesurer la ToM fonctionnelle, définie comme la capacité à agir de manière optimale en se basant sur des états mentaux inférés dans des environnements ancrés et multi-agents. Les benchmarks existants manquent de trois propriétés critiques :

1. Fonctionnelle : Ils mesurent le rapport de croyances plutôt que l'exécution d'actions basées sur ces croyances.
2. Ancrée : Ils opèrent dans des environnements uniquement textuels ou entièrement observables, manquant les contraintes spatiales et l'asymétrie d'information inhérentes à la collaboration incarnée.
3. Résistante à la saturation : Les benchmarks statiques deviennent triviaux à mesure que les modèles s'améliorent, et ils manquent de mécanismes pour faire évoluer la difficulté des tâches en fonction des modes d'échec spécifiques des modèles.

Par conséquent, les modèles de pointe démontrent souvent une haute précision sur les sondes de croyance, mais échouent à coordonner efficacement dans des environnements physiques partagés, entraînant des actions redondantes, des contraintes ignorées et des risques de sécurité.

Méthodologie : Le Cadre EnactToM

Les auteurs présentent EnactToM, un benchmark évolutif composé de 300 tâches incarnées multi-agents situées dans un environnement domestique 3D (HSSD). Le cadre est conçu pour isoler la ToM fonctionnelle grâce à une observabilité partielle, des informations privées et une communication contrainte.

1. Représentation des Tâches et Profondeur Épistémique

Les tâches sont formalisées comme des tuples $T = (S, A, \phi, \delta, M, \Sigma, C)$, où :

• $S$ : Une scène 3D.
• $A$ : Un ensemble d'agents avec des positions d'apparition.
• $\phi$ : Une formule d'objectif PDDL combinant des prédicats physiques (par exemple, is_on_top) avec des opérateurs épistémiques ($K$).
• $\delta$ : Une description de tâche en langage naturel partagée par tous les agents.
• $M$ : Des mécanismes modélisant des contraintes du monde réel (par exemple, restrictions de pièce, bande passante limitée, graphes de communication restreints).
• $\Sigma$ : Secrets privés attribués à chaque agent (par exemple, identifiants d'objets spécifiques, limites d'accès aux pièces) créant une asymétrie d'information.
• $C$ : Catégorie de tâche (Coopérative ou à motivation mixte).

Le benchmark utilise la profondeur épistémique ($d$) pour quantifier la complexité de la ToM :

• Profondeur 1 (Conscience de soi) : Un agent reconnaît son propre écart d'information.
• Profondeur 2 (Conscience de l'autre) : Un agent agit en fonction de ce qu'un partenaire sait.
• Profondeur 3 (Récursive) : Un agent raisonne sur ce qu'un partenaire sait que un autre agent sait.
  Le benchmark limite la génération à la profondeur 3, car une récursion plus profonde est fragile même pour les humains.

2. Pipeline de Génération de Tâches Agentic

Pour répondre à la saturation des benchmarks, EnactToM emploie un agent de codage autonome pour générer des tâches. Le pipeline comprend :

• Rédaction : L'agent écrit d'abord l'objectif formel PDDL, puis dérive la narration et les secrets, garantissant que l'objectif est la source de vérité.
• Vérification :
  • Analyse PDDL : Vérifie la validité syntaxique et l'alignement de la profondeur K.
  • Conseil de Juges LLM : Deux modèles (Kimi-K2.5 et GPT-5.2) notent indépendamment les tâches selon des critères tels que la nécessité de l'agent, la qualité des secrets (aucune fuite de stratégie) et l'utilisation des mécanismes.
  • Calibrateur Structurel : Exécute une simulation de base où tous les secrets sont révélés à tous les agents. Si la tâche échoue même avec une information complète, elle est rejetée comme physiquement insoluble. Cela garantit que le succès dans le contexte standard dépend du raisonnement épistémique, et non seulement de la navigation incarnée.
• Évolution : L'agent de génération utilise des « tâches semences » biaisées vers les modes d'échec des modèles de pointe actuels (par exemple, GPT-5.4, O3). À mesure que les modèles s'améliorent, le pool de semences se déplace vers des motifs d'échec plus difficiles, faisant évoluer la difficulté du benchmark sans modifier l'infrastructure du générateur.

3. Protocole d'Évaluation

Le benchmark évalue sept modèles de pointe sur deux splits : Standard ($\rho=0.8$ ratio d'échec des semences) et Difficile ($\rho=0.9$).

• Métrique Fonctionnelle : Le succès est défini par l'achèvement des prédicats physiques dans $\phi$. La métrique principale est Pass^3, exigeant le succès dans les trois exécutions indépendantes pour écarter la chance.
• Métrique Littérale : À la fin de chaque épisode, les agents sont interrogés sur des croyances spécifiques (par exemple, « Que pense l'agent_0 de l'état du réfrigérateur ? »). Cela mesure la précision de la ToM littérale indépendamment de l'action.

Résultats Clés

L'évaluation révèle un écart acte-rapport marquant entre la ToM littérale et fonctionnelle :

• Échec Fonctionnel : Sur le split Difficile, les sept modèles de pointe évalués ont obtenu 0,0 % de Pass^3 sur l'achèvement fonctionnel des tâches. Aucun modèle n'a pu coordonner de manière reproductible sur trois exécutions.
• Succès Littéral : Les mêmes modèles ont obtenu en moyenne 45,0 % sur les sondes de croyance littérales pour les mêmes tâches. Par exemple, Gemini-Pro a obtenu une précision littérale de 63,3 % mais seulement 6,7 % de précision fonctionnelle sur le split difficile.
• Analyse des Échecs : Un audit manuel de 40 échecs a identifié que 93 % étaient dus à des ruptures de coordination épistémique, classées en cinq motifs :
  1. Rétention d'informations critiques : Les agents possèdent des faits décisifs mais les communiquent trop tard.
  2. Rupture de la chaîne épistémique : Les agents accomplissent des actions physiques mais échouent à établir que les partenaires connaissent le résultat.
  3. Sabotage/divulgation d'objectifs privés : Dans les tâches à motivation mixte, les agents révèlent prématurément leurs objectifs privés ou sabotent les objectifs partagés.
  4. Mauvaise allocation des messages rares : Les agents gaspillent la bande passante limitée sur des partenaires inaccessibles ou du contenu de faible priorité.
  5. Ignorance des contraintes du partenaire : Les agents délèguent des tâches à des partenaires qui n'ont pas l'accès à la pièce ou les ressources nécessaires.

Signification et Revendications

L'article revendique qu'EnactToM fournit la première mesure rigoureuse et évolutive de la ToM fonctionnelle dans des environnements incarnés. Sa signification réside dans :

1. L'exposition d'un Écart Critique : Démontrant qu'une haute performance sur des questions de croyance basées sur le texte ne se traduit pas par la capacité d'utiliser ces croyances pour la coordination dans des environnements contraints.
2. La Définition d'une Nouvelle Norme de Benchmark : Établissant un cadre qui est incarné (environnement 3D), fonctionnel (succès basé sur l'action) et évolutif (résistant à la saturation via une génération pilotée par l'échec).
3. La Fourniture de Cibles Concrètes : En décomposant les échecs en ruptures spécifiques de coordination épistémique, le benchmark offre des cibles claires et actionnables pour les futures recherches sur l'alignement et le raisonnement multi-agents.

Les auteurs concluent que si les modèles de pointe peuvent souvent énoncer ce que les partenaires savent, ils manquent actuellement de la politique pour utiliser cette connaissance pour agir de manière fiable sous des contraintes de communication et d'information. Le benchmark sert d'instrument de mesure pour suivre les progrès dans la réduction de cet écart.