Résumé Technique : MindClaw

Énoncé du Problème

Les benchmarks actuels de la Théorie de l'Esprit (ToM) ont fait progresser la reconnaissance des états mentaux dans les domaines textuels et multimodaux, mais traitent largement la ToM comme une tâche de question-réponse ou de prédiction d'étiquettes hors ligne. Ces formulations existantes ne parviennent pas à tester si un agent incarné peut maintenir une connexion avec un environnement changeant, mettre à jour les croyances spécifiques aux acteurs au fil du temps, décider quand le raisonnement est nécessaire, et intervenir uniquement lorsque l'assistance est réellement utile.

Dans les environnements réels centrés sur l'humain, un assistant qui agit par défaut peut être perturbateur ou nuisible. Le défi central n'est pas simplement d'inférer les croyances, désirs et intentions (le cadre Belief–Desire–Intention ou BDI) d'un humain, mais de déterminer le moment précis de l'intervention. Un agent doit distinguer les scénarios où un humain progresse normalement (nécessitant aucune action) des scénarios où un humain agit sous l'influence d'une fausse croyance ou d'un objectif caché (nécessitant une intervention minimale et utile). Les cadres existants centrés sur le robot, comme MindPower, se sont orientés vers la génération d'actions mais opèrent toujours principalement comme des processus de décision statiques à l'étape finale plutôt que comme des systèmes de contrôle cognitif en boucle fermée et en temps réel.

Méthodologie

Les auteurs proposent MindClaw, un cadre qui étend le raisonnement ToM centré sur le robot, passant de la complétion de hiérarchie statique à un cadre en boucle fermée et en temps réel axé sur la précision de l'intervention. Le système est conçu pour rester connecté à un environnement exécutable (par exemple, VirtualHome, ThreeDWorld, ou des relectures vidéo statiques) et décider dynamiquement s'il doit mettre à jour la mémoire, raisonner, agir ou rester silencieux.

Architecture

MindClaw se compose de trois couches principales :

1. Interface d'Entrée : Accepte des entrées multi-sources incluant des vidéos statiques, des flux de simulateurs en direct et des événements de contrôle humain, les normalisant en une représentation de fenêtre commune.
2. Couche Claw (Contrôle) : Le mécanisme de contrôle central qui maintient l'état en ligne et orchestre la boucle d'interaction. Il contient :
   • Moteur (Engine) : Gère la boucle d'exécution, garantissant que l'observation précède les décisions de déclenchement.
   • Adaptateur (Adapter) : Convertit diverses sources d'entrée en un format canonique pour la couche de raisonnement.
   • Mémoire : Stocke une table de croyances séparant les faits visuellement ancrés des croyances spécifiques aux acteurs (ex: actor_beliefs[actor][object] → location). Cela permet au système de détecter les décalages entre la réalité et l'état mental d'un acteur.
   • Déclencheur (Trigger) : Une compétence cognitive incarnée qui décide de la prochaine opération interne ($z_t$) basée sur l'observation actuelle, la mémoire et les créneaux candidats.
3. Couche de Raisonnement (Services Basés sur Modèles) : Fournit trois capacités modulaires :
   • Observation : Extrait des descriptions structurées de la scène.
   • Raisonnement Mental : Invoqué uniquement lorsque le déclencheur le décide, ce module infère si un acteur agit sous l'influence d'une fausse croyance ou d'un objectif caché et détermine si une intervention est justifiée.
   • Génération d'Action : Convertit les résultats du raisonnement en actions de robot exécutables ou en une commande "none" (noop/aucune action).

Le Déclencheur comme Compétence Cognitive Incarnée

L'innovation centrale consiste à formuler le déclencheur comme une compétence qui sélectionne des opérations cognitives intermédiaires plutôt que de mapper directement la vidéo vers des actions de robot. L'espace des opérations comprend :

• La mise à jour des faits visuels ou des croyances des acteurs.
• L'exécution du raisonnement mental.
• L'exécution de la génération d'action.
• Noop (Aucune opération) : Choisir explicitement de ne rien faire.

Le déclencheur est implémenté comme une politique conditionnée par une compétence ($\pi_\theta$) qui factorise la décision en sélection d'opération (quoi faire) et ancrage de créneau (qui/quoi/où).

Collecte de Compétences et Inférence

Pour optimiser le déclencheur, les auteurs collectent des "compétences cognitives incarnées" à partir de trajectoires correctes et incorrectes appariées. Un LLM puissant résume ces données en modèles de décision réutilisables (règles), catégorisés comme :

• Fortement Préféré ($S^+$) : Conditions déterministes (ex: correspondances regex) qui forcent une opération spécifique.
• Préféré ($S^\pm$) : Conditions qui suggèrent une opération mais nécessitent un jugement du modèle.
• Négatif ($S^-$) : Conditions qui excluent une opération.

Lors de l'inférence, le système applique d'abord le filtrage déterministe pour les règles fortes. Si aucune règle forte ne s'applique, un modèle de déclencheur augmenté par les compétences prédit l'opération en utilisant les conditions préférées et négatives restantes.

Contributions Clés

1. Extension en Boucle Fermée : Ce travail étend le raisonnement ToM centré sur le robot, de la génération de décision à l'étape finale vers un cadre en boucle fermée en temps réel où l'agent maintient un état et agit dans un environnement changeant.
2. Intervention de Précision : Il établit l'intervention de précision comme l'objectif central : le robot doit générer des actions utiles uniquement quand elles sont nécessaires et rester silencieux autrement, évitant ainsi d'être perturbateur ou inutilement aidant.
3. Compétence de Déclencheur Cognitif : Le déclencheur est formulé comme une compétence cognitive incarnée qui effectue une sélection d'opération intermédiaire sur l'observation, la mémoire des croyances et les candidats de la scène. Cela permet un contrôle explicite sur le timing de la mise à jour de la mémoire, du raisonnement et de la génération d'action.

Résultats Expérimentaux

Le cadre a été évalué sur le Benchmark MindPower, qui comprend 590 exemples vidéo-texte impliquant la correction de fausses croyances et l'inférence d'objectifs implicites.

• Baselines : Les modèles de langage-vidéo (VLM) directs ont eu beaucoup de mal avec la conscience de la tâche (Task Accuracy, TA) et le calibrage de l'intervention (Precision Intervention Accuracy, PIA). De nombreuses baselines ont atteint une TA proche de zéro, indiquant un échec à identifier les contextes d'état mental pertinents.
• Performance de MindClaw : MindClaw a obtenu la meilleure performance globale, surpassant significativement les baselines directes tant en TA (14,36 % contre <2 % pour la plupart des baselines) qu'en PIA (36,63 % contre <20 % pour la plupart des baselines).
• Satisfaction en Boucle Fermée : MindClaw a maintenu un score de satisfaction d'action / boucle fermée (CS) de 100 %, démontrant que l'amélioration du timing et de la précision ne se faisait pas au détriment de la validité de l'action.
• Études d'Ablation :
  • Table de Croyances : La suppression de la table de croyances explicite a provoqué une chute drastique des performances (ex: la TA de Qwen3-4B est passée de 9,51 % à 1,64 %), confirmant la nécessité d'une mémoire spécifique aux acteurs.
  • Guidage par Compétences : La suppression des règles basées sur les compétences a réduit considérablement la précision. La combinaison du réglage fin supervisé et du guidage par compétences a produit la plus haute précision hors-noop (64,14 %), prouvant que les compétences fournissent des connaissances intermédiaires structurées essentielles à la prise de décision.

Signification et Revendications

L'article affirme que MindClaw démontre l'importance critique de l'optimisation de la compétence de déclenchement pour l'assistance ToM incarnée en boucle fermée. En découplant le contrôle cognitif interne (le déclencheur) du comportement externe du robot, le système peut gérer efficacement le compromis entre utilité et intrusion.

Les auteurs soulignent que l'assistance réelle incarnée n'est pas équivalente à produire systématiquement une action. La capacité de rester silencieux lorsqu'un humain est aligné avec l'environnement, et d'intervenir précisément lorsqu'un décalage existe, est une capacité fondamentale pour des assistants interactifs utiles. MindClaw fournit un cadre où l'agent raisonne explicitement sur quand raisonner et quand agir, allant au-delà de la simple reconnaissance d'état mental pour atteindre une intervention de précision calibrée.