Résumé technique : Surmonter la complexité multi-étapes dans le raisonnement multimodal de la théorie de l'esprit

1. Énoncé du problème

La théorie de l'esprit (ToM) est la capacité cognitive à inférer des états mentaux (croyances, désirs, intentions) à partir d'indices observables. Bien qu'essentielle pour la cognition sociale humaine, la ToM computationnelle dans des environnements multimodaux fait face à des défis majeurs d'évolutivité. Les approches existantes relèvent généralement de deux catégories : (1) des flux de travail de planification structurée avec des a priori spécifiques à la ToM, et (2) l'intégration de ces a priori dans des modèles de langage (LM) via un entraînement spécialisé.

L'article identifie deux obstacles fondamentaux empêchant ces méthodes de s'étendre efficacement dans des tâches ToM multimodales complexes :

1. Limites du raisonnement : Les méthodes d'extension à l'inférence (par exemple, la chaîne de pensée, les systèmes de type o1) et le fine-tuning standard ne parviennent pas à maintenir la précision lorsque le nombre d'étapes de planification augmente. Les petits modèles (par exemple, 8B, 70B paramètres) présentent une dégradation rapide de la précision dans les scénarios multi-étapes, tandis que seuls les modèles massifs (par exemple, 405B) maintiennent leurs performances.
2. Dépendance aux connaissances du monde : Le raisonnement ToM multimodal nécessite d'intégrer des connaissances sociales et mondiales étendues. Les petits LM manquent de capacité de pré-entraînement pour encoder et utiliser efficacement cette diversité de connaissances, ce qui entraîne une mauvaise généralisation dans des scénarios inédits.

Les méthodes actuelles peinent à équilibrer le besoin de raisonnement structuré (pour gérer la complexité multi-étapes) avec le besoin de connaissances mondiales massives (pour ancrer les inférences), aboutissant souvent à un compromis où l'augmentation de l'échelle du modèle améliore les connaissances mais échoue à résoudre la complexité du raisonnement sans adaptations spécifiques et coûteuses.

2. Méthodologie

Les auteurs proposent un Planificateur Bayésien ToM Évolutif qui répond à ces limitations grâce à une approche synergique combinant la Planification Bayésienne Inverse (BIP) avec un mécanisme de Contrôle Faible vers Fort.

2.1. Cadre de Planification Bayésienne Inverse (BIP)

Le moteur de raisonnement central est basé sur la BIP, qui décompose la tâche ToM complexe en mises à jour bayésiennes modulaires et étape par étape. Le comportement de l'agent est modélisé comme un Processus de Décision Markovien Partiellement Observable (POMDP). Le système infère la probabilité a posteriori d'un objectif ($g$) et d'une croyance ($b_t$) de l'agent étant donné les états observés ($s_{1:t}$) et les actions ($a_{1:t-1}$) :

$$P(g, b_t | s_{1:t}, a_{1:t-1}) \propto \prod_{\tau=1}^{t} \pi(a_\tau | g, b_\tau) P(b_\tau | b_{\tau-1}, s_\tau) P(b_0)P(g)$$

Ici, $\pi(a_\tau | g, b_\tau)$ représente la politique (probabilité d'une action étant donné un objectif et une croyance). Le cadre affine itérativement les hypothèses en comparant les log-vraisemblances cumulées de différents couples objectif-croyance.

2.2. Mécanisme de Contrôle Faible vers Fort

Pour surmonter la dépendance aux modèles massifs pour l'estimation de vraisemblance et la difficulté de les fine-tuner directement, les auteurs introduisent une stratégie de Contrôle Faible vers Fort :

1. Composant Faible (Contrôleur Spécialisé) : Un petit LM (par exemple, 8B ou 4B paramètres) est post-entraîné spécifiquement pour les tâches ToM. Cet entraînement implique :
   • Ajustement des Instructions : Raffinement d'une politique $\pi_{E0}$ pour maximiser la vraisemblance des actions observées dans des scénarios spécifiques.
   • Optimisation des Préférences : Alignement du modèle pour distinguer les actions efficaces (concises, réussies) des actions inefficaces (longues, échouées) en utilisant une fonction de perte Direct Preference Optimization (DPO) modifiée.
2. Composant Fort (Modèle de Politique Mis à l'Échelle) : Un grand LM (jusqu'à 405B paramètres) sert de modèle de politique principal lors de l'inférence. Il possède des connaissances mondiales étendues mais manque d'a priori comportementaux spécifiques à la ToM.
3. Guidage à l'Inférence : Au lieu de fine-tuner le grand LM, le système utilise le petit LM post-entraîné pour guider la sortie du grand LM. La distribution de politique pour le grand LM ($\bar{\pi}$) est ajustée par le rapport entre la politique du petit LM post-entraîné ($\pi_E$) et la politique d'un petit LM naïf ($\pi_N$) :

$$\bar{\pi}(a_t | s_t, g, \hat{b}_t) = \frac{1}{\bar{Z}} \pi_L(a_t | s_t, g, \hat{b}_t) \frac{\pi_E(a_t | s_t, g, \hat{b}_t)}{\pi_N(a_t | s_t, g, \hat{b}_t)}$$

Ce mécanisme redirige efficacement les logits du grand LM vers des comportements spécifiques à la ToM sans nécessiter de post-entraînement direct coûteux du grand modèle.

2.3. Fondement Théorique

L'approche est fondée sur le Théorème 1, qui postule que l'ajustement de sortie $\Delta s$ dérivé de la différence entre le petit LM post-entraîné et le petit LM naïf approxime le gradient négatif mis à l'échelle de la perte d'entropie croisée pour le grand LM. Par conséquent, la distribution de sortie du grand LM approxime celle d'un modèle grand directement entraîné, avec une divergence KL bornée par le taux d'apprentissage et l'hessienne de la fonction de perte.

3. Contributions Clés

• Planificateur Bayésien Évolutif : Un cadre novateur qui décompose la complexité ToM multi-étapes en mises à jour bayésiennes traitables, évitant les limites de raisonnement qui affectent l'extension standard à l'inférence.
• Contrôle Faible vers Fort : Une méthode pour transférer des comportements de raisonnement spécifiques à la ToM de petits LM post-entraînés vers de grands LM (de 7B à 405B) au moment de l'inférence. Cela permet aux grands modèles de tirer parti de leurs connaissances mondiales tout en adhérant à la cohérence bayésienne.
• Justification Théorique : Preuve formelle (Théorème 1) démontrant que le mécanisme de contrôle faible vers fort approxime le comportement d'un grand modèle directement entraîné avec une erreur bornée.
• Validation Empirique : Des expériences extensives montrant que cette approche atteint des performances de pointe sur les benchmarks ToM multimodaux, y compris dans des scénarios inédits.

4. Résultats Expérimentaux

La méthode a été évaluée sur le benchmark MMToM-QA (simulateur VirtualHome) et étendue à cinq environnements thématiques inédits (Contes de fées d'Andersen, Égypte antique, Espace extérieur, Far West, Château médiéval).

• Amélioration de la Précision : La méthode proposée a atteint une précision de 81,3 % sur les tâches ToM multimodales, représentant une amélioration de 4,6 % par rapport aux meilleures bases existantes (par exemple, BIPALM avec GPT-J-6B ou Llama2-7B).
• Avantages de l'Échelle :
  • Composant Fort : L'augmentation de la taille du grand LM de 70B à 405B paramètres a produit des améliorations continues dans la compréhension ToM, en particulier dans les tâches d'inférence d'objectifs nécessitant un raisonnement dynamique.
  • Composant Faible : La réduction de la taille du contrôleur de 8B à 4B paramètres (réductions de largeur et de profondeur) a maintenu une performance stable (78,0 %–79,15 %), démontrant que les petits modèles peuvent guider efficacement les grands.
• Généralisation : La méthode a démontré une forte transférabilité vers des scénarios inédits, surpassant les bases en zéro-shot et directement post-entraînées dans divers environnements.
• Études d'Ablation :
  • L'ajout naïf de logits d'un petit LM à un grand LM était sous-optimal, confirmant la nécessité du contrôle structuré Faible vers Fort.
  • Le fine-tuning direct des grands modèles (70B) était moins stable et efficace que le mécanisme de contrôle proposé, probablement en raison d'une sensibilité aux hyperparamètres.
  • Le post-entraînement a considérablement amélioré les performances pour l'inférence de croyances (connaissances du monde) et l'inférence d'objectifs (raisonnement dynamique).

5. Importance et Revendications

L'article revendique l'établissement d'une nouvelle norme pour la modélisation des états mentaux humains dans des environnements complexes et dynamiques. Son importance réside dans :

• Le dépassement des limites d'évolutivité : Il démontre qu'une précision soutenue dans le raisonnement ToM multi-étapes nécessite à la fois des cadres structurés (BIP) et des modèles dotés de capacités de généralisation étendues (Grands LM), plutôt que de se fier uniquement au fine-tuning ou à l'extension à l'inférence.
• Efficacité : En évitant le post-entraînement direct de modèles massifs (par exemple, 405B), la méthode réduit les coûts computationnels tout en atteignant des performances supérieures. Elle exploite le « meilleur des deux mondes » : les connaissances mondiales des grands modèles et les a priori comportementaux spécialisés des petits modèles entraînés efficacement.
• Généralisation : L'approche s'avère efficace dans des scénarios inédits, suggérant que les comportements ToM appris sont robustes et transférables à travers différents contextes culturels et environnementaux.

Les auteurs soulignent que leur méthode n'améliore pas simplement les bases existantes, mais adresse fondamentalement l'« attraction gravitationnelle » de la complexité de la planification multi-étapes qui piège les méthodes computationnelles ToM actuelles.