Résumé Technique : Utiliser la Théorie de l'Esprit pour Arbitrer entre Apprentissage Social et Non-social

Énoncé du Problème

L'apprentissage social permet aux agents d'acquérir des informations auprès d'autrui, pourtant les humains ne s'y appuient pas de manière indiscriminée. Ils doivent décider quand observer, qui observer et combien de temps observer, en équilibrant le gain potentiel d'information contre les coûts cognitifs et temporels de l'observation par rapport à l'exploration indépendante. Les modèles computationnels existants de l'apprentissage social se divisent généralement en deux catégories :

1. Comptes heuristiques : Ils reposent sur des règles fixes (ex: « copier la majorité » ou « copier le prestigieux ») et traitent le comportement observé comme un signal à pondérer, ignorant les états mentaux génératifs (objectifs et croyances) qui ont produit ce comportement.
2. Comptes d'Apprentissage par Renforcement (RL) : Ils pondèrent l'information sociale en fonction de la fiabilité estimée de la source (volatilité), mais traitent de la même manière le comportement comme un signal bruité plutôt que comme une preuve d'états mentaux sous-jacents.

Les deux approches peinent à expliquer l'apprentissage efficace à partir d'observations rares et indirectes où l'inférence critique n'est pas ce que l'agent a fait, mais pourquoi il l'a fait (c'est-à-dire ses objectifs et ses croyances). De plus, bien que la littérature sur la recherche active d'information traite du compromis coût-bénéfice des requêtes non sociales, étendre cela aux sources sociales est complexe car l'informativité d'une observation dépend des objectifs et des croyances latents de l'agent observé, qui peuvent différer de ceux de l'observateur.

Méthodologie

Paradigme Expérimental

Les auteurs ont introduit un nouveau jeu de type "grid-world" (12x11) pour créer des compromis paramétrables entre apprentissage social et non social.

• Configuration : Un "agent rouge" contrôlé par l'humain doit récupérer un coffre au trésor spécifique. Le chemin est bloqué par des barrières colorées nécessitant des amulettes correspondantes détenues par des sorciers spécifiques (parmi des leurres).
• Mécanique : À chaque pas de temps, l'agent peut soit agir (se déplacer d'un pas, entraînant un coût de 3 points) soit observer un Personnage Non-Joueur (PNJ) sélectionné (entraînant un coût de 1 point par pas, durant lequel seul le PNJ se déplace).
• Variables : L'étude a fait varier :
  • Incertitude de l'Objectif : Coffres uniques vs multiples (Expériences 1 vs 2).
  • Disponibilité de l'Agent : Un seul PNJ vs plusieurs PNJ (Expérience 3).
  • Expertise de l'Agent : Expert (connaît l'emplacement de l'amulette) vs Novice (ne le connaît pas) (Expérience 4).
• Structure des Coûts : Le mouvement coûte 3 points, l'interaction avec le sorcier coûte 5 points, et l'observation coûte 1 point. Les participants étaient incités à minimiser le coût total.

Le Modèle de Mentalisation Rationnelle

Les auteurs proposent un modèle de Mentalisation Rationnelle qui intègre la Théorie de l'Esprit (ToM) Bayésienne avec une analyse rationnelle coût-bénéfice. Le modèle fonctionne en comparant l'utilité attendue d'observer un agent par rapport à l'action immédiate.

1. Modèle Génératif de l'Agent Observé : L'observateur modélise le PNJ comme un planificateur quasi-optimal dans un environnement partiellement observable. L'observateur maintient une distribution postérieure sur les objectifs ($g$) et les colances ($b$) latents du PNJ en utilisant un filtre particulaire (Recherche de Plan Inversée Séquentielle, SIPS).
2. Simulation et Prédiction : Pour chaque hypothèse $\theta = (g, b)$, l'observateur simule la trajectoire future du PNJ en utilisant une politique de Boltzmann. Il prédit :
   • $T^i$ : Le nombre de pas d'observation requis pour que la trajectoire du PNJ réduise l'ensemble des candidats de l'observateur à un seul sorcier (ou infirme l'hypothèse).
   • $C^i_{plan}$ : Le coût de l'exploration résiduelle que l'observateur devrait faire face après avoir acquis cette information.
3. Arbitrage d'Utilité : Le modèle calcule le coût attendu de l'observation de l'agent $j$ :
   $$Q^j_{obs}(t) = \sum_i p^i_t [c_{obs} T^i + C^i_{plan}]$$
   où $p^i_t$ est le poids postérieur de l'hypothèse $i$.
   L'observateur compare cela au coût de l'action immédiate, $C_{self}(b_t)$ (estimé via un planificateur glouton/greedy).
   • Si $Q^j_{obs}(t) < C_{self}(b_t)$, le modèle observe l'agent $j$.
   • Sinon, il agit.
   • Dans les contextes multi-agents, le modèle sélectionne l'agent $j^*$ qui minimise $Q^j_{obs}(t)$.

Études d'Ablation

Pour isoler les contributions de composants spécifiques, les auteurs ont comparé le modèle complet contre trois ablations :

• Observateur Rationnel : Effectue l'analyse coût-bénéfice mais manque de ToM (ne déduit pas les objectifs/croyances).
• Observateur de Mentalisation : Déduit les objectifs/croyances mais manque d'estimation d'utilité (ne pèse pas le coût de l'observation contre le coût de l'exploration).
• Observateur Naïf : Observe de manière indiscriminée selon des règles fixes (ex: regarder jusqu'à la première interaction avec le sorcier) sans inférence ni raisonnement de coût.

Résultats Clés

Ajustement Quantitatif

À travers quatre expériences de complexité croissante, le modèle de Mentalisation Rationnelle a atteint une haute fidélité pour capturer le comportement d'observation humain :

• Corrélation : Les corrélations de Pearson par expérience variaient de $r = 0,90$ à $0,95$.
• Concordance : Le coefficient de corrélation de concordance de Lin (CCC) agrégé était de 0,89 (IC 95 % [0,84, 0,92]), approchant la limite supérieure de la fiabilité inter-participants humains ($r_{SB} = 0,83-0,92$).
• Comparaison : Tous les modèles d'ablation ont performé de manière nettement inférieure (CCC $\leq 0,21$).

Motifs Qualitatifs et Insights d'Ablation

• Incertitude de l'Objectif (Exp 2) : Lorsque l'objectif du PNJ était ambigu, les humains et le modèle complet observaient plus longtemps pour lever l'ambiguïté. L'Observateur de Mentalisation observait de manière excessive car il pouvait raisonner sur les objectifs mais échouait à peser le coût de l'observation par rapport au bénéfice. L'Observateur Rationnel observait de manière insuffisante car il ne pouvait pas anticiper que la trajectoire du PNJ serait informative.
• Sélection d'Agent (Exp 3) : Lorsque deux experts étaient présents, les humains et le modèle complet observaient sélectivement l'agent dont la trajectoire était la plus susceptible d'être informative pour l'objectif spécifique de l'observateur. Les Observateurs Naïf et Rationnels ne parvenaient pas à distinguer les agents, tandis que l'Observateur de Mentalisation identifiait l'agent informatif de manière directionnelle mais échouait à allouer le temps d'observation efficacement.
• Calibration de l'Expertise (Exp 4) : Lorsqu'un expert et un novice étaient présents, les humains et le modèle complet changeaient dynamiquement d'observation en fonction de l'environnement (ex: observer le novice lorsque son chemin était plus diagnostique dans des cartes de sorciers éparses). L'Observateur de Mentalisation observait excessivement le novice dans les cas où le gain d'information ne justifiait pas le coût. L'Observateur Rationnel et l'Observateur Naïf revenaient par défaut vers l'expert, échouant à utiliser le signal contrefactuel du novice.

Observation vs Exécution

Le modèle complet a correctement reproduit le couplage positif entre les étapes d'observation et d'exécution trouvé dans les données humaines (plus d'observation est corrélé à plus d'étapes d'exécution). Les observateurs de Mentalisation et Naïfs ont inversé cette relation (pentes négatives), tandis que l'Observateur Rationnel présentait une pente positive plus faible avec un intervalle de confiance incluant zéro.

Signification et Revendications

L'article affirme que l'apprentissage social sélectif est guidé par la Théorie de l'Esprit au service de la maximisation de l'utilité.

1. Intégration de la ToM et de l'Utilité : L'étude démontre que ni la ToM seule, ni l'analyse coût-bénéfice seule ne sont suffisantes. Les humains (et le modèle) nécessitent les deux : la capacité d'inférer les états mentaux génératifs d'autrui pour prédire l'informativité, et la capacité d'arbitrer ce gain potentiel contre le coût de l'observation.
2. Au-delà de la Fiabilité du Signal : Contrairement aux comptes de RL qui arbitrent en fonction de la fiabilité de la source (volatilité), ce modèle montre que l'arbitrage dépend des objectifs inférés de la source. Le comportement d'un agent n'est informatif que si ses objectifs s'alignent ou interagissent de manière significative avec les objectifs de l'observateur.
3. Vision Générative du Comportement : Les résultats soutiennent la vue selon laquelle le comportement observé doit être traité comme une preuve concernant les objectifs et les croyances qui l'ont produit, plutôt que comme un signal fixe. Cela permet un apprentissage efficace à partir de données rares et indirectes où les agents ont des objectifs différents.
4. Mécanisme Unifié pour la Confiance Sélective : L'article suggère que la "confiance sélective" (préférer les experts) et l' "observation sélective" (choisir qui regarder) peuvent être les produits d'une inférence bayésienne unifiée sur les modèles d'agents, plutôt que de systèmes cognitifs distincts.

Les auteurs notent des limites, notamment le fait que le modèle traite l'observation comme le seul canal social (ignorant la communication/pédagogie) et suppose des essais indépendants sans accumulation de priors spécifiques à l'agent. De plus, le modèle sous-estime systématiquement la quantité absolue d'observation pratiquée par les humains, suggérant un rôle pour la curiosité intrinsèque ou la collecte d'évidences conservatrice au-delà de la stricte maximisation de l'utilité. Cependant, le modèle capture avec succès les motifs relatifs de la prise de décision humaine dans des environnements d'apprentissage social complexes.