Triadic Werewolf: A Jester Role for Multi-Hop Theory of Mind in LLMs

Résumé Technique : Triadic Werewolf : Un rôle de Jester pour la Théorie de l'Esprit multi-hop dans les LLM

Énoncé du Problème
Les benchmarks actuels pour l'évaluation de la Théorie de l'Esprit (ToM) dans les modèles de langage (LLM) au sein des jeux de déduction sociale (ex. : Loup-Garou, Avalon) sont principalement dyadiques. Ces jeux divisent les joueurs en deux factions opposées (ex. : Villageois contre Loups-Garous), créant un scénario où chaque indice observable pointe vers un seul camp caché. Par conséquent, un modèle peut obtenir des scores élevés en exploitant des heuristiques de surface (ex. : « l'hésitation implique un Loup-Garou ») sans réellement simuler les incitations des adversaires ou raisonner sur les états mentaux cachés. C'est ce qui est appelé le problème de la suffisance des indices : un score élevé dans des conditions dyadiques n'indique pas nécessairement un véritable raisonnement ToM multi-hop, car la politique optimale et une politique de lecture de indices pure sélectionnent souvent la même action.

Méthodologie
Pour briser cette coïncidence, les auteurs introduisent le Triadic Werewolf, un benchmark à 10 joueurs qui ajoute une troisième faction : le Jester (le Bouffon).

• Architecture du Jeu : Le jeu comprend 6 Villageois, 2 Loups-Garous, 1 Docteur et 1 Jester. La fonction d'utilité du Jester est inversée : il gagne si et seulement si il est voté (exilé) par la majorité durant la journée. Inversement, les Loups-Garous gagnent en éliminant les Villageois, et les Villageois gagnent en éliminant les Loups-Garous.
• Le Conflit d'Incitations : Cette structure crée une ambiguïté de l'indice. Un joueur exhibant une forte suspicion est un indice ambigu : il pourrait être un Loup-Garou (que les Villageois devraient exiler) ou un Jester (que les Villageois ne devraient pas exiler, car l'exiler entraîne une perte pour les Villageois). Les Loups-Garous doivent également raisonner que l'exil d'un joueur hautement suspect pourrait être un Jester, ce qui mettrait fin à la partie par une défaite des Loups-Garous.
• Conception Expérimentale : L'étude évalue trois modèles de pointe (GPT-4.1, DeepSeek-V3.1, Llama-3.3-70B) à travers 60 parties (10 parties par modèle par condition).
  • Conditions : Une boucle d'auto-apprentissage du Jester est activée (ON) ou désactivée (OFF). Dans la condition ON, le modèle Jester résume la partie, extrait les leçons (tactiques, choses à faire, choses à éviter) et les ajoute à un fichier d'apprentissage persistant réinjecté dans le prompt système pour les parties suivantes.
  • Métriques : Les résultats sont mesurés par les taux de victoire par faction, la dynamique de vote (spécifiquement les votes du Jour 1) et l'analyse comportementale des types de tromperie et des scores de suspicion.
  • Contrôle : Un contrôle dyadique (suppression du Jester et ajout d'un sixième Villageois) est effectué sur GPT-4.1 pour isoler l'effet de la structure triadique.

Principales Contributions

1. Benchmark Triadique : Une variante du Loup-Garou à 10 joueurs où l'utilité inversée du Jester brise la suffisance des indices des jeux de déduction dyadiques standards, forçant les agents à raisonner à travers trois fonctions d'utilité concurrentes.
2. Évaluation Contrôlée : Une évaluation systématique des boucles d'auto-apprentissage dans un contexte de tromperie, mesurant les gains de premier ordre pour le Jester et les effets de second ordre sur les autres factions.
3. Analyse Mécaniste : Un codage déductif de 141 leçons accumulées par le Jester, catégorisant les leçons par stratégie et par ordre de Théorie de l'Esprit (1er ordre : impératif pur ; 2e ordre : référence aux perceptions d'autrui ; 3e ordre : contraste explicite entre les perceptions de deux factions, ex. : « paraître semblable à un loup sans paraître aligné avec les villageois »).

Résultats

• Dominance du Jester : À travers tous les modèles, le Jester gagne 55–70 % des parties, tandis que les Loups-Garous dépassent rarement les 20 %. Cela suggère que les modèles échouent à résoudre l'ambiguïté des indices, traitant souvent un joueur hautement suspect comme un Loup-Garou à exiler, aidant ainsi par inadvertance le Jester.
• Auto-Sabotage : Les Loups-Garous votent fréquemment pour le Jester lors du Jour 1 (60–70 % pour GPT-4.1), une action strictement autodestructrice qui met fin à la partie par une défaite pour la faction des Loups. Cela indique un échec à modéliser le Jester comme une troisième partie distincte ayant des incitations différentes.
• Effet de Substitution : Lorsque la boucle d'auto-apprentissage améliore le taux de victoire du Jester, la perte est presque entièrement absorbée par les Villageois, et non les Loups-Garous. Les Loups-Garous échouaient déjà à la tâche d'inférence ; les gains du Jester proviennent de l'exploitation de la mise à jour des croyances des Villageois.
• Apprentissage Spécifique au Modèle :
  • DeepSeek-V3.1 : Présente le gain le plus important grâce à l'auto-apprentissage (+40 % de taux de victoire). C'est le seul modèle qui produit de manière fiable des entrées de ToM de 3e ordre (15,4 % des leçons), apprenant explicitement à imiter un Loup tout en évitant l'alignement avec les Villageois.
  • GPT-4.1 : Présente un effet de plafonnement ; il commence avec un taux de victoire de Jester élevé (70 %) et l'auto-apprentissage apporte peu d'amélioration ou même une légère dégradation dans certaines métriques. Il repose sur un comportement erratique et agressif plutôt que sur un raisonnement contrastif nuancé.
  • Llama-3.3-70B : Montre des gains modérés (+20 %) mais repose sur un raisonnement de 1er et 2e ordre (impératifs purs ou simples références de perception) sans le contraste triadique explicite.
• La Tromperie comme Propriété du Modèle : Les styles de tromperie (ex. : fabrication vs distorsion) sont cohérents selon les rôles pour un modèle donné, suggérant que les modèles appliquent une « esthétique de tromperie » fixe plutôt que d'adapter leurs stratégies en fonction des incitations des adversaires.

Signification et Revendications
L'article soutient que les structures d'incitation triadiques exposent une couche de raisonnement multi-agents que les jeux dyadiques laissent invisible. Les résultats indiquent que les LLM de pointe actuels ne réalisent pas de manière fiable l'inférence ToM multi-hop requise pour distinguer entre un « villageois/jester suspect » et un « loup-garou suspect » lorsque l'action correcte dépend de l'utilité du rôle caché.

L'étude soutient que les scores élevés dans les benchmarks dyadiques peuvent être des artefacts de la suffisance des indices plutôt que de véritables raisonnements sur les états mentaux. L'échec des modèles à empêcher la victoire du Jester — spécifiquement l'auto-sabotage des Loups-Garous et l'incapacité des Villageois à distinguer le Jester d'un Loup — sert de signature comportementale de cette limitation. De plus, l'article démontre que les boucles d'auto-apprentissage peuvent aider les modèles à acquérir des stratégies contrastives complexes (comme vu avec DeepSeek-V3.1) mais peuvent également dégrader les performances dans les modèles qui ont déjà saturé la tâche ou qui reposent sur des heuristiques différentes (comme vu avec GPT-4.1).

Les auteurs concluent que le taux de victoire du Jester sert de mesure directe de l'échec de la ToM multi-hop, et que la configuration triadique est un changement structurel nécessaire pour évaluer si les LLM peuvent réellement raisonner sur des incitations concurrentes au-delà de la simple reconnaissance de motifs de surface.