💬 NLP

MafiaScope: Non-Invasive, Time-Resolved Belief Probing for LLM Agents in Social Deduction Games

MafiaScope est un banc d'essai ouvert qui permet un sondage non invasif et résolu dans le temps des croyances privées des agents LLM lors de jeux de déduction sociale, révélant d'importantes erreurs de calibration et fournissant des outils pour visualiser et rejouer de manière contrefactuelle les trajectoires de raisonnement des agents.

Auteurs originaux : Ilia Karpov

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ilia Karpov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un groupe d'agents IA jouant à une partie de Mafia à enjeux élevés. Dans ce jeu, quelques joueurs sont des membres secrets de la "Mafia" qui se connaissent et tentent de tuer les "Villageois" innocents pendant la nuit, tandis que les Villageois tentent de découvrir l'identité des tueurs pendant la journée. Habituellement, quand nous regardons l'IA jouer, nous ne voyons que le tableau des scores final : qui a gagné, qui a été éliminé par vote, et qui a menti. C'est comme regarder un tour de magie et ne voir que le tour final, sans aucune idée de la façon dont les mains du magicien ont bougé.

MafiaScope est un nouvel outil qui agit comme un casque de "lecture de pensée" magique pour ces agents IA. Mais attention, il y a un piège : il est non invasif. Chaque fois qu'un agent IA dit quelque chose à voix haute au groupe, le système fait une pause discrète, pose à l'agent une question secrète sur ce qu'il croit réellement, puis supprime immédiatement cette réponse pour qu'elle n'influence plus jamais le jeu.

Voyez cela comme une émission de télé-réalité où, après chaque confession dramatique, la caméra coupe vers une pièce privée pour demander au candidat : « D'accord, qui pensez-vous vraiment être le tueur en ce moment ? » Le candidat répond, la caméra enregistre, puis la réponse est enfermée dans un coffre-fort. Le candidat n'entend jamais sa propre réponse secrète, il ne peut donc pas modifier son comportement en fonction de celle-ci. Cela permet aux chercheurs de voir les véritables pensées de l'agent par rapport à ses mensonges publics.

Qu'ont-ils réellement découvert ?

Les chercheurs ont lancé 32 parties en utilisant un modèle d'IA spécifique (DeepSeek) et ont collecté plus de 13 800 de ces réponses secrètes. Voici ce que les données ont révélé :

L'illusion du "Projecteur" : Les agents innocents sont terribles pour deviner ce que les autres pensent d'eux. Ils croient être suspectés 1,5 fois plus souvent qu'ils ne le sont réellement. C'est comme entrer dans une fête et avoir l'impression que tout le monde vous regarde à cause de votre coiffure bizarre, alors qu'en réalité, personne n'a remarqué. Le papier suggère que c'est une version "machine" d'un biais psychologique humain appelé "l'effet de projecteur". Curieusement, les véritables agents de la Mafia étaient bien meilleurs à cela ; ils savaient exactement quand ils étaient en sécurité et quand ils étaient en danger.
La confiance est un bluff : Quand les agents disaient être "très confiants" dans leurs suppositions, ils étaient souvent dans l'erreur. Le papier a mesuré cela à l'aide d'une métrique appelée Erreur de Calibration Attendue (Expected Calibration Error), qui s'est élevée à 0,17. En français courant, si un agent dit : « Je suis sûr à 80 % que cette personne est de la Mafia », il n'a raison que dans environ 54,6 % des cas. Ce sont des bluffeurs trop sûrs d'eux, et non des prédicteurs précis.
La vérité est une montagne russe : Les croyances des agents ne se sont pas stabilisées pour atteindre une vérité constante. Au contraire, leurs niveaux de suspicion étaient volatiles. En moyenne, le "suspect principal" d'un agent changeait lors de 48,7 % des vérifications secrètes. Ils tournaient autour de la vérité plutôt que de s'y fixer.
Mentir fonctionne (parfois) : Les agents de la Mafia ont gagné 31 parties sur 32 dans cette étude spécifique. L'outil a montré que la Mafia a réussi à maintenir les Villageois dans la confusion, même si les Villageois devenaient meilleurs pour deviner au fil du jeu (leur précision est passée de 47,6 % au tour 0 à 75,4 % au tour 3).

Ce qu'ils ont explicitement écarté

Le papier est très prudent pour ne pas survendre ces résultats.

Ce n'est pas un problème "résolu" : Les auteurs affirment explicitement que ces conclusions décrivent cette configuration spécifique avec ce modèle d'IA spécifique. Ils ne prétendent pas que tous les agents IA sont trop sûrs d'eux ou que tous les joueurs de Mafia IA sont aussi performants.
Ce n'est pas de la "lecture de pensée" au sens philosophique : Le papier soutient l'idée que ces agents n'ont pas de "croyances" profondes et humaines. Au lieu de cela, ils traitent les réponses comme des "rapports opérationnels" : essentiellement, l'IA prédit simplement ce qu'elle dirait si on lui demandait, ne révélant pas nécessairement une âme.
Ce n'est pas une garantie de vérité : Le papier note que, puisque les agents s'auto-évaluent, ils pourraient mentir au sondage lui-même. Cependant, ils ont constaté que les réponses secrètes des agents correspondaient étroitement à leur comportement de vote public (dans 64,9 % des votes d'innocents, l'agent a voté pour son suspect secret principal), ce qui suggère que les rapports sont au moins cohérents avec leurs actions.

À quel point sommes-nous sûrs ?

Le papier utilise beaucoup le mot "suggère", surtout concernant le pourquoi de ces comportements.

L'expérience du "Moment Pivot" : Les chercheurs ont tenté de voir si le changement d'une seule phrase dans le jeu changerait l'issue. Ils ont lancé une simulation où ils ont "fourché" le jeu (créé 30 chronologies parallèles) pour voir ce qui se serait passé si un joueur spécifique n'avait pas dit une chose précise.
- Ils ont découvert que corriger un mensonge spécifique (par un joueur nommé Finley) suggérait que cela aurait pu changer l'issue, faisant passer la probabilité qu'un Villageois soit éliminé de 0,4 à 0,8.
- Cependant, le papier admet que ce n'est pas prouvé statistiquement. Avec seulement 5 répétitions par scénario, la différence n'était pas assez grande pour être sûre à 100 % (la valeur p statistique était d'environ 0,52, ce qui n'est pas significatif). Ils montrent que l'outil fonctionne pour identifier ces moments, mais pas qu'ils ont définitivement résolu le mystère de cette partie spécifique.

La vue d'ensemble

MafiaScope n'est pas une baguette magique qui répare l'IA. C'est un microscope. Avant cela, nous ne voyions que le vote final de l'IA. Désormais, nous pouvons voir le processus de pensée désordonné, confus, trop sûr de lui et parfois brillant qui se déroule entre les votes.

L'outil permet aux chercheurs d'observer la "trajectoire de croyance" — comment l'esprit d'un agent change seconde après seconde. Il montre que, bien que l'IA puisse jouer au jeu, elle ne "sait" souvent pas ce qu'elle sait. Elle devine, elle devient trop confiante, et elle pense parfois que tout le monde la regarde alors que ce n'est pas le cas.

Le papier conclut en rendant l'outil, le visualiseur et les données disponibles pour que quiconque puisse les utiliser. C'est une invitation ouverte à observer l'esprit de l'IA en temps réel, prouvant que dans le monde de l'IA, ce que vous dites et ce que vous pensez sont souvent deux choses très différentes.

Résumé Technique : MafiaScope

Énoncé du Problème

Les évaluations actuelles des agents de modèles de langage étendus (LLM) dans les jeux de déduction sociale (ex. : Mafia, Loup-Garou) reposent principalement sur des mesures de résultats tels que les taux de victoire ou la précision des votes. Ces approches ne parviennent pas à révéler la « Théorie de l'Esprit » (ToM - Theory of Mind) interne des agents. Un agent peut voter correctement par simple supposition, ou mentir efficacement sans pour autant révéler ses véritables croyances. De plus, les benchmarks statiques de la ToM (ex. : vignettes ou dialogues scriptés) ne peuvent pas capturer la manière dont le modèle d'un agent vis-à-vis des autres évolue dynamiquement au sein d'une interaction antagoniste qu'il provoque partiellement. Les travaux existants plaçant des LLM dans des jeux extraient le raisonnement à l'intérieur du contexte du jeu, où l'acte de questionnement modifie le comportement ultérieur, ou n'évaluent que le résultat final, laissant l'état de croyance comme une « boîte noire ».

Méthodologie

Le présent article introduit MafiaScope, un banc d'essai non invasif et résolu dans le temps, conçu pour mesurer la ToM des machines en sondant les croyances privées des agents sans altérer leur état de jeu. Le système fonctionne via trois couches découplées :

Moteur de Jeu : Une implémentation standard de la Mafia supportant des compositions de LLM hétérogènes (via des API compatibles OpenAI, des modèles locaux ou des processus HTTP externes). Les agents sont paramétrés par backend, langue et un vecteur de personnalité du Big Five.
Moteur de Sondage d'Introspection : Après chaque énoncé public et chaque action nocturne privée, le moteur met le jeu en pause et interroge en privé chaque agent encore en vie.
- Non-Invasivité : Les sondages s'exécutent sur une copie jetable de la liste des messages de l'agent. Les questions et les réponses n'existent que pour la durée de la passe de sondage et ne sont jamais réécrites dans le contexte persistant de l'agent ni ne réintègrent la boucle de jeu.
- Sondage Structuré : Les sondages sont définis via un DSL YAML supportant le déclenchement conditionnel, le chaînage (en utilisant les réponses précédentes analysées) et des budgets de jetons.
- Sondages par Défaut : Le système inclut six sondages : role_beliefs (croyances sur les rôles), role_assessment (évaluation des rôles), suspicion_ranking (classement des suspicions), planned_action (action prévue), social_map (croyances de second ordre : « ce que les autres pensent de moi ») et personality_profile (profil de personnalité).
- Notation : Les réponses sont analysées sous forme de JSON et notées automatiquement par rapport à la vérité de terrain du moteur (rôles connus) ou par rapport aux propres rapports de premier ordre de l'agent à la même étape.
Pipeline de Données et Visualiseur : Une application D3 d'une seule page qui affiche :
- Mode Imprégnation (Impersonate Mode) : Ré-affiche le jeu du point de vue d'un agent spécifique, contrastant ses attentes de second ordre (« Cru/Croyance ») avec les rapports de premier ordre réels des autres (« Réel »).
- Métriques et Calibration : Tracé en temps réel de la précision de premier ordre, du rappel de la foule, de la cohérence de second ordre et des courbes de calibration (confiance déclarée vs précision réelle).
- Rejouabilité Contrefactuelle : Permet de « bifurquer » l'état du jeu à n'importe quelle étape pour re-simuler la suite $N$ fois, générant une distribution de résultats pour attribuer des énoncés pivots.

Contributions Clés

Moteur de Sondage Configurable : Un DSL basé sur YAML qui produit des journaux de croyances indexés de manière complète en format JSONL avec déclenchement conditionnel et chaînage, permettant une mesure dense et résolue dans le temps.
Visualiseur Interactif : Un outil d'inspection longitudinale des croyances comprenant des vues d'imprégnation, des panneaux de calibration, des superpositions de tromperie et des capacités de rejouabilité contrefactuelle.
Étude de Cas et Expérience de Rejeu : Une étude de 32 parties avec des modèles DeepSeek (13 815 réponses de sondage analysées) et une expérience de rejeu à 30 bifurcations démontrant des analyses invisibles pour une évaluation basée uniquement sur les résultats.

Résultats

L'étude de cas, se concentrant sur les agents DeepSeek, a produit plusieurs conclusions spécifiques concernant la dynamique des croyances :

F1 (Trajectoires de Croyance) : Les agents du côté des villageois commencent largement agnostiques (74,9 % d'« Inconnu » au tour 0) et s'engagent dans des croyances de plus en plus précises à mesure que les preuves s'accumulent (la précision engagée passant de 47,6 % à 75,4 % au tour 3).
F2 (Calibration) : Les agents sont mal calibrés. La confiance déclarée porte peu de signal en dessous du quartile supérieur ; la précision reste plate (43–46 %) pour des niveaux de confiance de 40 à 79. L'erreur de calibration attendue (ECE) est de 0,168, indiquant une sur-précision plutôt qu'une surestimation.
F3 (Croyances de Second Ordre) : Les agents sur-prédisent significativement être suspects. Ils prédisent des « suspects » 1,53 fois plus souvent que la suspicion ne se produit réellement. Cet « effet de projecteur » est piloté par les agents innocents (sur-prédiction de 1,84x), tandis que les agents de la Mafia sont presque calibrés (1,08x).
F4 (Couplage de Vote) : Les croyances sondées suivent les votes. Les agents innocents votent pour leur suspect principal 64,9 % du temps. Cependant, les agents de la Mafia ne votent pas selon leur « ensemble engagé » privé (s'alignant au niveau du hasard), indiquant qu'ils déconnectent stratégiquement leurs votes publics de leurs croyances privées.
F5 (Sensibilité de la Mesure) : Les budgets de jetons impactent significativement la qualité des données. Un budget hérité de 400 jetons a causé la troncature de 73 % des réponses, nécessant une réparation JSON ; l'augmentation des budgets à 960 jetons a éliminé la troncature.
Dynamique des Croyances : Les agents présentent une haute « volatilité de suspicion » (décalage L1 moyen de 0,300) et changent fréquemment de suspect principal (48,7 % des paires consécutives), revenant souvent à des suspects précédemment abandonnés, suggérant une dynamique de circularité plutôt que de convergence.

L'expérience de rejeu contrefactuel (30 bifurcations) a démontré la capacité du flux de travail à isoler les énoncés pivots, bien que la signification statistique soit limitée par la taille de l'échantillon ( $N=5$ par bras).

Signification

MafiaScope fournit un instrument novateur pour étudier la trajectoire des croyances sondées en privé plutôt que simplement les résultats de jeu. Sa signification réside dans :

Mesure Non-Invasive : Il garantit que les réponses aux sondages n'influencent pas le comportement futur de l'agent, une distinction critique par rapport aux méthodes de raisonnement en contexte.
Résolution Temporelle Dense : Il capture la révision des croyances au niveau d'un seul énoncé, permettant de localiser exactement quand et comment les croyances basculent.
ToM Opérationnelle : Il traite les réponses aux sondages comme des rapports de croyances opérationnels avec des structures prédictives vérifiables, applicables même aux modèles d'API fermés où les activations internes sont inaccessibles.
Analyse Contrefactuelle : Il permet d'attribuer les résultats à des énoncés spécifiques en re-simulant les continuations de jeu, allant au-delà de la corrélation pour estimer l'impact causal (bien que l'article note les limites actuelles de la bifurcation par simple rejeu).

L'article positionne MafiaScope non pas comme une preuve définitive de la conscience des LLM ou d'une ToM parfaite, mais comme un outil pour exposer les mécanismes de la tromperie, de la calibration et de l'évolution des croyances, en publiant le moteur, le visualiseur et un corpus de plus de 200 jeux inter-modèles sous une licence ouverte.