🤖 machine learning

Intention Inference Under Execution Noise: Separating Aleatoric and Epistemic Uncertainty in Social Dilemmas

Cet article propose un cadre de processus de décision markovien partiellement observable (POMDP) au sein de l'inférence active pour distinguer l'intention hostile de l'erreur d'exécution dans les dilemmes sociaux bruyants, démontrant que si l'inférence d'intention améliore la coopération contre des adversaires conditionnels, l'inférence mutuelle sous un bruit élevé peut paradoxalement déclencher un effondrement corrélé par les croyances.

Auteurs originaux : Kival Mahadew, Jonathan Shock

Publié 2026-08-04

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kival Mahadew, Jonathan Shock

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous jouiez à un jeu de « Confiance » avec un ami. Vous avez tous les deux un objectif secret : coopérer et partager un gros prix. Mais voici le piège : le jeu se déroule via un talkie-walkie qui présente parfois des dysfonctionnements. Vous avez peut-être l'intention de dire « Je te fais confiance », mais les interférences inversent votre message, et votre ami entend « Je suis en train de te voler ton prix ». Votre ami doit alors prendre une décision cruciale : avez-vous réellement essayé de le voler, ou s'agit-il d'une mauvaise connexion ? S'il suppose que vous êtes un voleur à chaque fois que la ligne grésille, il cessera de vous faire confiance pour toujours, et vous perdrez tous les deux le prix. C'est le cœur d'un célèbre puzzle de la théorie des jeux appelé le Dilemme du Prisonnier, mais avec une variante complexe et bruyante. Les scientifiques se demandent depuis longtemps comment construire des robots ou des IA capables de déterminer si un « mauvais mouvement » était une erreur ou une trahison, surtout quand le monde est rempli de statique. S'ils se trompent, ils pourraient déclencher une réaction en chaîne de colère qui détruirait la coopération.

Cet article plonge précisément dans ce problème. Les auteurs, Kival Mahadewa et Jonathan Shock, posent la question suivante : comment un agent peut-il distinguer un accident dû au bruit d'une intention malveillante ? Ils proposent une nouvelle façon d'aborder ces jeux, en traitant l'intention comme un secret caché et l'action comme un indice bruyant. Ils ont découvert que, si cette approche de « lecture de pensée » fonctionne brillamment lorsqu'on joue contre un ami qui veut coopérer, elle peut en réalité être contre-productive si les deux joueurs tentent de lire l'esprit de l'autre dans un monde très bruyant. Dans ces cas-là, les deux joueurs peuvent rester bloqués dans une boucle où ils devinent tous deux correctement que l'autre est en colère, ce qui entraîne un effondrement total de la confiance. Il s'avère que être trop doué pour deviner les intentions peut parfois être un piège si le bruit est trop fort.

L'histoire du talkie-walkie défectueux

Posons le décor. Imaginez deux agents (appelons-les « Robo-A » et « Robo-B ») jouant à un jeu appelé le Dilemme du Prisonnier Itéré. Dans ce jeu, ils se relaient pour choisir soit de Coopérer (être gentil), soit de Défectionner (être égoïste). S'ils coopèrent tous les deux, ils gagnent tous les deux gros. Si l'un défectionne pendant que l'autre coopère, le défecteur gagne énormément et le coopérateur perd. S'ils défectionnent tous les deux, ils reçoivent tous les deux une petite récompense décevante.

Maintenant, imaginez qu'ils jouent à ce jeu via un talkie-walkie qui a un problème de « statique ». Disons que la statique inverse leur message prévu 10 % du temps. Robo-A a l'intention d'appuyer sur le bouton « Coopérer », mais la statique l'inverse, et Robo-B voit un signal « Défection ».

Voici le problème : Robo-B ne sait pas si Robo-A a voulu être méchant ou si la statique a simplement fait des dégâts.

L'ancienne méthode (MDP) : Les modèles informatiques standards traitent le signal « Défection » comme un fait. Ils pensent : « Robo-A vient de me trahir ! » et ripostent immédiatement. Cela mène à une spirale de colère où ils continuent de se punir pour des erreurs qui ne se sont jamais produites.
La nouvelle méthode (POMDP) : Les auteurs suggèrent un modèle plus intelligent. Au lieu de simplement regarder le signal, le robot devrait deviner quelle était l'intention. Il se demande : « Étant donné que j'ai vu un signal de 'Défection', et que je sais que le talkie-walkie est défectueux, est-il plus probable que Robo-A ait été méchant, ou était-ce juste de la statique ? »

Le robot « lecteur de pensée »

Les auteurs ont construit un robot en utilisant un cadre appelé Inférence Active. Voyez ce robot comme un détective qui essaie constamment de résoudre deux mystères à la fois :

Que cherche mon ami à faire en ce moment ? (Est-ce une erreur ou une trahison ?)
Comment mon ami apprend-il ? (Si je coopère, apprendra-t-il à coopérer en retour ?)

Le robot possède une « fonction de coût » spéciale (une façon de noter ses décisions) qui équilibre deux désirs :

Valeur Pragmatique : « Je veux obtenir la meilleure récompense tout de suite. » (Ne pas se faire piéger !)
Valeur Épistémique : « Je veux apprendre la vérité. » (Je dois tester si mon ami est réellement gentil ou s'il fait juste semblant.)

En équilibrant ces éléments, le robot peut dire : « J'ai vu un signal de 'Défection', mais mon ami coopère habituellement, et la statique est élevée. Je vais supposer que c'était une erreur et essayer de coopérer à nouveau pour voir ce qui se passe. » C'est une façon fondée sur des principes de « pardonner » sans être une proie facile.

Le retournement de situation surprenant : Quand la lecture de pensée se retourne contre soi

L'article a fait tourner des milliers de simulations pour voir comment ce nouveau robot se comporte face à différents types d'adversaires.

Scénario 1 : Jouer contre un adversaire « Gentil » (Tit-for-Tat)
Lorsque le robot joue contre un adversaire programmé pour coopérer à moins d'être provoqué, le nouveau robot « lecteur de pensée » est une superstar. Il identifie correctement que la plupart des signaux de « Défection » sont de la simple statique. Il pardonne les erreurs, continue de coopérer, et obtient un score bien plus élevé que l'ancien robot qui « suppose le pire ». Il apprend le schéma de l'adversaire et s'installe dans un rythme de coopération heureux.

Scénario 2 : Jouer contre un « Copieur » (Auto-jeu)
C'est ici que cela devient étrange. Les auteurs ont fait jouer deux de ces nouveaux robots « lecteurs de pensée » l'un contre l'autre.

À faible bruit (talkie-walkie très clair), ils comprennent tous deux que l'autre est gentil et coopèrent parfaitement.
Mais à fort bruit (talkie-walkie très défectueux), quelque chose d'étrange se produit. Les robots commencent à s'effondrer.

Pourquoi ? Parce qu'ils sont trop doués pour leur travail.
Imaginez que le Robot A voie un signal de « Défection ». Il pense : « Hmm, le bruit est élevé, mais mon ami a agi bizarrement ces derniers temps. Peut-être est-il vraiment en colère ? » Il décide de riposter. Le Robot B voit la riposte du Robot A, pense : « Oh, il est certainement en colère maintenant », et riposte à son tour.
Parce que les deux robots essaient d'inférer l'intention réelle de l'autre, ils créent accidentellement une boucle de rétroaction. Ils devinent tous deux correctement que l'autre est réellement hostile (parce que le premier a effectivement riposté), donc ils continuent de se battre. Le « bruit » n'a pas seulement causé un malentendu ; il a provoqué un effondrement par les croyances. Ils ont cessé de coopérer non pas parce qu'ils étaient confus, mais parce qu'ils étaient trop sûrs que l'autre était méchant.

Le seuil critique

L'article calcule un « point de bascule » spécifique pour le bruit.

Si le bruit est inférieur à 10 % (spécifiquement entre 0,05 et 0,10 dans leurs calculs), les robots peuvent généralement faire la différence entre une erreur et une trahison.
Si le bruit dépasse 15 %, les robots ne peuvent plus maintenir la coopération l'un contre l'autre. L'« intention de coopération » devient si improbable que les robots décident : « Ce n'est pas une erreur ; ils essaient clairement de me nuire », et ils passent en mode défense permanente.

Les auteurs ont trouvé que cet effondrement ne vient pas du fait que les robots sont mauvais en mathématiques ; c'est parce que les mathématiques sont trop précises. Dans un monde bruyant, si deux agents essaient tous deux de deviner les pensées cachées de l'autre, ils peuvent accidentellement se convaincre que l'autre est un méchant, même s'ils ont tous deux commencé avec l'intention d'être amis.

Ce que cela signifie

L'article ne prétend pas avoir résolu le problème de la coopération pour toujours. Au contraire, il montre que la façon dont nous représentons le monde importe.

Si vous traitez les actions comme des faits (l'ancienne méthode), vous devenez confus et coléreux trop facilement.
Si vous traitez les actions comme des indices bruyants d'intentions cachées (la nouvelle méthode), vous pouvez être beaucoup plus intelligent et conciliant.
Mais, si tout le monde utilise la stratégie de « lecture de pensée » dans un environnement très bruyant, vous risquez un « effondrement de la confiance » où tout le monde devine correctement que tout le monde est en colère, et l'ensemble du système se brise.

Les auteurs suggèrent que cette « inférence d'intention » est un outil puissant, mais qu'elle a une limite. Elle fonctionne très bien lorsque vous jouez contre quelqu'un qui veut coopérer, mais elle est fragile lorsque tout le monde essaie de deviner l'esprit des autres dans un monde chaotique. C'est un rappel que, parfois, savoir trop de choses sur ce que les autres pourraient penser peut en réalité nous rendre moins enclins à leur faire confiance.

Résumé Technique : Inférence de l'Intention sous Bruit d'Exécution

Énoncé du Problème

Dans les dilemmes sociaux tels que le Dilemme du Prisonnier Itéré (DPI), la stabilité de la coopération repose sur la capacité des agents à observer de manière fiable les choix de leurs partenaires. Cependant, sous l'effet d'un bruit d'exécution, les actions intentionnelles sont stochastiquement corrompues avant d'être réalisées (par exemple, une intention de coopérer est exécutée comme une défection). Cela crée un problème d'attribution : une défection observée peut résulter d'une intention hostile ou simplement d'une erreur d'action.

Les formulations standard des Processus de Décision Markoviens (MDP) traitent les actions exécutées comme l'espace d'état. Ce choix structurel empêche de distinguer l'intention de l'exécution, forçant les agents à traiter toutes les défections observées comme délibérées. Par conséquent, les agents standards font preuve d'une sur-rétaliation systématique, déstabilisant la coopération. Bien que des stratégies de pardon ingénierées (comme le Tit-pour-( ${Generous}$ Tit-for-Tat) offrent des correctifs pratiques, elles manquent d'un compte rendu principled de la quantité de pardon justifiée par l'évidence et ne peuvent pas s'adapter à des adversaires spécifiques. Les approches d'apprentissage par renforcement échouent souvent à modéliser les intentions latentes, menant à la même incapacité structurelle à émettre l'hypothèse qu'un adversaire « avait l'intention de coopérer mais a exécuté incorrectement ».

Méthodologie

Les auteurs proposent une formulation de Processus de Décision Markoviens Partiellement Observables (POMDP) résolue au sein du cadre de l'Inférence Active (AIF).

1. Le POMDP d'Intention Latente

L'innovation centrale consiste à séparer l'incertitude aléatoire (bruit d'exécution) de l'incertitude épistémique (incertitude sur l'intention).

États ( $S$ ) : Codent les actions intentionnelles conjointes (états latents) avant exécution (ex: $CC$, $CD$, $DC$, $DD$).
Observations ( $O$ ) : Correspondent aux actions exécutées conjointes, qui sont des versions bruitées des états.
Modèle d'observation ( $A$ ) : Un canal symétrique binaire fixe avec un paramètre de bruit $\epsilon$ , mappant les états intentionnels vers les actions observées.
Modèle de transition ( $B$ ) : Encode la politique réactive de l'adversaire (comment sa prochaine intention dépend du résultat conjoint précédent). Cette matrice est inconnue et apprise en ligne.
Préférences ( $C$ ) : Log-préférences sur les observations dérivées de la structure des gains (ex: $T > R > P > S$ ).

2. Solution par Inférence Active

L'agent minimise l'Espérance de l'Énergie Libre (G), qui se décompose en deux composantes :

Valeur Pragmatique : Pousse l'agent vers des observations préférées et à haut rendement (exploitation).
Valeur Épistémique : Pousse l'agent vers des actions de recherche d'information pour résoudre l'incertitude. Celle-ci se divise en deux :
- Gain d'information sur l'état : Réduction de l'incertitude concernant l'intention latente actuelle de l'adversaire.
- Gain d'information sur les paramètres : Réduction de l'incertitude concernant le modèle de transition de l'adversaire (politique réactive).

3. Apprentissage en Ligne

L'agent apprend la politique réactive de l'adversaire ( $B$ matrix) via une accumulation de comptages de Dirichlet. Les mises à jour de croyance sur les états cachés fournissent un signal d'entraînement « propre » pour les comptages de Dirichlet, découplant l'apprentissage de la stratégie de l'adversaire du bruit d'exécution. Cela crée un système couplé où l'estimation précise des intentions améliore l'apprentissage de la politique, et l'apprentissage précis de la politique améliore l'estimation des intentions.

Contributions Clés

Formulation POMDP : Une séparation novatrice entre le bruit d'exécution aléatoire et l'incertitude épistémique sur l'intention, avec des préférences cohérentes avec les structures de gains.
Mécanisme d'Apprentissage en Ligne : Couplage de l'inférence d'état avec l'apprentissage de modèle via les postulats de Dirichlet, permettant à l'agent d'apprendre activement la politique réactive de l'adversaire à travers le bruit.
Analyse du Seuil Critique de Bruit : Dérivation d'un seuil théorique régissant l'effondrement de la coopération. Les auteurs identent que la coopération échoue non pas parce que les agents ne peuvent pas distinguer le bruit de l'hostilité (discriminabilité), mais parce que la probabilité de persistance de l'intention coopérative à travers l'horizon de planification chute en dessous d'un point critique.
Validation Empirique : Démonstration que la valeur de l'inférence d'intention est dépendante du contexte, montrant des avantages contre des adversaires réciproques mais une fragilité sous une inférence mutuelle à haut niveau de bruit.

Résultats

Performance contre différents adversaires

Auto-jeu (POMDP vs POMDP) :
- À faible bruit ( $\epsilon \le 0.10$ ), le POMDP maintient une coopération quasi parfaite, surpassant la base de référence MDP.
- À un seuil critique ( $\epsilon \in [0.10, 0.15]$ ), le POMDP subit un effondrement brutal et catastrophique de la coopération. Cela est dû à des dynamiques de croyance corrélées : lorsqu'un agent rétalie à cause du bruit, l'autre infère correctement une intention hostile et rétalia, créant une spirale auto-renforcée.
- La base de référence MDP se dégrade graduellement sans seuil brutal, car elle manque de la couche d'intention latente pour déclencher ce type de cascade de croyances.
vs Tit-for-Tat (TFT) :
- Le POMDP maintient un avantage constant à tous les niveaux de bruit. Comme la politique de TFT est stationnaire, la dynamique de croyance de l'agent focal ne déstabilise pas l'adversaire, évitant l'effondrement corrélé observé en auto-jeu.
vs Win-Stay Lose-Shift (WSLS) :
- Les deux formulations s'effondrent dans l'exploitation (cycles DC/DD) pour tout $\epsilon > 0$ . La disposition indulgente du POMDF retarde cette transition, résultant en des scores légèrement inférieurs à ceux du MDP, qui s'adapte plus vite pour exploiter WSLS.

Mécanisme d'Échec

L'analyse de la décomposition de l'Espérance de l'Énergie Libre révèle que dans le POMDP, le modèle d'observation connu absorbe le bruit, permettant au gain d'information sur l'état de converger vers zéro. En revanche, le MDP souffre d'une incertitude d'état irréductible, menant à une indécision persistante et des politiques non engagées.

Le seuil critique de bruit est dérivé comme étant le point où la probabilité de survie de la coopération ( $p_t(CC)^h$ ) tombe en dessous de 0.5. Au-delà de ce point, l'hypothèse « hostile » devient l'explication la plus probable pour les défections observées sur l'horizon de planification, faisant de la rétaliation une réponse rationnelle même si l'agent peut parfaitement distinguer le bruit de l'intention.

Signification et Revendications

L'article affirme que le choix de représentation de ce qui constitue un état versus une observation détermine si une coopération principielle sous bruit est structurellement possible.

Nécessité de Représentation et de Drive : Les avantages de la coopération proviennent spécifiquement de l'interaction entre la structure POMDP (qui isole le bruit aléatoire) et le drive épistémique (qui sonde activement la politique de l'adversaire). Ni composante seule ne suffit ; supprimer les termes épistémiques élimine la trajectoire « explorer-puis-s'engager », tandis que l'utilisation du POMDP sans drive épistémique ne produit aucune amélioration.
Valeur Contextuelle : L'inférence d'intention est bénéfique contre des adversaires réciproques mais devient un handicap dans les scénarios d'auto-jeu à haut bruit où l'inférence mutuelle crée une boucle de rétroaction de rétaliation.
Structure Stratégique : L'avantage est spécifique aux jeux où l'attribution d'intention est décisionnelle (ex: DPI où $T > R$ ). Dans les jeux comme le Chasse au Cerf ( $T < R$ ), où il n'y a pas de tentation d'exploiter, le POMDP et le MDP performent de manière similaire, car la distinction entre erreur et intention est moins conséquente.
Limites : Les auteurs notent que l'effondrement brutal en auto-jeu est une propriété de l'inférence mutuelle plutôt qu'un défaut du modèle lui-même. Le modèle suppose un adversaire à politique stationnaire ; lorsque les deux agents co-évoluent, cette hypothèse est violée, menant à une erreur de spécification du modèle. L'article suggère que des mécanismes d'oubli ou de détection de changement de point pourraient atténuer cela dans des travaux futurs.

En conclusion, l'article soutient qu'une inférence précise sous le bruit est limitée par le contexte dans lequel elle opère : bien que la séparation du bruit et de l'intention permette une coopération robuste contre des stratégies fixes ou réciproques, elle introduit une fragilité dans les contextes mutuels où l'inférence mutuelle peut déclencher une transition auto-renforcée vers la défection mutuelle.