Résumé technique : Tester les décideurs sans contre-factuels

1. Énoncé du problème

L'article traite du défi fondamental consistant à évaluer la qualité de la prise de décision dans des environnements où les contre-factuels ne sont pas observés. Dans de nombreux domaines critiques, tels que la stratégie géopolitique ou la gestion d'entreprise, un décideur (DM - Decision-Maker) agit en situation d'incertitude, et seul l'issue de l'action choisie est observée. Un agent concurrent, le conseiller (AD - Adviser), fournit des recommandations, mais les issues de ces recommandations non choisies restent des contre-factuels non observés.

La question centrale est la suivante : un observateur extérieur, s'appuyant uniquement sur la séquence des décisions observées, des recommandations et des résultats réalisés, peut-il identifier quel agent est le mieux informé ?

L'article formalise le concept de « mieux informé » en utilisant l'ordre de Blackwell : un agent possède l'information de l'autre plus des informations privées additionnelles. Les agents sont modélisés comme stratégiques, avec l'unique objectif d'être sélectionnés comme le « vainqueur » par un test public. Cela induit un jeu à somme nulle entre les agents. L'article étudie si un test de score — une règle qui attribue un score numérique à chaque observation et sélectionne l'agent ayant le score moyen le plus élevé — peut réussir à identifier l'agent le mieux informé en équilibre.

2. Méthodologie et cadre

Structure du modèle

Les auteurs modélisent l'interaction comme un environnement de bandits répétés avec $n$ bras (actions).

• Agents : Un décideur (DM) et un conseiller (AD). L'un détient l'information $r$ (mieux informé), l'autre détient $q$ (moins informé), où $r$ est un raffinement de $q$.
• Observations : À chaque période, le DM choisit un bras $a_{DM}$, et l'AD suggère un bras $a_{AD}$. Seule la réalisation de $a_{DM}$ est observée.
• Incitations : Les deux agents sont purement stratégiques, visant à maximiser leur probabilité d'être sélectionnés par le test. Ils ne se soucient pas du bien-être social, à moins que cela n'affecte le résultat du test.
• Définition du test : Un test de score $s: O \to \mathbb{R}$ attribue un score à chaque triplet de résultats $(a_{DM}, a_{AD}, u_{DM})$. Le vainqueur est déterminé par la moyenne limite de ces scores.

Approche analytique

La contribution méthodologique centrale est la réduction de l'interaction complexe avec information incomplète à une interaction ponctuelle avec information complète.

1. Séparation vs Identification : Les auteurs définissent une fonction de score comme étant séparatrice si elle peut distinguer l'agent mieux informé de l'agent moins informé dans un jeu à somme nulle à un coup.
2. Lemmes d'équivalence :
   • Lemme 1 : Si une fonction de score est séparatrice, le test de score correspondant identifie l'agent le mieux informé dans n'importe quel environnement changeant.
   • Lemme 2 : S'il n'existe aucune fonction de score séparatrice, aucun test de score ne peut identifier l'agent le mieux informé, même dans un environnement fixe.
3. Réduction à l'information complète : Pour déterminer si une fonction est séparatrice, les auteurs analysent le jeu $G(s, p)$ où les deux agents partagent un a priori commun $p$ et n'ont pas de signaux privés.
   • Lemme 3 : Une condition nécessaire pour la séparation est que la valeur du jeu $G(s, p)$ soit nulle pour tous les a priori $p$.
   • Lemme 4 : Sous des hypothèses spécifiques, la séparation exige que la stratégie optimale de l'agent qui tranche l'égalité dans $G(s, p)$ identifie de manière unique le bras maximisant le bien-être pour chaque a priori.

3. Résultats clés

L'article établit une dichotomie entre les contextes de décision simultanés et séquentiels, ainsi qu'un compromis fondamental entre identification et bien-être.

A. Décisions simultanées

Théorème 1 (Résultat positif) : Dans un contexte de décisions simultanées et un environnement changeant, il existe un test de score qui identifie l'agent le mieux informé.

• Mécanisme : Le test proposé attribue un score égal au bien-être réalisé si les agents concordent ($a_{DM} = a_{AD}$) et un score négatif proportionnel au bien-être s'ils divergent.
• Logique : L'agent mieux informé peut garantir un score attendu positif en s'alignant sur l'action de l'agent moins informé lorsqu'elle est optimale, tandis que l'agent moins informé ne peut pas imiter systématiquement ce comportement à travers toutes les structures d'information.

Théorème 2 (Résultat négatif - Compromis de bien-être) : Dans un environnement à deux bras avec des décisions simultanées, aucun test de score ne peut simultanément identifier l'agent le mieux informé et atteindre plus de la moitié du bien-être optimal.

• Implication : Le test qui identifie avec succès le meilleur agent force le DM à un jeu à somme nulle où il doit randomiser ses actions pour empêcher l'exploitation. Cette randomisation conduit à un bien-être sévèrement sous-optimal (approchant la performance d'une supposition aléatoire) dans les scénarios les plus défavorables.

B. Décisions séquentielles

Théorème 3 (Résultat d'impossibilité) : Dans un contexte de décisions séquentielles et un environnement fixe, aucun test de score n'existe pour identifier l'agent le mieux informé.

• Raisonnement : Dans un contexte séquentiel, le suiveur peut toujours réagir au choix du leader. Les auteurs montrent que pour tout test de score, le suiveur peut garantir un score non négatif sans avoir besoin d'aucune information privée, rendant le test incapable de distinguer les niveaux d'information.

Nuance dans les cas particuliers (Bras sûrs vs Risqués) :

• Proposition 1 : Si l'environnement consiste en un bras sûr et un bras risqué, et que l'Adviser agit en premier, l'identification est possible. L'agent mieux informé peut exploiter le manque d'information du DM concernant la réalisation du bras risqué.
• Proposition 2 : Si le Décideur agit en premier dans ce même cadre sûr/risqué, l'identification est impossible. Le choix du bras sûr par le DM cache l'issue contre-factuelle du bras risqué, empêissant l'AD de prouver sa supériorité d'information.

4. Signification et revendications

L'article prétend résoudre la tension entre l'évaluation de la qualité de la décision et l'incitation à un comportement optimal en l'absence de contre-factuels.

1. Faisabilité de l'identification : Les auteurs démontrent que, contrairement à l'intuition selon laquelle les contre-factuels non observés rendent l'évaluation impossible, il est possible d'identifier l'agent le mieux informé dans les contextes simultanés en utilisant des règles de score simples.
2. Le coût de l'identification : L'article souligne une limitation sévère : le mécanisme même qui permet à un observateur d'identifier le meilleur agent (un jeu de score à somme nulle) détruit les incitations de l'agent à maximiser le bien-être. L'article affirme que parvenir à l'identification conduit inévitablement à un équilibre « sous-optimal » où les actions du DM sont dictées par le test plutôt que par le bien-être réel de l'issue.
3. Nature stratégique des données : Le travail souligne que, dans les environnements stratégiques, les données observées par le public sont façonnées par les tentatives des agents de réussir le test. Cela distingue le problème de l'inférence causale non stratégique, où les contre-factuels sont simplement non observés mais non manipulés.
4. Limites des tests de score : Les résultats suggèrent que, si les tests de score sont suffisants pour l'identification dans les contextes simultanés, ils sont fondamentalement insuffisants dans les contextes séquentiels (à moins que des contraintes structurelles spécifiques comme « sûr vs risqué » et l'ordre des mouvements ne soient respectées).

L'article conclut que, bien qu'il soit possible de concevoir un test pour « choisir un vainqueur » basé sur les niveaux d'information, cela se fait au détriment de la performance du décideur, créant un conflit inhérent entre le désir du public de sélectionner un leader capable et la nécessité de garantir de bonnes décisions dans le présent.