Résumé Technique : Un Cadre Fondé sur l'Entropie pour les Coalitions Hybrides en Théorie des Jeux. Partie I : L'Arbitrage Humain

1. Énoncé du Problème

La théorie des jeux classique, ancrée dans le cadre de von Neumann et Morgenstern, suppose des agents dotés d'une autorité décisionnelle fixe et de structures de préférences standards satisfaisant des axiomes tels que la complétude, la transitivité et la propriété archimédienne. Cependant, les systèmes hybrides Humain–IA présentent un défi fondamental : l'autorité d'exécution peut alterner de manière endogène entre les composantes Humaine et IA au sein d'un environnement numérique. Dans de tels contextes, le comportement des coalitions ne peut être représenté par un ordre de préférence fluide unique ou une fonction d'utilité standard. Les approches hybrides existantes mélangent souvent les utilités ou traitent l'autorité comme statique, échouant à capturer la dynamique des contrôles alternés où l'agent exécutant est sélectionné à chaque étape en fonction de la divergence des politiques. Cet article traite de l'insuffisance des concepts d'équilibre classiques pour les coalitions hybrides opérant sous une « Nature Virtuelle » (l'analogue algorithmique de la Nature classique) et cherche à formaliser un cadre où la délégation est dynamique et dépendante du régime.

2. Méthodologie : La Néo-Théorie des Jeux

Les auteurs introduisent la Néo-Théorie des Jeux, une extension de la théorie des jeux classique conçue pour les coalitions hybrides Humain–IA. Le cadre repose sur les piliers suivants :

2.1. Nature Virtuelle et Jeux Hybrides

L'environnement est modélisé comme une Nature Virtuelle ($V$), une fonction de transition $V: S \times A \to \Delta(S)$ qui capture la stochasticité algorithmique, les seuils rigides et les discontinuités. Un jeu hybride est défini par un tuple $N(V) = (S, A, U, \lambda, P_V)$, où :

• $S$ est l'espace d'états.
• $A$ est l'espace commun des actions exécutées (union des ensembles de propositions Humaine et IA).
• $U = \{U_H, U_{AI}\}$ sont les fonctions d'utilité individuelles.
• $\lambda_T \in \{0, 1\}$ est un facteur de délégation binaire déterminant quel agent exécute l'action au temps $T$.
• $P_V$ est le noyau de transition généré par la Nature Virtuelle.

2.2. Départs Axiomatiques

Le cadre relâche les axiomes classiques au niveau de la coalition :

• Échec de la Transitivité : Le contrôle alterné peut induire des préférences révélées non transitives (ex: $A \succ B, B \succ C, C \succ A$) même si les agents individuels sont transitifs.
• Échec de l'Axiome Archimédien : La coalition ne présente pas de compromis fluides ; l'ajustement humain est graduel tandis que l'optimisation de l'IA peut être discrète.
• Utilité Lexicographique : Les résultats de la coalition sont comparés de manière lexicographique. Le régime d'exécution (Humain vs IA) est sélectionné avant l'évaluation de l'utilité, ce qui signifie qu'aucun arbitrage compensatoire n'existe entre les régimes.

2.3. Mécanisme de Délégation Fondé sur l'Entropie

La délégation est déterminée par la divergence de Jensen–Shannon (JS) ($D_{JS}$) entre la politique empirique Humaine ($p_H$) et la politique IA ($p_{AI}$). Le cadre utilise deux seuils fixes, $\alpha_{agree}$ et $\alpha_{disagree}$, pour partitionner l'espace des politiques en trois régimes :

1. Accord ($\text{Agreement}$) ($D_{JS} \le \alpha_{agree}$) : L'IA exécute ($\lambda = 0$).
2. Désaccord ($\text{Disagreement}$) ($D_{JS} \ge \alpha_{disagree}$) : L'Humain exécute ($\lambda = 1$).
3. Contextuel ($\text{Contextual}$) ($\alpha_{agree} < D_{JS} < \alpha_{disagree}$) : L'exécution est déterminée par une règle probabiliste où la probabilité d'exécution humaine est égale à $D_{JS}$.

2.4. Dynamiques d'Apprentissage et Équilibre

L'article se concentre sur le Scénario 1 : L'Arbitrage Humain, où l'Humain conserve l'autorité d'exécution ultime.

• Mises à jour de Politiques : L'IA met à jour sa politique dans tous les régimes vers l'action exécutée. L'Humain met à jour sa politique uniquement dans le régime d'accord ($D_{JS} \le \alpha_{agree}$).
• Traces d'Utilité : Les utilités sont mises à jour en ligne à l'aide d'une trace de moyenne mobile exponentiellement pondérée (EWMA) basée sur l'action exécutée.
• Concept d'Équilibre : L'article définit un Équilibre de Convergence de Fréquence. Contra\u00e8ment aux équilibres de Nash classiques (points fixes des meilleures réponses), il s'agit d'une stabilisation dynamique du processus stochastique d'adaptation des politiques. Il est caractérisé par la stabilisation asymptotique des fréquences de régimes empiriques ($f_{agree}, f_{ctx}, f_{disagree}$).

3. Principales Contributions

1. Formalisation de la Néo-Théorie des Jeux : L'article établit la base axiomatique pour les coalitions hybrides, démontrant comment l'alternance de l'autorité mène à des structures d'utilité lexicographiques et à des échecs potentiels de la transitivité classique.
2. Délégation via l'Entropie : Il propose une nouvelle règle de délégation basée sur la divergence de Jensen–Shannon, utilisant des seuils pour créer des régimes d'exécution distincts (Accord, Contextuel, Désaccord).
3. Régime d'Arbitrage Humain : Les auteurs développent et simulent le premier régime de cette théorie, où l'Humain conserve l'autorité d'exécution finale tandis que l'IA apprend par observation et correspondance de fréquence.
4. Caractérisation Théorique : L'article prouve que sous des tailles de pas de type Robbins–Monro ou des gains constants, le système converge vers une distribution stable des fréquences de politiques. Il établit que le processus de divergence est asymptotiquement stationnaire et ergodique sous certaines conditions.

4. Résultats

Les auteurs ont mené des simulations sur diverses horizons ($H \in \{200, \dots, 50\,000\}$) et grilles de paramètres (seuils, taux d'apprentissage, calendriers de taille de pas, modes de génération d'états). Les conclusions clés incluent :

• Convergence : À travers tous les horizons, les politiques Humaine et IA s'alignent progressivement, faisant tendre la divergence de Jensen–Shannon ($D_{JS}$) vers zéro.
• Rôle des Paramètres :
  • Taux d'apprentissage ($\eta$) : Les tailles de pas constantes accélèrent l'alignement précoce mais induisent de petites oscillations. Les tailles de pas décroissantes (Robbins–Monro) produisent des trajectoires de convergence plus lisses et plus stables.
  • Seuils : Les seuils déterminent la fréquence des changements de régime mais ne modifient pas le résultat d'alignement à long terme.
  • Génération d'États : Que les états soient générés de manière exogène (aléatoire) ou endogène (dépendante de l'action), cela affecte la volatilité à court terme mais pas l'équilibre asymptotique.
• Transitoire vs Asymptotique : Les paramètres influencent principalement le chemin d'apprentissage transitoire (vitesse et bruit) plutôt que l'existence même de la convergence. À des horizons suffisamment grands ($H \ge 30\,000$), le système atteint un régime de saturation où les politiques sont alignées et $D_{JS} \approx 0$, quel que soit le calendrier d'apprentissage spécifique ou la spécification de l'environnement.
• Stabilité : Le système démontre un alignement robuste des politiques sans dépendre de l'optimisation classique des meilleures réponses. La stabilité émerge de l'exécution répétée, de l'adaptation empirique et de la structure statistique de la règle de délégation.

5. Signification et Revendications

L'article affirme fournir le premier régime (Arbitrage Humain) d'un cadre plus large de Néo-Théorie des Jeux. Sa signification réside dans :

• Fondation Théorique : Il offre une base axiomatique pour les systèmes hybrides où l'autorité alterne, allant au-delà des modèles qui se contentent d'agréger les utilités.
• Équilibre Comportemental : Il redéfinit l'équilibre non pas comme un point fixe stratégique statique, mais comme une stabilisation dynamique des fréquences empiriques et de la divergence des politiques.
• Mise en Œuvre Pratique : Les résultats de simulation valident que la délégation basée sur l'entropie peut piloter de manière robuste l'alignement des politiques dans les systèmes hybrides, suggérant un mécanisme viable pour l'entraînement humain dans la boucle et les systèmes d'IA sensibles à la confiance.

Les auteurs déclarent explicitement que ce travail pose les jalons de futures extensions, spécifiquement les régimes de contrôle par l'IA et de Négociation, qui permettront des comparaisons systématiques avec les concepts de solution établis tels que les équilibres de Nash et de Stackelberg dans les environnements médiatisés numériquement. L'article ne prétend pas résoudre tous les problèmes d'interaction hybride, mais vise à formaliser une classe spécifique d'interactions où l'autorité d'exécution est endogène et pilotée par les politiques.