Résumé technique : Jeux à paramètres en source ouverte (Parametric Open-Source Games)

Énoncé du problème

La théorie des jeux en source ouverte (open-source) étudie traditionnellement des contextes où les agents peuvent inspecter les procédures de décision internes de leurs adversaires. Dans les cadres classiques (ex. Tennenholtz, 2004 ; Fortnow, 2009), les agents soumettent des programmes symboliques qui peuvent conditionner leurs actions en fonction du code de l'adversaire. Bien que ce paradigme permette des résultats distincts des équilibres de Nash standards — tels que la coopération conditionnelle ou la punition — il repose fortement sur des modèles discrets, symboliques ou de théorie de la preuve.

À l'inverse, les systèmes modernes d'apprentissage multi-agents sont généralement continus, différentiables et paramétrés par des vecteurs de haute dimension (ex. réseaux de neurones profonds). La littérature existante sur les jeux différentiables suppose généralement que la politique d'un joueur dépend uniquement de ses propres paramètres, ignorant la possibilité de se conditionner sur l'état interne d'un adversaire. Il existe une lacune dans la littérature pour un modèle qui préserve la caractéristique fondamentale de la « source ouverte » (comportement dépendant de la description interne de l'adversaire) tout en restant compatible avec les outils d'optimisation continue utilisés dans l'apprentissage automatique moderne.

Méthodologie

Les auteurs introduisent les Jeux à paramètres en source ouverte (Parametric Open-Source Games), un analogue continu des équilibres de programmes.

1. Cadre formel :

   • Le cadre est un jeu fini en forme normale $G = (N, (S_i), (u_i))$.
   • Chaque joueur $i$ sélectionne un vecteur de paramètres $\theta_i$ issu d'un ensemble convexe compact $\Theta_i$.
   • Une application de sémantique $\phi_i: \Theta \to \Delta(S_i)$ est définie, qui est une fonction continue convertissant le profil de paramètres complet $\theta = (\theta_1, \dots, \theta_n)$ en une action mixte pour le joueur $i$.
   • Le gain induit est $U_i(\theta) = u_i(\phi_1(\theta), \dots, \phi_n(\theta))$.
   • Le jeu est dit en source ouverte si $\phi_i$ dépend de $\theta_{-i}$ (les paramètres des adversaires) ; sinon, il est en source fermée.
   • Un Équilibre de Nash de Programme Paramétrique (PPNE) est défini comme un profil $\theta^*$ où aucun joueur ne peut améliorer unilatéralement son gain induit en modifiant son vecteur de paramètres.

2. Familles de sémantiques :

   • Sémantique Sigmoïde : Dans les jeux symétriques $2 \times 2$ avec les actions $\{C, D\}$, la probabilité de coopération est modélisée par $p_i(\theta) = \sigma(\theta_i + \gamma \theta_{-i})$, où $\sigma$ est la fonction sigmoïde et $\gamma \geq 0$ représente la force de couplage (dépendance de la source ouverte).
   • Sémantique Neurale : Pour permettre des dépendances plus riches et non linéaires tout en préservant l'interprétabilité, les auteurs proposent $p_i(\theta) = \sigma(\alpha \theta_i + \beta \theta_{-i} + h(\theta; W))$. Ici, $\alpha$ et $\beta$ sont des scalaires apprenables représentant la sensibilité aux paramètres de soi-même et de l'adversaire, respectivement. Le réseau résiduel $h$ ajoute de la non-linéarité mais est contraint de sorte que sa dérivée du premier ordre s'annule à l'origine, garantissant que la structure d'incitation locale est régie par le ratio $\beta/\alpha$.

3. Outils d'analyse :

   • Dynamiques d'apprentissage : Les auteurs analysent l'ascension de gradient projetée égoïste ($\theta_i^{t+1} = \Pi[\theta_i^t + \eta \nabla_{\theta_i} U_i]$).
   • Vérification de l'équilibre : Puisque l'ascension de gradient dans ces modèles converge souvent vers la frontière de l'espace des paramètres, les auteurs développent un test de frontière unidimensionnel (Théorème 4) pour vérifier si un point de frontière (ex. $(B, B)$) est un PPNE en vérifiant si des déviations unilatérales sont profitables.

Contributions clés et résultats

1. Existence et formalisation

L'article établit que le jeu paramétrique induit est continu sur un domaine compact, garantissant l'existence d'un équilibre de Nash en stratégies mixtes via le théorème de Glicksberg. De plus, sous des conditions de quasi-concavité, un PPNE pur existe via le théorème de Kakutani.

2. Transition de phase dans la sémantique sigmoïde

Pour les jeux symétriques $2 \times 2$ (Dilemme du prisonnier, Chasse au cerf, Poulet, Dilemme du prisonnier dur), les auteurs dérivent un seuil de couplage exact $\gamma^*$ :
$$\gamma^* = \frac{T + P - R - S}{R + T - P - S}$$
où $R, S, T, P$ sont les gains standards de la coopération mutuelle, de l'exploitation, de la tentation et de la défection mutuelle.

• Résultat : Si le couplage $\gamma < \gamma^*$, l'ascension de gradient égoïste près de l'origine ($\theta=0$) tend vers une coopération moindre (défection). Si $\gamma > \gamma^*$, la dynamique bascule vers une coopération accrue.
• Vérification empirique : Des expériences confirment que la transition empirique de la probabilité moyenne de coopération s'aligne étroitement sur le $\gamma^*$ analytique à travers quatre jeux canoniques.

3. Caractérisation de l'équilibre de frontière

L'article fournit une condition nécessaire et suffisante pour que les points de frontière soient des PPNE. Plus précisément, un candidat de frontière $(B, B)$ est un PPNE si la dérivée du gain par rapport au paramètre d'un joueur est non négative partout sur l'intervalle $(-B, B)$ lorsque l'adversaire est fixé à $B$.

• Constat : Dans le Dilemme du prisonnier, la sémantique en source ouverte avec un couplage suffisant déplace la meilleure réponse vers la frontière de coopération ($(B, B)$), tandis que la sémantique en source fermée la déplace vers la frontière de défection ($-B, -B$).

4. Sémantique neurale et ratios de sensibilité

L'étude étend les conclusions à la sémantique neurale.

• Critère local : L'incitation locale à la coopération est régie par le ratio de la sensibilité de l'adversaire par rapport à la sensibilité de soi-même ($\beta/\alpha$). La coopération devient localement attractive quand $\beta/\alpha > \gamma^*$.
• Barrière d'optimisation : Les expériences avec des sémantiques neurales apprises conjointement révèlent que, bien que la classe de modèles puisse représenter une dépendance de source ouverte coopérative, l'apprentissage par gradient échoue souvent à la découvrir à partir d'un « démarrage à froid » (initialisé à $\alpha=\beta=0$). Cependant, des « démarrages à chaud » initialisés au-dessus du seuil parviennent avec succès à converger vers des régimes coopératifs de haut niveau. Cela suggère que le seuil agit comme une barrière d'optimisation, et non seulement comme une limite de représentation.

Signification et affirmations

L'article affirme que les jeux à paramètres en source ouverte constituent un pont entre les équilibres de programmes symboliques et l'optimisation continue différentiable. La principale signification réside dans la démonstration que :

1. Remodelage qualitatif : L'accès aux paramétrisations internes (couplage de source ouverte) peut remodeler qualitativement les dynamiques d'apprentissage et les structures d'équilibre, orientant l'optimisation égoïste vers des résultats coopératifs dans des jeux où les équilibres de Nash standards prédisent la défection.
2. Tratabilité analytique : Le raisonnement stratégique en source ouverte n'a pas besoin d'être lié à des représentations symboliques ; une fois encodé via une application de sémantique continue, ces effets peuvent être analysés à l'aide des outils standards de l'optimisation continue.
3. Ratio de sensibilité : Le mécanisme qui conduit à la coopération est la sensibilité relative de la politique d'un agent aux paramètres de l'adversaire par rapport à ses propres paramètres. Cela est vrai tant pour les couplages linéaires simples que pour les sémantiques neurales complexes.

Les auteurs maintiennent un champ d'application modeste, notant que les modèles sont idéalisés (accès complet aux paramètres, deux joueurs symétriques, jeux à un coup). Ils postulent que ce cadre sert de point de départ interprétable pour comprendre comment la transparence sur les représentations internes affecte les incitations dans les systèmes multi-agents paramétriques, plutôt que de revendiquer une applicabilité immédiate à des environnements séquentiels complexes du monde réel.