📈 economics

The Learning Approach to Games

Cet article propose un cadre unifié qui redéfinit les jeux à travers les structures internes des joueurs fondés sur l'apprentissage plutôt que par des stratégies scalaires, permettant une analyse plus approfondie des comportements dynamiques et établissant des liens plus étroits avec l'apprentissage par renforcement, l'équilibre corrélé et la théorie du champ moyen.

Auteurs originaux : Melih İşeri, Erhan Bayraktar

Publié 2026-02-04

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Melih İşeri, Erhan Bayraktar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée maîtresse : Arrêtez de regarder l'échiquier, regardez le joueur

Imaginez que vous regardez une partie d'échecs. La théorie des jeux traditionnelle (l'ancienne façon d'étudier les jeux) est comme un arbitre debout au-dessus du plateau. L'arbitre ne s'intéresse qu'aux pièces, aux règles et au score final. Il se demande : « Si les deux joueurs jouent parfaitement, où la partie va-t-elle aboutir ? » Il suppose que les joueurs sont de simples machines qui effectuent toujours le mouvement mathématiquement « optimal » pour atteindre un état stable.

Cet article soutient que cette vision oublie la partie la plus importante : le cerveau du joueur.

Les auteurs, Melih İşeri et Erhan Bayraktar, affirment que les vrais joueurs (qu'ils soient humains ou des IA avancées) ne sont pas de simples calculateurs. Ils sont complexes, désordonnés et apprennent constamment. Ils ont des pensées internes, des suppositions sur ce que l'adversaire pense, et ils changent d'avis. Si vous ne regardez que les règles du jeu, vous passez à côté du drame des joueurs qui tentent de se tromper, de tromper l'autre et de s'adapter mutuellement.

Le nouveau cadre : Construire le « Joueur » en premier

Au lieu de commencer par le jeu, les auteurs commencent par définir ce qu'est un Joueur. Considérez un joueur non pas comme un simple bouton sur lequel on appuie, mais comme une usine complexe dotée de trois départements principaux :

Les Sens (Observations) : Le joueur voit le monde. Dans un jeu, il s'agit de voir le plateau ou le dernier mouvement de l'adversaire.
Le Cerveau (Estimations) : C'est la partie fascinante. Le joueur ne se contente pas de voir ; il devine. Il devine ce que l'adversaire fera ensuite. Il devine à quoi ressemblera le futur. Il peut avoir une douzaine de différents « moteurs de supposition » tournant en même temps, certains disant « L'adversaire est agressif », d'autres disant « L'adversaire a peur ».
Les Mains (Comportement) : Sur la base de ces suppositions, le joueur décide de ce qu'il doit faire.

L'article explique que pour comprendre un jeu, il faut comprendre comment cette usine fonctionne. Il faut observer comment le « Cerveau » met à jour ses suppositions en fonction de ce que les « Sens » perçoivent, et comment cela modifie les « Mains ».

Pourquoi la « Stabilité » n'est pas toujours l'objectif

Dans la théorie des jeux traditionnelle, tout le monde veut atteindre un « Équilibre de Nash ». Imaginez une danse où tout le monde s'arrête de bouger parce qu'ils sont parfaitement synchronisés. Personne ne veut changer de pas car cela ruinerait la danse.

Les auteurs disent : « C'est ennuyeux, et ce n'est pas ainsi que fonctionne la vraie compétition. »

Ils utilisent l'exemple de Pierre-Papier-Ciseaux.

L'ancienne méthode : La stratégie « parfaite » consiste à choisir Pierre, Papier ou Ciseaux de manière aléatoire (1/3 de chance pour chaque). Si vous faites cela, personne ne peut vous battre. Vous êtes « inexploitable ».
La nouvelle méthode : Si vous participez à un tournoi et que vous jouez uniquement de manière aléatoire, vous ne gagnerez jamais. Vous ferez juste des matchs nuls. Pour réellement gagner, vous devez être plus intelligent. Vous devez deviner ce que fait votre adversaire et ensuite le tromper. Peut-être que vous prétendez être prévisible pour l'attirer, puis vous changez de stratégie pour le prendre au dépourvu.

L'article soutient que dans une véritable compétition, les joueurs sont constamment en train de danser, de changer de pas et de tenter de se duper les uns les autres. Ils ne cherchent pas une danse stable ; ils cherchent un avantage.

L'« Équilibre Incertain »

Les auteurs introduisent un nouveau concept appelé Équilibre Incertain.

Voyez cela comme une prévision météorologique plutôt qu'une carte fixe.

Vue ancienne : « Il pleuvra à 14h00. » (Fixe, certain).
Nouvelle vue : « Il y a 60 % de chances qu'il pleuve, mais si le vent tourne, cela pourrait monter à 90 %. » (Incertain, dynamique).

Dans leur modèle, un joueur ne choisit pas seulement une stratégie. Il possède une collection de différents scénarios de type « et si... » dans sa tête. Il peut tester une stratégie, voir qu'elle échoue, mettre à jour ses scénarios de type « et si... » et essayer autre chose. Un « Équilibre Incertain » est un état où les joueurs passent constamment par ces stratégies, ne se fixant jamais complètement, mais trouvant un rythme où ils reviennent de façon répétée vers certains mouvements.

Un exemple de jeu simple : Le Chat et la Souris

Pour prouver leur point, les auteurs ont créé un jeu minuscule et simple avec deux joueurs :

Le Joueur 1 veut être dans l'État 1.
Le Joueur 2 veut être dans le même état que le Joueur 1.

S'ils jouaient simplement la stratégie mathématique « parfaite », ils resteraient bloqués dans une boucle où aucun ne gagne. Mais quand les auteurs ont programmé les joueurs avec leur nouveau modèle d'« usine » (avec apprentissage et supposition), les joueurs ont commencé à faire quelque chose de sauvage :

Le Joueur 2 faisait semblant de rester sur place pour piéger le Joueur 1.
Le Joueur 1 réalisait le piège et changeait de tactique.
Ils se poursuivaient, changeant d'avis toutes les quelques secondes.

Le jeu ne s'est pas stabilisé dans un schéma calme et ennuyeux. Il est devenu une danse dynamique et changeante. Cela a montré que le jeu est défini par la capacité des joueurs à apprendre et à changer, et non par les seules règles sur le plateau.

L'idée du « Champ Moyen » : La Foule

L'article examine également les jeux impliquant des milliers de joueurs (comme le trafic ou les marchés boursiers). C'est ce qu'on appelle le « Champ Moyen » (Mean-Field).

Ancienne méthode : On essaie de calculer ce que fait chaque personne. Impossible.
Nouvelle méthode : On imagine un « Joueur Représentatif ». Ce joueur observe la foule et se dit : « Tout le monde semble faire X ». Le joueur apprend ensuite comment réagir à cette foule.

Les auteurs montrent que même dans une foule, si vous donnez au « Joueur Représentatif » un cerveau qui apprend et qui suppose, vous obtenez des motifs intéressants que les modèles mathématiques simples ne voient pas.

Le lien avec l'IA (Apprentissage par Renforcement)

Enfin, l'article relie cela à l'IA moderne (comme l'IA qui joue aux jeux vidéo).

Vieille IA : « Voici une récompense pour gagner. Trouve le chemin vers la récompense. » (Comme un chien qui court après une friandise).
Nouvelle vision (issue de cet article) : L'IA construit un modèle interne complexe. Elle ne se contente pas de courir après une friandise ; elle construit une carte du monde, devine ce que les autres joueurs pensent et planifie plusieurs étapes à l'avance.

Les auteurs concluent que pour comprendre véritablement comment les agents intelligents (humains ou robots) interagissent, nous ne pouvons pas nous contenter de regarder les règles du jeu. Nous devons regarder à l'intérieur de l'« usine » du joueur et voir comment ils apprennent, supposent et s'adaptent.

Résumé en une phrase

Au lieu de traiter les joueurs comme de simples robots qui suivent des règles pour trouver une solution stable, cet article les traite comme des êtres complexes qui apprennent, qui supposent, qui trompent et qui s'adaptent constamment, créant un jeu dynamique bien plus intéressant et réaliste que ce que les modèles mathématiques traditionnels permettent.

Résumé Technique : L'Approche de l'Apprentissage des Jeux

Énoncé du Problème
La théorie des jeux traditionnelle et la littérature sur l'apprentissage multi-agents modélisent généralement les joueurs comme des entités externes dont les stratégies sont assignées des valeurs scalaires, utilisant des concepts d'équilibre (ex. : équilibre de Nash, équilibre corrélé) pour identifier des choix compatibles. Les auteurs soutiennent que cette approche néglige la structure interne des joueurs, échouant à modéliser avec précision les comportements observés, particulièrement dans des contextes compétitifs complexes. Les concepts d'équilibre standards supposent souvent la convergence et la stabilité, alors que la compétition réelle implique fréquemment des stratégies dynamiques, de la tromperie et l'évitement actif de l'équilibre pour obtenir un avantage. De plus, les cadres existants peinent à combler le fossé entre la conception d'environnements externes et la conception des agents d'apprentissage complexes eux-mêmes, en particulier lorsque de multiples décideurs sophistiqués interagissent.

Méthodologie
Le papier propose un cadre unifié qui redéfinit les jeux en termes des joueurs eux-mêmes plutôt qu'en tant que contextes externes. La méthodologie centrale implique :

Définition Abstraite d'un Joueur : Un joueur est défini comme un tuple $(O, L_\phi, \Upsilon)$ composé de :
- Observations ( $O$ ) : Une séquence d'observations de l'environnement.
- Algorithme d'Apprentissage ( $L_\phi$ ) : Un mécanisme qui met à jour une collection d'estimations ( $\phi$ ) basées sur les observations et les comportements passés. Ces estimations incluent des objets, des relations, des probabilités de transition, des coûts, des valeurs et des comportements d'adversaires.
- Comportement ( $\Upsilon$ ) : Une application des estimations vers les actions.
  Le cadre modélise explicitement la complexité interne des joueurs, incluant leur capacité à former des estimations hiérarchiques (objets, relations, prédictions) et leur utilisation du caractère aléatoire (ex. : dans l'estimation de la valeur) pour faciliter l'exploration.
Équilibre Incertain : Les auteurs introduisent un nouveau concept d'équilibre, l'« Équilibre Incertain », adapté aux joueurs possédant une dynamique d'apprentissage interne. Contra irement aux équilibres standards qui se concentrent sur des distributions de stratégies statiques, ce concept exige :
- Optimalité : Les joueurs doivent approcher des contrôles optimaux compte tenu de leurs estimations actuelles.
- Récurrence : Les comportements des joueurs doivent récurer indéfiniment, reconnaissant que les joueurs peuvent cycler à travers des stratégies plutôt que de converger vers un point unique.
- États Psychologiques : Le cadre permet l'incorporation de paramètres « psychologiques », tels que l'attente d'un joueur concernant le meilleur résultat réalisable, ce qui influence l'exploration et le désespoir.
Extensions Discrètes et de Champ Moyen (Mean-Field) :
- Jeux Discrets : Le cadre est appliqué à des contextes discrets, démontrant des connexions avec l'Équilibre Corrélé mais soulignant comment les algorithmes d'apprentissage et la modélisation d'adversaires créent des comportements dynamiques et non stationnaires que les concepts d'équilibre standards ignorent.
- Jeux de Champ Moyen : Les auteurs adaptent le cadre à des contextes de champ moyen où un agent représentatif estime la distribution de la population. Ils construisent des algorithmes d'apprentissage explicites (ex. : itérations de point fixe sur les distributions de population) pour démontrer comment des jeux de champ moyen « déclarés » peuvent engendrer des comportements oscillatoires même lorsque des équilibres relaxés n'existent pas.
Intégration de l'Apprentissage par Renforcement : Le papier passe en revue les méthodes centrales de l'Apprentissage par Renforcement (RL) (basées sur la valeur, sur la politique, Acteur-Critique, basées sur le modèle) à travers ce nouveau prisme, en soulignant que la conception de joueurs implique des couches complexes d'estimation et que la cohérence temporelle est une propriété de la conception plutôt qu'une exigence fondamentale.

Résultats Clés et Illustrations

Jeu de Jouet à Deux Joueurs : Les auteurs présentent un jeu simple à deux joueurs avec un horizon fixe d'une étape. Ils démontrent que bien qu'un équilibre de Nash unique existe, des joueurs sophistiqués employant des algorithmes d'apprentissage ne convergent pas vers celui-ci. Au lieu de cela, ils présentent des dynamiques non stationnaires, ajustant constamment leurs stratégies pour exploiter ou éviter l'adversaire. La simulation montre que la variation de paramètres comme l'incitation ( $c$ ) et l'attente ( $B$ ) mène à des motifs comportementaux complexes et répétitifs plutôt qu'à une convergence statique.
Exemples de Champ Moyen : Dans deux exemples spécifiques de champ moyen, les auteurs montrent que les équilibres relaxés standards peuvent ne pas exister (en raison de coûts discontinus ou de l'absence de points fixes), pourtant l'algorithme d'apprentissage proposé induit un « équilibre incertain » où la distribution de la population oscille entre des états spécifiques indéfiniment souvent.
Implémentation CartPole : Un algorithme d'apprentissage basé sur la valeur pour l'environnement CartPole est implémenté sans les mises à jour Bellman standards. Au lieu de cela, il utilise une collection de réseaux de valeur et promeut la cohérence temporelle post-entraînement, démontrant la flexibilité du cadre dans des contextes à agent unique.

Signification et Revendications
Le papier prétend fournir un langage fondamental pour analyser les jeux en déplaçant l'attention des conditions de compatibilité externes vers la structure interne et les processus d'apprentissage des joueurs.

Recadrage de la Compétition : Les auteurs soutiennent que la compétition est définie non pas par la convergence vers un équilibre, mais par l'effort continu pour l'éviter. Le cadre capture cela en modélisant les joueurs comme des systèmes dynamiques qui estiment, trompent et s'adaptent.
Pont entre Théorie des Jeux et RL : En abstrayant les constructions de l'apprentissage par renforcement dans des définitions de la théorie des jeux, ce travail offre un moyen d'analyser des interactions multi-agents complexes où les agents ne se contentent pas d'optimiser des récompenses scalaires, mais s'engagent dans un apprentissage profond et structuré.
Limites et Portée : Les auteurs notent modestement qu'ils ne conçoivent pas de nouveaux algorithmes d'apprentissage pour des tâches spécifiques, mais qu'ils recadrent des contextes de jeu existants. Ils reconnaissent que modéliser la croissance structurelle complète de l'intelligence (ex. : un enfant acquérant de nouveaux types d'estimations) dépasse le cadre actuel mais représente une direction nécessaire pour les recherches futures. Ce travail sert de point de départ formel pour comprendre comment la conception interne des agents dicte la dynamique émergente des jeux, suggérant que les concepts d'équilibre doivent être réévalués dans le contexte des agents apprenants.