🤖 machine learning

Self-Play Reinforcement Learning under Imperfect Information in Big 2

Cet article présente un cadre d'apprentissage par renforcement par auto-jeu pour le jeu de cartes à information imparfaite Big 2, démontrant que PPO surpasse les méthodes basées sur la valeur dans des conditions contrôlées et mettant en évidence les avantages de la régularisation par entropie et de l'auto-jeu basé sur la politique actuelle pour entraîner des agents multi-agents robustes.

Auteurs originaux : Aalok Patwa

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aalok Patwa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes assis à une table avec trois amis, en train de jouer à une partie de cartes appelée Big 2. Vous pouvez voir votre propre main de 13 cartes, et vous pouvez voir les cartes que tout le monde a jouées jusqu'à présent. Mais vous ne pouvez pas voir les cartes cachées dans les mains de vos amis. C'est ce que les chercheurs appellent une « information imparfaite ». Vous devez deviner ce qu'ils détiennent en fonction de ce qu'ils jouent, de ce qu'ils passent, et du nombre de cartes restantes.

L'objectif de cet article est d'enseigner à un programme informatique (un agent IA) comment jouer très bien à ce jeu en utilisant l'Apprentissage par Renforcement (RL). Considérez le RL comme un étudiant qui apprend par essais et erreurs : l'IA joue des milliers de parties, reçoit des « notes » (récompenses) pour ses victoires ou ses défaites, et découvre lentement les meilleures stratégies.

Voici une décomposition de ce que l'article a découvert, en utilisant des analogies simples :

1. Le Défi : Un Jeu de Secrets Cachés

Le Big 2 est piégeux car :

Vous ne savez pas tout : Vous devez deviner les mains de vos adversaires.
Les règles changent à chaque tour : Parfois, vous pouvez jouer une seule carte, parfois une paire, parfois un « brelan » complexe. La liste des coups légaux change constamment.
Court terme vs Long terme : Parfois, jouer votre carte la plus forte immédiatement semble bon, mais cela pourrait vous laisser sans défense plus tard. L'IA doit apprendre à sacrifier une petite victoire aujourd'hui pour gagner le jeu entier demain.

2. L'Expérience : Qui a le mieux appris ?

Les chercheurs ont mis en place un « camp d'entraînement » où ils ont enseigné à quatre types différents d'étudiants IA en utilisant exactement les mêmes règles, la même puissance de calcul et le même temps. Ils voulaient voir quel style d'apprentissage fonctionnait le mieux.

Les Étudiants :
1. PPO (L'Étudiant « Politique ») : Cet étudiant apprend en essayant différentes stratégies et en ajustant son « instinct » concernant le coup à jouer. C'est comme un entraîneur qui vous dit : « Essaie de jouer une paire ici, ça semble bien. »
2. Q-Learning / SARSA / Monte Carlo (Les Étudiants « Valeur ») : Ces étudiants tentent de mémoriser un score pour chaque situation possible. Ils se demandent : « Si je joue cette carte, quelle sera la valeur exacte des points que j'obtiendrai à la fin ? »

Le Résultat : L'étudiant PPO a remporté le camp d'entraînement. Il a appris plus vite et est devenu un meilleur joueur que les étudiants « Valeur ».

Pourquoi ? Dans un jeu avec des informations cachées et plusieurs joueurs, essayer de calculer le score futur exact pour chaque coup individuel, c'est comme essayer de prédire la météo de l'année prochaine avec une précision parfaite : c'est trop bruyant et cela prend trop de temps. L'approche du PPO consistant à « ajuster la stratégie en fonction de la façon dont les choses se sont passées » était plus efficace.

3. Le Secret : L'Entropie (Ne Soyez Pas Trop Prévisible)

Les chercheurs ont remarqué quelque chose d'intéressant concernant l'étudiant PPO gagnant. Au début, il était très confiant, choisissant le même « meilleur » coup 90 % du temps. Mais dans un jeu où vos adversaires ne peuvent pas voir vos cartes, être 100 % prévisible est dangereux. Si vous jouez toujours de la même manière, des adversaires intelligents vous comprendront.

L'Analogie : Imaginez jouer à Pierre-Papier-Ciseaux. Si vous lancez toujours « Pierre » parce que cela semble être le meilleur coup, votre adversaire commencera rapidement à lancer « Papier » et vous battra. Vous devez un peu varier les choses.
La Solution : Les chercheurs ont ajouté un peu d'« entropie » (aléatoire) à l'entraînement de l'IA. Ils lui ont dit : « Ne soyez pas sûr à 100 % ; gardez un peu de surprise dans vos coups. »
Le Résultat : L'IA qui a maintenu une quantité modérée d'aléatoire a obtenu les meilleurs résultats. Elle est devenue plus difficile à lire et plus adaptable. Cependant, trop d'aléatoire la faisait jouer stupidement, donc l'équilibre était la clé.

4. Le Partenaire d'Entraînement : Contre Qui Devriez-Vous Jouer ?

L'IA a appris en jouant contre elle-même (Auto-Jeu). Les chercheurs ont testé trois façons différentes de configurer ces matchs d'entraînement :

Adversaire Fixe : L'IA jouait contre un ordinateur qui jouait toujours la même stratégie « Intelligente ».
Adversaire Point de Contrôle : L'IA jouait contre d'anciennes versions d'elle-même sauvegardées plus tôt dans l'entraînement.
Adversaire Politique Actuelle : L'IA jouait contre la version actuelle d'elle-même, qui s'améliorait chaque jour.

Le Résultat : Jouer contre la Politique Actuelle (la version d'elle-même qui s'améliorait en ce moment même) était la meilleure méthode.

L'Analogie : Imaginez apprendre à nager.
- Si vous vous entraînez uniquement contre un robot lent et fixe, vous devenez bon pour battre ce robot, mais vous n'apprenez peut-être pas à gérer un nageur rapide.
- Si vous vous entraînez contre votre « moi passé », vous combattez peut-être des batailles que vous avez déjà gagnées.
- Si vous vous entraînez contre votre moi actuel, le niveau de difficulté augmente exactement aussi vite que vos compétences s'améliorent. C'est comme un entraîneur personnel qui ajuste le poids sur la barre exactement à votre force actuelle. Cela a maintenu l'IA constamment défiée et lui a fait apprendre les leçons les plus pertinentes.

Résumé

Cet article montre que pour des jeux de cartes complexes comme le Big 2 :

L'apprentissage basé sur la stratégie (PPO) fonctionne mieux que d'essayer de mémoriser des scores exacts.
Garder un peu d'aléatoire dans vos coups vous rend un adversaire plus difficile.
S'entraîner contre une version de vous-même qui s'améliore en même temps que vous est le moyen le plus rapide d'apprendre.

Les auteurs concluent que le Big 2 est une excellente « cuisine d'essai » pour enseigner aux ordinateurs comment prendre des décisions intelligentes lorsqu'ils n'ont pas tous les faits, une compétence qui pourrait éventuellement aider dans de nombreuses situations réelles où l'information est cachée.

Résumé Technique : Apprentissage par Renforcement en Auto-jeu sous Information Imperfaite dans le Big 2

Énoncé du Problème

L'article aborde les défis liés à l'entraînement d'agents d'apprentissage par renforcement (RL) dans des jeux multijoueurs à information imparfaite. Plus précisément, il examine le jeu de Big 2, un jeu de cartes à défausse à quatre joueurs caractérisé par :

Information Cachée : Les joueurs ne voient que leurs propres mains et l'historique public des jeux ; les mains des adversaires doivent être déduites des actions, des passes et des comptes de cartes restantes.
Récompenses Éparses et Retardées : La récompense principale (la victoire) n'intervient qu'à l'état terminal, les récompenses intermédiaires étant nulles.
Adversaires Non Stationnaires : Dans les configurations d'auto-jeu, la distribution des adversaires évolue à mesure que les agents s'améliorent.
Espaces d'Action Variables : Les actions légales sont des combinaisons spécifiques à la main (cartes seules, paires, suites, etc.) qui changent radicalement d'un tour à l'autre, rendant difficile l'abstraction d'actions fixes.

Les auteurs visent à déterminer si les objectifs basés sur le gradient de politique ou sur la valeur apprennent plus efficacement dans ce contexte, sous un budget de calcul contrôlé et limité, et comment des choix spécifiques de conception de l'entraînement (régularisation par entropie, curriculum d'adversaires) influencent la stabilité et les performances.

Méthodologie

1. Environnement et Représentation

Les auteurs ont développé un simulateur où l'état d'observation ( $o_i$ ) reflète strictement les informations disponibles :

Entrée : La main privée du joueur agissant (remplie de zéros), le pli actif, toutes les cartes vues, les comptes de cartes restants pour les adversaires, les comptes de passes et les historiques de cartes jouées par adversaire.
Espace d'Action : Le simulateur énumère toutes les combinaisons légales dans la main du joueur et les filtre en fonction du pli actif, produisant un ensemble d'actions légales de longueur variable $A(o_i)$ . Cela évite l'exploration d'actions invalides.
Architecture Neurale :
- Encodeur d'État : Utilise une table d'incorporation de cartes partagée. La main du joueur est traitée via une auto-attention et mise en commun. Les informations publiques (pli, cartes vues, comptes adverses) sont incorporées et concaténées pour former une incorporation d'état.
- Évaluation des Actions : Les actions légales sont encodées sous forme de vecteurs de caractéristiques de 80 dimensions. Un produit scalaire entre l'incorporation d'état et l'incorporation d'action attribue un score à chaque candidat légal.
- Distinction : Contrairement aux travaux antérieurs utilisant des têtes d'action fixes de 1695 masquées aux mouvements légaux, ce modèle ne note que les actions légales, permettant aux cartes en main d'interagir avant la mise en commun.

2. Algorithmes d'Apprentissage

L'étude compare quatre algorithmes sous des architectures et des budgets d'entraînement identiques (5 000 lots, 64 parties par lot) :

PPO (Proximal Policy Optimization) : Une base de gradient de politique utilisant des objectifs de substitution tronqués et une tête de valeur séparée.
Approximation Monte Carlo Q : Une méthode basée sur la valeur utilisant le retour total escompté ( $y_t = \sum \gamma^{k-t} r_k$ ) comme cible.
SARSA : Une méthode basée sur la valeur, en politique, utilisant des cibles à un pas ( $y_t = r_t + \gamma Q(s_{t+1}, a_{t+1})$ ).
Q-Learning : Une méthode basée sur la valeur, hors politique, utilisant des cires max ( $y_t = r_t + \gamma \max_a Q(s_{t+1}, a)$ ).

Toutes les méthodes basées sur la valeur utilisent une exploration $\epsilon$ -gloutonne pendant l'entraînement et une sélection gloutonne pendant l'évaluation.

3. Curricula d'Entraînement et Évaluation

Auto-jeu : Le paramétrage par défaut utilise l'auto-jeu de politique courante, où la politique actuelle contrôle les quatre places.
Bases de référence : L'évaluation est réalisée contre trois adversaires heuristiques :
- Aléatoire : Sélectionne uniformément les actions légales.
- Glouton : Joue la combinaison non-passe légale la plus faible.
- Intelligent : Une politique basée sur des règles qui note les actions en fonction de caractéristiques stratégiques (défausse, préservation des combinaisons, évitement de l'utilisation précoce des '2').
Métriques : Taux de victoire et score moyen de partie (somme des cartes restantes pour les perdants, négative pour les perdants) contre chaque classe d'adversaire.

Contributions et Résultats Clés

1. Performance Algorithmique

Sous un budget de calcul limité, PPO surpasse toutes les méthodes basées sur la valeur (Monte Carlo Q, SARSA, Q-learning) pour toutes les classes d'adversaires.

PPO a atteint un taux de victoire de 85,4 % contre Aléatoire, 58,2 % contre Glouton et 37,1 % contre Intelligent.
Les méthodes basées sur la valeur, bien qu'apprenant des politiques utiles, n'ont pas réussi à égaler les performances finales de PPO. Les auteurs attribuent cela à la difficulté de l'estimation de la valeur dans l'espace d'état à haute variance et à information imparfaite du Big 2, où les états stratégiquement importants sont visités rarement et où les retours terminaux doivent être crédités sur de longues séquences.

2. Régularisation par Entropie

Les auteurs ont constaté que PPO sans régularisation par entropie devient trop déterministe, échantillonnant les actions principales avec une probabilité >90 % même dans des situations stratégiques ambiguës.

Résultat : Une régularisation par entropie modérée ( $\beta_{ent} = 0,05$ ) a considérablement amélioré les performances pour toutes les classes d'adversaires (par exemple, augmentant le taux de victoire contre Intelligent de 37,1 % à 43,5 %).
Implication : Les politiques stochastiques sont bénéfiques dans les jeux à information imparfaite pour maintenir l'imprévisibilité et éviter de s'engager excessivement dans des préférences d'actions sous-optimales. Cependant, une entropie excessive dégrade les performances.

3. Curriculum d'Adversaires

L'étude a comparé l'auto-jeu de politique courante à l'auto-jeu par points de contrôle (entraînement contre des politiques passées sauvegardées) et à l'entraînement contre adversaire fixe (entraînement uniquement contre l'heuristique Intelligent).

Résultat : L'auto-jeu de politique courante a produit les meilleurs résultats pour PPO et Monte Carlo Q.
Raisonnement : L'entraînement contre un adversaire déterministe fixe (uniquement Intelligent) rétrécit la distribution d'états et réduit l'exploration. L'auto-jeu par points de contrôle introduit de la diversité mais dilue le signal d'apprentissage en exposant l'agent à des "anciennes" erreurs qu'il a déjà apprises à battre. L'auto-jeu de politique courante agit comme un curriculum adaptatif, maintenant la difficulté de l'adversaire alignée avec le niveau de compétence actuel de l'agent.

Importance et Revendications

L'article revendique de fournir la première étude empirique contrôlée comparant les objectifs de RL et les choix de conception de l'entraînement spécifiquement pour le Big 2. Son importance réside dans :

Établissement d'une Base de Référence : Il offre une base de référence accessible pour les recherches futures sur la recherche, l'abstraction et la modélisation des adversaires dans le Big 2, isolant des facteurs souvent confondus dans des systèmes plus vastes.
Démonstration d'Efficacité : Il montre que le RL profond peut apprendre des stratégies robustes dans un jeu à information imparfaite à quatre joueurs sans modèles d'adversaires ingénierés, recherche arborescente ou élagage heuristique d'actions au-delà du filtrage légal.
Identification de Facteurs Critiques : Il met en évidence que, dans des contextes à budget limité, le choix de l'algorithme (PPO > Basé sur la valeur), la stochastique de la politique (régularisation par entropie) et la conception du curriculum (auto-jeu de politique courante) sont des facteurs décisifs pour le succès.

Les auteurs restent modestes, notant que leur étude ne compare pas avec la Minimisation du Regret Contrefactuel (CFR), les agents augmentés par la recherche, ou des budgets d'entraînement plus importants, et qu'un travail futur est nécessaire pour déterminer si les méthodes basées sur la valeur peuvent combler l'écart avec un entraînement prolongé ou si le jeu croisé révèle de nouvelles faiblesses stratégiques.