🤖 machine learning

Self-Play Reinforcement Learning under Imperfect Information in Big 2

Dit artikel introduceert een zelfspel-versterkingsleerframework voor het imperfecte-informatiekaartspel Big 2, waarbij wordt aangetoond dat PPO onder gecontroleerde omstandigheden beter presteert dan op waarde gebaseerde methoden en waarbij de voordelen van entropieregularisatie en zelfspel met het huidige beleid voor het trainen van robuuste multi-agent systemen worden benadrukt.

Oorspronkelijke auteurs: Aalok Patwa

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aalok Patwa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je aan een tafel zit met drie vrienden die een kaartspel spelen dat Big 2 heet. Je kunt je eigen hand van 13 kaarten zien, en je kunt de kaarten zien die iedereen tot nu toe heeft gespeeld. Maar je kunt niet de kaarten zien die verborgen zitten in de handen van je vrienden. Dit noemen onderzoekers "onvolledige informatie". Je moet raden wat ze in handen hebben, gebaseerd op wat ze spelen, wat ze doorgeven, en hoeveel kaarten er nog over zijn.

Het doel van dit paper is om een computerprogramma (een AI-agent) te leren dit spel echt goed te spelen met behulp van Versterkend Leren (RL). Denk aan RL als een student die leert door middel van trial and error: de AI speelt duizenden spellen, krijgt "cijfers" (beloningen) voor winnen of verliezen, en komt langzaam de beste strategieën achter.

Hier is een uiteenzetting van wat het paper vond, met behulp van eenvoudige analogieën:

1. De Uitdaging: Een Spel van Verborgen Geheimen

Big 2 is lastig omdat:

Je niet alles weet: Je moet de handen van je tegenstanders raden.
De regels veranderen elke beurt: Soms kun je één kaart spelen, soms een paar, soms een complexe "straight". De lijst van legale zetten verandert voortdurend.
Korte termijn vs. Lange termijn: Soms voelt het goed om je sterkste kaart nu te spelen, maar het kan je later hulpeloos achterlaten. De AI moet leren een kleine winst vandaag op te offeren om morgen het hele spel te winnen.

2. Het Experiment: Wie leerde het beste?

De onderzoekers richtten een "trainingskamp" op waar ze vier verschillende soorten AI-studenten leerden volgens exact dezelfde regels, met dezelfde hoeveelheid rekenkracht en dezelfde hoeveelheid tijd. Ze wilden zien welke leerstijl het beste werkte.

De Studenten:
1. PPO (De "Policy"-student): Deze student leert door verschillende strategieën te proberen en zijn "buikgevoel" over welke zet hij moet doen aan te passen. Het is als een coach die tegen je zegt: "Probeer hier een paar te spelen, het voelt goed."
2. Q-Learning / SARSA / Monte Carlo (De "Value"-studenten): Deze studenten proberen een score voor elke mogelijke situatie te onthouden. Ze vragen zich af: "Als ik deze kaart speel, wat is dan de exacte puntwaarde die ik uiteindelijk zal krijgen?"

Het Resultaat: De PPO-student won het trainingskamp. Hij leerde sneller en werd een betere speler dan de "Value"-studenten.

Waarom? In een spel met verborgen informatie en veel spelers is het proberen om de exacte toekomstige score voor elke enkele zet te berekenen, als proberen het weer voor volgend jaar met perfecte nauwkeurigheid te voorspellen: het is te luidruchtig en kost te veel tijd. De aanpak van PPO van "de strategie aanpassen op basis van hoe het ging" was efficiënter.

3. Het Geheime Ingrediënt: Entropie (Wees niet te voorspelbaar)

De onderzoekers merkten iets interessants op bij de winnende PPO-student. In het begin was hij zeer zelfverzekerd en koos hij 90% van de tijd dezelfde "beste" zet. Maar in een spel waar je tegenstanders je kaarten niet kunnen zien, is het 100% voorspelbaar zijn gevaarlijk. Als je altijd op dezelfde manier speelt, zullen slimme tegenstanders je doorgronden.

De Analogie: Stel je voor dat je Rock-Paper-Scissors speelt. Als je altijd "Rock" gooit omdat het het beste gevoel geeft, zal je tegenstander snel beginnen met "Paper" gooien en je verslaan. Je moet het een beetje afwisselen.
De Oplossing: De onderzoekers voegden een beetje "entropie" (willekeur) toe aan de training van de AI. Ze zeiden tegen hem: "Wees niet 100% zeker; houd een beetje verrassing in je zetten."
Het Resultaat: De AI die een gemiddelde hoeveelheid willekeur behield, presteerde het beste. Hij werd moeilijker te lezen en aanpasbaarder. Te veel willekeur maakte hem echter dom spelen, dus balans was de sleutel.

4. De Trainingspartner: Tegen wie moet je spelen?

De AI leerde door tegen zichzelf te spelen (Self-Play). De onderzoekers testten drie verschillende manieren om deze oefenwedstrijden in te stellen:

Vaste Tegenstander: De AI speelde tegen een computer die altijd dezelfde "Slimme" strategie speelde.
Checkpoint-gegenstander: De AI speelde tegen oudere versies van zichzelf die waren opgeslagen uit eerdere fasen van de training.
Huidige-Policy-gegenstander: De AI speelde tegen de huidige versie van zichzelf, die elke dag weer beter werd.

Het Resultaat: Spelen tegen de Huidige-Policy (de versie van zichzelf die op dat moment verbeterde) was de beste methode.

De Analogie: Stel je voor dat je zwemmen leert.
- Als je alleen oefent tegen een langzame, vaste robot, word je goed in het verslaan van die robot, maar leer je misschien niet hoe je omgaat met een snelle zwemmer.
- Als je oefent tegen je "oude zelf", vecht je misschien tegen gevechten die je al hebt gewonnen.
- Als je oefent tegen je huidige zelf, stijgt het moeilijkheidsniveau precies even snel als je vaardigheden verbeteren. Het is als een personal trainer die het gewicht op de stang precies aanpast aan je huidige kracht. Dit hield de AI constant uitgedaagd en liet hem de meest relevante lessen leren.

Samenvatting

Dit paper toont aan dat voor complexe kaartspellen zoals Big 2:

Strategie-gebaseerd leren (PPO) beter werkt dan proberen exacte scores te onthouden.
Een beetje willekeur houden in je zetten maakt je een taaier tegenstander.
Oefenen tegen een versie van jezelf die tegelijkertijd met je verbetert is de snelste manier om te leren.

De auteurs concluderen dat Big 2 een uitstekende "testkeuken" is om computers te leren slimme beslissingen te nemen wanneer ze niet alle feiten hebben, een vaardigheid die uiteindelijk kan helpen in veel real-world situaties waar informatie verborgen is.

Technische Samenvatting: Zelfspel Versterkend Leren onder Imperfecte Informatie in Big 2

Probleemstelling

Het artikel behandelt de uitdagingen bij het trainen van agents voor versterkend leren (RL) in meerdere-spelersgames met imperfecte informatie. Specifiek onderzoekt het het spel Big 2, een kaartspel voor vier spelers waarbij kaarten worden weggelegd, gekenmerkt door:

Verborgen Informatie: Spelers observeren alleen hun eigen hand en de openbare speelgeschiedenis; de handen van tegenstanders moeten worden afgeleid uit acties, passen en het resterende aantal kaarten.
Schaarse en Uitgestelde Beloningen: De primaire beloning (winnen) treedt alleen op in de terminale toestand, waarbij tussentijdse beloningen nul zijn.
Niet-stationaire Tegenstanders: In zelfspelscenario's verandert de verdeling van tegenstanders naarmate agents verbeteren.
Variabele Actieruimtes: Wettelijke acties zijn hand-specifieke combinaties (enkelkaars, paren, reeksen, enz.) die tussen beurten drastisch veranderen, waardoor vaste actie-abstractie moeilijk maakt.

De auteurs willen bepalen of policy-gradient of value-based doelen in deze setting onder een gecontroleerd, beperkt rekenbudget effectiever leren, en hoe specifieke trainingsontwerpskeuzes (entropieregularisatie, tegenstandercurriculum) stabiliteit en prestaties beïnvloeden.

Methodologie

1. Omgeving en Representatie

De auteurs ontwikkelden een simulator waarin de observatietoestand ( $o_i$ ) strikt de beschikbare informatie weerspiegelt:

Input: De private hand van de spelende speler (opgevuld), de actieve slag, alle gezien kaarten, resterende kaartaantallen voor tegenstanders, pasaantallen en per-tegenstander gespeelde-kaarthistorieën.
Actieruimte: De simulator somt alle wettelijke combinaties in de hand van de speler op en filtert deze op basis van de actieve slag, waardoor een variabele lengte wettelijke actieset $A(o_i)$ ontstaat. Dit voorkomt verkenning van ongeldige acties.
Neurale Architectuur:
- Staatencoder: Gebruikt een gedeelde kaartembedding-tabel. De hand van de speler wordt verwerkt via self-attention en gepooled. Openbare informatie (slag, gezien kaarten, tegenstanderaantallen) wordt geëmbed en geconcateneerd om een staatembedding te vormen.
- Actiescoring: Wettelijke acties worden gecodeerd als 80-dimensionale featurevectoren. Een dot-product tussen de staatembedding en de actieembedding scoort elke wettelijke kandidaat.
- Onderscheid: In tegenstelling tot eerder werk dat vaste 1695-actiehoofden gebruikte die gemaskeerd waren voor wettelijke zetten, scoort dit model alleen wettelijke acties, waardoor vastgehouden kaarten kunnen interageren voordat ze worden gepooled.

2. Leeralgoritmen

De studie vergelijkt vier algoritmen onder identieke architecturen en trainingsbudgetten (5.000 batches, 64 episodes per batch):

PPO (Proximal Policy Optimization): Een policy-gradient baseline met gebruik van afgekniste surrogate-doelen en een aparte value-head.
Monte Carlo Q-benadering: Een value-based methode die de volledige afgebelde return ( $y_t = \sum \gamma^{k-t} r_k$ ) als doel gebruikt.
SARSA: Een on-policy value-based methode die één-stap-doelen gebruikt ( $y_t = r_t + \gamma Q(s_{t+1}, a_{t+1})$ ).
Q-Learning: Een off-policy value-based methode die max-doelen gebruikt ( $y_t = r_t + \gamma \max_a Q(s_{t+1}, a)$ ).

Alle value-based methoden gebruiken $\epsilon$ -greedy verkenning tijdens training en greedy selectie tijdens evaluatie.

3. Trainingscurricula en Evaluatie

Zelfspel: De standaardinstelling gebruikt current-policy zelfspel, waarbij het huidige beleid alle vier de stoelen controleert.
Basislijnen: Evaluatie wordt uitgevoerd tegen drie heuristische tegenstanders:
- Random: Selecteert uniform wettelijke acties.
- Greedy: Speelt de zwakste wettelijke niet-pas-combinatie.
- Smart: Een regelgebaseerd beleid dat acties scoort op basis van strategische kenmerken (kaarten wegleggen, combinaties behouden, vermijden van vroeg gebruik van '2's').
Metingen: Winstpercentage en gemiddelde gamescore (som van resterende kaarten voor verliezers, negatief voor verliezers) tegen elke tegenstandersklasse.

Belangrijkste Bijdragen en Bevindingen

1. Algorithmische Prestaties

Onder een beperkt rekenbudget presteert PPO beter dan alle value-based methoden (Monte Carlo Q, SARSA, Q-learning) over alle tegenstandersklassen heen.

PPO behaalde een winstpercentage van 85,4% tegen Random, 58,2% tegen Greedy en 37,1% tegen Smart.
Value-based methoden, hoewel ze nuttige beleidslijnen leerden, slaagden er niet in om de uiteindelijke prestaties van PPO te evenaren. De auteurs schrijven dit toe aan de moeilijkheid van waarde-schatting in Big 2's hoge-variatie, imperfecte-informatiestaatruimte, waar strategisch belangrijke staten zelden worden bezocht en terminale returns krediet moeten krijgen over lange sequenties.

2. Entropieregularisatie

De auteurs vonden dat PPO zonder entropieregularisatie overdreven deterministisch wordt, waarbij topacties met >90% waarschijnlijkheid worden geselecteerd, zelfs in ambigu strategische situaties.

Bevinding: Matige entropieregularisatie ( $\beta_{ent} = 0,05$ ) verbeterde de prestaties aanzienlijk over alle tegenstandersklassen heen (bijvoorbeeld het winstpercentage tegen Smart verhogen van 37,1% naar 43,5%).
Implicatie: Stochastische beleidslijnen zijn voordelig in games met imperfecte informatie om onvoorspelbaarheid te behouden en te voorkomen dat men zich overmatig vastlegt op suboptimale actievoorkomens. Echter, excessieve entropie verslechtert de prestaties.

3. Tegenstandercurriculum

De studie vergeleek current-policy zelfspel met checkpoint-zelfspel (trainen tegen opgeslagen oude beleidslijnen) en trainen tegen vaste tegenstanders (alleen trainen tegen de Smart-heuristiek).

Bevinding: Current-policy zelfspel leverde de beste resultaten op voor zowel PPO als Monte Carlo Q.
Redenering: Trainen tegen een vaste deterministische tegenstander (alleen Smart) verengt de toestandsverdeling en reduceert verkenning. Checkpoint-zelfspel introduceert diversiteit, maar verdund het leersignaal door de agent bloot te stellen aan "oude" fouten die het al heeft geleerd te verslaan. Current-policy zelfspel fungeert als een adaptief curriculum, waarbij de tegenstandersmoeilijkheid wordt afgestemd op het huidige vaardigheidsniveau van de agent.

Betekenis en Claims

Het artikel claimt de eerste gecontroleerde empirische studie te bieden die RL-doelen en trainingsontwerpskeuzes specifiek voor Big 2 vergelijkt. De betekenis ligt in:

Een Baseline Vestigen: Het biedt een toegankelijke baseline voor toekomstig onderzoek naar zoektochten, abstractie en tegenstandermodelleren in Big 2, waarbij factoren die vaak verward zijn in grotere systemen, worden geïsoleerd.
Efficiëntie Demonsteren: Het toont aan dat diep RL robuuste strategieën kan leren in een vier-spelers game met imperfecte informatie zonder ontworpen tegenstandermodellen, boomzoektochten of heuristische actiepruning buiten wettelijke filtering.
Kritieke Factoren Identificeren: Het benadrukt dat in budgetbeperkte settings, algoritmekies (PPO > Value-based), beleidsstochastisiteit (entropieregularisatie) en curriculumontwerp (current-policy zelfspel) beslissende factoren zijn voor succes.

De auteurs blijven bescheiden, met de opmerking dat hun studie niet vergelijkt met Counterfactual Regret Minimization (CFR), zoektocht-versterkte agents, of grotere trainingsbudgetten, en dat toekomstig werk nodig is om te bepalen of value-based methoden de kloof kunnen dichten met uitgebreide training of of cross-play nieuwe strategische zwaktes blootlegt.