📈 economics

The Learning Approach to Games

Dit artikel stelt een verenigd kader voor dat spellen herdefinieert door middel van de interne structuren van lerende spelers in plaats van scalaire strategieën, wat een diepere analyse van dynamische gedragingen mogelijk maakt en sterkere verbindingen legt met reinforcement learning, gecorreleerd evenwicht en mean-field theory.

Oorspronkelijke auteurs: Melih İşeri, Erhan Bayraktar

Gepubliceerd 2026-02-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Melih İşeri, Erhan Bayraktar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Kijk niet naar het Schaakbord, Kijk naar de Speler

Stel je voor dat je naar een schaakspel kijkt. Traditionele speltheorie (de oude manier om spellen te bestuderen) is als een scheidsrechter die hoog boven het bord staat. De scheidsrechter geeft alleen om de stukken, de regels en de eindscore. Hij vraagt: "Als beide spelers perfect spelen, waar zal het spel eindigen?" Hij gaat ervan uit dat de spelers simpele machines zijn die altijd de mathematisch "beste" zet doen om een stabiele toestand te bereiken.

Dit artikel stelt dat dit perspectief het belangrijkste deel mist: het brein van de speler.

De auteurs, Melih İşeri en Erhan Bayraktar, zeggen dat echte spelers (of het nu mensen of geavanceerde AI zijn) niet zomaar simpele rekenmachines zijn. Ze zijn complex, rommelig en constant aan het leren. Ze hebben interne gedachten, vermoedens over wat de tegenstander denkt, en ze veranderen van mening. Als je alleen naar de regels van het spel kijkt, mis je het drama van spelers die elkaar proberen te misleiden, te bedriegen en aan te passen.

Het Nieuwe Kader: Bouw Eerst de "Speler"

In plaats van te beginnen bij het spel, begint het artikel met het bouwen van een definitie van een Speler. Denk aan een speler niet als een enkele knop die wordt ingedrukt, maar als een complexe fabriek met drie hoofdafdelingen:

De Zintuigen (Observaties): De speler ziet de wereld. In een spel is dit het zien van het bord of de laatste zet van de tegenstander.
Het Brein (Schattingen): Dit is het interessante deel. De speler kijkt niet alleen; hij raadt. Hij raadt wat de tegenstander de volgende stap zal zetten. Hij raat hoe de toekomst eruitziet. Hij kan een dozijn verschillende "raad-motoren" tegelijkertijd draaien, waarvan er sommige zeggen: "De tegenstander is agressief," en andere: "De tegenstander is bang."
De Handen (Gedrag): Op basis van die vermoedens beslist de speler wat hij gaat doen.

Het artikel stelt dat je om een spel te begrijpen, moet begrijpen hoe deze fabriek werkt. Je moet kijken naar hoe het "Brein" zijn vermoedens bijstelt op basis van wat de "Zintuigen" zien, en hoe dat het gedrag van de "Handen" verandert.

Waarom "Stabiel" Niet Altijd het Doel Is

In de traditionele speltheorie wil iedereen een "Nash-evenwicht" bereiken. Stel je een dans voor waarin iedereen stopt met bewegen omdat ze perfect gesynchroniseerd zijn. Niemand wil van stap veranderen, want dat zou de dans verpesten.

De auteurs zeggen: "Dat is saai, en dat is niet hoe echte competitie werkt."

Ze gebruiken het voorbeeld van Kop-steen-schaar.

De Oude Manier: De "perfecte" strategie is om willekeurig Kop, Steen of Schaar te kiezen (1/3 kans elk). Als je dit doet, kan niemand je verslaan. Je bent "onuitbuitbaar".
De Nieuwe Manier: Als je in een toernooi zit en je speelt alleen maar willekeurig, zul je nooit winnen. Je zult alleen maar gelijkspelen. Om echt te winnen, moet je slimmer zijn. Je moet raden wat je tegenstander doet en hem dan misleiden. Misschien doe je alsover dat je voorspelbaar bent om de tegenstander te lokken, om vervolgens van strategie te wisselen om hem onverwacht te overrompelen.

Het artikel betoogt dat spelers in een echte competitie constant dansen, van stap veranderen en proberen elkaar te misleiden. Ze zoeken niet naar een stabiele dans; ze zoeken naar een voordeel.

Het "Onzekere Evenwicht"

De auteurs introduceren een nieuw concept genaamd Onzeker Evenwicht.

Denk hierbij aan een weerbericht in plaats van een vaste kaart.

Oude Visie: "Het gaat om 14:00 uur regenen." (Vast, zeker).
Nieuwe Visie: "Er is een kans van 60% op regen, maar als de wind draait, kan het 90% zijn." (Onzeker, dynamisch).

In hun model kiest een speler niet zomaar één strategie. Hij heeft een verzameling van verschillende "wat als"-scenario's in zijn hoofd. Hij kan een strategie proberen, zien dat deze faalt, zijn "wat als"-scenario's bijwerken en iets anders proberen. Een "Onzeker Evenwicht" is een toestand waarin de spelers voortdurend door deze strategieën cyclen, nooit volledig tot rust komen, maar een ritme vinden waarbij ze steeds weer naar bepaalde zetten terugkeren.

Een Simpel Spel Voorbeeld: De Kat en de Muis

Om hun punt te bewijzen, creëerden de auteurs een klein, simpel spel met twee spelers:

Speler 1 wil in Toestand 1 zijn.
Speler 2 wil in dezelfde toestand zijn als Speler 1.

Als ze gewoon de "perfecte" mathematische strategie zouden spelen, zouden ze vast komen te zitten in een lus waarin niemand wint. Maar toen de auteurs de spelers programmeerden met hun nieuwe "fabriek"-model (met leren en raden), begonnen de spelers iets wilds te doen:

Speler 2 deed alsof hij op één plek bleef om Speler 1 te misleiden.
Speler 1 merkte de truc op en wisselde van tactiek.
Ze jaagden elkaar na, terwijl ze elke paar seconden van gedachten veranderden.

Het spel kwam niet tot rust in een kalm, saai patroon. Het werd een dynamische, verschuivende dans. Dit toonde aan dat het spel wordt gedefinieerd door het vermogen van de spelers om te leren en te veranderen, en niet alleen door de regels op het bord.

Het "Mean-Field" Idee: De Menigte

Het artikel kijkt ook naar spellen met duizenden spelers (zoals verkeer of de aandelenmarkt). Dit wordt "Mean-Field" genoemd.

Oude Manier: Je probeert te berekenen wat elke individuele persoon doet. Onmogelijk.
Nieuwe Manier: Je stelt je één "Representatieve Speler" voor. Deze speler kijkt naar de menigte en zegt: "Iedereen lijkt X te doen." De speler leert vervolgens hoe hij op die menigte moet reageren.

De auteurs laten zien dat zelfs in een menigte, als je de "Representatieve Speler" een brein geeft dat leert en raadt, je interessante patronen krijgt die eenvoudige wiskundige modellen missen.

De Connectie met AI (Reinforcement Learning)

Ten slotte verbindt het artikel dit met moderne AI (zoals de AI die videogames speelt).

Oude AI: "Hier is een beloning voor winnen. Zoek het pad naar de beloning." (Als een hond die een koekje achtervolgt).
Nieuwe Visie (vanuit dit artikel): De AI bouwt een complex intern model. Het is niet alleen bezig met het achtervolgen van een koekje; het boudt een kaart van de wereld, raadt wat de andere spelers denken en plant meerdere stappen vooruit.

De auteurs concluderen dat om echt te begrijpen hoe intelligente agenten (mensen of robots) met elkaar interageren, we niet alleen naar de regels van het spel kunnen kijken. We moeten in de "fabriek" van de speler kijken en zien hoe zij leren, raden en zich aanpassen.

Samenvatting in één zin

In plaats van spelers te behandelen als simpele robots die simpelweg regels volgen om een stabiele oplossing te vinden, behandelt dit artikel hen als complexe, lerende wezens die constant raden, misleiden en zich aanpassen, wat een dynamisch spel creëert dat veel interessanter en realistischer is dan traditionele wiskundige modellen toestaan.

Technische Samenvatting: De Leerbenadering van Spellen

Probleemstelling
Traditionele speltheorie en literatuur over multi-agent leren modelleren spelers doorgaans als externe entiteiten wier strategieën worden toegewezen via scalaire waarden, waarbij evenwichtconcepten (bijv. Nash, Gecorreleerd Evenwicht) worden gebruikt om compatibele keuzes te identificeren. De auteurs stellen dat deze benadering de interne structuur van spelers verwaarloost, waardoor het niet lukt om geobserveerd gedrag nauwkeurig te modelleren, met name in complexe, competitieve omgevingen. Standaard evenwichtconcepten gaan vaak uit van convergentie en stabiliteit, terwijl echte wereldcompetitie vaak bestaat uit dynamische strategieën, misleiding en het actieve vermijden van evenwicht om een voordeel te behalen. Bovendien worstelen bestaande kaders met het overbruggen van de kloof tussen het ontwerpen van externe omgevingen en het ontwerpen van de complexe, lerende agenten zelf, vooral wanneer meerdere geavanceerde besluitvormers met elkaar interageren.

Methodologie
Het artikel stelt een verenigd kader voor dat spellen herdefinieert in termen van de spelers zelf, in plaats van als externe settings. De kernmethodologie omvat:

Abstracte Definitie van een Speler: Een speler wordt gedefinieerd als een tupel $(O, L_\phi, \Upsilon)$ bestaande uit:
- Observaties ( $O$ ): Een sequentie van observaties uit de omgeving.
- Leeralgoritme ( $L_\phi$ ): Een mechanisme dat een collectie schattingen ( $\phi$ ) bijwerkt op basis van observaties en vorig gedrag. Deze schattingen omvatten objecten, relaties, overgangskansen, kosten, waarden en opponentgedrag.
- Gedrag ( $\Upsilon$ ): Een mapping van schattingen naar acties.
  Het kader modelleert expliciet de interne complexiteit van spelers, inclus van hun vermogen om hiërarchische schattingen te vormen (objecten, relaties, voorspellingen) en hun gebruik van randomiteit (bijv. in waardeschatting) om exploratie te faciliteren.
Onzeker Evenwicht (Uncertain Equilibrium): De auteurs introduceren een nieuw evenwichtconcept, "Onzeker Evenwicht", afgestemd op spelers met interne leerdynamiek. In tegenstelling tot standaard evenwichten die zich richten op statische strategieverdelingen, vereist dit concept:
- Optimaliteit: Spelers moeten optimale controles benaderen gegeven hun huidige schattingen.
- Recurrentie: Het gedrag van de spelers moet oneindig vaak terugkeren, waarbij wordt erkend dat spelers door strategieën kunnen cyclen in plaats van te convergeren naar één enkel punt.
- Psychologische Toestanden: Het kader staat de incorporatie van "psychologische" parameters toe, zoals de verwachting van een speler over de best haalbare uitkomst, wat exploratie en wanhoop beïnvloedt.
Discrete en Mean-Field Extensies:
- Discrete Spellen: Het kader wordt toegepast op discrete settings, waarbij verbanden worden gelegd met Gecorreleerd Evenwicht, maar waarbij wordt benadrukt hoe leeralgoritmen en opponentmodellering dynamische, niet-stationaire gedragingen creëren die standaard evenwichtconcepten missen.
- Mean-Field Games: De auteurs passen het kader aan naar mean-field settings waarbij een representatieve agent de populatieverdeling schat. Ze construeren expliciete leeralgoritmen (bijv. fixed-point iteraties op populatieverdelingen) om aan te tonen hoe "geuite" mean-field games zelfs oscillerend gedrag kunnen opleveren waar relaxte evenwichten niet bestaan.
Integratie van Reinforcement Learning: Het artikel beoordeelt kernmethoden van Reinforcement Learning (RL) (Value-based, Policy-based, Actor-Critic, Model-based) vanuit dit nieuwe perspectief, waarbij wordt benadrukt dat het ontwerp van een speler complexe lagen van schatting omvat en dat tijdconsistentie een eigenschap is van het ontwerp en geen fundamentele vereiste.

Belangrijkste Resultaten en Illustraties

Tweespelers Toy Game: De auteurs presenteren een eenvoudig tweespelersspel met een vaste horizon van één stap. Ze demonstreren dat hoewel er een uniek Nash-evenwicht bestaat, geavanceerde spelers die leeralgoritmen gebruiken, niet naar dit evenwicht convergeren. In plaats daarvan vertonen ze niet-stationaire dynamiek, waarbij ze constant hun strategieën aanpassen om de opponent te exploiteren of te ontwijken. De simulatie laat zien dat het variëren van parameters zoals prikkel ( $c$ ) en verwachting ( $B$ ) leidt tot complexe, herhalende gedragspatronen in plaats van statische convergentie.
Mean-Field Voorbeelden: In twee specifieke mean-field voorbeelden laten de auteurs zien dat standaard relaxte evenwichten mogelijk niet bestaan (door discontinue kosten of gebrek aan fixed points), maar dat het voorgestelde leeralgoritme een "onzeker evenwicht" induceert waarbij de populatieverdeling oneindig vaak tussen specifieke toestanden oscilleert.
CartPole Implementatie: Een value-based leeralgoritme voor de CartPole-omgeving wordt geïmplementeerd zonder standaard Bellman-updates. In plaats daarvan gebruikt het een collectie waarde-netwerken en bevordert het tijdconsistentie post-training, wat de flexibiliteit van het kader in single-agent settings demonstreert.

Betekenis en Claims
Het artikel claimt een fundamentele taal te bieden voor het analyseren van spellen door de focus te verschuiven van externe compatibiliteitsvoorwaarden naar de interne structuur en leerprocessen van de spelers.

Herformulering van Competitie: De auteurs stellen dat competitie niet wordt gedefinieerd door convergentie naar een evenwicht, maar door de voortdurende inspanning om het te vermijden. Het kader vangt dit op door spelers te modelleren als dynamische systemen die schatten, misleiden en adapteren.
Overbruggen van Game Theory en RL: Door Reinforcement Learning-constructies te abstraheren naar speltheoretische definities, biedt het werk een manier om complexe multi-agent interacties te analyseren waarbij agenten niet louter een scalaire beloning optimaliseren, maar betrokken zijn bij diep, gestructureerd leren.
Beperkingen en Omvang: De auteurs merken bescheiden op dat zij geen nieuwe leeralgoritmen voor specifieke taken ontwerpen, maar eerder bestaande spelsettings herformuleren. Zij erkennen dat het modelleren van de volledige structurele groei van intelligentie (bijv. een kind dat nieuwe typen schattingen verwerft) buiten de huidige reikwijdte valt, maar een noodzakelijke richting is voor toekomstig onderzoek. Het werk dient als een formeel startpunt voor het begrijpen van hoe het interne ontwerp van agenten de emergente dynamiek van spellen dicteert, wat suggereert dat evenwichtconcepten geëvalueerd moeten worden in de context van lerende agenten.