⚡ electrical engineering

Heterogeneous Learning in Zero-Sum Stochastic Games with Incomplete Information

Dit artikel introduceert en analyseert heterogene leerschema's voor nul-som stochastische spellen met incomplete informatie, waarbij wordt aangetoond door middel van stochastische benadering en ODE-analyse dat agenten met verschillende leerpatronen en rationaliteitsniveaus kunnen convergeren naar specifieke dynamieken, wat wordt toegepast om beveiligingsspellen tussen aanvallers en verdedigers te modelleren.

Oorspronkelijke auteurs: Quanyan Zhu, Hamidou Tembine, Tamer Basar

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 3.0

Oorspronkelijke auteurs: Quanyan Zhu, Hamidou Tembine, Tamer Basar

Oorspronkelijk artikel gelicentieerd onder CC BY 3.0 (http://creativecommons.org/licenses/by/3.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een hooggespannen schaakspel voor, maar in plaats van een bord bevinden de spelers zich in een chaotische, verschuivende omgeving waar de regels van het spel (de "payoffs") verborgen zijn voor hen. Ze kennen de waarde van hun zetten niet, ze kennen de geschiedenis van de zetten van hun tegenstander niet, en ze kunnen niet met elkaar praten. Dit is de wereld van Zero-Sum Stochastic Games with Incomplete Information zoals beschreven in het artikel.

Hier is een eenvoudige uiteenzetting van wat de auteurs, Zhu, Tembine en Basar, hebben ontdekt:

Het Probleem: Leren in het Duister

In veel real-world scenario's (zoals netwerkbeveiliging of verkeersmanagement) proberen twee tegenovergestelde partijen (laten we ze Speler A en Speler B noemen) constant elkaar te slim af te zijn.

De Catch: Ze hebben geen regelboekje. Ze weten niet precies hoeveel ze winnen of verliezen voor een specereke zet. Ze kennen de uitslag pas nadat ze een zet hebben gedaan.
De Oude Manier: Traditionele leermethoden gaan er meestal van uit dat beide spelers identieke "robots" zijn die exact hetzelfde brein gebruiken om te leren. Ze gaan ook vaak uit van de aanname dat spelers kunnen zien wat de ander in het verleden heeft gedaan.
De Realiteit: In de echte wereld zijn spelers verschillend. De een kan een snelle, impulsieve leerling zijn (zoals een hacker die op zoek is naar kwetsbaarheden), terwijl de ander een langzame, voorzichtige leerling is (zoals een beveiligingsbeambte die logs controleert). Ze kunnen elkaar ook mogelijk niet zien bewegen.

De Oplossing: "Heterogene" Leren

De auteurs stellen een nieuwe manier voor waarop deze spelers kunnen leren: Heterogeen Leren.

Denk hierbij aan een dans waarbij de ene partner een jazzdanser is (improviserend, snel, reagerend op het moment) en de andere een balletdanser (gestructureerd, traag, volgend een strikte routine). Het artikel vraagt: Kunnen zij nog steeds samen een stabiel ritme vinden, ook al dansen ze op verschillende beats?

De auteurs introduceren een familie van leeralgoritmen waarbij:

Speler A een "snel" leerregime kan gebruiken (hun strategie snel aanpassen op basis van onmiddellijke beloningen).
Speler B een "traag" leerregime kan gebruiken (tijd nemen om hun ervaringen te middelen).
Cruciaal: Geen van beide spelers hoeft de strategie van de ander of zelfs het bestaan van de ander te kennen. Ze reageren simpelweg op de "score" die ze uit de omgeving krijgen.

De Magische Truc: Het "Schaduwspel"

Hoe bewijzen ze dat dit werkt? De auteurs gebruiken een wiskundig hulpmiddel genaamd Stochastische Approximatie.

Stel je voor dat de spelers door een mistig bos lopen en kleine, willekeurige stappen zetten. Het is moeilijk om het pad te zien. De truc van de auteurs is om te zeggen: "Als je ver genoeg uitzoomt, klaart de mist op en zie je dat hun willekeurige stappen eigenlijk een vloeiende, voorspelbare lijn vormen."

Ze vertalen het rommelige, willekeurige leerproces naar een vloeiend, deterministisch "schaduwspel" (vertegenwoordigd door Gewone Differentiaalvergelijkingen, of ODE's). Door dit vloeiende schaduwspel te bestudelen, kunnen ze voorspellen waar de spelers zullen eindigen.

De Resultaten: Het "Zoete Punt" Vinden

Het artikel bewijst dat zelfs met deze verschillende leersnelheden en stijlen, de spelers uiteindelijk zullen landen in een Zadelpunt.

De Analogie: Stel je een bergpas voor tussen twee pieken. Het "Zadelpunt" is het laagste punt op de kam tussen de pieken.
- Speler A (de maximizer) wil de hoogste piek beklimmen.
- Speler B (de minimizer) wil in het laagste dal blijven.
- Het "Zadelpunt" is de perfecte balans waarbij Speler A niet hoger kan gaan zonder dat Speler B hen naar beneden dwingt, en Speler B niet lager kan gaan zonder dat Speler A hen omhoog stuwt.
Het artikel laat zien dat of beide spelers nu een dezelfde leerstijl gebruiken (zoals twee jazzdansers) of verschillende stijlen (één jazz, één ballet), ze uiteindelijk zullen landen in een stabiele balans.

Een Real-World Voorbeeld: Het Beveiligingsspel

Om dit te testen, simuleerden de auteurs een Cybersecurity Game:

De Aanvaller (Speler A): Probeert een gat in een computersysteem te vinden.
De Verdediger (Speler B): Probeert het gat te dichten.

In de simulatie:

De Aanvaller gebruikte een snel, "zacht" leeralgoritme (zoals een Boltzmann-Gibbs distributie, wat een beetje lijkt op een gokker die af en toe een riskante zet doet, puur om te zien wat er gebeurt).
De Verdediger gebruikte een standaard, langzamer leeralgoritme.

De Uitkomst: Ondanks dat ze met verschillende snelheden en verschillende mentale modellen leerden, convergeerden ze beiden naar een stabiele strategie. De Aanvaller leerde wanneer hij moest toeslaan, en de Verdediger leerde wanneer hij moest verdedigen, waarbij ze een punt bereikten waarop noch de een, noch de ander zijn positie kon verbeteren door alleen hun strategie te veranderen.

Samenvatting

De hoofdbestelling van het artikel is dat in een chaotische omgeving met weinig informatie, tegenovergestelde agenten niet identiek hoeven te zijn om een stabiele oplossing te bereiken. Zolang ze specifieke soorten leeralgoritmen gebruiken (zelfs als de een snel is en de ander traag), zullen ze vanzelf naar een eerlijk en stabiel evenwicht drijven, net zoals twee dansers met verschillende stijlen uiteindelijk een gedeeld ritme vinden.

Technische Samenvatting: Heterogeen Leren in Zero-Sum Stochastische Spelen met Onvolledige Informatie

Probleemstelling

Het artikel behandelt de uitdaging van leren in dynamische, gedecentraliseerde omgevingen waar agenten (spelers) opereren met onvolledige informatie. Specifiek beschouwen de auteurs een tweepersoons zero-sum stochastisch spel waarbij:

Spelers hun eigen uitbetalingsfuncties (de entries in de nutmatrix) niet kennen.
Spelers geen kennis hebben van de voorgaande acties van hun tegenstanders.
De toestandsruimte en de transitiewetten onbekend zijn voor de spelers.
Communicatie tussen agenten onpraktisch is.

In dergelijke settings zijn standaard leeralgoritmen zoals fictitious play of best response dynamics, die vertrouwen op het observeren van de geschiedenis van tegenstander-acties, niet toepasbaar. Bovendien richten bestaande reinforcement learning (RL) algoritmen zich vaak exclusief op ofwel strategie-versterking ofwel uitbetalings-versterking, in plaats van deze te koppelen. De centrale vraag is hoe men volledig gedistribueerde leer-schema's kan ontwerpen die minimale informatie en middelen vereisen, terwijl agenten gelijktijdig optimale strategieën en optimale uitbetalingen kunnen leren.

Methodologie

De auteurs stellen een klasse van heterogene leer-schema's voor waarbij agenten verschillende leerpatronen (algoritmen) kunnen hanteren en op verschillende leersnelheden (tijdsschalen) kunnen opereren.

Spelmodel

De studie maakt gebruik van een tweepersoons zero-sum stochastisch spelmodel $\Xi = \langle S, A_1, A_2, \{U(s, .)\}_{s \in S} \rangle$ .

$S$ : Set van toestanden (onbekend voor spelers, i.i.d. willekeurige variabelen).
$A_1, A_2$ : Eindige actiesets.
$U$ : Nutfunctie waarbij Speler 1 (P1) maximaliseert en Speler 2 (P2) minimaliseert.
Spelers gebruiken gemengde strategieën $f_t$ en $g_t$ op tijdstip $t$ .

Leeralgoritmen (CODIPAS-RL)

De kernmethodologie is het Combined Fully Distributed Payoff and Strategy Reinforcement Learning (CODIPAS-RL) framework. Deze aanpak koppelt het leren van verwachte uitbetalingen aan het leren van strategieën. De auteurs definiëren vijf specifieke algoritmen binnen dit framework:

CRL0: Een basis gecombineerd algoritme dat strategieën en uitbetalingen bijwerkt via gewogen gemiddelden van geobserveerde uitbetalingen (vergelijkbaar met Q-learning gekoppeld aan strategie-updates).
CRL1: Een Boltzmann-Gibbs gebaseerd algoritme waarbij strategie-updates volgen via een soft-max functie van de geschatte gemiddelde uitbetalingen.
CRL2: Vergelijkbaar met CRL1 maar gebruikt een imiterende Boltzmann-Gibbs strategie, waarbij de soft-max wordt gewogen door de huidige strategievector.
RL2: Een standaard strategie-versterkingsalgoritme (vergelijkbaar met replicator dynamics) zonder expliciete koppeling van uitbetalingsschatting.
RL3: Een genormaliseerde versie van RL2.

Analytische Aanpak

De auteurs maken gebruik van stochastische benaderingstechnieken om de convergentie van deze discrete-tijd leeralgoritmen te analyseren. Zij mappen de stochastische leerprocessen naar hun deterministische gewone differentiaalvergelijking (ODE) tegenhangers.

De analyse houdt rekening met heterogene leersnelheden, waarbij de ene speler aanzienlijk sneller leert dan de andere (bijv. $\lambda_{1,t} / \lambda_{2,t} \to 0$ ).
De resulterende ODE's blijken te verschillen van standaard replicator dynamics, best response dynamics, logit dynamics en fictitious play, afhankelijk van de specifieke combinatie van gebruikte algoritmen en leersnelheden door de spelers.

Belangrijkste Bijdragen

Heterogeen Leer-framework: Het artikel introduceert een framework waarin agenten verschillende leer-schema's kunnen adopteren (bijv. de ene gebruikt CRL1 terwijl de andere RL2 gebruikt) en op verschillende tijdsschalen kunnen opereren.
Gekoppeld Uitbetalings- en Strategieleer: In tegenstelling tot standaard RL, die vaak strategie en waarde-leren scheidt, updaten de voorgestelde CODIPAS-RL algoritmen gelijktijdig de strategievectoren en de geschatte gemiddelde uitbetalingen zonder kennis van de acties van de tegenstander te vereisen.
ODE Karakterisering: De auteurs leiden de specifieke ODE's af die het asymptotische gedrag van deze heterogene schema's beheersen. Zij demonstreren dat wanneer spelers met verschillende snelheden leren, de systeemdynamiek beschreven kan worden door een "langzame" speler die reageert op de "snelle" speler's vloeiende best response, of vice versa.
Convergentie naar $\epsilon$ -Zadelpunten: Het artikel stelt vast dat deze heterogene dynamieken bijna zeker convergeren naar een $\epsilon$ -zadelpunt van het verwachte spel. Naarmate de soft-max parameter $\epsilon \to 0$ , convergeren deze punten naar de ware zadelpunten.
Eliminatie van Gedomineerde Strategieën: Onder het CRL1 algoritme bewijzen de auteurs dat strikt gedomineerde strategieën op de lange termijn worden geëlimineerd.

Resultaten

Convergentie: Het artikel bewijst dat combinaties van CRL1, RL2 en RL3 (bijv. CRL1 vs. RL2, CRL1 vs. CRL2) leiden tot convergentie naar zadelpunt-oplossingen in zero-sum stochastische spelen.
Tijdsschaal-scheiding: Wanneer één speler sneller leert dan de andere, convergeert het traject van de langzamere speler naar een vloeiende best response (of aangepaste replicator dynamics) ten opzichte van de strategie van de snellere speler.
Simulatie (Toepassing in Security Games): De auteurs passen de algoritmen toe op een scenario van netwerkinbraakdetectie (Aanvaller vs. Verdediger).
- Scenario: Een $2 \times 2$ spel met stochastische uitbetalingen.
- Homogene Geval: Wanneer beide spelers CRL1 gebruiken, convergeren uitbetalingen en strategieën naar de spelwaarde (ongeveer 2.6) en de zadelpunt-strategieën ( $f^*=[0.4, 0.6]$ , $g^*=[0.2, 0.8]$ ), hoewel de convergentie traag is.
- Heterogene Geval: Wanneer de aanvaller CRL1 gebruikt en de verdediger RL2, convergeert het systeem eveneens, wat de robuustheid van de heterogene aanpak aantoont.

Betekenis en Claims

Het artikel claimt dat de primaire bijdrage het adresseren is van de grote uitdaging van leren in gedecentraliseerde omgevingen met minimale informatievereisten. Door de aanname te versoepelen dat spelers de geschiedenis van tegenstander-acties moeten observeren, zijn de voorgestelde algoritmen meer toepasbaar op real-world netwerk- en beveiligingsscenario's waar dergelijke observatie "onwaarschijnlijk en onpraktisch" is.

De auteurs benadrukken dat hun werk:

Een theoretische fundering biedt voor heterogeen leren, waarbij erkend wordt dat agenten in echte systemen (zoals aanvallers en verdedigers) verschillende niveaus van rationaliteit en informatie bezitten.
Een klasse van algoritmen biedt die volledig gedistribueerd zijn en slechts lokale uitbetalingsobservaties vereisen.
Het begrip van spel-dynamica uitbreidt voorbij de standaard replicator of best-response modellen, door te laten zien hoe verschillende leersnelheden en schema's nieuwe dynamische gedragingen creëren die nog steeds naar evenwicht convergeren.

Het artikel sluit bescheiden af met de opmerking dat toekomstig werk het uitbreiden van deze resultaten naar stochastische spelen met gecontroleerde toestanden en non-zero-sum spelen omvat.