Technisch Samenvatting: Cross-Validation Evenwicht

1. Probleemstelling

Dit artikel behandelt de strategische implicaties van het integreren van voorspellende machine learning (ML) in statische Bayesiaanse spellen met onvolledige informatie. In veel economische contexten (bijv. kredietwaardigheidsbeoordeling, juridische risicobeoordeling) delegeren menselijke besluitvormers de vorming van voorspellende overtuigingen aan ML-algoritmen. Deze algoritmen construeren modellen op basis van willekeurige trainingsstalen getrokken uit de evenwichtsverdeling van het spel zelf.

Het kernprobleem is het karakteriseren van de evenwichtsresultaten wanneer:

1. Spelers de vorming van overtuigingen delegeren aan een "ML-agent".
2. De ML-agent een voorspellend model selecteert (een mapping van spelertypes naar relevante uitkomsten) op basis van een ruisige, endogene trainingsstele.
3. Het modelselectiecriterium lijkt op cross-validatie: de agent kiest het model dat de verwachte out-of-sample gemiddelde kwadratische voorspellingsfout minimaliseert.
4. Spelers vervolgens de beste reactie vormen op de overtuigingen die door het geselecteerde model worden gegenereerd.

De auteurs zoeken te begrijpen hoe de endogene link tussen het gedrag van spelers en de door ML gegenereerde voorspellende modellen standaard evenwichtsconcepten zoals het Nash-evenwicht (NE) verandert.

2. Methodologie en Modelkader

De Spelstructuur

De auteurs formuleren een licht afwijkend Bayesiaans spel:

• Spelers: $N = \{1, \dots, n\}$.
• Toestanden en Types: Een verzameling toestanden $\Theta$ en typesets $T_i$.
• Uitbetalingen: De utiliteit van speler $i$, $u_i(a_i, t_i, x_i)$, is continu en lineair in een scalaire relevante uitkomst $x_i$. De uitkomst $x_i$ is een functie van de toestand en de acties van tegenstanders, $x_i = f_i(\theta, a_{-i})$.
• Trainingsstele: Voor een vaste strategieprofiel $\sigma_{-i}$ is de werkelijke verwachte uitkomst voor speler $i$ gegeven type $t_i$ gelijk aan $\bar{x}^\sigma_i(t_i)$. De ML-agent observeert een ruisige trainingsstele:
  $$y_{t_i} = \bar{x}^\sigma_i(t_i) + \varepsilon_{t_i}$$
  waarbij $\varepsilon_{t_i}$ i.i.d. ruistermen zijn die symmetrisch rond nul liggen.

De Taak van de ML-agent

De ML-agent selecteert een partitie $\Pi_i$ van de typespace $T_i$ uit een toegestane verzameling $\mathcal{P}_i$.

• Voorspelling: Binnen elke partitiecel $\pi(t_i)$ voorspelt de agent de uitkomst met behulp van het gewogen gemiddelde van de trainingsstele in die cel.
• Selectiecriterium: De agent selecteert de partitie die de verwachte out-of-sample gemiddelde kwadratische voorspellingsfout minimaliseert. Dit omvat een validatiesample met onafhankelijke ruis $\eta$. De agent evalueert de prestaties van de partitie over vele potentiële validatiesamples.
• Bias-Variance Trade-off: Het selectieproces balanceert natuurlijk tussen bias (grove partities) en variantie (fijne partities). Een grove partitie kan worden geselecteerd als de ruis in de trainingsstele hoog is, omdat dit de variantie van de estimator vermindert.

Definitie: Cross-Validation Equilibrium (CVE)

Een strategieprofiel $\sigma$ is een Cross-Validation Equilibrium (CVE) als voor elke speler $i$ en elke realisatie van de trainingsstele $\varepsilon_i$:

1. De ML-agent een partitie $\Pi_i$ selecteert die de verwachte out-of-sample voorspellingsfout minimaliseert gegeven $\varepsilon_i$ en de strategieën van de tegenstanders.
2. De speler een zuivere strategie $g_i(t_i)$ kiest die een best-reply is op de overtuiging geïnduceerd door de geselecteerde partitie $\Pi_i$.
3. De gemengde strategie van de speler $\sigma_i$ de menging is over alle dergelijke compatibele (partitie, strategie) paren, gewogen door de waarschijnlijkheid van de realisatie van de trainingsstele.

3. Belangrijke Theoretische Resultaten

Bestaan en Convergentie

• Bestaan: De auteurs bewijzen dat een CVE bestaat in elk eindig spel met behulp van een vaste-punt argument op een correspondentie die strategieprofielen en partitieverdelingen naar zichzelf mapt.
• Convergentie naar ABEE: Naarmate de ruis in de trainingsstele verdwijnt ($\text{Var}(\varepsilon) \to 0$), convergeert elk limietpunt van een sequentie van CVE's naar een Analogy-Based Expectation Equilibrium (ABEE) (Jehiel, 2005) met betrekking tot de fijnste toegestane partitie.
• Convergentie naar NE: Als de fijnste toegestane partitie de singleton-partitie is (die elk type onderscheidt), convergeert de CVE naar het Nash-evenwicht wanneer de ruis verdwijnt.

Eigenschappen van Modelselectie

• Onbevooroordeeldheid van Geselecteerde Modellen: Een cruciaal technisch resultaat (Proposition 4) is dat de verwachte trainingsstele-ruis conditioneel op de geselecteerde partitie nul is. Dit houdt stand omdat het selectiecriterium (minimaliseren van de verwachte out-of-sample fout met een kwadratische verliesfunctie) en de symmetrie van de ruisverdeling ervoor zorgen dat het selectieproces de ruis niet systematisch bevooroordeelt.
• Vermijden van Overfitting: Als de voldoende statistiek meetbaar is ten opzichte van een grove partitie, zal de ML-agent bijna nooit een strikt fijnere partitie selecteren, aangezien een fijnere partitie alleen de variantie zou verhogen zonder de bias te verminderen (Proposition 3).
• Partitie Selectieregel: In binaire settings (fijne versus grove partities), wordt de fijne partitie geselecteerd indien en slechts indien de variantie van de gerealiseerde trainingsstele-ruis kleiner is dan de variantie van de voldoende statistiek (Proposition 5).

4. Toepassingen en Economische Implicaties

Het artikel past CVE toe op verschillende specifieke spelen om kwalitatieve verschillen met het Nash-evenwicht te illustreren:

A. Kwadratische Uitbetalingsspelen (Cournot en Teaminspanning)

• Strategische Substitueerbaarheid (Cournot): In een Cournot-competitie neemt de volatiliteit van evenwichtshoeveelheden en -prijzen in een symmetrisch CVE toe met de variantie van de trainingsstele-ruis. Dit komt doordat ruisigere samples een grotere kans op grove partities geven; onder strategische substitueerbaarheid leiden grove overtuigingen (die onderreageren op staatsschommelingen) tot versterkte reacties door de speler.
• Strategische Complementariteit (Teaminspanning): In een teaminspanningsspel kan de CVE meerdere evenwichten vertonen, zelfs wanneer het onderliggende spel een uniek Nash-evenwicht heeft. De multipliciteit ontstaat omdat de waarschijnlijkheid van het selecteren van een fijne partitie toenemend is in de volatiliteit van de overtuigingen, die op zijn beurt afhangt van de partitiekeuze.
• Discontinuïteit: Zelfs met willekeurig kleine ruis kan de CVE in het teaminspanningsspel discontinu verschillend zijn van het Nash-evenwicht, wat resulteert in lagere verwachte uitbetalingen.

B. Unanimiteitsstemming (Jury Model)

In een twee-spelers jury-model kan endogene modelselectie leiden tot hogere waarschijnlijkheden om voor een hervorming te stemmen vergeleken met het efficiënte Nash-evenwicht. De ruis in de trainingsstele kan de selectie van een grove partitie induceren, wat informatie aggregeert op een manier die spelers eerder geneigd maakt "Ja" te stemmen dan onder rationele, fijnmazige overtuigingen.

C. Speculatief Wedden

In een zero-sum wedspel kan een speler die beperkt is tot de "correcte" fijne partitie een lagere verwachte uitbetaling lijden dan een tegenstander die toegang heeft tot zowel de fijne als de grove partities. De tegenstander kan strategisch een grove partitie selecteren wanneer de realisaties van de ruis tegengesteld zijn, waardoor de ruis effectief wordt gemiddeld om een correcte overtuiging te vormen en de beperkte speler uit te buiten. Dit daagt de intuïtie uit dat meer informatie (of de juiste model) altijd superieur is.

D. Illusie van Controle

De auteurs breiden het kader uit om partities van de gezamenlijke ruimte van toestanden en acties toe te staan. Ze demonstreren een scenario waarin spelers met een positieve waarschijnlijkheid een strikt gedomineerde actie kiezen. Deze "illusie van controle" ontstaat omdat de ML-agent incidenteel een model selecteert dat een succesvolle uitkomst onterecht toeschrijft aan de actie van de speler, wat de speler doet geloven dat de actie causaal is.

5. Betekenis en Bijdrage

Het artikel claimt bij te dragen aan de literatuur over:

1. Strategische ML: In tegen tegenstelling tot de literatuur over reinforcement learning (bijv. Calvano et al., 2020) die zich richt op langetermijn leerprocessen, richt dit artikel zich op statische spelen waarbij ML-agenten voorspellende modellen construeren voor menselijke spelers.
2. Niet-rationele Vorming van Overtuigingen: Het breidt de literatuur over subjectieve evenwichtsconcepten (bijv. Jehiel, 2005; Eyster en Rabin, 2005) uit door endogene, willekeurige modelselectie te introduceren. In tegenstelling tot eerdere modellen waar partities vaststaan of exogeen worden gegeven, kenmerkt CVE zich door partities die endogeen worden geselecteerd op basis van een cross-validatiecriterium.
3. Endogene Data: Het benadrukt dat wanneer de trainingsdata endogeen is aan het evenwicht, de "bias-variance trade-off" die inherent is aan ML-modelselectie een strategische variabele wordt, wat potentieel leidt tot meerdere evenwichten, verhoogde volatiliteit en uitkomsten die significant afwijken van rationele benchmarks, zelfs bij een kleine hoeveelheid ruis.

De auteurs benadrukken dat hun resultaten steunen op het specifieke criterium van het minimaliseren van de verwachte out-of-sample kwadratische fout (cross-validatie) en de symmetrie van de ruis. Zij merken op dat de lineariteit van de uitbetalingen een vereenvoudigende aanname is die toestaat dat de voldoende statistiek een scalaire is, wat de link naar ABEE faciliteert.