Technische Samenvatting: Een op Entropie gebaseerd Kader voor Hybride Coalities in Speltheorie. Deel I: Menselijke Arbitrage

1. Probleemstelling

Klassieke Speltheorie, geworteld in het raamwerk van von Neumann en Morgenstern, gaat uit van agenten met een vaste beslissingsautoriteit en standaard voorkeursstructuren die voldoen aan axioma's zoals volledigheid, transitiviteit en de Archimedeïsche eigenschap. Echter, hybride mens–AI-systemen vormen een fundamentele uitdaging: de uitvoeringsautoriteit kan endogeen wisselen tussen menselijke en AI-componenten binnen een digitale omgeving. In dergelijke settings kan coalitiegedrag niet worden gerepresenteerd door een enkele vloeiende voorkeursordening of een standaard nutsfunctie. Bestaande hybride benaderingen mengen vaak nutswaardes of behandelen autoriteit als statisch, waarbij ze falen om de dynamiek van alternerende controle te vatten waarbij de uitvoerende agent wordt geselecteerd op basis van beleidsdivergentie. Dit artikel behandelt de ontoereikendheid van klassieke evenwichtsconcepten voor hybride coalities die opereren onder "Virtuele Natuur" (de algoritmische analogie van klassieke Natuur) en streeft naar de formalisering van een kader waar delegatie dynamisch en regime-afhankelijk is.

2. Methodologie: Neo-Speltheorie

De auteurs introduceren Neo-Speltheorie, een uitbreiding van de klassieke Speltheorie ontworpen voor hybride mens–AI-coalities. Het kader is gebouwd op de volgende pijlers:

2.1. Virtuele Natuur en Hybride Spelen

De omgeving wordt gemodelleerd als Virtuele Natuur ($V$), een transitiefunctie $V: S \times A \to \Delta(S)$ die algoritmische stochasticiteit, harde drempelwaarden en discontinuïteiten vangt. Een hybride spel wordt gedefinieerd als een tupel $N(V) = (S, A, U, \lambda, P_V)$, waarbij:

• $S$ de toestandsruimte is.
• $A$ de gemeenschappelijke uitgevoerde actieruimte is (de unie van de menselijke en AI-voorstelsets).
• $U = \{U_H, U_{AI}\}$ de individuele nutsfuncties zijn.
• $\lambda_T \in \{0, 1\}$ een binaire delegatiefactor is die bepaalt welke agent de actie op tijdstip $T$ uitvoert.
• $P_V$ de transitiekernel is gegenereerd door Virtuele Natuur.

2.2. Axiomatische Afwijkingen

Het kader versoepelt klassieke axioma's op coalitieniveau:

• Falen van Transitiviteit: Alternerende controle kan niet-transitieve onthulde voorkeuren induceren (bijv. $A \succ B, B \succ C, C \succ A$), zelfs als individuele agenten transitief zijn.
• Falen van het Archimedeïsche Axioma: De coalitie vertoont geen vloeiende afwegingen; menselijke aanpassing is geleidelijk terwijl AI-optimalisatie discreet kan zijn.
• Lexicografisch Nut: Coalitie-uitkomsten worden lexicografisch vergeleken. Het uitvoeringsregime (Mens vs. AI) wordt gekozen voordat de nutsevaluatie plaatsvindt, wat betekent dat er geen compenserende afweging bestaat tussen regimes.

2.3. Entropie-gebaseerd Delegatiemechanisme

Delegatie wordt bepaald door de Jensen–Shannon (JS) divergentie ($D_{JS}$) tussen het empirische menselijke beleid ($p_H$) en het AI-beleid ($p_{AI}$). Het kader maakt gebruik van twee vaste drempelwaarden, $\alpha_{agree}$ en $\alpha_{disagree}$, om de beleidsruimte in drie regimes te verdelen:

1. Overeenstemming ($D_{JS} \le \alpha_{agree}$): AI voert uit ($\lambda = 0$).
2. Onenigheid ($D_{JS} \ge \alpha_{disagree}$): Mens voert uit ($\lambda = 1$).
3. Contextueel ($\alpha_{agree} < D_{JS} < \alpha_{disagree}$): Uitvoering wordt bepaald door een probabilistische regel waarbij de waarschijnlijkheid van menselijke uitvoering gelijk is aan $D_{JS}$.

2.4. Leerdynamiek en Evenwicht

Het artikel richt zich op Scenario 1: Menselijke Arbitrage, waarbij de Mens de uiteindelijke uitvoeringsautoriteit behoudt.

• Beleidupdates: De AI werkt zijn beleid in alle regimes bij richting de uitgevoerde actie. De Mens werkt zijn beleid alleen in het overeenstemmingsregime bij ($D_{JS} \le \alpha_{agree}$).
• Nutstraces: Nutswaardes worden online bijgewerkt met behulp van een Exponentially Weighted Moving Average (EWMA) trace op basis van de uitgevoerde actie.
• Evenwichtsconcept: Het artikel definieert een Frequentie-Convergentie Evenwicht. In tegenstelling tot klassieke Nash-evenwichten (fixpunten van beste reacties), is dit een dynamische stabilisatie van het stochastische beleidsadaptatieproces. Het wordt gekenmerkt door de asymptotische stabilisatie van empirische regimefrequenties ($f_{agree}, f_{ctx}, f_{disagree}$).

3. Belangrijkste Bijdragen

1. Formalisering van Neo-Speltheorie: Het artikel legt de axiomatische basis voor hybride coalities en toont aan hoe alternerende autoriteit leidt tot lexicografische nutsstructuren en potentiële mislukkingen van klassieke transitiviteit.
2. Delegatie via Entropie: Het stelt een nieuwe delegatieregel voor op basis van de Jensen–Shannon divergentie, waarbij drempelwaarden worden gebruikt om onderscheidende uitvoeringsregimes (Overeenstemming, Contextueel, Onenigheid) te creëren.
3. Menselijke Arbitrage Regime: De auteurs ontwikkelen en simuleren het eerste regime van deze theorie, waarbij de Mens fungeert als definitieve arbiter terwijl de AI leert door observatie en frequentiematching.
4. Theoretische Karakterisering: Het bewijst dat onder Robbins–Monro stapgrootten of constante winsten, het systeem convergeert naar een stabiele distributie van beleidsfrequenties. Het stelt vast dat het divergentieproces asymptotisch stationair en ergodisch is onder specifieke condities.

4. Resultaten

De auteurs voerden simulaties uit over diverse horizonten ($H \in \{200, \dots, 50.000\}$) en parametergroepen (drempelwaarden, leersnelheden, stapgrootte-schema's en toestandsgeneratiemodi). De belangrijkste bevindingen zijn:

• Convergentie: Over alle horizonten heen komen de menselijke en AI-beleid steeds meer in lijn, waardoor de Jensen–Shannon divergentie ($D_{JS}$) naar nul nadert.
• Rol van Parameters:
  • Leersnelheid ($\eta$): Constante stapgrootten versnellen de vroege uitlijning maar veroorzaken kleine oscillaties. Afnemende stapgrootten (Robbins–Monro) produceren gladdere, stabielere convergentietrajecten.
  • Drempelwaarden: De drempelwaarden bepalen de frequentie van regime-wisselingen maar veranderen de langetermijn-uitlijning niet.
  • Toestandsgeneratie: Of toestanden exogeen (willekeurig) of endogeen (actie-afhankelijk) worden gegenereerd, heeft invloed op de kortetermijnvolatiliteit maar niet op het asymptotische evenwicht.
• Transient versus Asymptotisch: Parameters beïnvloeden primair het transiënte leerpad (snelheid en ruis) in plaats van het bestaan van convergentie zelf. Bij voldoende grote horizonten ($H \ge 30.000$) bereikt het systeem een verzadigd regime waarin de beleidsvormen zijn uitgelijnd en $D_{JS} \approx 0$, ongeacht het specifieke leerschema of de omgevingsspecificatie.
• Stabiliteit: Het systeem vertoont robuuste beleidsuitlijning zonder te vertrouwen op klassieke best-response optimalisatie. Stabiliteit ontstaat door herhaalde uitvoering, empirische adaptatie en de statistische structuur van de delegatieregel.

5. Betekenis en Claims

Het artikel beweert de eerste regime (Menselijke Arbitrage) van een breder Neo-Speltheoretisch kader te bieden. De betekenis ligt in:

• Theoretische Fundering: Het biedt een axiomatische basis voor hybride systemen waar autoriteit wisselt, waarmee het verder gaat dan modellen die simpelweg nutswaardes aggregeren.
• Gedragsevenwicht: Het herdefinieert evenwicht niet als een statisch strategisch fixpunt, maar als een dynamische stabilisatie van empirische frequenties en beleidsdivergentie.
• Praktische Implementatie: De simulatieresultaten valideren dat entropie-gebaseerde delegatie robuust beleidsuitlijning kan stimuleren in hybride systemen, wat wijst op een levensvatbaar mechanisme voor human-in-the-loop training en vertrouensgevoelige AI-systemen.

De auteurs stellen expliciet dat dit werk de basis legt voor toekomstige uitbreidingen, specifificamente de AI-controle en Onderhandeling regimes, die zullen toestaan om systematische vergelijkingen te maken met gevestigde oplossingsconcepten zoals Nash- en Stackelberg-evenwichten in digitaal gemedieerde omgevingen. Het artikel claimt niet het oplossen van alle hybride interactieproblemen, maar formaliseert een specifieke klasse van interacties waarbij de uitvoeringsautoriteit endogeen en beleidsgestuurd is.