Technische Samenvatting: MTG-Causal-RL

Probleemstelling

Causaal Versterkend Leren (RL) mist momenteel benchmarks die sequentiële besluitvorming, verborgen informatie, grote gemaskeerde actieruimtes en een expliciete causale structuur gelijktijdig adresseren. Bestaande omgevingen bieden doorgaans óf laagniveaucontrole met duidelijke fysieke interventies (bijv. robotica) óf strategische spellen zonder een expliciete causale interface (bijv. standaard bordspellen). Deze kloof belemmert onderzoek naar causale krediettoewijzing, structurele overdracht tussen gedefinieerde archetypen en auditbaarheid van beleidsplannen onder complexe, deels waarneembare omstandigheden.

Methodologie

De MTG-Causal-RL Benchmark

De auteurs introduceren MTG-Causal-RL, een op Gymnasium gebaseerde benchmark gebouwd op Magic: The Gathering (MTG). De omgeving is ontworpen om strategisch rijk maar computationeel hanteerbaar te zijn, met de volgende kenmerken:

• Observatieruimte: Een 3.077-dimensionale gedeeltelijke observatievector die zichtbare hand, slagveld, begraafplaats, levenspunten, fase en manatoestand omvat.
• Actieruimte: Een discrete ruimte van 478 gemaskeerde acties, georganiseerd in 16 categorieën (bijv. spreuken werpen, aanvallen, blokkeren, mana betalen). Doorgaans zijn slechts 2–15 acties legaal per staat.
• Archetypen: Vijf competitieve Standard 2025-deckarchetypen (Mono-Red Aggro, Azorius Control, Dimir Midrange, Domain Ramp, Boros Convoke) dienen als trainings- en evaluatiepool.
• Structureel Causaal Model (SCM): Een handmatig ontworpen SCM definieert de causale relaties tussen strategische variabelen. Het wordt niet uit data geleerd, maar afgeleid uit MTG-strategische theorie om interpreteerbaarheid te prioriteren. Het model bestaat uit vier lagen:
  1. Hulpbronnen: Mana, landdrops, mana-creatures.
  2. Slagveldstaat: Druk op het slagveld, dreigingsdichtheid.
  3. Strategische Positie: Kaartvoordeel, tempo, levensbuffer, beschikbaarheid van verwijdering.
  4. Uitkomst: Winkans ($WinProb$), gemodelleerd als een sigmoidfunctie van zijn zes ouders (de strategische factoren).
• Interventie-interface: De omgeving blootlegt causale variabelen, door het SCM voorspelde interventie-effecten (analytisch berekend via $do(\cdot)$-propagatie) en kredietsporen per factor. Acties corresponderen met interventies (bijv. een land spelen komt overeen met $do(LandDrop=1)$), waarbij effecten door het SCM worden gepropageerd om $WinProb$ bij te werken.

Voorgestelde Agent: CGFA-PPO

Als secundaire bijdrage stellen de auteurs Causal Graph-Factored Advantage PPO (CGFA-PPO) voor. Deze agent breidt standaard gemaskeerde PPO uit met drie causale componenten:

1. Critici per Factor: Een set van $K$ criticuskoppen ($V_k$) die corresponderen met de SCM-ouders van $WinProb$. Deze worden getraind op beloningen per factor, gedefinieerd als de verandering in factorwaarden ($\phi_k(s_{t+1}) - \phi_k(s_t)$).
2. Leerbare Menggewichten: Een softmax-laag ($w_k$) die de scalaire voordeelwaarde mengt met de factor-uitgelijnde voordeelwaarden. Deze gewichten worden geïnitialiseerd met de logistische regressiegewichten van het SCM om een structurele prior te bieden.
3. Staat-voorwaardelijke Residu-gate: Een gate $g(s) \in (0,1)$ die dynamisch beslist over de afhankelijkheid van de scalaire voordeelwaarde versus de factor-uitgelijnde voordeelwaarde voor elke staat.
4. Interventie-Calibratieverlies: Een Pearson-correlatieverlies ($L_{cal}$) dat de geleerde per-factor voordeelwaarden ($A_k$) afstemt op de door het SCM voorspelde interventie-effecten ($\epsilon_k$).

Experimenteel Protocol

De evaluatie hanteert een rigoureus statistisch protocol om reproduceerbaarheid en geldige causale claims te waarborgen:

• Gekoppelde Zaden: Vergelijkingen gebruiken gekoppelde zaden over agenten en decks.
• Statistische Tests: Winkansen maken gebruik van Wilson-scoreintervallen en gepaarde bootstrap-betrouwbaarheidsintervallen. Paardewijze vergelijkingen maken gebruik van de Wilcoxon-getekende rangtest en Welch-t-test.
• Correctie: De Holm-Bonferroni-correctie wordt toegepast binnen vooraf geregistreerde vergelijkingsfamilies om te controleren voor meervoudige vergelijkingen.
• Metingen: Naast de hoofdlijnen van winkansen, houdt de benchmark de overdrachtsgaten bij bij leave-one-out cross-archetype, kalibratietrajecten per factor en aandeel van krediettoewijzing bij.

Belangrijkste Resultaten

Hoofdprestaties

• Basisvergelijking: Zowel standaard gemaskeerde PPO als CGFA-PPO presteren significant beter dan de uniforme willekeurige basislijn over alle vijf archetypen.
• Deck-afhankelijkheid: Geen enkele agent domineert de ander uniform. CGFA-PPO presteert beter dan PPO op Azorius Control (+5,0 pp) en Mono-Red Aggro (+2,8 pp). Omgekeerd presteert PPO beter dan CGFA-PPO op Boros Convoke (-3,9 pp), Dimir Midrange (-2,2 pp) en Domain Ramp (-8,3 pp).
• Heuristische Ankers: Handgecodeerde heuristieken presteren sterk op proactieve decks (bijv. Mono-Red) maar slecht op reactieve of complexe decks (bijv. Azorius Control, Domain Ramp), wat aangeeft dat de benchmark regimes bevat die zowel scripting als leren begunstigen.

Ablatie en Diagnostiek

• Causale Augmentatie: Op de diagnostische slice voor Mono-Red presteert de volledige CGFA-PPO (70,6%) vergelijkbaar met de enkelvoudige scalar-controle (69,4%) en de variant zonder gate (70,6%). De variant "zonder kalibratie" behaalde daadwerkelijk 73,3%, wat suggereert dat kalibratie en gating mechanismen zijn voor afstemming en interpreteerbaarheid in plaats van directe prestatieboosters in deze setting.
• Overdracht: Leave-one-out overdrachtstests onthulden dat vastgehouden tegenstandermixen vaak makkelijker waren dan de trainingspool (negatieve generalisatiegaten voor zowel PPO als CGFA-PPO), wat de capaciteit van de benchmark aantoont om evaluatieshifts te detecteren in plaats van opgeloste overdracht te bewijzen.
• Kalibratie: Trainingsverlopen toonden aan dat factorcorrelaties positief bewogen, het kredietaandeel zwaar concentreerde op de factor "levensbuffer", en de residugate actief bleef, wat bevestigt dat de agent de causale interface op een auditabele manier benut.

Betekenis en Claims

Het artikel stelt dat MTG-Causal-RL een gedeelde testomgeving biedt voor drie open vragen die huidige benchmarks niet samen kunnen stellen:

1. Causale Krediettoewijzing: Het evalueren van agenten onder gemaskeerde actieruimtes waar acties moeten worden toegeschreven aan specifieke causale factoren.
2. Structurele Overdracht: Het testen van generalisatie over schoon gedefinieerde strategische archetypen.
3. Auditbaarheid van Beleid: Het gebruik van op SCM gebaseerde metrieken (kalibratiecurven, interventie-effecten) om te auditeren waarom een beleid beslissingen neemt, niet alleen wat de winkans is.

De auteurs benadrukken dat de primaire bijdrage de benchmarkomgeving en causale interface is, wat toelaat om capaciteit, factorcritici, gating en kalibratie te scheiden. De resultaten suggereren dat hoewel causale agenten concurrerend kunnen zijn, het label "causaal" op zich geen superieure scalaire winkansen garandeert; de waarde ligt in het vermogen om structureel gedrag te diagnosticeren en beleidsupdates te auditeren tegen expliciete causale modellen. De benchmark wordt openbaar vrijgegeven om causaal RL, wereldmodellen en LLM-agent-onderzoek te ondersteunen.