Technische Samenvatting: Solver-Gestuurde Redenering voor Mixed-Equilibrium Strategieën

Probleemstelling

Large Language Models (LLMs) worden doorgaans getraind op menselijke data, die fundamenteel beperkt is voor redeneren in complexe spellen met imperfecte informatie zoals No-Limit Texas Hold'em (NLH). Menselijk spel wordt vaak gestuurd door intuïtie en heuristieken, wat regelmatig afwijkt van game-theoretisch optimale (GTO) evenwichtsstrategieën. Bovendien presenteren menselijke data voornamelijk pure strategieën, terwijl evenwichtspel in spellen met imperfecte informatie mixed strategieën (probabilistische actieverdelingen) vereist om exploitatie te voorkomen.

Huidige evaluaties wijzen erop dat zelfs geavanceerde LLM's worstelen met deze kloof. Ze falen vaak in het voorspellen van de juiste actiefrequenties of range-level mixing, ondanks het bezit van een vloeiende poker-vocabulaire. De kernuitdaging is een mismatch in doelstellingen: LLM's optimaliseren voor linguïstische voorspelling, terwijl solvers de exploitabiliteit binnen verborgen-toestand spelbomen minimaliseren. Bestaande menselijke commentaren slagen er niet in de precieze frequentietoewijzing te vatten die vereist is voor een evenwicht, en ruwe solver-outputs (numerieke distributies) zijn niet direct communiceerbaar of interpreteerbaar door LLM's.

Methodologie

Het paper stelt een framework voor om de "stille optimaliteit" van solver-outputs te vertalen naar articuleerbare, verifieerbare redeneerregels voor LLM's. Dit wordt bereikt via twee primaire componenten:

1. Mixed-Strategy Decision Tree (MDT)

De MDT dient als een intermediaire representatie die solver-policies destilleert tot een ijle, hiërarchische structuur.

• Input: Het neemt compacte representaties van de publieke context (board, historie, positie) en solver-afgeleide continuatie-samenvattingen (EV, equity, range-level metrieken) aan.
• Architectuur: In tegenstelling tot standaard beslissingsbomen die naar een enkele actie mappen, gebruikt de MDT probabilistische routing over pure-actie bladprototypes. Elk blad vertegenwoordigt een enkele actie (bijv. Bet, Call, Fold), en de router wijst waarschijnlijkheidsmassa toe aan deze bladeren op basis van ijle, hiërarchische condities.
• Training: De MDT wordt getraind om de $L_1$-afstand tot de oracle's mixed actie-distributie en de Expected Value (EV) gap te minimaliseren. Een "hard" ijle curriculum wordt toegepast, waarbij een dichte teacher-model een student-model begeleidt om slechts de top-$K$ (bijv. 5) meest relevante strategische samenvattingen per node te selecteren. Dit zorgt ervoor dat de resulterende regels expliciet en inspecteerbaar zijn.

2. Scenario-Constrained Counterfactual Sampling (SCCS)

Hoewel de MDT blootlegt welke samenvattingen worden gebruikt, legt het niet inherent uit waarom een specifieke hand afwijkt van een andere in dezelfde publieke context. SCCS adresseert dit door contrastieve regels te genereren.

• Proces: Voor een doelhand identificeert SCCS "schaduwhanden" uit dezelfde publieke scenario die een duidelijke divergentie in solver-policy vertonen en een kritische routing-grens in de MDT overschrijden.
• Regelextractie: Het isoleert de specifieke strategische grootheid (bijv. kicker-sterkte, draw-potentieel) die de divergentie veroorzaakt. Dit contrast wordt omgezet in een natuurlijke taalregel (bijv. "Met een King-high kicker, check om equity te realiseren; met een Ten-high kicker, bet om equity te ontzeggen").
• Restrictie: De doelhand wordt nooit opgenomen in de referentieset van de regel, wat garandeert dat de LLM de geëxtraheerde logica moet transfereren in plaats van een bijna-duplicaat voorbeeld te memoriseren.

Belangrijkste Bijdragen

1. Solver Articulatie: Het paper definieert en lost de taak op om redenering te extraheren uit solver-gegenereerde mixed strategieën, bewegend voorbij ruwe numerieke voorschriften.
2. MDT Architectuur: Het introduceert een ijle, hiërarchische distillatie-model dat de complexe koppeling van range-level condities en hand-specifieke grenzen vastlegt die vereist zijn voor mixed equilibria.
3. SCCS Mechanisme: Het stelt een methode voor om contrastieve, overdraagbare regels te genereren die lokale strategische grenzen verklaren (bijv. waarom Hand A bet terwijl Hand B checkt in dezelfde situatie).
4. Empirische Validatie: Het framework is geïnstantieerd op NLH met meer dan 250 miljoen solver-gelabelde beslismomenten en gevalideerd over 8 verschillende LLM-configuraties.

Resultaten

De studie demonstreert significante verbeteringen in de strategische getrouwheid van LLM's wanneer zij worden gestuurd door solver-afgeleide regels:

• Afstandvermindering: Over 8 LLM-configuraties werd de gemiddelde $L_1$-afstand tot de solver-target met 52,6% verminderd (van 0,211 naar 0,100) bij gebruik van SCCS-regels vergeleken met directe prompting.
• Actie-overeenstemming: De overeenstemming op de hoogste-waarschijnlijkheid actie (argmax) verbeterde van 57,2% naar 76,1%.
• Ablatie-studies:
  • Route-only: Het verstrekken van de MDT route-trace zonder contrastieve regels verbeterde de prestaties, maar was minder effectief dan SCCS, wat aangeeft dat de gematchte schaduw-contrast cruciale informatie biedt over de beweging van de waarschijnlijkheidsmassa.
  • Summaries-only: Het verstrekken van ruwe numerieke samenvattingen zonder regels verslechterde de prestaties daadwerkelijk ten opzichte van directe prompting, wat suggereert dat LLM's ongestructureerde solver-kwantiteiten niet automatisch kunnen interpreteren.
• Generalisatie: De pipeline werd succesvol toegepast op Liar's Dice, wat de draagbaarheid van de methode naar andere imperfect-information games aantoont.
• Strategische Getrouwheid: In volledige River endgame evaluaties behielden de harde MDT-policies een lage exploitabiliteit (ongeveer 0,35% van de pot), wat aantoont dat de gedestilleerde policies strategisch solide blijven.

Betekenis en Claims

Het paper claimt een nieuw regime in AI te hebben gevestigd waarbij LLM's complexe redeneercapaciteiten verwerven via synthetische, door AI gegenereerde data, waarmee de bottleneck van schaarse of bevooroordeelde menselijke data wordt omzeild.

• Voorbij Menselijke Heuristieken: Het werk betoogt dat menselijke discours onvoldoende is voor het leren van equilibrium-logica omdat het selectief is en bevooroordeeld richting pure strategieën. Solver-afgeleide regels bieden de noodzakelijke grondwaarheid voor mixed-strategie frequentietoewijzing.
• Interpreteerbaarheid: Door "stille" solver-optimaliteit om te zetten in ijle, leesbare regels, maakt het framework de logica van superhumane agenten toegankelijk voor onafhankelijke LLM's.
• Paradigmaverschuiving: Met een verwijzing naar Silver en Sutton (2025) positioneren de auteurs dit werk als een stap naar een tijdperk waarin AI direct leert van grondwaarheid-interacties en solver-ondersteunde ervaring, in plaats van het imiteren van menselijke demonstraties.

De auteurs blijven bescheiden over de reikwijdte en merken op dat het huidige systeem een offline analytische agent is die afhankelijk is van solver-afgeleide samenvattingen en nog niet functioneert als een live agent zonder toegang tot dergelijke grondwaarheid-data. Ze erkennen ook dat de aanpak gespecialiseerd is voor spellen met mixed-strategy equilibria en mogelijk afnemende rendementen oplevert in perfect-information domeinen die gedomineerd worden door pure strategieën.