💻 informatica

Haar-CFR: Solving Imperfect-Information Games with Applications in Data Analytics and Finance

Haar-CFR is een nieuw hybride framework dat discrete Haar-waveletregularisatie integreert met het CFR+-algoritme om massale geheugencompressie en snellere convergentie te bereiken dan bestaande methoden, waardoor een schaalbare en interpreteerbare oplossing wordt geboden voor het oplossen van grootschalige imperfecte-informatiespellen in domeinen zoals financiën en poker.

Oorspronkelijke auteurs: Florian Fey, Sergei Gorlatch

Gepubliceerd 2026-10-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Florian Fey, Sergei Gorlatch

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de complexe wereld van besluitvorming met hoge inzet, van de kaarttafels van professionele poker tot de razendsnelle transacties van de wereldwijde financiële markten, bestaat er een voortdurende strijd tussen twee tegenovergestelde krachten: de behoefte aan een perfect geheugen en de behoefte aan directe snelheid. Stel je een market maker voor, een digitale agent wiens taak het is om activa te kopen en verkopen om de markt draaiende te houden. Deze agent moet voortdurend een balans vinden tussen twee conflicterende gevaren. Ten eerste is er het risico op het aanhouden van te veel van een actief, wat hen dwingt de prijzen te verlagen om ervan af te komen. Ten tweede is er het risico om te handelen met iemand die meer weet dan zij, wat hen dwingt de kloof tussen de koop- en verkoopprijzen te vergroten om zichzelf te beschermen. Om de perfecte strategie te vinden, proberen computers traditioneel elk mogelijk toekomstig scenario te berekenen. Echter, naarmate het aantal mogelijkheden groeit, raakt het geheugen van de computer vol en loopt deze vast, een probleem dat bekend staat als de "memory wall" (geheugenmuur). Alternatief hebben onderzoekers geprobeerd kunstmatige intelligentie te gebruiken om de antwoorden te raden, maar deze systemen zijn vaak traag in het denken en moeilijk te begrijpen, wat een "time wall" (tijdmuur) creëert die hen verhindert om snel genoeg in realtime te handelen.

Een team van onderzoekers aan de Universiteit van Münster heeft een nieuwe methode ontwikkeld genaamd Haar-CFR die deze kloof overbrugt, waardoor computers deze enorme besluitvormingsproblemen kunnen oplossen zonder dat het geheugen vol raakt of ze vastlopen in trage berekeningen. In plaats van te proberen elk enkel detail van elke mogelijke situatie op te slaan in een gigantische, rigide lijst, realiseerden de onderzoekers zich dat de patronen van spijt — het gevoel een foute keuze te hebben gemaakt — een gestructureerde vorm volgen. Ze behandelden deze patronen als een signaal, vergelijkbaar met hoe een geluidsgolf kan worden onderbroken in zijn essentiële frequenties. Door een wiskundig hulpmiddel genaamd een wavelettransformatie te gebruiken, konden ze de enorme hoeveelheid gegevens comprimeren tot een kleine, efficiënte samenvatting die alle belangrijke strategische informatie behield terwijl de ruis werd weggefilterd. Deze aanpak stelde hun systeem in staat om spellen met miljoenen mogelijke toestanden te verwerken met slechts een fractie van de geheugencapaciteit die traditionele methoden vereisen, terwijl het nog steeds snel genoeg bleef om realtime beslissingen te nemen.

De onderzoekers testten dit nieuwe systeem op verschillende uitdagende benchmarks, waaronder complexe variaties van poker en een geavanceerde simulatie van market making in de financiële sector. In de poker-tests dwongen ze het systeem om een speltoestandsruimte te verwerken die tienduizend keer groter was dan wat het standaard computergeheugen gewoonlijk zou kunnen beheren. Terwijl traditionele methoden tekortschoten in geheugen en stopten met werken, bleef het nieuwe systeem soepel functioneren, waarbij het minder dan twee megabyte aan opslag gebruikte, zelfs toen de omvang van het spel groeide naar tien miljoen mogelijkheden. Dit vertegenwoordigt een reductie in de opslagbehoeften van meer dan 50.000 keer vergeleken met de oude manier van doen. Bovendien was de nieuwe methode, in vergelaling met moderne kunstmatige intelligentiesystemen die vertrouwen op diepe neurale netwerken, zesënhalf keer sneller in werkelijke kloktijd. Dit snelheidsvoordeel kwam voort uit het feit dat het systeem de zware computationele kosten van het uitvoeren van complexe neurale netwerkberekeningen vermeed, en in plaats daarvan vertrouwde op snelle, directe wiskundige operaties die een standaard computerprocessor direct kan afhandelen.

In de financiële simulatie kreeg het systeem de taak om de "onmogelijke driehoek" van market making op te lossen, waarbij een agent tegelijkertijd de voorraadrisico's moet beheren en zich moet beschermen tegen geïnformeerde handelaren. Eerdere theorieën hadden deze twee risico's als aparte problemen behandeld, met één set regels voor het beheren van voorraadniveaus en een andere voor het omgaan met informatielekken. Het nieuwe systeem leerde echter deze conflicterende druk te verenigen in één coherente strategie. Het ontdekte een niet-lineair patroon waarbij de agent normaal zou handelen wanneer de markt rustig is, maar plotseling zou overschakelen naar een defensieve modus wanneer het risico op handelen met een beter geïnformeerde tegenstander te hoog wordt. In deze risicovolle momenten stopte de agent effectief met handelen om verliezen te voorkomen, een gedrag dat natuurlijk voortkwam uit de berekening in plaats van vooraf te zijn geprogrammeerd. Dit resultaat toonde aan dat het systeem de logica van klassieke financiële theorieën kon herstellen en tegelijkertijd kon aanpassen aan complexe, onvoorspelbare marktomstandigheden.

Een van de meest significante bevindingen van dit werk is dat het systeem geen "black box" is waar beslissingen in het duister plaatsvinden. Omdat de methode een specifieke wiskundige structuur gebruikt om de gegevens te comprimeren, kunnen onderzoekers in het systeem kijken en precies zien welke factoren de beslissingen drijven. Door de gecomprimeerde gegevens te analyseren, konden ze visueel de reactie van de agent op voorraadinventaris scheiden van de reactie op markttoxiciteit. Deze transparantie betekent dat toezichthouders of menselijke supervisors het systeem kunnen auditeren om te waarborgen dat het veilige en logische keuzes maakt, een kenmerk dat vaak ontbreekt bij moderne kunstmatige intelligentie. De onderzoekers vonden dat het vermogen van het systeem om te leren afhankelijk was van het behouden van een specif

Technische Samenvatting: Haar-CFR

1. Probleemstelling

Het artikel behandelt de fundamentele uitdaging van het oplossen van grootschalige spellen met imperfecte informatie, een kerntaak binnen data-analyse, machine learning en besluitvorming. De huidige state-of-the-art benaderingen kampen met een "dubbele bottleneck":

De Geheugenmuur (Tabulaire methoden): Klassieke Counterfactual Regret Minimization (CFR) en de versnelde variant CFR+, garanderen convergentie naar een $\epsilon$ -Nash-evenwicht. Echter, zij vertrouwen op dichte tabulaire opslag voor elke informatieverzameling. In realistische omgevingen met fijne discretisaties (bijv. continue prijsgrids of grote hand-ruimtes) leidt dit tot een combinatorische explosie van de toestandsruimte, waardoor de methoden onuitvoerbaar worden op standaard hardware.
De Tijdmuur (Neurale methoden): Deep Reinforcement Learning (DRL) en Deep CFR proberen de geheugenproblemen te mitigeren door regret-oppervlakken te benaderen met neurale netwerken. Hoewel flexibel, introduceren deze methoden een prohibitieve latentie door de overhead van neurale inferentie, wat diepe lookahead in real-time toepassingen verhindert. Bovendien lijden ze aan trainingsinstabiliteit, simulator-overfitting en een gebrek aan interpreteerbaarheid.

De auteurs identificeren een specifieke stress-test voor deze beperkingen: Automated Market Making. Dit domein vereist het balanceren van conflicterende doelstellingen—Inventory Risk (nodig voor prijsaanpassingen om posities te liquideren) en Adverse Selection Risk (nodig voor het verbreden van de spread om zich te verdedigen tegen geïnformeerde handelaren). Bestaande theoretische modellen (bijv. Avellaneda–Stoikov voor inventaris, Glosten–Milgrom voor informatie) zijn vaak losgekoppeld en analytisch onhandelbaar wanneer ze verenigd worden, terwijl computationele benaderingen worstelen met de vereiste schaalbaarheid en interpreteerbaarheid.

2. Methodologie: Haar-CFR

De auteurs stellen Haar-CFR voor, een hybride soft computing-framework dat Discrete Haar Wavelet-transformaties integreert met CFR+ om de opslagbottleneck op te lossen zonder de inferentie-latentie van neurale netwerken te introduceren.

Kernhypothese: De Sparse-Haar Hypothese

De methode berust op de observatie dat regret-landschappen over geordende domeinen (zoals prijsgrids of handsterktes) geen willekeurige ruis zijn, maar gestructureerde signalen. Specifiek vertonen evenwichtsstrategieën in deze domeinen vaak regime-wisselend gedrag, waarbij ze constant blijven over intervallen en alleen veranderen bij specifieke drempelwaarden.

Hypothese: De evenwichts-regretfunctie is stuksgewijs constant met een beperkt aantal sprong-discontinuïteiten ( $S$ ). Bijgevolg bevat de Discrete Haar Wavelet-expansie van deze functie maximaal $O(S \log N)$ niet-nul coëfficiënten, waarbij $N$ de gridgrootte is. Dit impliceert dat het regret-signaal zeer comprimeerbaar is.

Algoritmische Workflow

Haar-CFR vervangt de dichte tabulaire opslag van standaard CFR door een Sparse Spectral Registry:

Reconstructie (Transient): Tijdens de node-traversalalatie haalt het algoritme ijle (sparse) wavelet-coëfficiënten op uit de persistente opslag en reconstrueert het de dichte regret-vector met behulp van de Inverse Discrete Haar Transform (IDHT).
Strategieberekening: De dichte vector wordt gebruikt om de lokale policy te berekenen via Regret Matching+ (zoals in CFR+).
Accumulatie: Instantane counterfactual regrets worden geaccumuleerd om de dichte vector bij te werken.
Spectrale Regularisatie (Compressie): De bijgewerkte dichte vector wordt teruggetransformeerd naar het spectrale domein met behulp van de Forward Discrete Haar Transform (DHT). Een adaptieve Top-K drempelwaarde stap behoudt alleen de grootste $K$ coëfficiënten en verwerpt de rest.
Opslag: Alleen de ijle coëfficiënten worden naar het persistente geheugen gecommit.

Dit proces zorgt ervoor dat het geheugengebruik bijna logaritmisch schaalt met de grootte van de toestandsruimte ( $O(\log N)$ ) in plaats van lineair ( $O(N)$ ), terwijl de dichte vector slechts transient in het RAM bestaat.

Theoretische Garanties

Het artikel biedt een theoretische analyse die aantoont dat als de truncatiefout (door compressie) sublineair groeit over iteraties, de "no-regret" eigenschap van CFR behouden blijft. Onder de Sparse-Haar hypothese vervalt de benaderingsfout voldoende snel om convergentie naar een $\epsilon$ -Nash-evenwicht te garanderen, mits het aantal behouden coëfficiënten $K$ voldoet aan de informatie-theoretische ondergrens ( $K \geq S \log |C|$ ). Als $K$ onder deze limiet valt, worden de basisfuncties onvoldoende om de strategische discontinuïteiten te representeren, wat leidt tot convergentie-instorting.

3. Belangrijkste Bijdragen

Algoritmische Innovatie: Introductie van Haar-CFR, een spectrale regularisatie-algoritme dat compressieratio's bereikt die de 99,9% overstijgen (reductie van opslag met $>50.000\times$ ) wanneer het compressieschema het vereiste aantal coëfficiënten handhaaft ( $K \geq S \log |C|$ ), waarbij de convergentie naar het evenwicht behouden blijft.
Efficiëntie: Demonstratie dat Haar-CFR de "Tijdmuur" van neurale methoden overwint. Door neurale inferentie te vermijden en gebruik te maken van snelle CPU-gebaseerde Haar-transformaties, bereikt het een 6,5× wall-clock speedup ten opzien van getunede Deep CFR-baselines op hoog-dimensionale domeinen.
Verenigde Financiële Modellering: Succesvolle toepassing op een hoog-dimensionale market making omgeving waar de agent autonoom verschillende theoretische paradigma's (Inventory Risk en Adverse Selection) verenigt in één enkel evenwichtsmodel.
Verklaarbaarheid: Biedt intrinsieke verklaarbaarheid door spectrale decompositie. In tegen tegenstelling tot black-box neurale netwerken, maakt Haar-CFR het mogelijk om specifieke strategische frequenties te visualiseren (bijv. het scheiden van inventory management signalen van adverse selection signalen).

4. Experimentele Resultaten

Het framework werd geëvalueerd op drie standaard game-benchmarks (Leduc Hold'em, Deep-Stack Kuhn Poker, Flop Hold'em) en een aangepaste financiële market making stress-test.

Schaalbaarheid (Geheugen): In de Deep-Stack Kuhn Poker benchmark (schalend van $10^3$ naar $10^7$ toestanden), raakte standaard Tabular CFR+ het geheugen uitgeput (OOM) bij $N=10^5$ . Haar-CFR behield een geheugenvoetafdruk van slechts 2,1 MB bij $N=10^7$ , wat een bijna logaritmische schaling demonstreert.
Snelheid (Tijd): Op de Flop Hold'em benchmark bereikte Haar-CFR een doel-exploitability van 100 mbb/h in ongeveer 4 uur, vergeleken met 26 uur voor Deep CFR, wat een 6,5× speedup vertegenwoordigt.
Robuustheid: Ablatie-studies bevestigden dat het behouden van de top 5% van de coëfficiënten ( $\kappa=0,05$ ) bijna verliesloze abstractie oplevert. Echter, agressieve compressie ( $\kappa=0,001$ ) leidde tot convergentiefalen, wat de theoretische ondergrens op het aantal vereiste coëfficiënten valideert.
Financiële Toepassing: In het market making domein herstelde de geleerde strategie de lineaire inventory skew van Avellaneda–Stoikov bij lage toxiciteit en de spread widening van Glosten–Milgrom bij hoge toxiciteit. Cruciaal was dat het een Strategische Hybride Sigmoïdale Policy ontdekte, een niet-lineair oppervlak dat dynamisch van regime wisselt, wat effectief een "Defensieve Muur" creëert tegen toxische flow.
Statistische Superieuriteit: Haar-CFR presteerde significant beter dan Deep CFR in het financiële domein ( $p < 0,001$ ), toegeschreven aan de "Spectral Bias" van neurale netwerken die moeite hebben met het benaderen van hoog-frequente discontinuïteiten (scherpe beslissingsgrenzen) zonder excessieve training.

5. Betekenis en Claims

Het artikel claimt dat Haar-CFR wavelet-regularized regret minimization vestigt als een nieuw, breed toepasbaar en interpreteerbaar alternatief voor zowel tabulaire als neurale evenwicht-solvers.

De Kloof Overbruggen: Het biedt een "derde pad" dat zowel de geheugenexplosie van exacte tabulaire methoden als de latentie/interpreteerbaarheids-problemen van neurale benaderingen vermijdt.
Signaalverwerking in Speltheorie: Door het regret-landschap te behandelen als een signaal in plaats van een tabel, maakt de methode gebruik van de ijle (sparsity) van strategische drempelwaarden om hoog-getrouwe modellering te bereiken in gestructureerde, imperfecte-informatie spelen.
Explainable AI (XAI): Het framework biedt een rigoureus mechanisme voor het auditeren van algoritmische besluitvorming in veiligheidskritische domeinen (zoals de financiële sector) door policies te deconstrueren in orthogonale spectrale componenten, waardoor exact onthuld wordt welke risicofactoren specifieke gedragingen aansturen.

De auteurs concluderen dat hoewel de methode begrensd wordt door de ijle (sparsity) van de evenwichtsstrategie (het faalt als de strategie zeer oscillerend of fractaal is, of als het aantal coëfficiënten onder de informatie-theoretische limiet valt), het succesvol complexe, voorheen onhandelbare hoog-dimensionale problemen in economie en data science oplost.