In de wereld van kunstmatige intelligentie komen sommige van de moeilijkste uitdagingen voort uit spellen waarbij spelers niet het hele bord kunnen zien. Denk aan een pokertafel: je kent je eigen kaarten en de kaarten op tafel, maar je hebt geen idee wat je tegenstander vasthoudt. Dit gebrek aan volledige informatie creëert een landschap van onzekerheid waar elke beslissing moet worden afgewogen tegen verborgen mogelijkheden. Decennialang hebben onderzoekers een methode gebruikt die counterfactual regret minimization wordt genoemd om computers te leren hoe ze deze spellen spelen. De logica is eenvoudig: nadat een spel is geëindigd, kijkt de computer terug naar elke keuze die hij heeft gemaakt en vraagt zich af: "Wat als ik iets anders had gedaan?" Als het veranderen van die keuze tot een beter resultaat zou hebben geleid, ervaart de computer een gevoel van "spijt" (regret). Over miljoenen spellen heen leert het de spijt te minimaliseren, waardoor het uiteindelijk uitkomt op een strategie die zo sterk is dat geen enkele tegenstander deze consistent kan verslaan. Deze aanpak heeft enkele van de meest formidabele poker-AI's uit de geschiedenis voortgebracht.

Er ontstaat echter een groot probleem wanneer het spel te complex wordt. In eenvoudige pokervarianten kan de computer elk mogelijk pad dat het spel kan volgen, in kaart brengen. Maar in meer ingewikkelde versies met langere reeksen van spelverloop explodeert het aantal mogelijke paden naar biljoenen. De traditionele methode, die vereist dat elk afzonderlijk pad wordt gecontroleerd om spijt te berekenen, wordt onmogelijk omdat de computer meer gegevens zou moeten verwerken dan er in het universum bestaat. Om dit op te lossen, hebben onderzoekers zich tot deep learning gewend, waarbij neurale netwerken worden gebruikt om de juiste zetten te raden zonder elke mogelijkheid te controleren. Toch worstelen zelfs deze geavanceerde systemen wanneer het spel zich uitstrekt over een lange horizon; ze raken vaak verdwaald in de enorme hoeveelheid willekeurige ruis die wordt gegenereerd door het bemonsteren van slechts een paar paden. Ze missen een manier om hun denken te organiseren in beheersbare brokken, net als een mens die probeert duizend individuele stappen te onthouden in plaats van een paar vertrouwde routines te herkennen.

Een team van onderzoekers van de Universiteit van Hongkong, Peking University en Purdue University heeft een nieuwe aanpak geïntroduceerd genaamd Hierarchical Deep Counterfactual Regret Minimization, of HDCFR, die is ontworpen om deze beperkingen te overwinnen. Hun werk, gepubliceerd in een wetenschappelijk artikel, stelt voor dat in plaats van de AI te dwingen om elke kleine zet vanaf nul te leren, ze de AI eerst moeten leren "vaardigheden" (skills) te leren. In dit systeem leert de AI laag-niveau componenten die fungeren als specifieke vaardigheden voor het oplossen van kleine delen van het spel, zoals een bepaald inzetpatroon of een defensieve manoeuvre. Een hoog-niveau component fungeert vervolgens als een manager, die beslist welke vaardigheid op welk moment moet worden gebruikt en wanneer er tussen gewisseld moet worden. Deze structuur bootst de manier na waarop mensen spelen: we denken niet na over elke individuele spierbeweging wanneer we een auto besturen; we denken in termen van "linksaf slaan", "van rijstrook wisselen" of "stoppen", en we wisselen tussen deze hoog-niveau doelen naarmate de situatie verandert.

De onderzoekers bouwden hun algoritme om te werken in omgevingen waar de volledige spelboom te groot is om te zien, een setting die bekend staat als model-vrij (model-free). In deze scenario's kan de AI niet vooruitkijken om elke mogelijke toekomst te zien; het kan slechts een paar paden bemonsteren en leren van de resultaten. Om dit te laten werken zonder dat het leerproces instabiel wordt door willekeurige fluctuaties, introduceerde het team een techniek voor variantiereductie. Dit werkt als een stabilisator, die de AI helpt onderscheid te maken tussen een echt goede strategie en een gelukkige uitschieter. Ze bewezen wiskundig dat deze hiërarchische methode convergeert naar een optimale strategie, wat betekent dat de AI uiteindelijk perfect zal leren spelen, net als de oudere methoden, maar met het toegevoegde vermogen om veel diepere en complexere spellen aan te kunnen.

Bij tests tegen de sterkste bestaande algoritmen in het veld toonde HDCFR een duidelijk voordeel, vooral naarmate de spellen moeilijker werden. De onderzoekers evalueerden hun systeem op verschillende versies van poker, variërend van een eenvoudige variant met enkele kaarten tot een complexe versie met een spelboom van meer dan dertig biljoen knooppunten. In de eenvoudigere spellen presteerde de nieuwe methode op gelijke voet met de beste bestaande instrumenten. Echter, naarmate de spellen langer werden en de beslissingshorizonten zich uitstrekten, begonnen de andere methoden te wankelen; hun prestaties werden onvoorspelbaar of verbeterden niet meer. HDCFR daarentegen bleef effectief leren en bereikte een hoger niveau van spel. Het team ontdekte dat de hiërarchische structuur de AI in staat stelde om stabiliteit te behouden, zelfs wanneer het spel zich uitstrekte, een prestatie die eerdere deep learning-methoden niet konden bereiken zonder overweldigd te raken door de ruis van de data.

Een belangrijke bevinding van de studie was de mogelijkheid van het systeem om kennis over te dragen van de ene taak naar de andere. De onderzoekers trainden de AI op een eenvoudigere versie van het spel en vroegen het vervolgens om wat het geleerd had toe te passen op een complexere versie. Ze ontdekten dat de laag-niveau vaardigheden die de AI had beheerst — zoals specifieke inzetstrategieën — konden worden hergebruikt in het nieuwe, moeilijkere spel. Deze overdracht van vaardigheden versnelde het leerproces aanzienlijk. In sommige gevallen kon de AI zich volledig richten op het leren van het hoog-niveau management van deze vaardigheden, waardoor het niet nodig was om de basis opnieuw te leren. Dit suggereert dat het systeem niet alleen een specifiek spel uit het hoofd leert, maar daadwerkelijk een flexibele set instrumenten leert die kunnen worden aangepast aan nieuwe uitdagingen. De onderzoekers observeerden ook dat de AI leerde deze vaardigheden gedurende langere perioden te gebruiken, waarbij het soms tien of meer zetten vasthield aan een enkele strategie voordat het wisselde, wat de manier nabootst waarop menselijke experts denken in termen van fasen in plaats van geïsoleerde acties.

De studie bevatte ook een gedetailleerde blik op wat er gebeurt als bepaalde onderdelen van het systeem worden verwijderd. Toen de onderzoekers het mechanisme weghaalden waarmee de AI vaardigheden over een langere tijd kan uitbreiden, had het systeem moeite met convergeren, net als de oudere methoden. Op dezelfde manier, toen ze de variantiereductie-stabilisator verwijderden, daalde de leerprestatie aanzienlijk, vooral in de langere spellen. Deze tests bevestigden dat zowel de hiërarchische structuur als de technieken voor ruisreductie essentieel zijn voor het functioneren van het systeem in diepe, complexe omgevingen. De onderzoekers merkten op dat het systeem aanzienlijke rekenkracht vereist voor training, wat ongeveer een week duurt op een standaard server voor de grootste spellen, maar de resultaten tonen een levensvatbaar pad naar voren voor kunstmatige intelligentie in spellen met enorme toestandsruimtes.

Uiteindelijk vertegenwoordigt dit werk een verschuiving in de manier waarop machines complexe besluitvorming onder onzekerheid benaderen. Door het leren te organiseren in een hiërarchie van vaardigheden en managers, hebben de onderzoekers een systeem gecreëerd dat de uitgestrekte, verborgen landschappen van imperfecte informatie-spellen effectiever kan navigeren dan ooit tevoren. De bevindingen suggereren dat als AI de meest complexe strategische uitdagingen wil beheersen, het moet stoppen met het proberen te berekenen van elke mogelijkheid en moet beginnen met het leren denken in termen van gestructureerde, herbruikbare vaardigheden. Deze aanpak verbetert niet alleen de prestaties in spellen, maar biedt ook een blauwdruk voor hoe intelligente agenten kunnen leren opereren in de echte wereld, waar informatie vaak incompleet is en de toekomst te groot is om volledig in kaart te brengen.