Interpretable reinforcement learning with decision-tree pruning

De Black Box en de Blauwdruk

Stel je voor dat je een robot leert lopen, schaken te spelen of een staaf op een karretje te balanceren. Je schrijft niet de code voor elke individuele beweging; in plaats daarvan laat je de robot leren door middel van vallen en opstaan, waarbij je hem beloont als hij slaagt en straft als hij faalt. Dit is Reinforcement Learning (versterkingsleren), een tak van kunstmatige intelligentie waarbij softwareagents leren beslissingen te nemen door interactie met een omgeving. Het resultaat is vaak een "policy" (beleid)—een set instructies die de robot volgt. De meest krachtige policies zitten echter meestal verborgen in massieve, complexe neurale netwerken. Denk aan deze netwerken als een gigantische, verwarde bal wol of een "black box". Je kunt de robot zien handelen, maar als je vraagt waarom hij een specifieke zet deed, ligt het antwoord begraven in miljoenen onzichtbare verbindingen. Dit is een probleem omdat we in de echte wereld deze robots moeten kunnen vertrouwen. Als een zelfrijdende auto of een medische AI een fout maakt, moeten we in staat zijn om in de black box te kijken, de logica te begrijpen en het te herstellen.

Om dit op te lossen, hebben wetenschappers manieren ontwikkeld om deze verwarde neurale netwerken te vertalen naar Beslisbomen (Decision Trees). Als een neuraal netwerk een rommelige bal wol is, dan is een beslisboom een helder stroomdiagram of een "kies je eigen avontuur"-boek. Het stelt eenvoudige vragen zoals "Helt de staaf naar links?" en volgt een pad naar een antwoord zoals "Duw naar rechts." Deze bomen zijn veel gemakkelijker te lezen voor mensen. Maar hier zit de crux: wanneer je een complex brein vertaalt naar een boom, wordt de boom vaak te groot om te lezen. Hij kan duizenden takken hebben, waardoor hij net zo verwarrend wordt als de oorspronkelijke black box. De grote vraag is: Kunnen we deze gigantische boom inkorten tot iets kleins en simpels zonder het vermogen van de robot om zijn werk te doen te breken?

De Heg Snoeien: Een Nieuwe Manier om AI te Vereenvoudigen

In dit artikel stellen Mark Ringer en Michel Tokic een slimme methode voor om die vraag te beantwoorden. Ze behandelen de vereenvoudiging van deze AI-beslisbomen niet als een eenmalige tovertruc, maar als een zorgvuldig, stapsgewijs bewerkingsproces. Stel je voor dat je een enorme, overwoekerde heg hebt die een pad blokkeert. Je wilt hem inkorten zodat mensen erdoorheen kunnen lopen, maar je wilt niet zoveel snoeien dat de heg omvalt of stopt met zijn taak om de tuin netjes te houden.

De auteurs beginnen met een beslisboom die al is vertaald van een neuraal netwerk. Deze boom is hun "leraar" in de zin dat hij weet hoe de taak moet worden opgelost, maar hij is te ingewikkeld voor een mens om te begrijpen. Hun doel is om hem te snoeien—onnodige takken weg te snijden—terwijl ze de prestaties van de robot hoog houden. Ze gokken niet zomaar welke takken ze moeten afkappen; ze gebruiken een strikt, controleerbaar proces. Ze stellen drie hoofdmethode voor om de boom te snoeien:

1. De "Hoogtelimiet" (Max-Depth Pruning): Dit is als zeggen: "Geen enkele tak mag langer dan 1,5 meter groeien." Elk deel van de boom dat probeert dieper te groeien, wordt afgehakt en vervangen door een simpel blad. Dit dwingt de boom om kort en simpel te blijven.
2. De "Homogeniteitscontrole" (Max-Impurity Pruning): Deze methode kijkt naar de takken en vraagt: "Is dit deel van de boom al zo duidelijk dat het niet meer hoeft te splitsen?" Als een tak al voor bijna alles wat hij ziet dezelfde beslissing neemt, wordt deze als "zuiver" beschouwd. Het algoritme knipt de extra splitsingen eraf en verandert dat hele gedeelte in een enkel blad.
3. De "Slimme Bezoekersteller" (Decision-tree Adaptive Constrained Pruning of DACP): Dit is de meest geavanceerde methode en de ster van de show. Het is als een gids die telt hoeveel mensen elke kamer in een museum bezoeken. Als een kamer (of een beslissingsknooppunt) zelief wordt bezocht, kan de gids besluiten de kamer te sluiten. De gids is echter slim: voordat hij een kamer sluit, controleert hij of het niet een geheime VIP-ingang is die, indien gesloten, de rondleiding zou verpesten. Ze gebruiken een vangnet om ervoor te zorgen dat als een inkorting ervoor zorgt dat de score van de robot te snel daalt, ze stoppen en teruggaan.

Het proces werkt als een spelletje "Warm en Koud". Het algoritme probeert een groep takken af te snijden. Daarna laat het de robot de taak opnieuw uitvoeren om te zien hoe goed hij presteert. Als de robot nog steeds goed presteert (boven een specifieke veiligheidsdrempel blijft), wordt de inkorting behouden en wordt de boom kleiner. Als de prestaties van de robot te veel dalen, wordt de inkorting afgewezen en probeert het algoritme een andere, kleinere inkorting. Elke wijziging wordt geregistreerd, waardoor een "spoor" ontstaat dat precies laat zien hoe de boom is vereenvoudigd en wat dat effect had op het gedrag van de robot.

Wat Ze Vonden: Kleinere Bomen, Soms Betere Robots

De auteurs testten deze methode op een verscheidenheid aan klassieke robotuitdagingen, van het balanceren van een staaf (CartPole) tot het lopen als een mens (Walker2D). Ze ontdekten dat hun snoeiproces erin slaagde om enorme, onleesbare bomen te transformeren in compacte, mensvriendelijke versies.

Een van de meest interessante ontdekkingen was dat vereenvoudiging niet altijd betekent dat er prestaties verloren gaan. In sommige gevallen, zoals bij de Lunar Lander-taak, was het oorspronkelijke "leraar"-neurale netwerk eigenlijk aan het overfitten—het had de trainingsdata te perfect onthouden en maakte vreemde, onnodige bewegingen. Toen de auteurs de beslisboom snoeiden, sneden ze per ongeluk deze vreemde, overfitte takken weg. Het resultaat? De vereenvoudigde boom presteerde feitelijk beter dan het oorspronkelijke complexe netwerk, met hogere scores en minder regels.

Er is echter een limiet. Het artikel laat een duidelijke afweging zien: naarmate je de boom steeds kleiner en kleiner maakt, begint de robot uiteindelijk te falen. Er is een "kantelpunt" waar de boom te simpel wordt om de complexiteit van de taak aan te kunnen. De auteurs ontdekten dat hun "Slimme Bezoekersteller"-methode (DACP) over het algemeen de beste was in het vinden van dit ideale punt, waarbij de boom klein genoeg bleef om te lezen terwijl de prestaties hoog bleven.

Ze merkten ook op dat hoewel het aantal bladeren (de eindpunten van de boom) een goede manier is om complexiteit te meten, het misschien niet het hele verhaal vertelt over hoe gemakkelijk een boom voor een mens te begrijpen is. Een boom met minder bladeren kan nog steeds verwarrend zijn als de vragen binnenin te moeilijk te bevatten zijn.

De Kern

Dit artikel beweert niet dat het het mysterie van AI-vertrouwen voor altijd heeft opgelost, maar het biedt een krachtig nieuw hulpmiddel. Het suggereert dat we niet hoeven te kiezen tussen een slimme robot en een transparante robot. Door een zorgvuldig, stapsgewijs snoeiproces te gebruiken dat voortdurend de prestaties van de robot controleert, kunnen we een gigantische, verwarrende beslisboom veranderen in een kleine, heldere set regels. Dit maakt de beslissingen van de AI controleerbaar—wat betekent dat we precies kunnen traceren waarom het deed wat het deed—en kan zelfs de prestaties verbeteren door de "ruis" van overfitting te verwijderen. Hoewel de auteurs toegeven dat hun maatstaf voor "begrijpelijkheid" gebaseerd is op de grootte van de boom en nog niet op daadwerkelijke menselijke tests, biedt hun methode een duidelijk, transparant pad van complexe code naar eenvoudige, betrouwbare logica.