Mastering Baghchal by Self-Play with Deep Reinforcement Learning
Dit artikel presenteert een systematische evaluatie van vier deep reinforcement learning-algoritmen (DQN, REINFORCE, PPO en MuZero) voor het beheersen van het asymmetrische Nepalese bordspel Baghchal door middel van zelfspel, waarbij wordt onthuld dat MuZero de hoogste winpercentages bereikt via modelgebaseerde planning, terwijl PPO de meest praktische balans tussen prestaties en computationele efficiëntie biedt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Decennialang was het vakgebied van de kunstmatige intelligentie geobsedeerd door spellen, waarbij ze werden gebruikt als een proefveld om machines te leren denken. Het doel is niet louter om te winnen bij schaken of Go, maar om te begrijpen hoe een agent complexe strategieën kan leren vanaf nul, zonder dat een menselijke docent de regels vertelt. Dit proces, bekend als reinforcement learning (versterkend leren), werkt als een digitale vorm van trial-and-error. Een agent speelt een spel, ontvangt een beloning voor een goede zet of een straf voor een slechte zet, en past zijn interne logica langzaam aan om toekomstige beloningen te maximaliseren. Hoewel deze aanpak de meester is geworden in symmetrische spellen waarbij beide spelers identieke stukken en doelen hebben, staat het voor een veel steilere klim wanneer de spelers fundamenteel verschillend zijn. In deze asymmetrische scenario's kan één kant een paar krachtige eenheden hebben, terwijl de andere kant een groot, langzamer leger aanstuurt, wat een puzzel creëert waarbij het pad naar de overwinning voor elke speler er volkomen anders uitziet. Begrijpen hoe machines deze ongelijke speelvelden navigeren, is cruciaal, niet alleen voor betere game-bots, maar ook voor het ontwikkelen van kunstmatige intelligentie die de rommelige, ongelijke realiteiten van de echte wereld kan hanteren.
In een recente studie richtten onderzoekers van de Kathmandu University in Nepal hun aandacht op Baghchal, een traditioneel bordspel uit hun eigen cultuur dat deze asymmetrie perfect belichaamt. Het spel wordt gespeeld op een vijf-bij-vijf rooster en brengt vier wendbare tijgers tegenover twintig geiten. De tijgers bewegen eerst en kunnen over geiten springen om ze te vangen, met als doel om vijf geiten van het bord te verwijderen om te winnen. De geiten, die in de openingsfase één voor één op het bord worden geplaatst, moeten samenwerken om de tijgers te omringen en al hun bewegingsvrijheid te blokkeren. Als de geiten erin slagen de tijgers te vangen zodat ze niet meer kunnen bewegen, winnen de geiten. Het spel wordt gespeeld met perfecte informatie, wat betekent dat beide zijden op elk moment het hele bord kunnen zien, maar de uitdaging ligt in de zeer verschillende rollen: de tijgers hebben agressieve, kortetermijn tactieken nodig om te jagen, terwijl de geiten langetermijn, gecoördineerde planning vereisen om een defensieve muur op te bouwen. Ondanks zijn strategische diepgang had Baghchal weinig aandacht gekregen van moderne kunstmatige intelligentie-onderzoekers, die zich grotendeels hadden gericht op westerse of Oost-Aziatische spellen.
Om te verkennen hoe machines deze unieke uitdaging aanpakken, trainden het team vier verschillende soorten leeralgoritmen om beide kanten van het spel tegen zichzelf te spelen. Ze programmeerden de agenten niet met specifieke strategieën; in plaats daarvan lieten ze de algoritmen duizenden spellen tegen kopieën van zichzelf spelen, waarbij ze leerden van de uitkomsten. De onderzoekers testten een verscheidenheid aan leerstijlen: één die leerde door de waarde van specifieke bordposities te onthouden, een andere die leerde door hele gamesequenties te raden en te controleren, een derde die leerde door balans met stabiliteit, en een vierde die een intern model van het spel bouwde om toekomstige zetten te visualiseren. Door elk algoritme zowel de tijger als de geit te laten spelen, konden de onderzoekers zien of een enkele leermethode kon adapteren aan twee volkomen verschillende manieren van denken, of dat het zou worstelen om één rol te beheersen terwijl het faalde bij de andere.
De resultaten onthulden een duidelijke hiërarchie in hoe goed deze machines leerden spelen. Het meest succesvolle algoritme was degene die een intern model van het spel bouwde, waardoor het toekomstige scenario's kon simuleren voordat het een zet deed. Deze aanpak, bekend als model-gebaseerde planning, stelde de agent in staat om enkele stappen vooruit te denken, een cruciale vaardigheid voor de geiten die hun omsingeling zorgvuldig moeten plannen. In de simulaties won deze geavanceerde agent 86 procent van de spellen wanneer hij als tijger speelde en 62 procent wanneer hij als geit speelde. Het leerde offers te brengen, zoals het tijdelijk laten ontsnappen van een geit om later een betere val te zetten, en blonk uit in de langetermijncoördinatie die nodig is om de tijgers te stoppen. De onderzoekers ontdekten dat dit vermogen om vooruit te plannen de belangrijkste factor was in het winnen, omdat het de agent in staat stelde de gevolgen van zijn acties ver in de toekomst te zien.
Echter, de studie benadrukte ook een praktische afweging. Hoewel de model-gebaseerde agent de sterkste speler was, was het ook de meest veeleisende, waarbij aanzienlijk meer computerkracht en tijd nodig was om te trainen. Het duurde bijna vijfentwintig uur aan continue verwerking om zijn piekprestaties te bereiken, en het was trager in het nemen van beslissingen tijdens een spel. In contrast bood een ander algoritme, dat leerde door exploratie met stabiliteit te balanceren, een aantrekkelijk middenpad. Het behaalde sterke winpercentages voor beide kanten — 73 procent als tijger en samen 58 procent als geit — maar deed dit met veel minder computationele inspanning en in minder dan de helft van de trainingstijd. Dit suggereert dat voor veel toepassingen in de echte wereld waar middelen beperkt zijn, een iets minder krachtig maar veel efficiënter systeem een betere keuze kan zijn.
De onderzoekers ontdekten ook hoe de aard van het spel zelf het leerproces vormgaf. De rol van de tijger bleek gemakkelijker voor alle algoritmen te beheersen omdat de beloningen onmiddellijk en duidelijk waren: het vangen van een geit gaf een directe boost. Dit maakte het leerproces stabiel en snel. De rol van de geit was echter veel moeilijker. De geiten ontvangen pas beloningen wanneer ze de tijgers succesvol hebben gevangen, wat vele zetten na de initiële opstelling kan gebeuren. Deze vertraging maakte het moeilijk voor de algoritmen om te achterhalen welke vroege zetten nuttig waren en welke niet. Bijgevolg hadden de algoritmen die vertrouwden op onmiddellijke feedback meer moeite met de geiten, en slaagden ze er vaak niet in om de twintig stukken te coördineren tot een samenhangend verdedigingswerk. De studie toonde aan dat hoewel machines asymmetrische spellen kunnen leren spelen, de moeilijkheid van de rol sterk afhangt van hoe snel het spel feedback geeft over succes.
Uiteindelijk demonstreert dit werk dat moderne kunstmatige intelligentie kan leren om complexe, ongelijke speelvelden te navigeren zonder menselijke instructie. De studie bevestigt dat het vermogen om vooruit te plannen de sleutel is tot het beheersen van spellen zoals Baghchal, waarbij het pad naar de overwinning vereist dat men verder denkt dan de onmiddellijke volgende zet. Hoewel de krachtigste systemen aanzienlijke computerbronnen vereisen, suggereren de bevindingen dat efficiënte algoritmen nog steeds een hoog niveau van vaardigheid kunnen bereiken, waardoor geavanceerde speltechnologie toegankelijk wordt zelfs in omgevingen met beperkte hardware. Door deze methoden toe te passen op een traditioneel Nepalees spel, hebben de onderzoekers niet alleen de wetenschap van kunstmatige intelligentie geavanceerd, maar hielpen zij ook een cultureel erfgoed te bewaren, waarmee zij bewezen dat oude strategieën moderne machines waardevolle lessen kunnen leren over samenwerking, strategie en de kunst van het vooruitdenken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.