Only the Tens Count, but Trumps Decide: Formalising and Benchmarking Dahal Jeet, a Nepali Variant of Mendikot
Dit artikel definieert formeel het voorheen ongedocumenteerde Nepalese kaartspel Dahal Jeet en presenteert een uitgebreide computationele benchmark die aantoont dat zoekgebaseerde agenten beter presteren dan leermethoden, terwijl het onthult dat de lengte van de troefkaart een sterkere voorspeller van overwinning is dan scorende kaarten en dat het controleren voor deal-variantie essentieel is om verschillen in mens-agentprestaties nauwkeurig te meten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie testen onderzoekers hun creaties vaak door ze tegen elkaar uit te laten spelen in spellen. Deze spellen dienen als laboratoria waar wetenschappers kunnen zien hoe goed een computerprogramma leert, plant en zich aanpast aan onzekerheid. Sommige spellen, zoals schaken, worden gespeeld met perfecte informatie, wat betekent dat elk stuk op het bord zichtbaar is voor beide zijden. Anderen, zoals poker of bridge, zijn spellen met imperfecte informatie, waarbij spelers beslissingen moeten nemen zonder de volledige hand van hun tegenstanders te kennen. Decennialang was de standaardmethode om deze spellen met verborgen informatie te beheersen het onderwijzen van computers door middel van vallen en opstaan, een methode die bekend staat als reinforcement learning (versterkend leren). De hoop was dat een artificiële agent, door miljoenen handen te spelen, uiteindelijk strategieën zou ontdekken die de menselijke intuïtie zouden evenaren. Deze aanname dat leren altijd het beste pad is, wordt echter uitgedaagd door een nieuwe lijn van onderzoek die vraagt of een ander soort denken — vooruitplannen op basis van wat bekend is — in bepaalde specifieke situaties effectiever zou kunnen zijn.
Deze vraag staat centraal in een studie naar een kaartspel genaamd Dahal Jeet, dat dagelijks wordt gespeeld in de Terai-Madhesh regio van Nepal. Het spel is een variant van een familie die bekend staat als Court Piece, gespeeld door vier personen in twee vaste partnerschappen. De regels zijn eenvoudig maar creëren een uniek strategisch landschap: spelers krijgen elk dertien kaarten gedeeld, en een troefkleur wordt bepaald door een willekeurige trekking uit een hand van een speler. Het doel is om slagen te winnen, maar punten worden op een zeer specifieke manier toegekend. Alleen de vier tienden in het deck tellen mee voor de score. Een team wint de hand als ze drie of meer tienden bemachtigen. Als de tienden gelijk verdeeld zijn, met twee voor elke zijde, wordt de winnaar bepaald door wie meer slagen heeft bemachtigd. Dit creëert een situatie waarin de belangrijkste kaarten schaars en zeldzaam zijn, en de uitkomst vaak afhangt van één enkele tie-break conditie in plaats van een gestage accumulatie van punten.
Voordat dit onderzoek begon, bestond het spel alleen in de orale traditie van de dorpen waar het werd gespeeld. Er was geen geschreven regelboek, geen digitale versie en geen wetenschappelijke analyse van hoe het werkte. De eerste stap voor de onderzoekers was om het spel formeel te documenteren. Ze brachten jaren door met het observeren van spelers in zeven districten, waarbij ze de regels vastlegden zoals die daadwerkelijk werden gespeeld, en een precieze digitale versie van het spel creëerden. Dit stelde hen in staat om een computerengine te bouwen die het spel precies zo speelt als mensen dat doen, dienend als een fundament voor het testen van verschillende strategieën voor kunstmatige intelligentie.
De onderzoekers zetten vervolgens het doel uit om te zien welke type kunstmatige intelligentie het beste Dahal Jeet kon spelen. Ze bouwden zesentwintig verschillende computeragenten, variërend van eenvoudige programma's die basisregels volgden tot complexe systemen die gebruikmaken van machine learning om te verbeteren over tijd. Ze namen ook agenten op die een techniek gebruikten genaamd gedetermineerde zoektocht (determinized search). Deze methode werkt door vele mogelijke versies van de verborgen kaarten te visualiseren, de beste zet voor elke versie te plannen, en vervolgens de zet te kiezen die het beste werkt op gemiddelde basis. Het team zette elke agent tegen elke andere agent uit in duizenden wedstrijden, waarbij een rigoureuze statistische methode werd gebruikt om te garanderen dat de resultaten niet slechts een toevalstreffer van geluk waren.
De bevindingen waren verrassend. De meest succesvolle agenten waren niet degenen die leerden door vallen en opstaan. In plaats daarvan waren de top performers de agenten die gebruikmaakten van zoektocht en planning. De sterkste agent, die een specifiek type zoekalgoritme gebruikte, behaalde een beoordeling die hem ver boven alle leergerichte systemen plaatste. In feite slaagde geen enkele van de leerende agenten erin, ongeacht hoe ze getraind waren of welke beloningen ze kregen, om een zorgvuldig afgestelde set handgeschreven regels te verslaan. De studie toonde aan dat in dit specifieke spel het vermogen om vooruit te kijken en mogelijkheden te berekenen veel krachtiger was dan het vermogen om te leren van ervaring.
Een van de meest intrigerende ontdekkingen betrof hoe de computer het spel "zag". De onderzoekers verwachtten dat het geven van meer informatie aan de leerende agenten — zoals weten welke kaarten er al gespeeld waren of welke kleuren ontbraken — hen zou helpen winnen. In plaats daarvan ontdekten ze dat de agenten beter presteerden wanneer ze minder informatie kregen. Een vereenvoudigde versie van de speltoestand, die veel details wegliet, leidde in feite tot een hoger winpercentage dan een rijke, gedetailleerde beschrijving. Dit suggereert dat voor dit specifieke spel te veel data een leerend systeem kan verwarren, terwijl een eenvoudiger beeld de agent in staat stelt zich te concentreren op wat er echt toe doet.
De studie keek ook naar hoeveel van de uitkomst van het spel te danken was aan vaardigheid versus geluk. Door duizenden handen te analyseren, ontdekten de onderzoekers dat de kaarten die een speler kreeg gedeeld, bijna veertig procent van het verschil verklaarde in wie er won. Dit hoge niveau van toeval betekende dat het simpelweg vergelijken van winpercentages tussen mensen en computers misleidend kon zijn. Om een ware maatstaf voor vaardigheid te krijgen, ontwikkelden de onderzoekers een nieuwe methode. Ze namen exact dezelfde handen die door menselijke deelnemers werden gespeeld en speelden deze opnieuw met een computeragent in de stoel van de mens. Dit maakte het mogelijk om het geluk van de deal te elimineren en te zien hoe de beslissingen van de mens vergeleken met die van de computer op dezelfde kaarten.
Toen ze deze gekoppelde methode gebruikten, veranderden de resultaten. Hoewel het algemene winpercentage van de computer tegen de mensen eruitzag als een muntworp, onthulde de gekoppelde analyse dat de computer aanzienlijk meer handen zou hebben gewonnen als hij de kaarten van de mens had gespeeld. De mensen verloren ongeveer negen handen meer per honderd dan de computer zou hebben gedaan met dezelfde deals. Dit bewees dat de computer inderdaad beter was, maar dat het voordeel klein en gemakkelijk verborgen was door de willekeur van de kaartverdeling.
Het onderzoek concludeert dat voor spellen waarbij de scorekaarten zeldzaam zijn en het doel complex is, vooruitplannen een betrouwbaarder pad naar meesterschap is dan leren van ervaring. De studie benadrukt ook het belang van hoe we succes meten in spellen van kans. Zonder de controle over het geluk van de deal, zouden we de ware verschillen in vaardigheid tussen een mens en een machine kunnen missen. Door een traditioneel spel te documenteren en rigoureuze wetenschappelijke tests toe te passen, hebben de onderzoekers niet alleen een benchmark gecreëerd voor kunstmatige intelligentie, maar ook een stuk cultureel erfgoed bewaard, waarbij ze lieten zien dat zelfs in een spel dat voor de lol wordt gespeeld, diepe lessen liggen over hoe wij denken en hoe wij leren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.