Discovering High-Quality Chess Puzzles with Offline Reinforcement Learning

Het leren van een nieuwe vaardigheid, of het nu gaat om het bespelen van een instrument of het beheersen van een spel, rust zwaar op de kwaliteit van de beoefening. Hoewel colleges en video's kennis kunnen overdragen, komt echte meesterschap voort uit doelbewuste oefening (deliberate practice), waarbij een leerling wordt gedwongen informatie op te halen en deze te synthetiseren tot actie. In de wereld van het schaken neemt deze beoefening vaak de vorm aan van puzzels: geïsoleerde bordposities die een speler uitdagen om een specifieke reeks zetten te vinden. Deze puzzels zijn ontworpen om strategisch denken en patroonherkenning te onderwijzen. Het creëren van een enorme bibliotheek met hoogwaardige puzzels die perfect zijn afgestemd op het huidige niveau van een student is echter een enorme onderneming. Decennialang hebben menselijke experts deze collecties gecureerd, maar het enorme volume aan spelers op moderne online platforms heeft de menselijke capaciteit ingehaald. Om het gat te vullen, hebben platforms zich gericht op algoritmen die automatisch puzzels genereren, maar het is onduidelijk gebleven of deze door machines gemaakte uitdagingen spelers daadwerkelijk helpen verbeteren of dat ze slechts entertainment bieden.

Een team onderzoekers van Stanford University en de University of California, Berkeley, zette zich in om dit probleem op te lossen door puzzelselectie zelf als een leerprobleem te behandelen. Ze wenden zich tot een vakgebied binnen kunstmatige intelligentie dat bekend staat als offline reinforcement learning. In eenvoudige bewoordingen stelt deze aanpak een computer in staat om de beste actie te leren door een massaal archief van eerdere interacties te bestuderen, in plaats van te experimenteren in realtime. De onderzoekers maakten gebruik van een dataset die 1,5 miljard pogingen tot het oplossen van puzzels bevatte van meer dan 3 miljoen gebruikers op een populaire schaaksite, verzameld gedurende een enkel jaar. Dit archief bevatte niet alleen de puzzels die spelers zagen, maar ook of ze deze oplosten, hoe lang het duurde en hoe hun vaardigheidsratings in de loop van de tijd veranderden. Het doel was om een algoritme te leren begrijpen welke puzzels daadwerkelijk leidden tot leren, in plaats van alleen welke puzzels leuk of makkelijk op te lossen waren.

De onderzoekers analyseerden eerst de historische gegevens om te begrijpen hoe spelers zich doorgaans ontwikkelen. Ze identificeerden twee verschillende groepen leerlingen: een "groep met groei" wiens vaardigheidsratings gestaag toenamen naarmate ze meer puzzels oplosten, en een "stagnatiegroep" wiens ratings vlak bleven ondanks uitgebreide beoefening. Deze stagnatie suggereerde dat de standaardmethode voor het aanbieden van puzzels — het willekeurig selecteren uit een reeks puzzels van vergelijkbare moeilijkheidsgraad — er voor veel beginners niet in slaagde de juiste uitdagingen te bieden. Het bestaande systeem op de website paste de moeilijkheidsgraad aan op basis van direct succes of falen, maar hield geen rekening met de langetermijn-pedagogische waarde van een specifieke puzzel. Het team had de hypothese dat ze, door de langetermijnresultaten van 1,5 miljard pogingen te analyseren, een betere manier konden ontdekken om deze uitdagingen te sequensen.

Met behulp van hun enorme dataset trainden het team een model om te fungeren als een puzzelselector. Dit model leerde een beleid (policy), wat in essentie een set regels is voor het kiezen van de volgende puzzel op basis van de geschiedenis van een speler en het huidige vaardigheidsniveau. Het model werd beloond, niet alleen voor het correct oplossen van een puzzel, maar voor het selecteren van de juiste puzzels die leidden tot duurzame verbetering. De onderzoekers ontdekten dat het model leerde om prioriteit te geven aan puzzels die iets moeilijker waren dan de huidige rating van de speler, met name voor beginners met vaardigheidsratings tussen de 100 en 1.000. Deze aanpak stond in contrast met het bestaande systeem van de website, dat vaak puzzels aanbood die te makkelijk of te willekeurig waren om betekenisvolle groei te stimuleren. Wanneer de onderzoekers hun nieuwe beleid tegenover de oude testten met behulp van de historische gegevens, vertoonde het nieuwe systeem een significante verbetering in de voorspelde leerresultaten voor deze beginnende spelers. De verbetering was het meest uitgesproken voor de stagnatiegroep, wat suggieerde dat de nieuwe methode spelers kon helpen die eerder een plateau hadden bereikt.

Om er zeker van te zijn dat de puzzels die door het nieuwe systeem werden aanbevolen daadwerkelijk goed waren, voerden de onderzoekers een kwalitatieve analyse uit. Ze rekruteerden acht expert-schaakspelers, waaronder grootmeesters en internationale meesters, om een steekproef van puzzels te beoordelen. Deze experts evalueerden de puzzels op basis van criteria zoals hoe goed ze rekentalenteesten, of ze hielpen bij het herkennen van patronen, en hoe plezierig ze waren om op te lossen. De experts vonden dat de puzzels die door het nieuwe model werden geselecteerd, als iets moeilijker en plezieriger werden beoordeeld dan die van het oorspronkelijke systeem. Ze scoorden ook hoger op calculatie en patroonherkenning, wat erop wees dat het model erin geslaagd was puzzels te identificeren die een betere educatieve waarde boden. De onderzoekers gebruikten ook grote taalmodellen (large language models), getraind op de beoordelingen van de experts, om dit evaluatieproces op te schalen, waarmee werd bevestigd dat de verschillen consistent waren over een grotere set puzzels.

De studie suggereert dat de pedagogische waarde van een leeropdracht kan worden ontdekt door te analyseren hoe leerlingen eroverheen interageren in de loop van de tijd. Hoewel de onderzoekers geen live experiment met echte spelers hebben uitgevoerd om directe vaardigheidswinst te meten, biedt hun offline analyse sterk bewijs dat een datagestuurde aanpak voor puzzelselectie beter kan presteren dan traditionele heuristische methoden. De bevindingen wijzen erop dat voor de overgrote meerderheid van de schakers, die beginners zijn, de huidige geautomatiseerde systemen mogelijk kansen missen om groei te stimuleren. Door over te schakelen van een systeem dat simpelweg moeilijkheidsgraad koppelt naar een systeem dat optimaliseert voor leertrajecten, zouden platforms potentieel miljoenen spelers kunnen helpen om door plateaus heen te breken en hun vaardigheden effectiever te verbeteren. Het werk opent een pad naar het begrijpen van de verborgen waarde van oefenmateriaal in elk gebied waar enorme hoeveelheden interactiedata beschikbaar zijn, bewegend van eenvoudige betrokkenheidsmetrieken naar het meten van werkelijke educatieve impact.