DSLE: A Learning Environment for Dark Souls Boss Encounters
Dit artikel introduceert DSLE, een Gymnasium-stijl benchmarkomgeving voor alle 22 Dark Souls: Remastered baasgevechten, waarbij wordt aangetoond dat huidige reinforcement learning- en evolutionaire methoden aanzienlijk moeite hebben om zelfs een representatieve subset van deze bazen te verslaan vanwege de hoogdimensionale visuele input van het spel, schaarse beloningen en complexe gevechtsmechanica.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin computers niet alleen getallen verwerken, maar leren games spelen zoals mensen dat doen: door naar een scherm te kijken, knoppen in te drukken en uit te vogelen hoe ze kunnen winnen door middel van trial-and-error. Dit is de kern van Reinforcement Learning (versterkingsleren), een tak van kunstmatige intelligentie waarbij een agent (een computerprogramma) optreedt als een leerling in een digitale klasomgeving. De leraar is geen persoon, maar het spel zelf. Wanneer de agent een goede zet doet, krijgt hij een "beloning" (zoals een gouden ster); wanneer hij een fout maakt, krijgt hij een straf. Door miljoenen pogingen hoopt de agent een strategie te leren die het spel wint. Decennialang hebben wetenschappers deze AI-leerlingen getest op eenvoudige bordspellen of oude arcadeklassiekers, maar ze hebben moeite gehad om hen te leren complexe, moderne videogames te spelen die eruitzien als het echte leven, in realtime bewegen en fouten direct afstraffen. De grote vraag is: kan een AI leren een meester-gamer te worden door simpelweg naar pixels te kijken en de pijn van een nederlaag te voelen, of hebben deze moderne games een "moeilijkheidsgraad-piek" die huidige leermethoden breekt?
Maak kennis met de Dark Souls Learning Environment (DSLE), een nieuwe tool die door onderzoekers is ontwikkeld om precies dit te testen. Denk aan Dark Souls: Remastered als een berucht moeilijk videospel dat bekend staat om zijn brute bazen—reusachtige, angstaanjagende vijanden die je in enkele seconden kunnen doden als je niet perfect bent. De onderzoekers bouwden een "container" (een speciale digitale doos) waarmee AI-agents automatisch al de 22 baasgevechten van het spel kunnen spelen. Ze gaven de AI niet zoma van een speciaal voordeel; ze lieten de AI naar het scherm kijken zoals een menselijke speler en dezelfde knoppen indrukken. Ze stelden een "starterpakket" samen van vijf bazen, variërend van een traag, gemakkelijk tutorial-gevecht tot een chaotische, multi-vijand nachtmerrie, om te zien of een AI hen kon verslaan.
De resultaten waren een beetje een reality check voor de AI-wereld. Toen ze hun slimste AI-leerlingen tegen deze bazen lieten spelen, waren de resultaten onomwonden. Een eenvoudig, vooraf geschreven computerscript (een "expert system") slaagde erin de makkelijkste tutorial-baas ongeveer 63% van de tijd te verslaan. Een meer geavanceerde "evolutionaire" methode, die duizenden willekeurige strategieën probeert en de beste ervan behoudt, slaagde erin diezelfde makkelijke baas ongeveer 43% van de tijd te verslaan. Echter, de twee bekendste moderne AI-leermethoden (genaamd PPO en DQN) faalden volledig. Zelfs na tientallen uren draaien en duizenden pogingen, konden deze geavanceerde AI's de tutorial-baas niet vaker dan 0,33% van de tijd verslaan, en ze wonnen nul keer tegen de vier moeilijkere bazen. Sterker nog, ze vertoonden geen enkel teken van leren; hun prestaties waren vlak, alsover zij gewoon willekeurig gokten.
De onderzoekers ontdekten dat de AI op twee zeer specifieke manieren faalde. Bij de bazen die gevochten werden in kleine, krappe kamers met snelle vijanden, ging de AI in minder dan 10 seconden dood, waardoor hij nooit de kans kreeg om terug te slaan. Bij de bazen die gevochten werden in gevaarlijke, met lava gevulde arena's, overleefde de AI meer dan een minuut, maar bracht hij bijna geen schade toe, omdat hij vast kwam te zitten in een lus van ontwijken zonder ooit effectief aan te vallen. Zelfs toen de onderzoekers de AI een "superkrachtig" personage gaven met betere gezondheid en wapens, kon de AI nog steeds de meeste van de 22 bazen niet verslaan, en wist slechts een paar van de zeer vroege bazen te winnen.
Het artikel concludeert dat hoewel we AI eenvoudige games kunnen leren spelen, Dark Souls een nieuw, veel moeilijker niveau van moeilijkheid vertegenwoordigt dat huidige AI-methoden nog niet hebben gekraakt. Het spel is niet alleen moeilijk; het vereist een combinatie van timing, strategie en aanpassingsvermogen die de huidige leeralgoritmes van vandaag breekt. De onderzoekers suggereren dat we hiervoor misschien nieuwe soorten AI nodig hebben die kunnen leren van menselijke demonstraties of de diepere structuur van het spel kunnen begrijpen, in plaats van alleen maar willekeurige zetten te proberen over en over weer. Voor nu blijven de bazen van Dark Souls onverslagen kampioenen tegen kunstmatige intelligentie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.