DSLE: A Learning Environment for Dark Souls Boss Encounters
Dieses Paper stellt DSLE vor, eine Benchmark-Umgebung im Gymnasium-Stil für alle 22 Bossbegegnungen aus Dark Souls: Remastered, wobei aufgezeigt wird, dass aktuelle Reinforcement-Learning- und evolutionäre Methoden selbst daran erheblich scheitern, selbst eine repräsentative Teilmenge dieser Bosse zu besiegen, was auf den hochdimensionalen visuellen Input des Spiels, spärliche Belohnungen und komplexe Kampfmechaniken zurückzuführen ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computer nicht nur Zahlen berechnen, sondern lernen, Spiele so zu spielen wie Menschen: indem sie einen Bildschirm beobachten, Tasten drücken und durch Versuch und Irrtum herausfinden, wie man gewinnt. Dies ist das Herzstück des Reinforcement Learning (Bestärkendes Lernen), eines Zweigs der künstlichen Intelligenz, bei dem ein Agent (ein Computerprogramm) als Schüler in einem digitalen Klassenzimmer agiert. Der Lehrer ist kein Mensch, sondern das Spiel selbst. Wenn der Agent einen guten Zug macht, erhält er eine „Belohnung“ (wie einen goldenen Stern); wenn er Fehler macht, erhält er eine Strafe. Über Millionen von Versuchen hinweg hofft der Agent, eine Strategie zu erlernen, die das Spiel gewinnt. Seit Jahrzehnten testen Wissenschaftler diese KI-Schüler an einfachen Brettspielen oder alten Arcade-Klassikern, aber sie hatten Schwierigkeiten, ihnen beizubringen, komplexe, moderne Videospiele zu spielen, die wie das echte Leben aussehen, in Echtzeit ablaufen und Fehler sofort bestrafen. Die große Frage lautet: Kann eine KI lernen, eine Meisterin im Gaming zu werden, indem sie nur Pixel betrachtet und den Schmerz der Niederlage spürt, oder haben diese modernen Spiele einen „Schwierigkeitsanstieg“, der aktuelle Lernmethoden bricht?
Hier kommt die Dark Souls Learning Environment (DSLE) ins Spiel, ein neues Werkzeug, das von Forschern entwickelt wurde, um genau dies zu testen. Betrachten Sie Dark Souls: Remastered als ein berüchtigt schwieriges Videospiel, das für seine brutalen Bosse bekannt ist – riesige, gruselige Gegner, die einen in Sekundenschnelle töten können, wenn man nicht perfekt ist. Die Forscher bauten einen „Container“ (eine spezielle digitale Box), der es KI-Agenten ermöglicht, jeden einzelnen der 22 Bosskämpfe des Spiels automatisch zu spielen. Sie gaben der KI nicht einfach einen besonderen Vorteil; sie ließen sie den Bildschirm wie ein menschlicher Spieler beobachten und dieselben Tasten drücken. Sie stellten ein „Starterpaket“ aus fünf Bossen zusammen, das von einem langsamen, einfachen Tutorial-Kampf bis hin zu einem chaotischen Albtraum mit mehreren Gegnern reichte, um zu sehen, ob irgendeine KI lernen kann, sie zu besiegen.
Die Ergebnisse waren ein kleiner Realitätscheck für die Welt der KI. Als sie ihre klügsten KI-Schüler gegen diese Bosse antreten ließen, waren die Ergebnisse drastisch. Ein einfaches, vorprogrammiertes Computerskript (ein „Expertensystem“) schaffte es, den einfachsten Tutorial-Boss etwa 63 % der Zeit zu besiegen. Eine fortgeschrittenere „evolutionäre“ Methode, die tausende zufällige Strategien ausprobiert und die besten davon behält, schaffte es, denselben leichten Boss etwa 43 % der Zeit zu besiegen. Die zwei berühmtesten modernen KI-Lernmethoden (genannt PPO und DQN) versagten jedoch völlig. Selbst nachdem sie zehn Stunden lang gelaufen waren und tausende Versuche unternommen hatten, konnte diese fortgeschrittene KI den Tutorial-Boss nicht öfter als 0,33 % der Zeit besiegen, und sie gewann null Mal gegen die vier schwereren Bosse. Tatsächlich zeigten sie keinerlei Anzeichen von Lernen; ihre Leistung war flach, als würden sie nur zufällig raten.
Die Forscher fanden heraus, dass die KI auf zwei sehr spezifische Arten scheiterte. Bei den Bossen, die in winzigen, engen Räumen mit schnellen Gegnern gekämpft wurden, starb die KI in weniger als 10 Sekunden und bekam nie die Chance, zurückzuschlagen. Bei den Bossen, die in gefährlichen, lava-gefüllten Arenen gekämpft wurden, überlebte die KI zwar über eine Minute, verursachte aber fast keinen Schaden, da sie in einer Schleife aus Ausweichmanövern stecken blieb, ohne jemals effektiv anzugreifen. Selbst als die Forscher der KI einen „superstarken“ Charakter mit besserer Gesundheit und Waffen gaben, konnte sie die meisten der 22 Bosse immer noch nicht besiegen und gewann nur einige der ganz frühen Kämpfe.
Das Paper kommt zu dem Schluss, dass wir zwar KIs beibringen können, einfache Spiele zu spielen, Dark Souls jedoch ein neues, viel schwierigeres Schwierigkeitsniveau darstellt, das aktuelle KI-Methoden noch nicht geknackt haben. Das Spiel ist nicht nur schwer; es erfordert eine Mischung aus Timing, Strategie und Anpassungsfähigkeit, die die heutigen Lernalgorithmen bricht. Die Forscher schlagen vor, dass wir zur Lösung dies vielleicht neue Arten von KI benötigen, die von menschlichen Demonstrationen lernen oder die tiefere Struktur des Spiels verstehen können, anstatt nur immer wieder zufällige Züge auszuprobieren. Für den Moment bleiben die Bosse von Dark Souls unbesiegte Champions gegenüber der künstlichen Intelligenz.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.