DungeonBench: A Benchmark for Rules-Rich Tactical Reasoning in Dungeons & Dragons Combat
Das Papier stellt DungeonBench vor, einen umfassenden Benchmark zur Evaluierung taktischen Denkens in Dungeons & Dragons-Kämpfen, der hochmoderne Sprachmodelle dazu herausfordert, komplexe Regeln, Geometrie und Ressourcenmanagement sowohl über Einzelbegegnungen als auch über Tage mit mehreren Begegnungen hinweg zu navigieren, was signifikante Lücken in ihrer Fähigkeit offenbart, unmittelbare taktische Vorteile mit langfristiger strategischer Nachhaltigkeit in Einklang zu bringen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Spiel zu spielen. Lange Zeit waren Wissenschaftler sehr gut darin, Robotern beizubringen, Spiele zu spielen, bei denen die Regeln einfach und das Ziel klar sind, wie etwa das Bewegen eines Stücks über ein Gitter oder das Beschießen eines Ziels. Aber es gibt eine spezielle Art des Denkens, die viel schwieriger zu lehren ist: taktisches Denken. Dabei geht es nicht nur darum, die Regeln zu kennen; es geht darum zu verstehen, wie die Regeln aneinanderstoßen. Es ist der Unterschied zwischen dem Wissen, dass man springen kann, und dem Wissen, dass man, wenn man jetzt springt, vielleicht in einer Pfütze landet, die einen ausrutschen lässt, oder dass ein Sprung später es einem ermöglichen würde, ein Power-up zu schnappen, bevor eine Zeit abläuft. Diese Art des Denkens erfordert das Jonglieren von Geometrie (wo Dinge sind), Timing (wann Dinge passieren) und knappen Ressourcen (wie begrenzte Energie oder Munition). Wissenschaftler interessieren sich dafür, weil wir der Entwicklung von KI, die solche komplexen „Was-wäre-wenn“-Entscheidungen in einem Spiel treffen kann, näher kommen, wenn wir lernen, wie sie komplexe, reale Probleme lösen kann, in denen alles miteinander verbunden und nichts einfach ist.
Hier kommt DungeonBench ins Spiel, eine neue „Teststrecke“, die darauf ausgelegt ist, zu prüfen, ob künstliche Intelligenz tatsächlich dieses chaotische, regelintensive Denken meistern kann. Die Forscher bauten einen digitalen Simulator basierend auf dem berühmten Pen-&-Paper-Rollenspiel Dungeons & Dragons, entfernten jedoch das Geschichtenerzählen und den menschlichen Spielleiter. Stattdessen schufen sie eine strikte, mathematische Version von Kampf, in der jeder Zug, jeder Zauber und jede Monsterfähigkeit eine fest codierte Regel ist. Sie baten die KI nicht nur darum, eine einzelne Schlacht zu gewinnen; sie baten sie, einen ganzen „Abenteuertag“ zu überstehen, der aus mehreren Kämpfen besteht, bei denen die Nutzung zu viel Magie im ersten Kampf dazu führen könnte, das Team im letzten Kampf hilflos zurückzulassen.
Das Paper testet einige der intelligentesten verfügbaren KI-Modelle (wie GPT-5.5 und Gemini 3.1 Pro), um zu sehen, ob sie wie ein erfahrener Dungeon Master agieren können. Der Aufbau ist fair: Die KI sieht das gesamte Schlachtfeld, kennt alle Regeln und hat eine Liste mit legalen Zügen zur Auswahl. Die Aufgabe besteht darin, den besten Zug aus Hunderten von Optionen zu wählen und dabei Dinge zu berücksichtigen wie: „Wenn ich jetzt diesen Feuerball hier wirke, treffe ich dann den Boss, aber verbrenne dabei auch meinen Freund?“ oder „Sollte ich meinen Heiltrank für jetzt aufsparen oder ihn nutzen, um diesen Kampf schnell zu beenden?“
Die Ergebnisse sind eine Mischung aus beeindruckender Geschicklichkeit und amüsanten Fehlschlägen. Wenn die KI nur gegen einen Kampf antrat (den „Encounter“-Track), waren die besten Modelle ziemlich gut und gewannen etwa 82 % bis 83 % der Fälle. Sie waren klug genug, um sich gut zu positionieren und ihre Zauber effektiv einzusetzen. Wenn die Forscher diese Kämpfe jedoch zu einem vollen Tag (dem „Day“-Track) verknüpften, brach die Leistung der KI ein. In diesem schwierigeren Modus schafften die besten Modelle nur 40 % der Tage, und ein Modell schaffte es nicht, auch nur einen einzigen Tag zu bestehen.
Warum sind sie gescheitert? Das Paper legt nahe, dass diese KIs zwar sehr gut im „Hier und Jetzt“ sind, aber Schwierigkeiten mit der Ressourcenplanung haben. Sie neigen dazu, ihre besten Zauber und Heiltränke einzusetzen, um den ersten leichten Kampf zu gewinnen, wodurch sie für den harten Boss am Ende des Tages mit leeren Händen und geringer Gesundheit dastehen. Sie gewinnen die Schlacht, aber verlieren den Krieg. Die Forscher fanden heraus, dass die KI zwar den gesamten Zeitplan der Kämpfe im Voraus sehen konnte, aber nicht in der Lage war, zu begreifen, wie sie ihre Kräfte für später aufspart.
Kurz gesagt zeigt DungeonBench, dass die aktuelle KI sehr gut darin wird, Regeln zu befolgen und lokale Entscheidungen zu treffen, aber sie hat die Kunst der langfristigen Strategie noch nicht wirklich erlernt. Es ist wie ein Schachspieler, der ein einzelnes Spiel durch Täuschung des Gegners gewinnen kann, aber der vor dem Ende des Turniers ständig seine Figuren verliert. Das Paper kommt zu dem Schluss, dass wir zwar Fortschritte machen, aber noch ein weiter Weg vor uns liegt, bis eine KI wirklich wie ein taktisches Genie denken kann, das weiß, wann es sich zurückhalten und wann es angreifen muss.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.