Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives
Dieses Paper führt NCP-Bench ein, einen Benchmark aus 100 narrativen Umgebungen, der darauf ausgelegt ist, die Langzeit-Konsistenz (Long-Horizon Consistency) in interaktivem Storytelling zu evaluieren, und zeigt auf, dass selbst modernste LLMs erheblich damit kämpfen, die logische Bindungstreue und narrative Integrität gegenüber unbeschränkten Nutzerinterventionen aufrechtzuerhalten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie spielen ein riesiges, endloses Rollenspiel, in dem die Geschichte niemals endet und Sie absolut alles tun können, was Sie wollen. In dieser Welt könnten Sie beschließen, einen Drachen zu schlagen, die Krone eines Königs zu stehlen oder einen Bösewicht davon zu überzeugen, Bäcker zu werden. Die Magie, die dies möglich macht, ist eine Art superintelligentes Computergehirn, ein Large Language Model (LLM). Betrachten Sie diese Modelle als unglaublich talentierte Improvisationsschauspieler, die fast jedes jemals geschriebene Buch gelesen haben. Sie sind hervorragend darin, natürlich zu klingen, Atmosphäre zu schaffen und das Gespräch im Fluss zu halten. Aber es gibt einen Haken: Obwohl sie sehr gut darin sind, so zu klingen, als wüssten sie um die Geschichte, haben sie oft Schwierigkeiten, sich tatsächlich an die Regeln der Welt zu erinnern, die sie gerade aufbauen. Wenn der Computer sagt „die Tür ist verschlossen“, kann er sie einige Minuten später so behandeln, als wäre sie offen, oder er könnte vergessen, dass Sie den Schlüssel bereits gefunden haben. Dies ist ein großes Problem für Spieldesigner und Geschichtenerzähler, die eine Welt wollen, die sich echt und konsistent anfühlt, egal wie wild der Spieler auch wird.
Diese Arbeit mit dem Titel „Can LLM Agents Stick to the Script?“ (Können LLM-Agenten sich an das Skript halten?) taucht tief in genau dieses Problem ein. Die Forscher erschufen ein spezielles Testfeld namens NCP-Bench (Narrative Commitment Preservation Benchmark), um zu sehen, ob diese KI-Geschichtenerzähler in der Lage sind, ihre Versprechen über eine lange, chaotische Spielsession hinweg einzuhalten. Sie bauten 100 verschiedene Welten auf Basis berühmter Filmplots auf, wie etwa Iron Man oder Die Bourne Identität. In jeder Welt agiert die KI als „Game Master“, der für die Durchführung der Show verantwortlich ist, während eine zweite KI als „Unruhestifter“-Spieler fungiert, der versucht, die Geschichte voranzutreiben, die Regeln zu brechen oder die Geschichte in unmögliche Richtungen zu lenken. Das Ziel war zu sehen, ob der Game Master konsistent bleiben konnte – also Fakten im Blick behält, sich erinnert, was passiert ist, und die erforderlichen Meilensteine des Plots einhält – selbst wenn der Spieler versuchte, das Spiel zu manipulieren.
Die Ergebnisse waren ein wenig wie ein Realitätscheck für die KI-Community. Die Studie ergab, dass selbst die fortschrittlichsten, modernsten KI-Modelle überraschend schlecht darin sind, sich an das Skript zu halten, wenn es kompliziert wird. Während diese Modelle wunderschöne, flüssige und spannende Geschichten schreiben können, verlieren sie oft den roten Faden, wenn das Spiel zu lange dauert. In den Tests schaffte es das leistungsstärkste Modell (eine Version von GPT-5.2), die Spielrunde ohne logische Fehler zu überstehen, nur in 42 % der Fälle nach gerade einmal 20 Zügen der Interaktion. Mit fortschreitendem Spiel sank die Überlebensrate drastisch. Bis zum Erreichen der 100-Züge-Grenze konnte fast kein Modell die gesamte Geschichte beenden, ohne sich selbst zu widersprechen oder einen wichtigen Wendepunkt der Handlung zu vergessen.
Die Forscher entdeckten, dass der häufigste Fehler nicht darin bestand, dass die KI unhöflich war oder den Spieler ignorierte, sondern dass die KI schlichtweg die Fakten vergaß, die sie zuvor etabliert hatte. Etwa 40 % bis 68 % der Fehler waren „Faktum-Konflikte“, bei denen die KI etwas sagte, das direkt dem widersprach, was sie zehn Minuten zuvor gesagt hatte. Wenn beispielsweise in der Geschichte festgelegt wurde, dass ein Charakter verletzt war, könnte die KI später beschreiben, wie dieser einen Marathon läuft, ohne einen Kratzer zu haben. Selbst wenn die KI versuchte, hilfreich zu sein und den Spieler durch das Überspringen langweiliger Teile der Geschichte zu unterstützen, geschah dies oft durch eine Umschreibung der Geschichte, die die Logik der Welt brach.
Interessanterweise testeten die Forscher auch eine spezielle Art von KI, die mit einem „Gedächtnis“-System ausgestattet war, um ihr zu helfen, Dinge besser zu behalten. Obwohl dieses Gedächtnissystem der KI half, etwas länger im Spiel zu überleben, löste es das Problem nicht. Tatsächlich machte das Gedächtnissystem die KI manchmal sogar schlechter darin, auf die spezifischen Handlungen des Spielers zu hören, weil sie zu sehr damit beschäftigt war, die Geschichte in große Blöcke zusammenzufassen und dabei die kleinen Details zu übersehen. Die Studie legt nahe, dass es nicht ausreicht, die KI einfach nur intelligenter zu machen oder ihr mehr Gedächtnis zu geben; wir brauchen eine neue Art und Weise, diesen Modellen beizubringen, die Regeln der Geschichte als unumstößliche Gesetze zu behandeln, nicht bloß als Vorschläge.
Kurz gesagt kommt die Arbeit zu dem Schluss, dass unsere derzeitigen KI-Geschichtenerzähler zwar fantastisch darin sind, zu improvisieren und cool zu klingen, aber momentan schlichtweg unfähig sind, das „Long Game“ zu spielen. Sie können sich nicht zuverlässig an das Skript halten, wenn der Spieler versucht, die Regeln zu brechen. Die Autoren hoffen, dass sie durch die Bereitstellung dieses Benchmarks anderen Forschern Werkzeuge an die Hand geben, um dies zu beheben, damit wir eines Tages wirklich endlose, konsistente und magische interaktive Geschichten erleben können, in denen die Welt Sinn ergibt, egal was wir tun.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.