Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives
Dit artikel introduceert NCP-Bench, een benchmark van 100 narratieve omgevingen die ontworpen zijn om Long-Horizon Consistency in interactief verhalen te evalueren, wat onthult dat zelfs state-of-the-art LLM's aanzienlijk moeite hebben met het behouden van logische commitment en narratieve integriteit tegenover onbeperkte gebruikersinterventies.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme, eindeloze rollenspel speelt waarbij het verhaal nooit eindigt en je absoluut alles kunt doen wat je wilt. In deze wereld kun je besluiten een draak te slaan, de kroon van een koning te stelen of een schurk te overtuigen om bakker te worden. De magie die dit mogelijk maakt, is een type superintelligent computerbrein dat een Large Language Model (LLM) wordt genoemd. Denk aan deze modellen als ongelooflijk getalenteerde improvisatieacteurs die bijna elk boek hebben gelezen dat ooit geschreven is. Ze zijn erg goed in het klinken van natuurlijk, het creëren van sfeer en het gaande houden van het gesprek. Maar er is een addertje onder het gras: hoewel ze er uitstekend in zijn om te lijken alsof ze het verhaal kennen, worstelen ze vaak met het daadwerkelijk onthouden van de regels van de wereld die ze bouwen. Als de computer zegt "de deur is op slot", kan het een paar minuten later de deur weer laten openstaan alsof deze gewoon open was, of kan het vergeten dat je de sleutel al hebt gevonden. Dit is een groot probleem voor spelontwerpers en verhalenvertellers die een wereld willen die echt aanvoelt, ongeacht hoe wild de speler ook wordt.
Dit artikel, getiteld "Can LLM Agents Stick to the Script?", duikt diep in exact dit probleem. De onderzoekers creëerden een speciale testomgeving genaamd NCP-Bench (Narrative Commitment Preservation Benchmark) om te zien of deze AI-verhalenvertellers hun beloftes kunnen nakomen tijdens een lange, chaotische gamesessie. Ze zetten 100 verschillende werelden op gebaseerd op beroemde filmplots, zoals Iron Man of The Bourne Identity. In elke wereld fungeert de AI als de "Game Master", verantwoordelijk voor het runnen van de show, terwijl een tweede AI fungeert als een "probleempjesmaker"-speler, die probeert vooruit te springen, de regels te breken of de verhaallijn in onmogelijke richtingen te dwingen. Het doel was om te zien of de Game Master consistent kon blijven—het bijhouden van feiten, het onthouden van wat er is gebeurd en het vasthouden aan de vereiste mijlpalen van het plot—zelfs wanneer de speler probeerde de game te breken.
De resultaten waren een harde realiteit voor de AI-gemeenschap. De studie toonde aan dat zelfs de meest geavanceerde, state-of-the-art AI-modellen verrassend slecht zijn in het vasthouden aan het script wanneer zaken ingewikkeld worden. Hoewel deze modellen prachtige, vloeiende en spannende verhalen kunnen schrijven, verliezen ze vaak de draad van het verhaal wanneer het spel te lang duurt. In de tests slaagde het best presterende model (een versie van GPT-5.2) er slechts in om 42% van de tijd zonder logische fouten te overleven na slechts 20 beurten interactie. Naarmate het spel vorderde, daalde het overlevingspercentage scherp. Tegen de tijd dat de game de grens van 100 beurten bereikte, kon bijna geen enkel model het hele verhaal voltooien zonder zichzelf tegen te spreken of een belangrijk plotpunt te vergeten.
De onderzoekers ontdekten dat de meest voorkomende fout niet was dat de AI gemeen was of de speler negeerde; het was dat de AI simpelweg de feiten vergat die het eerder had vastgesteld. Ongeveer 40% tot 68% van de mislukkingen waren "factuele conflicten", waarbij de AI iets zei dat rechtstreeks in strijd was met wat het tien minuten eerder had gezegd. Bijvoorbeeld, als het verhaal vaststelde dat een personage gewond was, zou de AI later die persoon een marathon kunnen laten rennen zonder een schrammetje. Zelfs wanneer de AI probeerde behulpzaam te zijn en de speler de saaie delen van het verhaal te laten overslaan, deed het dit vaak door de geschiedenis te herschrijven op een manier die de logica van de wereld verbrak.
Interessant genoeg testten de onderzoekers ook een speciaal soort AI die is ontworpen met een "geheugensysteem" om het de AI te helpen dingen beter te onthouden. Hoewel dit geheugensysteem de AI hielp om iets langer in het spel te overleven, loste het het probleem niet op. Sterker nog, het geheugensysteem maakte de AI soms juist slechter in het luisteren naar de specifieke acties van de speler, omdat het te druk was met het samenvatten van het verhaal in grote blokken en daarbij de kleine details miste. De studie suggereert dat het simpelweg slimmer maken van AI of het geven van meer geheugen niet genoeg is; we hebben een nieuwe manier nodig om deze modellen te leren de regels van het verhaal te behandelen als onbreekbare wetten, en niet slechts als suggesties.
Kortom, het artikel concludeert dat hoewel onze huidige AI-verhalenvertellers fantastisch zijn in improviseren en cool klinken, ze momenteel verschrikkelijk zijn in het spelen van de lange termijn. Ze kunnen niet betrouwbaar aan het script vasthouden wanneer de speler de regels probeert te breken. De auteurs hopen dat zij door dit benchmark aan te bieden, andere onderzoekers de tools kunnen bouwen om dit te repareren, zodat er op een dag echt eindeloze, consistente en magische interactieve verhalen kunnen zijn waarin de wereld logisch blijft, ongeacht wat we doen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.