Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives
Cet article introduit NCP-Bench, un banc d'essai de 100 environnements narratifs conçu pour évaluer la cohérence à long terme dans la narration interactive, révélant que même les modèles de langage de pointe éprouvent des difficultés significatives à maintenir la préservation de l'engagement logique et l'intégrité narrative face aux interventions non contraintes de l'utilisateur.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous jouez à un jeu de rôle massif et infini où l'histoire ne s'arrête jamais, et où vous pouvez absolument tout faire. Dans ce monde, vous pourriez décider de frapper un dragon, de voler la couronne d'un roi ou de convaincre un méchant de devenir boulanger. La magie qui rend cela possible est un type de cerveau informatique super intelligent appelé Modèle de Langage Étendu (LLM). Voyez ces modèles comme des acteurs d'improvisation incroyablement talentueux qui ont lu presque tous les livres jamais écrits. Ils sont excellents pour paraître naturels, créer une atmosphère et maintenir le flux de la conversation. Mais il y a un piège : bien qu'ils soient excellents pour donner l'impression de connaître l'histoire, ils ont souvent du mal à réellement se souvenir des règles du monde qu'ils construisent. Si l'ordinateur dit « la porte est verrouillée », quelques minutes plus tard, il pourrait vous laisser passer à travers comme si elle était ouverte, ou il pourrait oublier que vous avez déjà trouvé la clé. C'est un gros problème pour les concepteurs de jeux et les conteurs qui veulent un monde qui semble réel et cohérent, peu importe à quel point le joueur devient imprévisible.
Ce document, intitulé « Les agents LLM peuvent-ils suivre le script ? » (Can LLM Agents Stick to the Script?), explore en profondeur ce problème exact. Les chercheurs ont créé un terrain d'essai spécial appelé NCP-Bench (Narrative Commitment Preservation Benchmark) pour voir si ces conteurs IA peuvent tenir leurs promesses au cours d'une session de jeu longue et désordonnée. Ils ont mis en place 100 mondes narratifs différents basés sur des scénarios de films célèbres, comme Iron Man ou La Mémoire dans la peau. Dans chaque monde, l'IA joue le rôle du « Maître du Jeu », responsable de la direction du spectacle, tandis qu'une seconde IA joue le rôle d'un joueur « fauteur de troubles », essayant d'anticiper les événements, de briser les règles ou de forcer l'histoire à prendre des directions impossibles. L'objectif était de voir si le Maître du Jeu pouvait rester cohérent — en gardant trace des faits, en se souvenant de ce qui s'est passé et en respectant les étapes requises par l'intrigue — même lorsque le joueur essayait de casser le jeu.
Les résultats ont été un certain rappel à la réalité pour la communauté de l'IA. L'étude a révélé que même les modèles d'IA les plus avancés et les plus performants sont étonnamment mauvais pour suivre le script quand les choses se compliquent. Bien que ces modèles puissent écrire des histoires magnifiques, fluides et passionnantes, ils perdent souvent le fil lorsque le jeu dure trop longtemps. Dans les tests, le modèle le plus performant (une version de GPT-5.2) a réussi à survivre sans commettre d'erreur logique pendant seulement 42 % du temps après seulement 20 tours d'interaction. À mesure que le jeu progressait, le taux de survie chutait brutalement. Au moment où le jeu atteignait la limite des 100 tours, presque aucun modèle ne pouvait terminer toute l'histoire sans se contredire ou oublier un point majeur de l'intrigue.
Les chercheurs ont découvert que l'erreur la plus courante n'était pas que l'IA soit méchante ou ignore le joueur ; c'était que l'IA oubliait simplement les faits qu'elle avait établis précédemment. Environ 40 % à 68 % des échecs étaient des « conflits de faits », où l'IA disait quelque chose qui contredisait directement ce qu'elle avait dit dix minutes auparavant. Par exemple, si l'histoire établissait qu'un personnage était blessé, l'IA pourrait plus tard le décrire en train de courir un marathon sans une égratignure. Même lorsque l'IA essayait d'être utile et de laisser le joueur sauter les parties ennuyeuses de l'histoire, elle le faisait souvent en réécrivant l'histoire d'une manière qui brisait la logique du monde.
Il est intéressant de noter que le papier a également testé un type spécial d'IA conçu avec un système de « mémoire » pour l'aider à mieux se souvenir des choses. Bien que ce système de mémoire ait aidé l'IA à durer un peu plus longtemps dans le jeu, il n'a pas résolu le problème. En fait, le système de mémoire a parfois rendu l'IA moins bonne pour écouter les actions spécifiques du joueur, car elle était trop occupée à résumer l'histoire en gros blocs et passait à côté des petits détails. L'étude suggère que rendre l'IA simplement plus intelligente ou lui donner plus de mémoire ne suffit pas ; nous avons besoin d'une nouvelle façon d'enseigner à ces modèles comment traiter les règles de l'histoire comme des lois inviolables, et non comme de simples suggestions.
En résumé, le document conclut que, bien que nos conteurs IA actuels soient fantastiques pour improviser et paraître impressionnants, ils sont actuellement terribles pour tenir la distance. Ils ne peuvent pas suivre le script de manière fiable lorsque le joueur tente de briser les règles. Les auteurs espèrent qu'en fournissant ce benchmark, d'autres chercheurs pourront construire de meilleurs outils pour corriger cela, afin qu'un jour, nous puissions avoir des histoires interactives véritablement infinies, cohérentes et magiques, où le monde fait sens, peu importe ce que nous faisons.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.