Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives
Este artículo presenta NCP-Bench, un banco de pruebas de 100 entornos narrativos diseñado para evaluar la Consistencia de Largo Alcance en la narrativa interactiva, revelando que incluso los LLM de vanguardia tienen dificultades significativas para mantener la preservación del compromiso lógico y la integridad narrativa frente a intervenciones de usuario no restringidas.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás jugando un juego de rol masivo e infinito donde la historia nunca termina y puedes hacer absolutamente cualquier cosa que quieras. En este mundo, podrías decidir golpear a un dragón, robar la corona de un rey o convencer a un villano de que se convierta en panadero. La magia que hace esto posible es un tipo de cerebro informático súper inteligente llamado Modelo de Lenguaje Extenso (LLM). Piensa en estos modelos como actores de improvisación increíblemente talentosos que han leído casi todos los libros jamás escritos. Son excelentes para sonar naturales, crear atmósfera y mantener la fluidez de la conversación. Pero hay un inconveniente: aunque son excelentes pareciendo saber la historia, a menudo luchan por recordar realmente las reglas del mundo que están construyendo. Si la computadora dice "la puerta está cerrada", unos minutos después podría dejarte pasar a través de ella como si estuviera abierta, o podría olvidar que ya encontraste la llave. Este es un gran problema para los diseñadores de juegos y narradores que quieren un mundo que se sienta real y consistente, sin importar lo loco que se vuelva el jugador.
Este artículo, titulado "¿Pueden los agentes de LLM ceñirse al guion?", profundiza en este exacto problema. Los investigadores crearon un campo de pruebas especial llamado NCP-Bench (Baremos de Preservación del Compromiso Narrativo) para ver si estos contadores de historias de IA pueden cumplir sus promesas a lo largo de una sesión de juego larga y desordenada. Establecieron 100 mundos de historias diferentes basados en tramas de películas famosas, como Iron Man o Identidad Bourne. En cada mundo, la IA actúa como el "Director de Juego", responsable de dirigir el espectáculo, mientras que una segunda IA actúa como un jugador "problemático", intentando adelantarse en la historia, romper las reglas o forzar la historia hacia direcciones imposibles. El objetivo era ver si el Director de Juego podía mantenerse consistente —rastreando hechos, recordando lo sucedido y manteniéndose fiel a los hitos requeridos de la trama— incluso cuando el jugador intentaba romper el juego.
Los resultados fueron un golpe de realidad para la comunidad de la IA. El estudio encontró que incluso los modelos de IA más avanzados y de vanguardia son sorprendentemente malos para ceñirse al guion cuando las cosas se complican. Si bien estos modelos pueden escribir historias bellas, fluidas y emocionantes, a menudo pierden el hilo cuando el juego se prolonga demasiado. En las pruebas, el modelo con mejor desempeño (una versión de GPT-5.2) logró sobrevivir sin cometer un error lógico durante solo el 42% del tiempo tras apenas 20 turnos de interacción. A medida que el juego avanzaba, la tasa de supervivencia caía drástamente. Para cuando el juego alcanzaba el límite de 100 turnos, casi ningún modelo podía terminar toda la historia sin contradecirse a sí mismo o olvidar un punto importante de la trama.
Los investigadores descubrieron que el error más común no era que la IA fuera mala o ignorara al jugador; era que la IA simplemente olvidaba los hechos que había establecido anteriormente. Alrededor del 40% al 68% de los fallos fueron "conflictos de hechos", donde la IA decía algo que contradecía directamente lo que había dicho diez minutos antes. Por ejemplo, si la historia establecía que un personaje estaba herido, la IA podría describir más tarde al personaje corriendo un maratón sin un rasguño. Incluso cuando la IA intentaba ser útil y dejar que el jugador se saltara las partes aburridas de la historia, a menudo lo hacía reescribiendo la historia de una manera que rompía la lógica del mundo.
Curiosamente, el artículo también probó un tipo especial de IA diseñada con un sistema de "memoria" para ayudarla a recordar mejor las cosas. Aunque este sistema de memoria ayudó a la IA a durar un poco más en el juego, no resolvió el problema. De hecho, el sistema de memoria a veces hacía que la IA fuera peor escuchando las acciones específicas del jugador, porque estaba demasiado ocupada resumiendo la historia en grandes fragmentos y perdiendo los detalles pequeños. El estudio sugiere que simplemente hacer a la IA más inteligente o darle más memoria no es suficiente; necesitamos una nueva forma de enseñar a estos modelos a tratar las reglas de la historia como leyes inquebrantables, no solo como sugerencias.
En resumen, el artículo concluye que, si bien nuestros actuales contadores de historias de IA son fantásticos para improvisar y sonar geniales, actualmente son terribles para jugar a largo plazo. No pueden ceñirse al guion de manera confiable cuando el jugador intenta romper las reglas. Los autores esperan que, al proporcionar este baremo, otros investigadores puedan construir mejores herramientas para solucionar esto, de modo que un día podamos tener historias interactivas verdaderamente infinitas, consistentes y mágicas donde el mundo tenga sentido sin importar lo que hagamos.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.