Resumen Técnico: NARRA-Gym para la Evaluación de Agentes de Narrativa Interactiva

Declaración del Problema

Las tareas de narrativa interactiva requieren que los Modelos de Lenguaje Grande (LLM) sostengan un mundo de historia coherente y en evolución, adaptándose a un usuario durante múltiples turnos. Este escenario exige una combinación de capacidades —generación, memoria, planificación y personalización— que deben operar simultáneamente bajo interacción continua. Sin embargo, las evaluaciones existentes para este dominio son limitadas. Las evaluaciones estándar suelen centrarse en prompts estáticos de un solo turno, generaciones de historias aisladas o calificaciones posteriores. En consecuencia, las evaluaciones actuales no logran determinar si los modelos pueden gestionar conjuntamente la generación de historias, el estado de contexto largo, el ritmo, la simulación de personajes, la personalización empática y los artefactos fundamentados en la historia. Un modelo puede producir respuestas individuales fluidas y, sin embargo, fallar en mantener la coherencia, gestionar el estado a largo plazo o adaptarse a la trayectoria emocional del usuario, lo que conduce a interacciones rotas.

Metodología: NARRA-Gym

Para abordar estas brechas, los autores introducen NARRA-Gym, un entorno de evaluación ejecutable que transforma una semilla emocional dispersa en un episodio completo de historia interactiva. El sistema registra la trayectoria completa del modelo en el bucle, incluyendo la construcción de la historia, las actualizaciones de memoria, la planificación, las intervenciones de ritmo y la síntesis opcional de artefactos.

Construcción del Entorno

El entorno orquesta los modelos a través de una tubería completa de episodio que consta de dos fases principales:

1. Construcción de la Historia (Arquitecto Narrativo): Al recibir una semilla emocional del usuario (descripción en texto libre del estado de ánimo/situación) y respuestas de perfilado, el sistema descompone la creación de la historia en cinco etapas registradas:
   • Fundamento de la Historia: Establecer título, premisa, tema y objetivos del protagonista.
   • Construcción del Escenario: Traducir el contexto emocional en un mundo concreto y un marco de escena.
   • Construcción de Personajes: Crear el elenco, incluyendo trasfondos, personalidades y estilos de habla.
   • Estructura de Actos: Esbozar un esquema de múltiples actos, refinado opcionalmente mediante un bucle de crítico-refinador.
   • Escena Inicial: Generar prosa de apertura, diálogo, opciones ramificadas y elementos ocultos.
2. Bucle de Interacción Continua: Una vez inicializado, el episodio entra en un bucle a nivel de turno coordinado por cuatro componentes de agente:
   • Agente de Memoria: Ensambla el contexto de tres capas: perfil del usuario (necesidades, tono, límites), estado de la historia (objetivos actuales, tensiones, pistas) y viaje del usuario (decisiones, trayectoria emocional). Actualiza estas capas a diferentes frecuencias para evitar el simple relleno de contexto.
   • Agente de Ritmo: Monitorea si la trama avanza. Emplea una defensa de tres capas contra el estancamiento: controles de ritmo en tiempo de ejecución (que escalan desde un aliento suave hasta cambios obligatorios), un detector de estancamiento (que verifica patrones repetitivos) y un guardián de estructura post-generación que inyecta cambios narrativos si la salida del modelo carece de progresión.
   • Agente de Planificación: Reflexiona sobre el estado de la historia para proporcionar orientación estructurada (tensiones sin resolver, intereses del usuario, estrategia de avance) para los turnos subsiguientes.
   • Agente de Artefactos: Genera artefactos funcionales y fundamentados en la historia (HTML/CSS/JavaScript) (por ejemplo, cartas, mapas, cifrados) cuando la narrativa requiere accesorios tangibles. Un sistema de puntuación de novedad previene la repetición comparando las etiquetas de los artefactos con el historial reciente.

Protocolo de Evaluación

Los autores emplean dos protocolos complementarios para evaluar nueve LLM de vanguardia:

1. Recorrido Controlado de LLM como Juez: Cada uno de los nueve modelos generadores se ejecuta en las mismas ocho personalidades predefinidas (por ejemplo, un padre en duelo, una madre nueva abrumada), generando 72 episodios completos. Estos son calificados por tres modelos jueces independientes mediante una rúbrica de 11 dimensiones que cubre la calidad de la historia (Relevancia, Coherencia, Empatía, Sorpresa, Compromiso, Complejidad, Configuración de Personajes) y la experiencia del usuario (Satisfacción, Calidad Percibida, Utilidad del Proceso, Intención de Reutilización).
2. Evaluación de Preferencia Humana: 12 participantes participan en experiencias interactivas personalizadas (en lugar de personalidades fijas) y califican las salidas anónimas de los modelos. Las calificaciones se convierten en clasificaciones dentro del grupo y se agregan utilizando un modelo Plackett-Luce para estimar utilidades latentes para cada modelo.

Contribuciones Clave

1. Un Entorno de Referencia Ejecutable: NARRA-Gym define un escenario interactivo que prueba conjuntamente la generación creativa de historias, la gestión del estado de contexto largo/ritmo, la simulación de personajes, la personalización empática y la generación de artefactos dentro de un único bucle de interacción.
2. Una Tubería Modular de Agente Narrativo: Los autores implementan una tubería por etapas que presenta memoria de múltiples resoluciones, planificación guiada por reflexión, control anti-estancamiento, síntesis de artefactos con restricción de novedad y generación estructurada de fallo suave. Cada componente se registra para su inspección, permitiendo el diagnóstico de modos de fallo específicos.
3. Un Protocolo de Evaluación Comparativo: El documento proporciona un protocolo de calificación humana con agregación de rangos dentro del grupo y protocolos de juez LLM. Esta configuración expone fallos difíciles de observar en conjuntos de datos estáticos, como la personalización sensible a la resistencia y la coherencia a largo plazo.

Resultados

La evaluación de nueve LLM de vanguardia revela una variación sustancial entre modelos, personalidades y dimensiones:

• Variabilidad del Rendimiento: Claude Sonnet 4.6 logró las puntuaciones agregadas medias más altas (Calidad de Historia: 3.90, Experiencia de Usuario: 3.86) y lideró en las 11 dimensiones detalladas, seguido por Claude Opus 4.6. Modelos como DeepSeek V4, GPT-5.4 y DeepSeek V3.2 estaban estrechamente agrupados en Calidad de Historia, pero exhibieron perfiles distintos (por ejemplo, DeepSeek V4 fue más fuerte en la configuración de personajes, mientras que GPT-5.4 destacó en empatía).
• Fluidez vs. Robustez: Los modelos que producen historias fluidas a menudo fallaron en robustez, experiencia del usuario o personalización sensible a la resistencia. Un alto rendimiento medio no garantizó la robustez; por ejemplo, Opus 4.6 mostró picos fuertes, pero también casos de colapso severo en personalidades específicas, mientras que Sonnet 4.6 mantuvo un rendimiento alto y consistente.
• Dificultad de la Personalidad: La dificultad de la referencia varió significativamente entre las personalidades. "Sara" (una madre nueva abrumada) fue la personalidad más difícil en promedio, mientras que "Hye-jin" (una compositora bloqueada) fue la más fácil. Esto sugiere que los modelos manejan el bloqueo creativo de manera más fiable que el agotamiento emocional ambivalente.
• Discrepancia entre Humanos y Jueces: Mientras que las calificaciones humanas y los jueces LLM coincidieron en el nivel superior (Sonnet 4.6 y Opus 4.6), divergieron en el nivel medio. Los calificadores humanos favorecieron modelos como Qwen3.5 y Doubao más que los jueces LLM, particularmente en las dimensiones de Experiencia de Usuario. Esto indica que los jueces automatizados son efectivos para el filtrado general, pero pueden pasar por alto matices en el ritmo, la textura y la resonancia emocional que perciben los humanos.
• Modos de Fallo: Auditorías manuales identificaron la personalización sensible a la resistencia como un cuello de botella principal. Incluso episodios gramaticalmente limpios a menudo fallaron en rastrear lo que el usuario estaba resistiendo, ofreciendo tranquilidad prematura o convirtiendo la resistencia en progreso genérico demasiado rápido.

Significado y Afirmaciones

El documento afirma que la narrativa interactiva ofrece una referencia útil para evaluar el comportamiento de los LLM adaptativo al usuario y a largo plazo, más allá de la calidad de la historia aislada. Los hallazgos sugieren que una fuerte fluidez narrativa no garantiza la robustez, la alineación con la preferencia humana o la capacidad de sostener el contexto, el personaje y la empatía a lo largo del tiempo.

Los autores posicionan a NARRA-Gym como un paso hacia la evaluación de qué tan bien los modelos pueden gestionar la interacción entre planificación, memoria y empatía en una interacción sostenida. Señalan que la referencia destaca modos de fallo específicos —como la incapacidad de mantener una postura "sensible a la resistencia"— que son críticos para aplicaciones en dominios creativos, juegos y medios interactivos, pero que son pasados por alto por las referencias estáticas existentes. El trabajo enfatiza que el progreso futuro requiere ir más allá de las métricas de calidad de historia aislada para medir las capacidades de interacción sostenida.