Lost in Stories: Consistency Bugs in Long Story Generation by LLMs

Este artículo presenta ConStory-Bench, un nuevo benchmark y una herramienta de verificación automática diseñados para evaluar y detectar errores de consistencia en la generación de historias largas por parte de los modelos de lenguaje, revelando patrones específicos en cómo estos modelos olvidan sus propias narrativas.

Lo esencial

¡Hola! Imagina que tienes un contador de historias (un Inteligencia Artificial) que es capaz de escribir novelas enteras, de miles de páginas, en cuestión de segundos. Suena increíble, ¿verdad? Pero hay un problema: a veces, este contador se olvida de lo que acaba de inventar.

Esta investigación, llamada "Lost in Stories" (Perdido en las historias), es como un detective literario que investiga por qué estas máquinas se pierden en sus propias tramas.

Aquí te explico los puntos clave con analogías sencillas:

1. El Problema: El "Amnesia" de la IA

Imagina que estás contando una historia a un amigo. Al principio dices: "Mi personaje tiene un perro rojo". A mitad de la historia, olvidas eso y dices: "Mi personaje tiene un gato azul". Y al final, dices: "El perro rojo y el gato azul son amigos". ¡Es un caos!

Las IAs actuales pueden escribir historias muy largas (de 10.000 palabras), pero a menudo se contradicen a sí mismas. Cambian el color de los ojos de un personaje, olvidan que un objeto ya se rompió, o hacen que un viaje de 1 hora dure 3 días.

2. La Herramienta: "ConStory-Bench" (El Campo de Entrenamiento)

Los investigadores crearon un gimnasio de pruebas llamado ConStory-Bench.

• ¿Qué hacen? Le dan a la IA 2.000 prompts (instrucciones) diferentes para que escriba historias largas.
• La analogía: Es como darle a un actor 2.000 guiones diferentes y pedirle que actúe durante 3 horas sin salirse del personaje. Si en el minuto 180 dice algo que contradice lo que dijo en el minuto 5, ¡fallo!

3. El Detective: "ConStory-Checker" (El Inspector de Realidad)

Para no tener que leer cada historia a mano (¡sería imposible!), crearon un detective automático llamado ConStory-Checker.

• ¿Cómo funciona? Este detective lee la historia y busca "parejas de sospechosos".
  • Pista A: "Juan nació en 1990".
  • Pista B: "Juan tenía 20 años en 2005".
  • Veredicto: ¡Contradicción! El detective marca el error y dice: "Aquí hay un fallo, porque 1990 + 20 no es 2005".
• Lo genial es que no solo dice que hay un error, sino que muestra las citas exactas de dónde está el problema, como un profesor corrigiendo un examen con bolígrafo rojo.

4. Los Descubrimientos: ¿Dónde y por qué fallan?

Los investigadores descubrieron patrones curiosos, como si el detective hubiera encontrado huellas dactilares en la escena del crimen:

• El "Punto Ciego" del Medio: Las historias suelen ser coherentes al principio y al final, pero se rompen en el medio. Es como si el contador de historias se cansara a mitad del viaje y empezara a inventar cosas al azar.
• El Caos de los Hechos: Los errores más comunes son sobre fechas y detalles físicos (¿Era de día o de noche? ¿Tenía el pelo corto o largo?). Es como si la IA tuviera una memoria de elefante para la trama general, pero una memoria de pez para los detalles.
• La Señal de Alerta (El "Nerviosismo" de la IA): Los investigadores descubrieron algo fascinante. Cuando la IA está a punto de cometer un error, se vuelve "nerviosa". En términos técnicos, sus palabras se vuelven más impredecibles (tienen más "entropía").
  • Analogía: Imagina a un conductor de coche. Cuando va seguro, el volante está firme. Pero cuando va a cometer un error (chocar), el volante empieza a vibrar y a moverse de lado a lado. Los investigadores aprendieron a detectar ese "vibrado" para saber que la IA está a punto de inventar una mentira.

5. ¿Quién lo hace mejor?

Probaron muchas IAs (de empresas como Google, OpenAI, y modelos de código abierto).

• El ganador: Un modelo llamado GPT-5-Reasoning fue el que menos errores cometió, como un escritor muy disciplinado.
• El problema general: Aunque algunas IAs son muy buenas, todavía fallan mucho cuando las historias son muy largas. Es como pedirle a un humano que recuerde cada detalle de una película de 4 horas sin poder pausarla; es muy difícil.

En Resumen

Este paper nos dice que, aunque las IAs son geniales escribiendo, todavía no son muy buenas recordando sus propias mentiras. Han creado una herramienta para medir esto con precisión y han descubierto que la IA "suda" (se vuelve nerviosa) justo antes de cometer un error.

¿Por qué importa? Porque para que las IAs puedan escribir novelas, guiones de cine o libros de texto fiables, primero deben aprender a no olvidar lo que escribieron en la página 1 cuando están en la página 100. ¡Es el primer paso para tener un verdadero "contador de historias" inteligente!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Lost in Stories: Consistency Bugs in Long Story Generation by LLMs" en español:

1. El Problema

Aunque los Grandes Modelos de Lenguaje (LLMs) han avanzado significativamente en la capacidad de generar narrativas extensas (de decenas de miles de palabras), sufren de un problema crítico: la falta de consistencia global. Cuando los modelos generan historias largas, a menudo olvidan sus propias reglas, contradicen hechos establecidos, alteran los rasgos de los personajes o violan las reglas del mundo ficticio.

Los desafíos principales identificados son:

• Ceguera a largo plazo: Los modelos no pueden rastrear entidades y eventos a través de miles de tokens de manera coherente.
• Brecha en la evaluación: Los benchmarks existentes se centran en la calidad del argumento y la fluidez local, ignorando sistemáticamente los errores de consistencia global.
• Falta de evidencia interpretable: Las evaluaciones automatizadas actuales a menudo carecen de citas textuales explícitas y razonamientos transparentes para justificar los errores.

2. Metodología

Los autores proponen un enfoque integral compuesto por un nuevo benchmark, un pipeline de evaluación automatizada y un análisis exhaustivo de múltiples modelos.

A. ConStory-Bench (El Benchmark)

Es un conjunto de datos diseñado específicamente para evaluar la consistencia narrativa en la generación de historias largas.

• Datos: Contiene 2,000 prompts derivados de siete corpus públicos diversos (como LongBench, WritingPrompts, etc.).
• Escenarios de Tarea: Se dividen en cuatro tipos para probar diferentes desafíos de consistencia:
  1. Generación: Crear una narrativa libre desde cero.
  2. Continuación: Extender un fragmento inicial.
  3. Expansión: Desarrollar una historia a partir de un esquema.
  4. Completado: Escribir el medio de una historia con inicio y fin definidos.
• Longitud Objetivo: 8,000 a 10,000 palabras por historia.
• Taxonomía de Errores: Se define una jerarquía de 5 categorías principales y 19 subtipos finos:
  1. Lógica de Cronología y Argumento: Contradicciones de tiempo, causalidad y tramas abandonadas.
  2. Caracterización: Contradicciones de memoria, conocimiento y fluctuación de habilidades.
  3. Construcción de Mundo y Escenario: Violación de reglas centrales, normas sociales y contradicciones geográficas.
  4. Consistencia Factual y de Detalles: Desajustes de apariencia, confusión de nombres y errores cuantitativos.
  5. Narrativa y Estilo: Confusiones de perspectiva, inconsistencias de tono y cambios de estilo.

B. ConStory-Checker (El Pipeline de Evaluación)

Un sistema automatizado basado en el paradigma "LLM como juez" (LLM-as-a-judge) que detecta contradicciones y las ancla a evidencia textual. Funciona en cuatro etapas:

1. Extracción Guiada por Categoría: Escanea la narrativa para extraer segmentos propensos a contradicciones en las 5 dimensiones.
2. Emparejamiento de Contradicciones: Compara pares de segmentos para clasificarlos como consistentes o contradictorios, reduciendo falsos positivos.
3. Cadenas de Evidencia: Para cada error detectado, genera un razonamiento que explica por qué es una contradicción, cita el texto conflictivo (con posiciones exactas) y etiqueta el tipo de error.
4. Reportes JSON: Genera salidas estandarizadas con todas las pruebas necesarias para la auditoría.

C. Métricas de Evaluación

Para evitar sesgos por longitud, introdujeron dos métricas clave:

• Densidad de Errores de Consistencia (CED): Normaliza el número de errores por cada 10,000 palabras.
• Ranking Relativo de Grupo (GRR): Clasifica los modelos dentro de cada prompt basándose en una puntuación de calidad que equilibra longitud y errores, permitiendo comparaciones justas entre modelos con diferentes estrategias de longitud.

3. Contribuciones Clave

1. ConStory-Bench: El primer benchmark sistemático y a gran escala (2,000 prompts) enfocado exclusivamente en la consistencia narrativa a largo plazo con una taxonomía detallada.
2. ConStory-Checker: Un pipeline automatizado que no solo detecta errores, sino que proporciona evidencia textual explícita (citas y ubicaciones), superando la "caja negra" de las evaluaciones anteriores.
3. Análisis Empírico Exhaustivo: Evaluación de una amplia gama de sistemas (modelos propietarios, open-source, modelos potenciados por capacidades y sistemas de agentes) respondiendo a 5 preguntas de investigación sobre patrones de error.

4. Resultados Principales

El estudio evaluó modelos como GPT-5, Gemini, Claude, Qwen, DeepSeek y sistemas de agentes. Los hallazgos más significativos incluyen:

• Rendimiento General: Incluso los modelos más avanzados cometen errores sistemáticos. GPT-5-Reasoning obtuvo el mejor rendimiento (menor CED), seguido por Gemini-2.5-Pro y Claude-Sonnet-4.5. Los modelos open-source competitivos (GLM-4.6, Qwen3-32B) se acercan al rendimiento de los propietarios.
• Tipos de Errores Dominantes: Los errores son más frecuentes en Consistencia Factual/Detalles y Lógica de Cronología/Argumento. Esto indica que el seguimiento de entidades y el razonamiento temporal son los puntos débiles principales.
• Impacto de la Tarea: Las tareas de Generación (crear desde cero) presentan la mayor densidad de errores, sugiriendo que la creación abierta sin contexto previo es el desafío más difícil.
• Correlación con la Longitud: Los errores aumentan aproximadamente de forma lineal con la longitud del texto. Sin embargo, los modelos varían mucho en sus preferencias de longitud; algunos generan textos más cortos (pareciendo más consistentes) pero dejan historias incompletas.
• Señales de Incertidumbre (Entropía): Se descubrió que los segmentos de texto que contienen errores tienen una entropía de Shannon significativamente más alta (12-19% más) que el texto correcto. Esto sugiere que la incertidumbre del modelo es una señal temprana fiable de incoherencia.
• Distribución Espacial: Los errores no están distribuidos uniformemente. Las contradicciones tienden a aparecer en la mitad de la narrativa (40-60%), mientras que los hechos originales se establecen al principio (15-30%). Los errores de perspectiva suelen ser locales, mientras que los temporales y geográficos requieren memoria a largo alcance.
• Co-ocurrencia: Los errores de "Consistencia Factual" actúan como un centro de conexión, correlacionándose fuertemente con errores de personajes y mundo, mientras que los errores de estilo/narrativa suelen ser independientes.

5. Significado e Impacto

Este trabajo es fundamental para el avance de la generación de texto largo porque:

• Cambia el foco de la métrica: Pasa de evaluar solo "qué tan bien suena" (fluidez) a "qué tan bien se mantiene la coherencia" (consistencia), un requisito esencial para aplicaciones reales como escritura creativa, educación y documentación técnica.
• Herramienta de Diagnóstico: Proporciona a los investigadores y desarrolladores una metodología estandarizada para identificar dónde y por qué fallan los modelos (ej. fallos de memoria a largo plazo vs. fallos de razonamiento lógico).
• Guía para Futuras Mejoras: La correlación entre alta entropía y errores sugiere que futuras arquitecturas podrían beneficiarse de mecanismos de verificación automática o self-correction activados cuando la incertidumbre del modelo supera un umbral.
• Transparencia: Al exigir evidencia textual para cada juicio, ConStory-Checker hace que la evaluación de LLMs sea auditable y reproducible, alejándose de las evaluaciones subjetivas.

En resumen, el artículo demuestra que, aunque los LLMs pueden escribir historias largas, aún "se pierden en sus propias historias", y ofrece las herramientas necesarias para medir y eventualmente corregir estas fallas de consistencia.