Lost in Stories: Consistency Bugs in Long Story Generation by LLMs

Il paper presenta ConStory-Bench, un nuovo benchmark e un sistema di verifica automatizzata (ConStory-Checker) progettati per valutare e analizzare le inconsistenze narrative nella generazione di storie lunghe da parte dei modelli linguistici, rivelando che tali errori sono più frequenti nei fatti e nella temporalità e tendono a manifestarsi nella parte centrale delle narrazioni.

L'essenziale

Ecco una spiegazione semplice e creativa del paper, pensata per chiunque, anche senza conoscenze tecniche.

Immagina di avere un grande narratore digitale (un'intelligenza artificiale) che ti racconta una storia epica. Il problema? Questo narratore è come un bambino che ha bevuto troppa cioccolata: è bravissimo a inventare frasi bellissime, ma dopo un po' dimentica tutto quello che ha detto all'inizio.

Ecco cosa hanno scoperto gli scienziati di questo studio, diviso in tre parti semplici:

1. Il Problema: "Il Narratore che Dimentica"

Fino a poco tempo fa, le intelligenze artificiali scrivevano storie corte. Ora possono scrivere romanzi interi (migliaia di parole). Ma c'è un difetto enorme: la coerenza.

Immagina di leggere un libro dove:

• All'inizio il protagonista ha gli occhi blu.
• A metà libro, senza che nessuno lo abbia detto, ha gli occhi marroni.
• La storia inizia nel 1982, ma a pagina 500 l'eroe usa uno smartphone che non è ancora stato inventato.
• Il protagonista è un orfano, ma poi incontra i suoi genitori vivi e vegeti.

Questo è quello che succede quando le IA scrivono storie lunghe. Si "perdono nella storia" (Lost in Stories). I vecchi test controllavano solo se la storia era divertente o se le frasi scorrevano bene, ma nessuno controllava se il narratore stava mentendo a se stesso.

2. La Soluzione: "Il Controllore di Coerenza" (ConStory-Bench)

Gli autori hanno creato due cose fondamentali:

• Il Campo di Addestramento (ConStory-Bench): Hanno preparato 2.000 "promemoria" (prompt) diversi per costringere le IA a scrivere storie lunghe (tra le 8.000 e le 10.000 parole). È come dare a 50 scrittori diversi lo stesso compito: "Scrivete un romanzo su una madre sola e suo figlio".
• L'Ispettore Automatico (ConStory-Checker): Hanno creato un robot speciale che legge queste storie e cerca gli errori. Non si limita a dire "c'è un errore", ma agisce come un detective:
  • Trova la frase sbagliata.
  • Cerca la frase precedente che la contraddice.
  • Ti mostra le due frasi una accanto all'altra e ti dice: "Ehi! Qui dici che piove, ma due pagine fa dicevi che c'era il sole!".

Hanno classificato gli errori in 5 categorie principali, come se fossero 5 tipi di "bug" mentali:

1. Tempo e Trama: (Es. "Ho 10 anni" -> "Ho 50 anni" nello stesso capitolo).
2. Personaggi: (Es. dimenticare le abilità di un personaggio o cambiare il suo nome).
3. Mondo e Regole: (Es. in un mondo dove la magia non esiste, qualcuno lancia un incantesimo).
4. Dettagli Fatti: (Es. cambiare il colore di un oggetto o i nomi dei luoghi).
5. Stile: (Es. iniziare la storia con tono serio e finire con battute comiche senza motivo).

3. Cosa Hanno Scoperto? (Le Sorprese)

Hanno fatto scrivere storie a molte IA diverse (sia quelle famose come GPT-5, sia quelle aperte) e hanno trovato cose interessanti:

• Più lunga è la storia, più si sbaglia: È come guidare un'auto per 1000 km. Più vai avanti, più è probabile che ti distragga o che ti perda. Gli errori aumentano linearmente con la lunghezza.
• Il "Mezzo" è il punto debole: Gli errori non sono distribuiti a caso. Tendono a nascere nel mezzo della storia. È come se il narratore si stancasse a metà e iniziasse a inventare cose a caso per finire il compito.
• L'incertezza è un segnale d'allarme: Hanno scoperto che quando l'IA sta per dire una bugia, "tremava" un po' prima di scriverla. In termini tecnici, la sua "incertezza" (entropia) aumentava. È come se il narratore sussurrasse: "Non sono sicuro di quello che sto dicendo...". Se potessimo sentire questo sussurro, potremmo fermarlo prima che sbagli.
• I "Cattivi" sono diversi: Alcune IA (come GPT-5 Reasoning) sono molto brave a non dimenticare i dettagli, altre (come alcune versioni open source) si perdono molto più facilmente.
• Gli errori si contagiano: Se un personaggio sbaglia un dettaglio (es. il nome), spesso sbaglia anche il luogo o il tempo. Gli errori tendono ad andare in "pacchetto".

In Sintesi

Questo studio ci dice che, anche se le IA sono diventate bravissime a scrivere romanzi, non sono ancora dei narratori perfetti. Si perdono nei loro stessi racconti.

Ma la buona notizia è che ora abbiamo una mappa (il benchmark) e un detective (il checker) per trovare questi errori. È il primo passo fondamentale per insegnare alle macchine a non dimenticare la propria storia, così che un giorno potremo affidare loro la scrittura di veri e propri capolavori senza doverli rileggere per correggere i buchi di trama!

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Lost in Stories: Consistency Bugs in Long Story Generation by LLMs", presentato in italiano.

1. Il Problema

La generazione di narrazioni lunghe (long-form) è diventata una capacità chiave per i Large Language Models (LLM), con applicazioni che vanno dalla creazione di contenuti alla scrittura educativa. Tuttavia, mentre i modelli possono generare testi di decine di migliaia di parole, tendono a fallire nel mantenere la coerenza globale durante il processo.
I problemi principali includono:

• Contraddizioni fattuali: Modifiche inconsapevoli a fatti stabiliti, nomi di personaggi o dettagli dell'ambientazione.
• Incoerenza temporale: Errori nella cronologia degli eventi o nella durata delle azioni.
• Violazioni delle regole del mondo: Ignorare le leggi fisiche o le norme sociali definite all'inizio della storia.
• Mancanza di valutazione sistematica: Gli attuali benchmark si concentrano sulla qualità della trama e sulla fluidità locale, trascurando gli errori di coerenza globale. Inoltre, le valutazioni automatiche esistenti spesso mancano di prove testuali esplicite e di spiegazioni interpretabili.

2. Metodologia

Gli autori hanno sviluppato un approccio sistematico composto da un nuovo benchmark e una pipeline di valutazione automatizzata.

A. ConStory-Bench (Il Benchmark)

È un dataset progettato specificamente per valutare la coerenza narrativa nella generazione di storie lunghe.

• Costruzione: Deriva da 7 corpora pubblici (es. LongBench, WritingPrompts) e contiene 2.000 prompt distribuiti su quattro scenari di task:
  1. Generation: Creazione di una narrazione libera da un setup minimale.
  2. Continuation: Estensione di un frammento iniziale.
  3. Expansion: Sviluppo di una storia lunga da una trama concisa.
  4. Completion: Scrittura di una storia completa con inizio e fine predefiniti.
• Obiettivo: Generare storie target di 8.000–10.000 parole.
• Tassonomia degli Errori: È stata definita una tassonomia gerarchica con 5 categorie principali e 19 sottotipi fini:
  1. Timeline & Plot Logic: Contraddizioni temporali assolute, di durata, di simultaneità, effetti senza cause, violazioni logiche, elementi di trama abbandonati.
  2. Characterization: Contraddizioni di memoria, conoscenze, fluttuazioni di abilità, abilità dimenticate.
  3. World-building & Setting: Violazioni delle regole fondamentali, norme sociali, contraddizioni geografiche.
  4. Factual & Detail Consistency: Mismatch di aspetto, confusione di nomenclatura, mismatch quantitativi.
  5. Narrative & Style: Confusione di prospettiva, incoerenze di tono, cambi di stile.

B. CONSTORY-CHECKER (La Pipeline di Valutazione)

È un sistema automatizzato "LLM-as-a-judge" che rileva le contraddizioni e le giustifica con prove testuali. Funziona in quattro stadi:

1. Estrazione Guidata per Categoria: Scansione del testo per estrarre segmenti a rischio di contraddizione nelle 5 dimensioni.
2. Accoppiamento delle Contraddizioni: Confronto a coppie dei segmenti estratti per classificarli come coerenti o contraddittori (riducendo i falsi positivi).
3. Catene di Evidenza: Per ogni errore rilevato, il sistema genera una catena di ragionamento che include: la motivazione, le citazioni esatte del testo (con posizioni) e la classificazione del tipo di errore.
4. Report JSON: Output standardizzato con tutte le prove ancorate a offset di caratteri precisi.

C. Metriche di Valutazione

Per superare i limiti del semplice conteggio degli errori (che penalizza ingiustamente le storie più lunghe), sono state introdotte due metriche:

• CED (Consistency Error Density): Normalizza il numero di errori per 10.000 parole ($CED = \frac{errori}{parole/10000}$).
• GRR (Group Relative Rank): Un punteggio di ranking relativo che tiene conto della difficoltà del prompt e della completezza della storia, permettendo confronti equi tra modelli con output di lunghezza diversa.

3. Risultati Chiave

Lo studio ha valutato una vasta gamma di modelli (proprietari, open-source, potenziati e sistemi agentic) e ha risposto a cinque domande di ricerca (RQ):

• RQ1 (Performance Generale): I modelli attuali commettono ancora errori sistematici. GPT-5-Reasoning ha ottenuto le migliori prestazioni (CED più basso: 0.113), seguito da Gemini-2.5-Pro e Claude-Sonnet-4.5. I modelli open-source come GLM-4.6 e Qwen3-32B mostrano prestazioni competitive. Le task di Generation (senza contesto preesistente) sono quelle con la più alta densità di errori.
• RQ2 (Scalabilità con la Lunghezza): Il numero di errori aumenta quasi linearmente con la lunghezza del testo generato. Tuttavia, i modelli hanno preferenze diverse: alcuni tendono a generare testi più corti (evitando errori ma lasciando la trama incompleta), altri testi più lunghi con più contraddizioni accumulate.
• RQ3 (Fattori Sottostanti - Entropia): È stato scoperto che i segmenti contenenti errori hanno un'entropia di Shannon significativamente più alta (circa +12% per Qwen3-30B e +19% per Qwen3-4B) rispetto alla media del testo. Questo suggerisce che i modelli sbagliano quando sono più incerti, rendendo l'entropia un segnale di allarme precoce per attivare controlli di coerenza.
• RQ4 (Correlazione tra Errori): Gli errori non sono indipendenti. La categoria Factual & Detail Consistency funge da "hub" centrale, correlata fortemente con Characterization e World-building. Al contrario, gli errori di Narrative & Style sono quasi indipendenti dagli altri, indicando meccanismi di fallimento diversi.
• RQ5 (Distribuzione Spaziale): Gli errori non sono distribuiti uniformemente. Le contraddizioni tendono ad apparire nella fascia centrale della storia (40-60%), mentre i fatti originali sono stabiliti all'inizio (15-30%). Le contraddizioni geografiche e temporali hanno i "gap" (distanza tra fatto e errore) più ampi, indicando fallimenti nella memoria a lungo raggio.

4. Contributi Principali

1. ConStory-Bench: Il primo benchmark su larga scala (2.000 prompt) focalizzato specificamente sulla coerenza narrativa a lungo termine, con una tassonomia dettagliata di 19 sottotipi di errori.
2. CONSTORY-CHECKER: Una pipeline di valutazione automatizzata che non si limita a contare gli errori, ma fornisce evidenze testuali esplicite e giustificazioni per ogni giudizio, rendendo il processo auditabile.
3. Analisi Sistematica: Un'analisi approfondita di oltre 20 modelli che rivela pattern specifici (correlazione tra entropia ed errori, distribuzione spaziale delle contraddizioni) che possono guidare futuri miglioramenti architetturali.

5. Significato e Implicazioni

Questo lavoro evidenzia che, nonostante i progressi nella capacità di contesto (context window), i LLM faticano ancora a mantenere una "memoria" coerente su scale narrative lunghe.

• Per la Ricerca: Dimostra che l'entropia token-level può essere utilizzata come segnale per attivare meccanismi di auto-correzione o verifica in tempo reale.
• Per le Applicazioni: Fornisce strumenti pratici per valutare e migliorare la qualità della scrittura creativa generata dall'AI, spostando il focus dalla semplice fluidità alla coerenza globale.
• Limitazioni: Il benchmark è attualmente focalizzato sulla narrativa in inglese con convenzioni occidentali e tratta le contraddizioni come binarie (esiste o non esiste), senza distinguere tra errori reali e scelte narrative intenzionali (es. finali a sorpresa).

In sintesi, il paper fornisce le basi metodologiche e gli strumenti necessari per diagnosticare e mitigare il problema della "perdita nella storia" (Lost in Stories) nei modelli linguistici moderni.