Large Language Models and Book Summarization: Reading or Remembering, Which Is Better?

1. Il Problema

Il riassunto di testi lunghi è un compito fondamentale nell'elaborazione del linguaggio naturale (NLP). Con l'avvento dei Large Language Models (LLM) e l'introduzione di finestre di contesto che raggiungono milioni di token, è diventato tecnicamente possibile elaborare interi libri in un singolo prompt ("lettura" o external memory). Tuttavia, per opere letterarie famose, gli LLM possiedono già una conoscenza interna acquisita durante l'addestramento ("ricordo" o parametric memory).

La domanda di ricerca centrale è: quali riassunti sono di migliore qualità? Quelli generati basandosi esclusivamente sulla conoscenza interna del modello o quelli derivati dall'analisi dell'intero testo fornito come input? Inoltre, la conoscenza pregressa influenza negativamente o positivamente la capacità del modello di riassumere il testo fornito?

2. Metodologia

Gli autori hanno condotto una valutazione sperimentale comparativa utilizzando stati dell'arte LLM con finestre di contesto estese.

• Dataset: Sono stati selezionati 25 libri classici e ampiamente conosciuti (es. Pride and Prejudice, Ulysses, Il Conte di Montecristo, Divina Commedia), appartenenti al pubblico dominio e coprenti generi, stili e periodi diversi. La lunghezza varia da meno di 30.000 parole (A Doll's House) a quasi 500.000 parole (Il Conte di Montecristo).
• Modelli Utilizzati: Sono stati impiegati due modelli commerciali avanzati con finestre di contesto di un milione di token: GPT-4.1 e Gemini-2.5-Flash.
• Condizioni Sperimentali:
  1. Riassunto Interno (Internal Memory): Il modello genera il riassunto basandosi solo sulle sue conoscenze parametriche, senza ricevere il testo del libro.
  2. Riassunto Esterno (External Memory): Il modello riceve l'intero testo del libro nel prompt e deve generare il riassunto basandosi esclusivamente su quel testo, ignorando la conoscenza interna.
• Valutazione (LLM-as-a-Judge): Per confrontare i riassunti, è stato utilizzato un framework di valutazione in cui gli stessi LLM (o l'altro modello) agiscono come giudici.
  • Ogni libro è stato riassunto 5 volte per ciascuna condizione (temperatura 0.4 e 0.9).
  • Sono state confrontate tutte le coppie possibili (25 coppie per libro) tra riassunti interni ed esterni.
  • Il giudice assegna un punteggio (-1, 0, +1) indicando quale riassunto è più completo. Il punteggio finale per libro varia da -25 a +25.
• Prompting: I prompt sono stati progettati per richiedere dettagli specifici sulla trama, evitando analisi storiche o filosofiche, e istruendo esplicitamente il modello a non usare conoscenze pregresse nella condizione "esterna".

3. Contributi Chiave

1. Prima Valutazione Comparativa: Questo studio rappresenta, a quanto ne sanno gli autori, la prima valutazione che confronta sistematicamente i riassunti di libri generati da LLM basati su memoria interna ed esterna, utilizzando modelli con finestre di contesto di grandi dimensioni.
2. Riproducibilità: Creazione di un repository open-source contenente codice, libri e riassunti generati per facilitare la ricerca futura.
3. Risultati Contraddittori: Dimostrazione che, sebbene l'uso del testo completo migliori generalmente le prestazioni, esistono casi specifici in cui la conoscenza interna produce riassunti con punteggi superiori.
4. Analisi delle Cause: Discussione sulle ragioni per cui il "ricordo" può talvolta superare la "lettura", sfidando l'assunto che fornire più contesto porti sempre a risultati migliori.

4. Risultati e Analisi

I risultati mostrano un quadro complesso e non uniforme:

• Tendenza Generale: Per la maggior parte dei libri, i riassunti generati con l'intero testo (condizione esterna) ottengono punteggi superiori rispetto a quelli basati sulla sola conoscenza interna. Ciò conferma che l'accesso al testo completo fornisce generalmente dettagli più accurati.
• Eccezioni Significative: Per alcuni titoli specifici, i riassunti basati sulla conoscenza interna hanno ottenuto punteggi migliori. I casi più rilevanti includono:
  • La Divina Commedia e Amleto (Hamlet): Quando generati da Gemini-2.5-Flash, i riassunti interni hanno superato quelli esterni.
  • Ulisse (Ulysses): Ha mostrato risultati positivi nella maggior parte dei casi, con alta variabilità legata alla temperatura.
  • Il Conte di Montecristo: Ha ottenuto punteggi molto alti per alcune combinazioni generatore/valutatore a favore della memoria interna.
• Fattori Influenzanti: L'analisi degli outlier suggerisce che l'accuratezza del riassunto dipende dal tipo di testo. Opere poetiche, teatrali, o con strutture non lineari (come Ulisse) o trame massicce e complesse (come Il Conte di Montecristo) sembrano beneficiare della conoscenza interna.
• Problemi della "Lettura": I modelli che leggono l'intero testo tendono a soffrire del fenomeno "Lost in the Middle" (dimenticare informazioni centrali) o a frammentare il contesto, specialmente in opere molto lunghe o strutturate in molti capitoli (es. la Divina Commedia, dove la struttura per capitoli ha confuso il modello esterno).
• Bias di Valutazione: È stato osservato che GPT-4.1 tende a favorire i riassunti generati internamente rispetto a Gemini, indicando una possibile bias nei modelli giudici verso le proprie generazioni o verso stili specifici.

5. Significato e Conclusioni

Lo studio conclude che, sebbene l'accesso al testo completo sia generalmente superiore, in alcuni casi "ricordare" è meglio che "leggere".

Questo risultato è significativo perché:

1. Mette in discussione le capacità attuali: Dimostra che i modelli faticano ancora a integrare coerentemente informazioni da contesti estremamente lunghi, specialmente quando la struttura del testo è complessa o non lineare.
2. Implicazioni per l'uso pratico: Per opere molto famose, l'uso della conoscenza interna del modello potrebbe essere una strategia più efficace ed efficiente rispetto all'invio di interi libri, evitando errori di allucinazione o perdita di informazioni dovuti alla lunghezza del contesto.
3. Limiti della ricerca: I risultati sono limitati a due modelli commerciali chiusi e a un dataset di libri occidentali classici. Sono necessarie ulteriori ricerche per verificare se questo effetto persista su modelli open-weight, su libri meno conosciuti o su documenti tecnici.

In sintesi, il lavoro evidenzia che la semplice estensione della finestra di contesto non risolve automaticamente tutte le sfide del riassunto di testi lunghi e che l'interazione tra memoria parametrica e contesto dinamico rimane un'area di ricerca aperta e complessa.