Large Language Models and Book Summarization: Reading or Remembering, Which Is Better?

Titel: Large Language Models en Boeksamenvatting: Lezen of Onthouden, Wat is Beter?

1. Probleemstelling

Samenvatting is een kernopgave in de Natural Language Processing (NLP). Met de opkomst van Large Language Models (LLMs) met contextvensters van miljoenen tokens, is het nu mogelijk om volledige boeken in één prompt te verwerken ("lezen"). Tegelijkertijd hebben LLMs uitgebreide interne kennis (parametrisch geheugen) opgedaan tijdens hun training, waardoor ze ook samenvattingen kunnen genereren zonder de tekst als input ("onthouden").

De centrale onderzoeksvraag is: Hoe presteren samenvattingen die gebaseerd zijn op interne kennis van het model, vergeleken met die die zijn afgeleid van de volledige tekst? Er is onzekerheid over hoe deze twee vormen van geheugen (interne kennis vs. externe context) met elkaar interageren en of het verstrekken van de volledige tekst altijd leidt tot betere resultaten, zelfs bij bekende werken.

2. Methodologie

De auteurs hebben een experimentele evaluatie uitgevoerd om deze vraag te beantwoorden.

• Dataset: Er zijn 25 bekende boeken geselecteerd uit het publieke domein, variërend in genre, lengte en stijl (van toneelstukken en gedichten tot romans). Voorbeelden zijn Pride and Prejudice, Ulysses, The Divine Comedy en The Count of Monte Cristo.
• Modellen: Twee state-of-the-art LLMs met grote contextvensters werden gebruikt: GPT-4.1 en Gemini-2.5-Flash. Deze modellen zijn in staat om de langste boeken in de dataset (bijv. The Count of Monte Cristo, ~600k tokens) volledig in hun contextvenster te laden.
• Experimentele Opzet:
  1. Interne kennis (Onthouden): Het model genereert een samenvatting uitsluitend op basis van zijn trainingskennis, zonder de boektekst als input.
  2. Externe kennis (Lezen): Het model ontvangt de volledige tekst van het boek in de prompt en wordt expliciet instructies gegeven om alleen op basis van die tekst te werken, zonder interne kennis te gebruiken.
  3. Evaluatie (LLM-as-a-Judge): De gegenereerde samenvattingen werden onderling vergeleken. Zowel GPT-4.1 als Gemini-2.5 fungeerden als "rechter" om de volledigheid en kwaliteit van de samenvattingen te beoordelen.
  4. Temperatuur: Experimenten werden uitgevoerd bij temperaturen van 0.4 (lagere creativiteit, hogere consistentie) en 0.9 (hogere creativiteit) om de invloed van variabiliteit te testen.
  5. Score: Voor elk boek werden 25 paren samenvattingen vergeleken (5 interne vs. 5 externe), wat resulteerde in een totaalscore tussen -25 en +25. Een negatieve score duidt op een voorkeur voor de externe (tekst-gebaseerde) samenvatting.

3. Belangrijkste Bijdragen

1. Eerste Vergelijking: Dit is, voor zover bekend, de eerste evaluatie die LLM-generatie van boeksamenvattingen vergelijkt tussen interne en externe kennis met behulp van modellen met grote contextvensters.
2. Open Repository: De auteurs hebben een openbare repository gecreëerd met code, boeken en samenvattingen om reproduceerbaarheid en verder onderzoek te faciliteren.
3. Nuancering van Resultaten: Hoewel het gebruik van de volledige tekst over het algemeen beter presteert, tonen de resultaten aan dat voor specifieke boeken samenvattingen op basis van interne kennis beter scoren.
4. Analyse van Uitzonderingen: Het paper identificeert dat de prestaties afhankelijk zijn van het type tekst (genre, lengte, complexiteit) en dat "onthouden" in sommige gevallen superieur is aan "lezen".

4. Resultaten

• Algemene Trend: In de meeste gevallen presteren samenvattingen gebaseerd op de volledige tekst (extern geheugen) beter dan die op basis van interne kennis. De scores zijn over het algemeen negatief, wat aangeeft dat de "lees"-benadering wordt geprefereerd.
• Uitzonderingen (Het "Onthouden"-effect): Voor een subset van boeken scoorden de interne samenvattingen beter. Dit gold met name voor:
  • The Divine Comedy (Dante)
  • Hamlet (Shakespeare)
  • Ulysses (Joyce)
  • The Count of Monte Cristo (Dumas)
  • Conclusie: Voor deze werken was "onthouden" beter dan "lezen".
• Oorzaken van de Uitzonderingen:
  • Structuur en Complexiteit: Bij werken met complexe, niet-lineaire structuren (zoals Ulysses) of zeer lange, plot-gedreven werken (zoals The Count of Monte Cristo), lijken LLMs te worstelen met de volledige tekst. Ze kunnen vastlopen in het "Lost in the Middle"-fenomeen (waarbij informatie in het midden van de context wordt genegeerd) of moeite hebben met het integreren van informatie over lange afstand.
  • Interne Kwaliteit: De interne kennis van het model voor deze klassiekers is blijkbaar zo goed gestructureerd en geconsolideerd dat het een betere samenvatting oplevert dan de verwerking van de ruwe, soms chaotische of zeer lange inputtekst.
• Modelverschillen: Gemini-2.5-Flash leverde over het algemeen minder negatieve scores op (dus dichter bij de interne prestaties) dan GPT-4.1. GPT-4.1 als rechter had een neiging om interne samenvattingen te favoriseren.

5. Betekenis en Conclusie

De studie concludeert dat de stelling "lezen is beter dan onthouden" niet universeel waar is. Hoewel het verstrekken van de volledige tekst over het algemeen leidt tot gedetailleerdere samenvattingen, kan de interne kennis van een LLM voor bepaalde complexe of zeer lange literaire werken superieur zijn.

Dit plaatst de huidige capaciteiten van LLMs voor het samenvatten van zeer lange teksten in vraag. Het suggereert dat er een "kloof" bestaat in de verwerking van lange contexten, waarbij de modelarchitectuur moeite heeft om de volledige tekst effectief te integreren, terwijl het parametrische geheugen voor bekende werken al een geoptimaliseerde representatie bevat.

Beperkingen:
De resultaten zijn gebaseerd op slechts twee gesloten commerciële modellen en een dataset van voornamelijk westerse klassiekers. De bevindingen kunnen verschillen bij andere modellen, open-source modellen of minder bekende teksten. Toch biedt het onderzoek waardevolle inzichten in de interactie tussen parametrisch geheugen en contextuele verwerking in LLMs.