Technische Samenvatting: Voorbeeldgestuurde Prompting voor Document-niveau Tekstvereenvoudiging

Probleemstelling

Document-niveau tekstvereenvoudiging vormt een aanzienlijke uitdaging voor Large Language Models (LLMs). In tegenstelling tot zinsniveau-herschrijving, dat zich richt op lokale transformaties, vereist document-niveau vereenvoudiging gecoördineerde wijzigingen over meerdere zinnen om de discourscoherentie, semantische getrouwheid en consistente leesbaarheid door een hele tekst heen te behouden. Hoewel prompt-gebaseerde LLM's een flexibele, zonder training alternatief bieden voor gesuperviseerde modellen, worstelen ze vaak met complexe document-niveau transformaties. Het uitsluitend vertrouwen op tekstuele instructies leidt frequent tot inconsistente kwaliteit van de vereenvoudiging, aangezien instructies alleen onvoldoende sturing bieden voor de genuanceerde structurele en stilistische verschuivingen die vereist zijn.

Bestaande benaderingen, zoals Retrieval-Augmented Generation (RAG), maken doorgaans gebruik van opgehaalde documenten om feitelijke kennis of externe context te bieden. Echter, document-vereenvoudiging vereist sturing over hoe tekst te transformeren in plaats van aanvullende feitelijke informatie. Er is een gat in het benutten van retrieval om transformatiepatronen specifiek voor document-niveau vereenvoudiging te bieden zonder taakspecifieke fine-tuning.

Methodologie: Voorbeeldgestuurde Prompting (EGP)

De auteurs stellen Example-Guided Prompting (EGP) voor, een framework voor tijdens de inferentie ontworpen om standaard prompts aan te vullen met opgehaalde document-vereenvoudigingsvoorbeelden.

Kernmechanisme

1. Retrieval: Gegeven een complexe invoerdocument, haalt het systeem de top-$k$ (waarbij $k=3$) meest semantisch gelijkaardige document-vereenvoudigingsparen uit een parallel vereenvoudigingscorpus. Deze retrieval maakt gebruik van dense embeddings en cosine similarity.
2. Augmentatie: De opgehaalde voorbeelden worden in de prompt opgenomen samen met het doel-document en de tekstuele instructie.
3. Generatie: De LLM verwerkt deze verrijkte prompt, waarbij de opgehaalde voorbeelden worden benut om relevante vereenvoudigingspatronen te identificeren en toe te passen in vergelijkbare contexten.
4. Constraint: Het geëvalueerde invoerdocument wordt expliciet uitgesloten van de retrieval-pool om datalekken te voorkomen.

Experimentele Opzet

• Dataset: De OneStopEnglish corpus (Vajjala en Luˇci´c, 2018), specifiek de advanced-to-elementary vereenvoudigingsinstelling.
• Modellen: Vijf state-of-the-art LLM's werden geëvalueerd: GPT-4o-mini, Claude Haiku 4.5, Gemini 2.0 Flash, Sonar, en Llama 3.2.
• Baselines:
  • Prompt-only: Een constraint-gebaseerde prompting strategie werd als baseline geselecteerd nadat voorlopige experimenten aantoonden dat deze de hoogste SARI-scores behaalde.
  • Supervised/Planning: Vergelijkingen werden gemaakt met T5 (Raffel et al., 2020) en PlanSimp (Cripwell et al., 2023), een planning-gebaseerd systeem.
• Evaluatiemetrieken:
  • Vereenvoudigingskwaliteit: SARI (Xu et al., 2016).
  • Semantische Preservatie: BERTScore (Zhang et al., 2019) en LENS (Maddela et al., 2023).
  • Leesbaarheid: Flesch Reading Ease (FRE) en Flesch-Kincaid Grade Level (FKGL).

Belangrijkste Resultaten

De experimenten tonen aan dat EGP de prompt-only generatie consistent verbetert over de meeste modellen en een competitieve of superieure prestatie levert vergeleken met gespecialiseerde gesuperviseerde systemen.

• Prestatiewinst: Het opnemen van opgehaalde voorbeelden verbeterde de vereenvoudigingskwaliteit (SARI) voor vier van de vijf geëvalueerde LLM's.
  • Claude Haiku 4.5 vertoonde de meest significante verbetering, met een stijging van de SARI van 40.78 naar 44.84, terwijl ook de semantische preservatie (BERTScore en LENS) verbeterde.
  • Gemini 2.0 Flash en Sonar vertoonden evene kind consistente winst.
  • GPT-4o-mini vertoonde kleinere maar consistente verbeteringen.
  • Llama 3.2 was een uitschieter en ervoer een opmerkelijke prestatiedegradatie over alle metrieken, wat suggereert dat niet alle LLM's opgehaalde voorbeelden effectief kunnen integreren.
• Vergelijking met Baselines: EGP-modellen presteerden over het algemeen beter dan of gelijk aan de gespecialiseerde T5 en PlanSimp systemen.
  • Claude Haiku 4.5 + EGP behaalde de hoogste SARI-score (44.84), waarmee het PlanSimp (42.02) en T5 (30.0) overtrof.
  • Wat betreft semantische preservatie presteerden GPT-4o-mini en Claude Haiku 4.5 aanzienlijk beter dan zowel T5 als PlanSimp op LENS, met een verbetering van meer dan 20 punten ten opzichte van de planning-gebaseerde baseline.
• Trade-offs: Er werd een duidelijke trade-off waargenomen tussen leesbaarheid en semantische preservatie. Hoewel EGP consequent semantisch-georiënteerde metrieken (BERTScore, LENS) verbeterde, leverde het niet altijd de grootste winsten op in leesbaarheidsmetrieken (FKGL, FRE). De opgehaalde voorbeelden lijken "conservatieve" vereenvoudigingen te stimuleren die dichter bij de structuur en betekenis van het brondocument blijven, waarbij de getrouwheid prioriteit krijgt boven agressieve reductie van leesbaarheid.

Betekenis en Bijdragen

Het paper levert drie primaire bijdragen:

1. Voorstel van EGP: De introductie van Example-Guided Prompting als een nieuw inference-time framework voor document-niveau tekstvereenvoudiging. In tegenstelling tot traditionele RAG die feitelijke gronding biedt, gebruikt EGP retrieval om transformatie-sturing te bieden, waardoor LLM's vereenvoudigingspatronen kunnen exploiteren zonder taakspecifieke fine-tuning.
2. Empirische Validatie: De demonstratie dat EGP de prompt-only generatie consistent verbetert over meerdere state-of-the-art LLM's. De resultaten laten zien dat deze retrieval-gebaseerde benadering een prestatie kan leveren die competitief is met of superieur aan representatieve gesuperviseerde (T5) en planning-gebaseerde (PlanSimp) systemen, ondanks dat er geen specifieke trainingsdata voor de vereenvoudigingstaak nodig is.
3. Analyse van Modelafhankelijkheid: De identificatie dat de effectiviteit van voorbeeldgestuurde prompting sterk afhankelijk is van het onderliggende LLM. De studie benadrukt dat succesvolle integratie van opgehaalde voorbeelden niet gegarandeerd is; het rust op het specifieke vermogen van het model om contextuele informatie tijdens de generatie te benutten. Deze bevinding suggereert dat retrieval-kwaliteit alleen onvoldoende is en wijst op architecturale of trainingskenmerken als cruciale factoren voor toekomstig onderzoek.

De auteurs concluderen dat opgehaalde voorbeelden dienen als een effectief mechanisme voor het controleren van tekstgeneratie door middel van transformatie-sturing. Dit perspectief strekt zich uit voorbij tekstvereenvoudiging en is potentieel toepasbaar op andere gecontroleerde generatietaken waarbij voorbeelden gewenste transformaties illustreren in plaats van feitelijke informatie te verstrekken.

Limitaties

De auteurs erkennen verschillende beperkingen:

• Dataset Omvang: Experimenten waren beperkt tot de OneStopEnglish corpus (educatief nieuws in het Engels), en de generaliseerbaarheid naar andere domeinen, talen of stijlen blijft onverifieerd.
• Evaluatiemetrieken: De afhankelijkheid van automatische metrieken (SARI, BERTScore, etc.) die menselijke oordelen over coherentie, feitelijke consistentie of publieksgeschiktheid mogelijk niet volledig kunnen vatten.
• Retrieval Configuratie: De studie gebruikte een enkele retrieval-configuratie en corpus. Variaties in retrieval-strategieën, corpusgroottes of gelijkenismaatregelen zouden de resultaten kunnen beïnvloeden.
• Model Variabiliteit: De significante prestatiedaling waargenomen bij Llama 3.2 geeft aan dat de methode niet universeel effectief is voor alle LLM-architecturen, wat verdere investigatie vereist naar de reden waarom sommige modellen voorbeelden beter integreren dan andere.