DWTSumm: Discrete Wavelet Transform for Document Summarization

Probleemstelling

Het samenvatten van lange, domeinspecifieke documenten (zoals klinische dossiers en juridische uitspraken) met Large Language Models (LLMs) blijft een uitdaging. De huidige beperkingen zijn:

• Contextlimieten: Documenten overschrijden vaak de contextvensters van modellen, wat leidt tot teksttruncatie of agressieve compressie.
• Informatieverlies en Hallucinaties: Bestaande methoden, zoals hiërarchische samenvattingen, introduceren vaak feitelijke onnauwkeurigheden en hallucinaties, vooral in domeinen waar feitelijke juistheid cruciaal is.
• Het "Lost-in-the-Middle"-probleem: LLMs hebben moeite om belangrijke informatie in het midden van zeer lange sequenties te behouden.

Methodologie: DWTSumm

De auteurs stellen een nieuw framework voor dat de Discrete Wavelet Transform (DWT), een gevestigde techniek uit de signaalverwerking, toepast op tekst. Het centrale idee is om tekst te behandelen als een semantisch signaal.

Kernprincipes:

1. Multiresolutie Analyse: DWT decomposeert het semantische signaal (bestaande uit zin- of woord-embeddings) hiërarchisch in twee componenten:
   • Benaderingscoëfficiënten (Approximation - $cA$): Vertegenwoordigen de globale structuur, het narratieve verloop en de overkoepelende context van het document.
   • Detailcoëfficiënten (Detail - $cD$): Vangen lokaal, domeinspecifiek detail en fijne semantische variaties op.
2. Verwerkingsstappen:
   • Embedding: Het document wordt omgezet in een continue semantische representatie met behulp van een domeinspecifiek encoder-model (bijv. BioClinical ModernBERT of juridische long-context modellen).
   • Decompositie: Een multi-level DWT wordt toegepast om een hiërarchie van coëfficiënten te genereren.
   • Reconstructie: De coëfficiënten worden teruggekaatst naar representatieve zinnen via nearest-neighbor retrieval in de embedding-ruimte. Dit resulteert in een compacte "semantische skelet" ($cA$) en een set van opvallende detailzinnen ($cD$).
   • Generatie: Deze gecomprimeerde representatie wordt ofwel direct gebruikt als samenvatting, ofwel gebruikt als prompt voor een LLM (zoals GPT-4o) om de generatie te sturen.

Technisch Voordeel:
In tegenstelling tot CNN's zijn de filters in DWT analytisch gedefinieerd (niet geleerd), wat zorgt voor deterministische interpreteerbaarheid. Het framework fungeert als een semantische denoising-mechanisme dat redundante informatie filtert terwijl kritieke feiten behouden blijven.

Belangrijkste Bijdragen

1. Innovatief Framework: Dit is het eerste werk dat systematisch DWT-based compressie introduceert voor LLM-gebaseerde samenvatting.
2. Behoud van Context en Detail: Het bewijst dat DWT globale context en domeinspecifieke details behoudt terwijl de invoerlengte aanzienlijk wordt verkort (vaak met 50-75%).
3. Verbeterde Betrouwbaarheid: De integratie van DWT met LLMs verhoogt de semantische trouw (fidelity) en reduceert hallucinaties in zowel juridische als klinische taken.

Resultaten

De methode is getest op twee benchmarks: MultiClinSum (klinische samenvatting) en CaseSumm (juridische samenvatting van US Supreme Court uitspraken).

Kernbevindingen:

• Prestaties: DWT-based methoden presteren vergelijkbaar of beter dan sterke baselines (GPT-4o) op ROUGE-L, maar behalen significante verbeteringen op semantische en feitelijke metrieken.
• Verbeteringen:
  • BERTScore: Verbetering van meer dan 2%.
  • Semantische Fidelity: Verbetering van meer dan 4% (bereikt tot 97-98% bij domeinspecifieke embeddings).
  • METEOR: Grote verbeteringen, wat wijst op het behoud van nuance en domeinspecifieke semantiek.
  • Feitelijke Consistentie: In juridische taken werd een perfecte score (5.0/5.0) behaald, vergeleken met 4.4 bij de baseline.
• Compressie: Het framework bereikt compressiepercentages van meer dan 60% (en tot 87,5% bij diepere decompositie) zonder kritieke informatie te verliezen.
• Robuustheid: De resultaten zijn consistent over verschillende embedding-modellen (bijv. MedCPT, BioLinkBERT), wat aantoont dat DWT een model-onafhankelijke werking heeft.

Betekenis en Conclusie

DWTSumm biedt een lichtgewicht, generaliseerbaar en interpreteerbaar alternatief voor traditionele lange-document samenvatting. Door de semantische structuring te ontkoppelen van de taalgeneratie, fungeert DWT als een effectieve pre-processing stap.

• Reductie van Hallucinaties: Door LLMs te voeden met een "gedenozede", feitelijke onderbouwde representatie, wordt de neiging tot het verzinnen van informatie sterk verminderd.
• Efficiëntie: Het reduceert de rekenkosten en contextlengte die nodig zijn voor LLMs, terwijl de kwaliteit van de output wordt verhoogd.
• Toekomst: De methode is veelbelovend voor elke toepassing waar lange, complexe teksten met hoge eisen aan feitelijke juistheid moeten worden verwerkt, zonder afhankelijk te zijn van steeds grotere contextvensters van modellen.

De auteurs merken wel op dat de kwaliteit afhankelijk blijft van de onderliggende embeddings en dat de mapping van coëfficiënten naar tekst een benadering is die de discursieve coherentie licht kan beïnvloeden, hoewel dit door de downstream LLM wordt gecompenseerd.