Disco-RAG: Discourse-Aware Retrieval-Augmented Generation

Probleemstelling

Retrieval-Augmented Generation (RAG) is een veelbelovende techniek om Large Language Models (LLMs) te verbeteren bij kennisintensieve taken door externe documenten op te halen en te integreren. Echter, de bestaande RAG-pijplijnen hebben een fundamenteel tekort: ze behandelen opgehaalde tekstfragmenten (chunks) als een platte, ongestructureerde verzameling.

Dit leidt tot twee specifieke beperkingen:

1. Intra-chunk structuurblindheid: Binnen een enkel fragment wordt de interne logische hiërarchie (bijv. wat is een kernbewering en wat is ondersteunend bewijs) genegeerd.
2. Inter-chunk coherentiegaten: Tussen verschillende fragmenten worden retorische connecties (zoals oorzaak-gevolg, contrast of elaboratie) niet herkend.

Als gevolg hiervan kan een standaard RAG-systeem tegenstrijdige claims niet goed afwegen of de context van een voorwaartse bevinding missen, wat leidt tot hallucinaties of onnauwkeurige generalisaties. Het model ontvangt een "zak vol feiten" in plaats van een coherent redeneringspad.

Methodologie: Disco-RAG

Om deze beperkingen te overwinnen, stellen de auteurs Disco-RAG voor, een raamwerk dat expliciet discourskennis injecteert in het generatieproces. De methode is gebaseerd op de Rhetorical Structure Theory (RST) en bestaat uit drie hoofdcomponenten die samenwerken om een "planningsblauwdruk" te creëren:

1. Intra-chunk RST-bomen (Lokale Hiërarchie):
   Voor elk opgehaald tekstfragment wordt een RST-boom geconstrueerd. Een LLM fungeert als parser om het fragment op te splitsen in Elementaire Discourse Units (EDUs). Deze worden vervolgens georganiseerd in een hiërarchische boomstructuur waarbij een Nucleus (de kerninformatie) wordt gelinkt aan een Satelliet (ondersteunende informatie) via retorische relaties (zoals Elaboration, Contrast, Cause). Dit vangt de lokale logica binnen een fragment.

2. Inter-chunk Retorische Grafieken (Globale Coherentie):
   De methode bouwt een gerichte graaf over alle opgehaalde fragmenten heen. Hierbij worden retorische relaties tussen verschillende chunks voorspeld (bijv. dat Chunk A Chunk B ondersteunt, tegenstrijdt of verduidelijkt). Dit creëert een globaal discours-skelet dat de samenhang tussen verspreide bewijzen in kaart brengt.

3. Discourse-gedreven Planning:
   In plaats van de opgehaalde informatie simpelweg te plakken, genereert het systeem een dynamisch plan (een "blueprint"). Dit plan wordt gegenereerd op basis van de query, de RST-bomen en de retorische graaf. Het plan schetst de logische volgorde van het antwoord, prioriteert ondersteunend bewijs en organiseert het argumentatieverloop voordat de uiteindelijke tekst wordt gegenereerd.

De uiteindelijke generatie is conditioneel op vier inputs: de originele chunks, de RST-bomen, de retorische graaf en het gegenereerde plan.

Belangrijkste Bijdragen

• Nieuw Raamwerk: Disco-RAG is het eerste systeem dat discoursstructuur expliciet modelleert op zowel intra- als inter-chunk-niveau binnen een RAG-pijplijn zonder dat er fine-tuning van de basis-LLM nodig is.
• Hybride Structuur: Het combineert lokale hiërarchieën (bomen) met globale samenhang (grafieken) en een strategisch planningsstap om een coherent redeneringsproces te sturen.
• State-of-the-Art Resultaten: De methode behaalt nieuwe recordprestaties op meerdere benchmarks zonder extra training, wat aantoont dat structuur-injectie een krachtige "inference-time" strategie is.

Resultaten

De auteurs evalueren Disco-RAG op drie benchmarks: Loong (kennisintensief redeneren), ASQA (lang antwoordende vragen) en SciNews (samenvatten van wetenschappelijk nieuws).

• Loong Benchmark: Disco-RAG behaalde een totale verbetering van 12,74 punten in de LLM-score ten opzichte van standaard RAG. Op de moeilijkste set (lange documenten) was de prestatieverbetering nog drastischer (54,62 vs. 35,61 voor standaard RAG).
• ASQA Benchmark: De methode overtrof bestaande state-of-the-art systemen (zoals MAIN-RAG en Tree of Clarifications) op zowel Exact Match (EM) als ROUGE-L scores.
• SciNews Benchmark: Disco-RAG vestigde nieuwe SOTA-prestaties op de meeste evaluatiemetrics, waaronder ROUGE-L, BERTScore en SummaC (factuele consistentie).
• Robuustheid: Experimenten toonden aan dat Disco-RAG robuuster is tegen ruis in de opgehaalde data en minder gevoelig voor variaties in de grootte van tekstfragmenten dan standaard RAG.
• Ablatie-studies: Het verwijderen van enige van de drie componenten (RST-boom, retorische graaf of planner) leidde tot een significante daling in prestaties, wat aantoont dat alle onderdelen complementair en noodzakelijk zijn.

Significantie

De bevindingen van dit paper benadrukken dat de kwaliteit van RAG-systemen niet alleen afhangt van de precisie van de retrieval, maar ook van hoe de geïntegreerde informatie gestructureerd wordt.

• Verschuiving in Paradigma: Het paper toont aan dat het simpelweg concateneren van tekst niet voldoende is voor complexe redeneertaken. Het expliciet modelleren van discoursrelaties (zoals oorzaak-gevolg en contrast) is cruciaal om hallucinaties te voorkomen en logische consistentie te waarborgen.
• Efficiëntie vs. Kwaliteit: Hoewel Disco-RAG iets meer rekenkracht vereist voor het parsen en plannen, is de toename in token-kosten en latentie beperkt in vergelijking met de aanzienlijke verbetering in nauwkeurigheid en feitelijkheid.
• Toekomstperspectief: De aanpak is model-onafhankelijk en kan worden toegepast op verschillende LLM-families, wat suggereert dat discoursbewustzijn een fundamentele pijler moet worden voor de volgende generatie kennisintensieve AI-systemen.

Kortom, Disco-RAG bewijst dat het toevoegen van een "discours-geweten" aan RAG-systemen de kloof tussen verspreide bewijsstukken en een coherent, betrouwbaar antwoord effectief dicht.