Towards Robust Retrieval-Augmented Generation Based on Knowledge Graph: A Comparative Analysis

Dit artikel presenteert een vergelijkende analyse die aantoont dat GraphRAG, een op kennisgrafieken gebaseerd systeem, robuustere Retrieval-Augmented Generation-resultaten levert dan de standaard RGB-baseline door middel van aangepaste strategieën voor ruisbestendigheid, informatieverwerking en afwijzing van negatieve of tegenstrijdige informatie.

De kern

Hier is een uitleg van het onderzoek, vertaald naar simpele, alledaagse taal met behulp van creatieve vergelijkingen.

De Probleemstelling: De "Slimme" Chatbot die Hallucineert

Stel je voor dat je een zeer intelligente, maar soms wat verwaarloosde bibliothecaris hebt (de AI). Deze bibliothecaris heeft een enorme hoeveelheid kennis in zijn hoofd (zijn vooropleiding), maar die kennis is soms verouderd of onvolledig.

Om hem te helpen, geef je hem een stapel kranten en boeken mee (de retrieval of opzoekfunctie). Dit heet RAG (Retrieval-Augmented Generation). Het idee is simpel: "Lees deze documenten en geef dan een antwoord."

Maar hier zit de hak: Wat als die stapel documenten vol zit met:

1. Ruis: Onzin of irrelevante tekst.
2. Leugens: Documenten die feitelijke fouten bevatten.
3. Tegenstrijdigheden: Eén document zegt "ja", het andere "nee".

De bibliothecaris raakt dan in de war. Hij kan gaan "hallucineren" (verzonnen feiten uit zijn hoofd halen) of gewoon een fout antwoord geven omdat hij de leugens niet herkent.

De Oplossing: Van Stapel Papier naar Een Slimme Kaart

De auteurs van dit paper zeggen: "Laten we die stapel papier niet zomaar laten liggen. Laten we er een Kennisnetwerk (een Knowledge Graph) van maken."

Stel je voor dat je in plaats van een stapel losse kranten, een gigantische, interactieve spoorlijn of een drie-dimensionale stadskaart krijgt.

• In een stapel papier staan feiten los van elkaar.
• In een Kennisnetwerk zijn alle feiten met elkaar verbonden door lijntjes (relaties). Je ziet direct wie met wie te maken heeft, wat de oorzaak is van wat, en welke feiten logisch bij elkaar horen.

Het team heeft een systeem genaamd GraphRAG getest. Dit systeem bouwt die "stadskaart" van de documenten voordat de AI het antwoord gaat zoeken.

De Vier Uitdagingen (De Test)

De onderzoekers hebben gekeken hoe goed hun nieuwe systeem werkt in vier specifieke situaties, alsof ze de bibliothecaris op de proef stelden:

1. Ruisbestendigheid (Noise Robustness):

   • De test: De bibliothecaris krijgt een document met 80% onzin en 20% waarheid.
   • Het resultaat: Met de oude methode (gewone RAG) raakte de AI in de war. Met het Kennisnetwerk kon de AI de "onzin" sneller filteren en zich richten op de echte feiten, vooral bij de kleinere, minder slimme modellen.

2. Feitelijke Leugens (Counterfactual Robustness):

   • De test: De documenten bevatten een duidelijke leugen (bijv. "De aarde is plat").
   • Het resultaat: De AI moest deze leugen herkennen en negeren. Het nieuwe systeem (vooral de versie die het Kennisnetwerk combineert met de eigen kennis van de AI) was veel beter in het zeggen: "Hé, dit klopt niet, hier is de juiste info."

3. Samenvoegen van Informatie (Information Integration):

   • De test: Het antwoord zit verspreid over drie verschillende documenten.
   • Het resultaat: Dit is waar het Kennisnetwerk het sterkst is. Omdat alle feiten al verbonden zijn op de kaart, kan de AI de puzzelstukken veel makkelijker aan elkaar leggen dan als hij ze los moet zoeken in een stapel papier.

4. Nee Zeggen (Negative Rejection):

   • De test: De documenten bevatten geen antwoord op de vraag.
   • Het resultaat: Dit is vaak het lastigst. AI's zijn vaak te zelfverzekerd en verzinnen een antwoord. Het nieuwe systeem leerde de AI om eerlijk te zeggen: "Ik heb hier niets over gevonden, ik kan dit niet beantwoorden." Dit voorkomt dat de AI halve waarheden verkoopt.

Wat Leerden We? (De Conclusie)

Het onderzoek toont aan dat het bouwen van een Kennisnetwerk (een soort slimme, verbonden kaart) voordat de AI gaat antwoorden, een enorme verbetering is.

• Voor de "kleine" AI's: Voor modellen die niet van nature super-intelligent zijn (zoals GPT-3.5), is dit een game-changer. Het helpt hen om niet in de war te raken door leugens of ruis.
• Voor de "grote" AI's: Zelfs voor de slimste modellen helpt het, maar ze hebben het minder hard nodig omdat ze al veel "in hun hoofd" hebben.

De grote les: Als je een AI wilt gebruiken in de echte wereld (waar documenten vaak onvolmaakt zijn), moet je niet alleen kijken naar wat de AI zegt, maar ook naar hoe hij de informatie vindt. Door de informatie eerst te structureren in een net van feiten (een Kennisnetwerk), wordt de AI betrouwbaarder, minder snel in de war en eerlijker als hij iets niet weet.

Kortom: Geef de AI niet alleen een stapel papier, geef hem een landkaart.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Towards Robust Retrieval-Augmented Generation Based on Knowledge Graph: A Comparative Analysis" in het Nederlands.

Probleemstelling

Retrieval-Augmented Generation (RAG) is ontwikkeld om de prestaties van Large Language Models (LLMs) te verbeteren door externe kennisbronnen te gebruiken, waardoor hallucinaties worden verminderd en toegang wordt geboden tot actuele informatie. Echter, RAG-systemen zijn kwetsbaar voor inconsistenties in de opgehaalde informatie. De auteurs identificeren drie kritieke beperkingen van het huidige RAG-raamwerk:

1. Ruis en redundantie: Opgehaalde teksten kunnen irrelevante of verwarrende informatie bevatten.
2. Gebrek aan structuur: Ongestructureerde documenten verbergen expliciete relaties tussen entiteiten (bijv. causale of temporale links), wat meervoudige redenering (multi-hop reasoning) bemoeilijkt.
3. Contradictie-detectie: Het detecteren van tegenstrijdigheden tussen documenten vereist kostbare cross-document analyse.

Bestaande benchmarks, zoals de Retrieval-Augmented Generation Benchmark (RGB), testen de robuustheid van LLMs tegen deze inconsistenties, maar traditionele RAG-systemen presteren hierin vaak onvoldoende, vooral bij complexe scenario's zoals het negeren van irrelevante informatie of het corrigeren van feitelijke fouten.

Methodologie

De auteurs onderzoeken de integratie van Knowledge Graphs (KG) in het RAG-proces om de robuustheid te verbeteren. Ze gebruiken het bestaande GraphRAG-raamwerk (dat entiteiten en relaties uit documenten haalt om een hiërarchisch kennisnetwerk te bouwen) en passen dit aan voor de vier specifieke taken van de RGB-benchmark.

Kerncomponenten van de aanpak:

1. Indexering: Documenten worden opgesplitst in chunks, waarna een LLM entiteiten, relaties en claims extrahert om een entiteit-gebaseerde kennisgrafiek te bouwen. Dit gebeurt dynamisch op basis van de opgehaalde documenten (zowel relevante als irrelevante/ruisachtige).
2. Aangepaste Prompts en Configuraties: De auteurs testen vijf verschillende configuraties om te evalueren hoe de balans tussen interne (gecodeerde) kennis en externe kennis de prestaties beïnvloedt:
   • RGB: De standaard baseline zonder kennisgrafiek.
   • GRRGB: GraphRAG met een aangepaste prompt die specifiek is ontworpen voor de RGB-taken (waarschuwt voor ruis en vraagt om correctie bij fouten).
   • GRdef: GraphRAG met de standaard prompt van het originele framework.
   • GRext: GraphRAG dat uitsluitend vertrouwen heeft op de externe kennis (geen interne kennis van het LLM).
   • GRcomb: GraphRAG dat een combinatie gebruikt van interne (gecodeerde) en externe kennis.

Evaluatie:
De systemen worden getest op de GPT-3.5 en GPT-4o-mini modellen tegen vier taken:

• Ruis-robustheid: Correcte informatie extraheren uit ruis.
• Informatie-integratie: Antwoorden op complexe vragen die informatie uit meerdere documenten vereisen.
• Negatieve afwijzing: Weigeren te antwoorden als de informatie ontoereikend is.
• Counterfactuele robuustheid: Het herkennen en corrigeren van feitelijke fouten in de bron.

Belangrijkste Bijdragen

• Comparatieve Analyse: Een uitgebreide vergelijking tussen een standaard RAG-baseline en verschillende varianten van GraphRAG, specifiek getuned voor robuustheid tegen inconsistenties.
• Prompt Engineering voor Robuustheid: Het introduceren van gespecialiseerde prompts (zoals GRRGB en GRext) die het LLM expliciet instrueren om ruis te negeren, fouten te detecteren en af te wijzen bij onzekerheid.
• Kennisbalans: Het inzichtelijk maken van het effect van het combineren van interne LLM-kennis met externe gestructureerde kennis (KG) versus het puur vertrouwen op externe kennis.
• Validatie op RGB: Het toepassen van de GraphRAG-architectuur op de RGB-benchmark om de prestaties te meten in realistische, ruizige scenario's.

Resultaten

De experimenten tonen duidelijke verschillen in prestaties afhankelijk van het modelcomplexiteit (GPT-3.5 vs. GPT-4o-mini) en de gekozen configuratie:

1. Ruis-robustheid:

   • GPT-4o-mini presteert over het algemeen beter dan GPT-3.5, maar GraphRAG-varianten bieden aanzienlijke verbeteringen voor GPT-3.5.
   • De GRdef (standaard prompt) en GRcomb (combinatie) presteerden het beste voor GPT-3.5. Voor GPT-4o-mini was de verbetering beperkt tot lage ruisniveaus.
   • Conclusie: KG-augmentatie is cruciaal voor minder krachtige modellen om ruis te filteren.

2. Counterfactuele Robuustheid (Foutdetectie & Correctie):

   • GRcomb (combinatie van interne en externe kennis) behaalde de hoogste foutdetectie- en correctiepercentages voor beide modellen (bijv. 94,94% detectie voor GPT-3.5).
   • Het puur externe model (GRext) faalde vaak bij GPT-4o-mini (0% correctie), wat suggereert dat interne kennis nodig is om fouten in externe bronnen te herkennen en te corrigeren.
   • GPT-3.5 was zonder GraphRAG zeer kwetsbaar voor feitelijke fouten; GraphRAG maakte dit model veel robuuster.

3. Informatie-integratie:

   • Alle KG-configuraties presteerden beter dan de RGB-baseline.
   • GRext (alleen externe kennis) bleek het meest robuust tegen toenemende ruis, met een minimale daling in nauwkeurigheid. Dit bevestigt dat GraphRAG goed is in het synthetiseren van informatie uit lange, verspreide documenten.

4. Negatieve Afwijzing:

   • Dit was de meest uitdagende taak. De meeste systemen (inclusief de baseline) weigerden onvoldoende vaak om te antwoorden bij ontoereikende informatie (afwijzingspercentages bleven onder de 50%).
   • GRext behaalde de hoogste afwijzingspercentages (42,66% voor GPT-4o-mini), wat aantoont dat prompts die expliciet vragen om geloofwaardigheid en volledigheid van bronnen helpen bij het voorkomen van overmoedige hallucinaties.
   • De standaard GraphRAG-prompt (GRdef) leidde vaak tot overmoedigheid, vooral bij GPT-4o-mini.

Betekenis en Conclusie

De studie concludeert dat het integreren van Knowledge Graphs in RAG-systemen een effectieve strategie is om de robuustheid van LLMs te verhogen, vooral voor modellen met beperkte interne kennis (zoals GPT-3.5).

• Belangrijkste inzicht: Er is geen "one-size-fits-all" oplossing. Voor het corrigeren van fouten is een combinatie van interne en externe kennis (GRcomb) optimaal, terwijl voor het filteren van ruis en het afwijzen van onbeantwoorde vragen het puur vertrouwen op gestructureerde externe kennis (GRext) beter werkt.
• Toekomstperspectief: Hoewel de prestaties verbeteren, blijft het vermogen om vragen correct af te wijzen (negatieve afwijzing) een uitdaging. De auteurs pleiten voor verdere ontwikkeling van hybride systemen die gestructureerde kennis combineren met geavanceerde redeneermechanismen (zoals Chain-of-Thought) en vertrouwensscores voor feiten.

Kortom, dit paper biedt een blauwdruk voor het ontwerpen van betrouwbaardere RAG-systemen die beter bestand zijn tegen de inconsistenties en ruis die voorkomen in real-world toepassingsscenario's.