RAG vs. GraphRAG: A Systematic Evaluation and Key Insights

Dit artikel presenteert een systematische evaluatie die de prestaties van RAG en GraphRAG op tekstuele taken vergelijkt via een gestandaardiseerd protocol, waarbij inzichten worden gedeeld over hun respectievelijke sterkten, beperkingen en strategieën voor effectieve integratie.

De kern

Stel je voor dat je een zeer intelligente, maar soms dromerige assistent hebt die alles weet over de wereld, maar die ook graag dingen verzonnen (hallucinaties) als hij niet zeker is. Om deze assistent te helpen, geven we hem toegang tot een enorme bibliotheek met boeken. Dit is wat we RAG (Retrieval-Augmented Generation) noemen: "Zoeken en Antwoorden".

Maar wat als die bibliotheek niet alleen uit losse boeken bestaat, maar ook uit een gigantisch, ingewikkeld web van notities, waar elke pagina met tientallen andere pagina's verbonden is? Dan heb je GraphRAG nodig. Hierbij wordt niet alleen gezocht naar losse zinnen, maar wordt er gekeken naar de verbindingen tussen de feiten.

Deze paper is als het ware een eerlijke wedstrijd tussen deze twee methoden, georganiseerd door onderzoekers van universiteiten en Meta. Ze hebben gekeken: wie wint er, en wanneer?

Hier is de samenvatting in simpele taal, met een paar creatieve vergelijkingen:

1. De Twee Kampioenen: De Zoeker vs. De Netwerker

Stel je twee detectives voor die een mysterie moeten oplossen:

• Detective RAG (De Zoeker): Deze detective is supergoed in het vinden van exacte feiten. Als je vraagt: "Wanneer werd de Eiffeltoren gebouwd?", loopt hij direct naar het juiste boek, pakt hij de pagina en leest hij het antwoord. Hij is snel, precies en goed voor simpele vragen.
• Detective GraphRAG (De Netwerker): Deze detective houdt van puzzels. Als je vraagt: "Hoe heeft de uitvinding van de stoommachine de wereldwijde handel beïnvloed?", is dat te complex voor één pagina. Deze detective kijkt naar het grote web. Hij ziet dat pagina A over stoom gaat, pagina B over schepen, en pagina C over handel. Hij verbindt die punten en ziet het grote plaatje.

De grote ontdekking: Er is geen enkele winnaar. Het hangt af van de vraag!

• Voor simpele, feitelijke vragen (zoals "Wie was de eerste president?") wint RAG.
• Voor complexe vragen die redeneren vereisen (zoals "Wat zijn de gevolgen van X voor Y?") wint GraphRAG.

2. De Valstrikken: Waarom het niet altijd perfect gaat

De onderzoekers hebben ook gekeken naar de nadelen, want niets is gratis.

• De Bouwkosten van GraphRAG: Om RAG te gebruiken, hoef je alleen maar boeken te scannen. Maar voor GraphRAG moet je eerst die hele bibliotheek omtoveren in dat ingewikkelde web van verbindingen. Dat kost veel tijd en energie (rekenkracht). Het is alsof je eerst een hele stad moet plattekenen voordat je een route kunt plotten.
• De "Vergeten" Feiten: Soms maakt GraphRAG een foutje bij het bouwen van dat web. Als de detective een belangrijke verbinding mist in zijn net, kan hij het antwoord nooit vinden, zelfs niet als het antwoord in de boeken staat. RAG is hier robuuster in.

3. De Valstrik van de Jury: "Wie is de beste?"

Een van de meest interessante vondsten in de paper gaat over hoe we beoordelen welke methode beter is. Vaak gebruiken onderzoekers een andere AI (een "AI-jury") om te kijken welk antwoord het beste is.

De paper ontdekt een grappig, maar vervelend trucje: De volgorde maakt uit.
Stel je voor dat de AI-jury twee antwoorden moet beoordelen.

• Als antwoord A eerst wordt getoond, kiest de jury vaak voor A.
• Als antwoord B eerst wordt getoond, kiest de jury vaak voor B.

Het is alsof je een proefpersoon twee cakes laat proeven. Als je de eerste cake eerst geeft, proeft die persoon de tweede cake anders dan andersom. Dit betekent dat veel eerdere studies misschien onjuiste conclusies trokken omdat ze niet op deze "volgorde-bias" letten.

4. De Oplossing: De "Hybride" Strategie

Omdat beide detectives hun eigen sterke punten hebben, stellen de onderzoekers voor om ze te combineren. Ze noemen dit Selectie en Integratie.

• Selectie (De Wegwijzer): Voordat de detective aan de slag gaat, kijkt een slimme wegwijzer naar de vraag.

  • Is het een simpele feitelijke vraag? -> Stuur naar RAG (snel en goedkoop).
  • Is het een complexe redeneervraag? -> Stuur naar GraphRAG (slim en grondig).
  • Vergelijking: Je gebruikt een fiets voor een korte rit naar de supermarkt, maar een auto voor een lange reis door de bergen.

• Integratie (Het Teamwerk): Je laat beide detectives tegelijkertijd werken en combineert hun antwoorden. Dit geeft vaak het allerbeste resultaat, maar het kost wel meer tijd en energie (zoals twee detectives die samenwerken in plaats van één).

Conclusie: Wat leren we hieruit?

De boodschap van deze paper is simpel: Er is geen "one size fits all".

Als je een systeem bouwt dat vragen beantwoordt of samenvattingen maakt, moet je niet blindelings kiezen voor de nieuwste hype (GraphRAG) of de oude standaard (RAG).

• Gebruik RAG voor feiten, details en snelle antwoorden.
• Gebruik GraphRAG voor complexe redeneringen en het verbinden van losse ideeën.
• En vooral: wees voorzichtig met hoe je je systemen beoordeelt, want de volgorde van je testjes kan de uitkomst verdraaien!

De toekomst ligt in slimme systemen die zelf weten wanneer ze welke "detective" moeten inzetten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "RAG vs. GraphRAG: A Systematic Evaluation and Key Insights" in het Nederlands.

Probleemstelling

Retrieval-Augmented Generation (RAG) is een gevestigde paradigma voor het verbeteren van Large Language Models (LLMs) door relevante informatie uit externe bronnen op te halen, voornamelijk via tekstuele documenten. GraphRAG (Graph Retrieval-Augmented Generation) is een recente uitbreiding die informatie ophaalt en aggregeert langs grafstructuren (zoals kennisgrafieken of community-structuren afgeleid van tekst). Hoewel GraphRAG veelbelovend lijkt voor redenering en global summarization, ontbreekt er een systematisch begrip van de relatieve sterktes, beperkingen en afwegingen tussen RAG en GraphRAG.

Bestaande studies zijn vaak heterogeen: ze gebruiken specifieke datasets, aangepaste grafconstructie-methoden en verschillende evaluatieprotocollen. Dit maakt het moeilijk om te bepalen wanneer expliciete grafstructuren helpen of juist schaden, en verduistert praktische afwegingen zoals bouwkosten, ophaal-latentie en opslagruimte. Er is behoefte aan een gecontroleerde, uniforme benchmark om deze twee benaderingen eerlijk te vergelijken.

Methodologie

De auteurs presenteren een uitgebreide benchmarkstudie die RAG en vier representatieve categorieën van GraphRAG-systemen vergelijkt op twee kernopgaven: Vraagbeantwoording (QA) en Query-gebaseerde Samenvatting.

1. Geëvalueerde Methodes:

• Standaard RAG: Dense retrieval over tekst-chunks.
• KG-based GraphRAG: Constructie van een kennisgrafiek (KG) uit tekst; ophalen van triplets (head, relation, tail) en eventueel brontekst.
• Community-based GraphRAG: Hiërarchische clustering van de KG in communities met samenvattingen. Er wordt onderscheid gemaakt tussen Local Search (entity-omgevingen en lage-niveau samenvattingen) en Global Search (hoge-niveau abstracte samenvattingen).
• Text-centric graph-guided RAG (HippoRAG2): Gebruik van een grafiek om tekst-chunks te scoren en te leiden, maar de tekst blijft de primaire ophaaleenheid.
• Hierarchical summary-based GraphRAG (RAPTOR): Hiërarchische clustering van tekst met generatie van samenvattingen op verschillende niveaus, zonder expliciete KG.

2. Experimenteel Ontwerp:

• Unificatie: Alle methoden worden geëvalueerd onder een uniform protocol (dezelfde data-preprocessing, chunking, embedding-modellen, en generatie-LLMs zoals Llama-3.1-8B en 70B).
• Datasets:
  • QA: Natural Questions (single-hop), HotpotQA en MultiHop-RAG (multi-hop), en NovelQA (diverse query-types).
  • Samenvatting: SQuALITY, QMSum, ODSum-story en ODSum-meeting (single- en multi-document).
• Evaluatiemetrics: Voor QA worden Precision, Recall, F1-score en Accuracy gebruikt. Voor samenvatting worden ROUGE-2 en BERTScore gebruikt (referentie-gebaseerd), naast een analyse van "LLM-as-a-Judge" met aandacht voor positionele bias.
• Hybride Strategieën: De auteurs testen twee strategieën om de kracht van beide werelden te combineren:
  • Selectie: Query's worden geclassificeerd als feitelijk of redenerend en worden respectievelijk naar RAG of GraphRAG gestuurd.
  • Integratie: De resultaten van beide systemen worden parallel opgehaald en samengevoegd voor de generatie.

Belangrijkste Resultaten

1. Complementaire Sterktes (Geen "Winnaar"):

• RAG presteert over het algemeen beter op single-hop en feit-georiënteerde vragen die gedetailleerde informatie vereisen. Het haalt de originele tekst-chunks direct op die vaak dicht bij de grondwaarheid liggen.
• GraphRAG (vooral Community-based Local Search en HippoRAG2) excelleert op multi-hop en redenerings-intensieve vragen. Door expliciete relaties te modelleren, kan het informatie over meerdere documenten of entiteiten heen verbinden.
• Global Search in GraphRAG (zoals bij Community-GraphRAG Global) faalt vaak bij detail-georiënteerde QA omdat het te veel abstractie gebruikt en specifieke details verliest, maar kan wel nuttig zijn voor brede samenvattingen.

2. Impact van Ontwerpkeuzes:

• KG-constructie: KG-based GraphRAG presteert vaak slechter omdat de geconstrueerde grafieken onvolledig zijn (slechts ~65% van de antwoord-entiteiten wordt gevonden). De kwaliteit van de grafiekconstructie (afhankelijk van het gebruikte LLM) heeft een directe impact op de prestaties.
• Kosten: GraphRAG kent aanzienlijk hogere kosten voor grafiekconstructie (indexeringstijd) en opslagruimte. Retrieval-latentie varieert sterk; Community-based Local Search is soms sneller dan RAG, terwijl KG-based methoden trager zijn door complexe traversals.

3. Evaluatie Bias:

• De studie blootlegt een sterke positionele bias bij evaluaties met "LLM-as-a-Judge" voor samenvattingen. De volgorde waarin samenvattingen worden gepresenteerd beïnvloedt de beoordeling aanzienlijk, wat vergelijkingen tussen RAG en GraphRAG kan verstoren. Referentie-gebaseerde metrics (ROUGE/BERTScore) tonen aan dat RAG vaak beter aansluit bij menselijke grondwaarheid voor gedetailleerde queries, terwijl GraphRAG (Global) meer diversiteit en corpus-dekking biedt.

4. Hybride Strategieën:

• De Selectie-strategie (query-routing) en Integratie-strategie (combinatie van bewijs) leiden tot consistente prestatieverbeteringen ten opzichte van individuele systemen. Integratie levert vaak de hoogste scores op, maar Selectie is computatie-efficiënter.

Bijdragen

1. Systematische Benchmark: De eerste gecontroleerde vergelijking van RAG en meerdere GraphRAG-varianten onder uniforme voorwaarden voor QA en samenvatting.
2. Taak-specifieke Inzichten: Duidelijke kwantificering van wanneer grafen helpen (multi-hop redenering) en wanneer ze schaden (detail-vragen, hoge kosten).
3. Hybride Benaderingen: Validatie van strategieën om RAG en GraphRAG te combineren voor betere algehele prestaties.
4. Kritische Evaluatie-analyse: Identificatie van praktische valkuilen, waaronder de hoge kosten van grafconstructie, de gevoeligheid voor constructiekwaliteit, en de betrouwbaarheidsproblemen van LLM-as-a-Judge evaluaties.

Betekenis en Conclusie

Dit paper concludeert dat RAG en GraphRAG geen wederzijds uitsluitende keuzes zijn, maar complementaire paradigma's. Effectieve systemen moeten adaptief zijn: RAG gebruiken voor feitelijke precisie en GraphRAG voor complexe redenering. De auteurs waarschuwen dat GraphRAG niet "gratis" is; de voordelen moeten worden afgewogen tegen de extra kosten in tijd, opslag en complexiteit. Voor de volgende generatie RAG-systemen is het cruciaal om betrouwbare grafconstructie te ontwikkelen en slimme routing- of integratiestrategieën toe te passen om de sterktes van beide werelden te benutten binnen realistische efficiëntie-beperkingen.