Graphs RAG at Scale: Beyond Retrieval-Augmented Generation With Labeled Property Graphs and Resource Description Framework for Complex and Unknown Search Spaces

Dit paper introduceert een innovatief Graph RAG-framework dat Labeled Property Graphs en RDF combineert om traditionele RAG-beperkingen te overwinnen en superieure prestaties te leveren bij complexe, semi-gestructureerde zoekopdrachten door dynamische documentretrieval en nauwkeurige tekst-naar-Cypher-translatie.

De kern

Stel je voor dat je een enorme, chaotische bibliotheek hebt met miljoenen boeken over beleggingen. Je wilt een vraag stellen, zoals: "Welke fondsen hebben de beste prestaties in de afgelopen vijf jaar en wie zijn hun beheerders?"

In de traditionele manier van werken (wat de auteurs RAG noemen), is dit alsof je een robot hebt die door de bibliotheek rent, op basis van je vraag een paar boeken pakt die lijken op wat je zoekt, en die dan samenvat. Het probleem? Als je vraag complex is, of als je niet precies weet hoeveel boeken je nodig hebt, raakt de robot in de war. Hij pakt misschien de verkeerde boeken, mist belangrijke details, of verzonnet feiten omdat hij niet zeker weet wat er echt in de boeken staat. Dit noemen ze "hallucinaties".

Deze paper introduceert een slimme nieuwe aanpak: Graph RAG. In plaats van een rommelige bibliotheek, bouwen ze een ultra-georganiseerd spoorwegnet van informatie.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De twee nieuwe manieren om te zoeken

De auteurs testen twee manieren om dit spoorwegnet te bouwen, beide beter dan de oude "boeken zoeken" methode.

Methode A: Het RDF-netwerk (De "Drie-delige Zin" Methode)

Stel je voor dat je elke feitelijke informatie uit de boeken haalt en omzet in simpele zinnen van drie delen: Onderwerp - Werkwoord - Object.

• Voorbeeld: "AMCAP-Fonds" - "heeft als beheerder" - "Jan Jansen".
• Voorbeeld: "AMCAP-Fonds" - "volgt" - "S&P 500".

Dit is als het bouwen van een gigantisch, logisch web van kaarten. Als je een vraag stelt, zoekt de robot niet naar hele boeken, maar volgt hij deze lijntjes (zoals een spoorlijn) om precies de juiste kaarten te vinden. Het is heel snel en precies, omdat het geen gissen is, maar het volgen van vaste regels.

Methode B: Het LPG-netwerk (De "Stadsplattegrond" Methode)

Dit is nog geavanceerder. Hierbij maken ze niet alleen lijntjes, maar bouwen ze een compleet stadsmodel.

• De fondsen zijn gebouwen.
• De beheerders zijn straten die naar die gebouwen leiden.
• De eigenschappen (zoals "groei-fonds" of "ETF") zijn de borden op de gebouwen.

Ze gebruiken een speciale taal (Cypher) die de robot vertelt: "Ga van dit gebouw, neem de straat 'beheerder', en stop bij het bord 'Jan Jansen'."
Dit is als het hebben van een GPS die niet alleen de weg zoekt, maar ook begrijpt hoe de stad in elkaar zit. Je kunt heel complexe routes plannen, zoals: "Vind alle gebouwen die verbonden zijn met deze ene straat, maar alleen als ze ook een rode dakpan hebben."

2. Waarom is dit zo veel beter?

De paper vergelijkt hun nieuwe "spoorwegnet" (Graph RAG) met de oude "boeken zoeken" methode (Agentic RAG) aan de hand van 200 moeilijke vragen.

• Het oude systeem (Boeken zoeken):

  • Het probleem: Het is alsof je iemand vraagt om "alle rode auto's" te vinden, maar je zegt niet hoeveel er zijn. De robot pakt er misschien 5, maar er zijn er 50. Of hij pakt een rood vrachtwagentje omdat het woord "rood" in de tekst staat, maar het is geen auto.
  • Het resultaat: Veel fouten, onvolledige antwoorden en soms verzonnen feiten.

• Het nieuwe systeem (Spoorwegnet & Stadsplattegrond):

  • Het voordeel: Omdat de informatie in een strak netwerk zit, weet de robot precies welke "sporen" hij moet volgen. Hij hoeft niet te gokken hoeveel boeken hij moet lezen. Hij volgt gewoon de lijn tot hij bij het antwoord is.
  • Het resultaat: De "Stadsplattegrond" (LPG) won het met kop en schouders. Het gaf bijna altijd het juiste, volledige antwoord, zelfs bij de allerlastigste vragen.

3. De belangrijkste lessen (in simpele bewoordingen)

1. Structuur is koning: Als je data (zoals financiële rapporten) geordend is in een net (een graf), werkt het veel beter dan als je het laat "zwemmen" in een zee van tekst.
2. Geen gissen meer: Bij de oude methode moest de robot raden hoeveel informatie hij moest halen. Bij de nieuwe methode volgt hij de lijnen, dus hij haalt precies wat hij nodig heeft, niet meer en niet minder.
3. De "Vertaler" is cruciaal: De grootste uitdaging was het vertalen van een menselijke vraag ("Wie beheert dit fonds?") naar de taal van het spoorwegnet (Cypher). Als je die vertaling fout maakt, ga je de verkeerde weg op. Maar als het goed zit, is het een magische sleutel.

Conclusie

Kortom: De auteurs zeggen dat als je echt slimme antwoorden wilt op complexe vragen (zoals in de financiële wereld), je niet moet vertrouwen op het "lezen van boeken" door een AI. Je moet in plaats daarvan een georganiseerd netwerk bouwen waar de AI doorheen kan reizen.

Het is het verschil tussen iemand vragen om "een verhaal te vertellen over een stad" (wat vaak onzin wordt) en iemand een GPS geven die precies de straten en gebouwen kent. De GPS (Graph RAG) wint het altijd als het gaat om nauwkeurigheid en betrouwbaarheid.

Technische samenvatting

Titel: Graph RAG op Schaal: Voorbij Retrieval-Augmented Generation met Gelabelde Eigenschapsgrafen en Resource Description Framework voor Complexe en Onbekende Zoekruimtes

1. Het Probleem

Hoewel Retrieval-Augmented Generation (RAG) de prestaties van Large Language Models (LLMs) heeft verbeterd door dynamische toegang tot externe kennis, kampen traditionele RAG-systemen met ernstige beperkingen:

• Onbekende zoekruimtes: Traditionele systemen, die vaak gebaseerd zijn op vector-embeddings en vergelijkingszoekopdrachten op ongestructureerde tekst, vereisen dat het aantal te ophalen documenten (top-k) vooraf wordt gespecificeerd. Dit faalt wanneer de zoekruimte onbekend is of wanneer de data semi-gestructureerd (bijv. JSON) of gestructureerd is.
• Inefficiëntie en ruis: De afhankelijkheid van embedding-modellen en her-rangschikking (reranking) introduceert inefficiënties en bottlenecks. Embeddings kunnen subtiel onderscheid missen (bijv. tussen vergelijkbare fondsnamen) en leiden tot hallucinaties of onvolledige antwoorden.
• Beperkingen bij gestructureerde data: Bestaande RAG-methoden worstelen met diep geneste JSON-structuren en complexe relaties tussen entiteiten, die moeilijk te vertalen zijn naar vlakke tekst zonder informatieverlies.

2. Methodologie

De auteurs stellen een end-to-end Graph RAG-framework voor dat twee grafische paradigma's combineert om deze beperkingen te overwinnen: Resource Description Framework (RDF) en Labeled Property Graphs (LPG).

• Data Representatie:
  • RDF: JSON-data van investeringsfondsen wordt omgezet in subject-predicate-object triplets. De abbreviatedName fungeert als uniek onderwerp. Dit creëert een deterministische, schaalbare graaf zonder ruis.
  • LPG: JSON-data wordt gemodelleerd als een gelabelde eigenschapsgraaf met een zorgvuldig ontworpen schema. Entiteiten (zoals fondsen) en attributen (zoals producttype) worden als aparte knopen weergegeven, verbonden door expliciete relaties. Dit faciliteert efficiënte multi-hop traversals.
• Retrieval-pijplijnen:
  • RDF-pijplijn: Gebruikt SPARQL voor query's. Een agent selecteert relevante knopen en relaties via een combinatie van supervised classificatie (voor predicate-categorisatie) en embedding-based matching.
  • LPG-pijplijn: Gebruikt een Text-to-Cypher framework. Een LLM vertaalt natuurlijke taalvragen direct naar uitvoerbare Cypher-query's, verrijkt met het grafschema en metadata. Dit elimineert de noodzaak voor vooraf gedefinieerde top-k waarden.
  • Agentic RAG (Vergelijking): Als controlegroep wordt een traditionele RAG-pijplijn gebruikt waarbij JSON naar tekst wordt omgezet, gechunkt, ge-embed en her-gesorteerd.
• Infrastructuur: De experimenten maken gebruik van Amazon Neptune (voor RDF en LPG), NetworkX en FAISS voor vectorzoekopdrachten, en modellen zoals BGE-m3 voor embeddings en BART voor het vertalen van predicates naar natuurlijke taal.

3. Belangrijkste Bijdragen

1. Novel End-to-End Framework: Een nieuw systeem dat zowel RDF als LPG gebruikt voor dynamische, schaalbare retrieval-augmented generation, specifiek ontworpen voor semi-gestructureerde en gestructureerde data.
2. Innovatieve JSON-naar-RDF Conversie: Een methode om JSON-key-value paren direct om te zetten in RDF-triplets, wat naadloze integratie van semi-gestructureerde data mogelijk maakt zonder informatieverlies.
3. High-Accuracy Text-to-Cypher: Een framework dat natuurlijke taalvragen in real-time vertaalt naar Cypher-query's met een nauwkeurigheid van meer dan 90%, geschikt voor online toepassingen.
4. Empirisch Bewijs: Een uitgebreide vergelijking die aantoont dat grafische benaderingen (LPG en RDF) traditionele embedding-based RAG significant overtreffen in nauwkeurigheid, antwoordkwaliteit en redenering, vooral bij complexe zoekopdrachten.

4. Resultaten

De auteurs evalueerden drie methoden op een dataset van 200 vragen (variërend van zoekopdrachten tot vergelijkingen en details) over financiële fondsen:

• Algemene Prestaties:
  • LPG (RAGLPG): 185,5 punten (uit 200) – Beste presteerder.
  • RDF (RAGRDF): 172,5 punten.
  • Agentic RAG (RAG2): 116 punten.
• Per Intentie:
  • Bij Zoek/Listing vragen (de meest uitdagende categorie met een onbekende zoekruimte) behaalde LPG 91 correcte antwoorden, vergeleken met 70 voor RDF en slechts 23 voor Agentic RAG.
  • Bij Vergelijking en Detail vragen presteerden LPG en RDF zeer sterk en consistent, terwijl Agentic RAG aanzienlijk achterbleef.
• Analyse van Fouten:
  • Agentic RAG faalde vaak door het onbekende aantal te ophalen documenten en de beperkingen van embeddings (bijv. verwarring tussen vergelijkbare namen).
  • RDF had soms moeite met het selecteren van de juiste knopen zonder een zorgvuldig ontworpen schema.
  • LPG presteerde het beste dankzij het expliciete schema en de mogelijkheid tot deterministische traversals, hoewel fouten soms ontstonden bij de vertaling van natuurlijke taal naar Cypher (bijv. verkeerde label-selectie).

5. Betekenis en Conclusie

Het paper concludeert dat Graph RAG, en met name de LPG-approach, een transformatieve oplossing biedt voor next-generation retrieval-systemen.

• Overcoming Unknown Search Spaces: Het grootste voordeel is de capaciteit om te opereren in zoekruimtes waar het aantal relevante documenten niet vooraf bekend is. Door gebruik te maken van grafische traversals in plaats van statische top-k retrieval, wordt de kans op het missen van kritieke informatie of het introduceren van ruis geminimaliseerd.
• Schalbaarheid en Betrouwbaarheid: De methoden zijn schaalbaar voor grote datasets met complexe, geneste structuren (zoals financiële rapporten) en verminderen hallucinaties aanzienlijk.
• Toekomstperspectief: Hoewel de huidige resultaten veelbelovend zijn, wijzen de auteurs op de noodzaak van verdere verbetering in de vertaling van query's naar grafische taal (Text-to-Cypher) en de uitlijning van schema's.

Kortom, dit onderzoek markeert een verschuiving van traditionele, tekst-gebaseerde RAG naar een grafisch-gedreven paradigma dat beter is toegerust voor complexe, gestructureerde domeinen zoals financiën, wetenschap en juridisch onderzoek.