Towards Neural Graph Data Management

Dit paper introduceert NGDBench, een unificerend benchmark voor het evalueren van neurale grafdatabasecapaciteiten die complexe Cypher-query's ondersteunt en significant tekortschietende prestaties van huidige LLM's en RAG-methoden blootlegt op het gebied van gestructureerd redeneren en ruisbestendigheid.

De kern

🧠 De Droom: Een AI die echt begrijpt hoe de wereld hangt

Stel je voor dat je een superintelligente assistent hebt (zoals een moderne AI) die alles wat er op internet staat, heeft gelezen. Hij kent alle boeken, nieuwsartikelen en blogs. Maar als je hem vraagt: "Wie heeft er gisteren 500 euro overgemaakt naar een verdacht account in een specifiek land?", dan raakt hij in de war.

Waarom? Omdat die informatie niet in een verhaal staat, maar in een database. En niet zomaar een database, maar een grafische database. Denk aan een gigantisch, ingewikkeld spinnenweb van gegevens: mensen, bedrijven, transacties en relaties die allemaal met elkaar verbonden zijn.

Tot nu toe zijn AI's geweldig in het lezen van verhalen (on gestructureerde tekst), maar ze zijn nog slecht in het navigeren door deze strakke, complexe netwerken (gestructureerde data). Ze kunnen de "spinnenwebben" niet goed lezen.

🛠️ Het Probleem: De "Stille" AI

De auteurs van dit paper zeggen: "Het is tijd om dit op te lossen." Ze merken drie grote problemen op:

1. Te simpel: Bestaande AI's kunnen alleen simpele vragen stellen, zoals "Wie is de vriend van X?". Ze kunnen geen complexe berekeningen doen, zoals "Wat is het gemiddelde bedrag van alle overboekingen van mensen met een verdachte IP-adres?".
2. De leugen in de data: In de echte wereld is data niet perfect. Soms zijn er fouten, dubbele namen of opzettelijke leugens (zoals bij oplichting). Bestaande AI's geloven vaak alles wat ze zien in het web, in plaats van te twijfelen en de "echte" waarheid te zoeken.
3. Verouderde kennis: Als je AI's vandaag leert, weten ze niets van wat er morgen gebeurt. Maar in een bank of een ziekenhuis verandert de data elke seconde. Als je AI niet kan "updaten" zonder opnieuw te leren, is hij nutteloos.

🏗️ De Oplossing: NGDBench (De "Proefkeuken" voor AI)

Om dit op te lossen, hebben de onderzoekers NGDBench gemaakt.

Stel je voor dat je een nieuwe auto wilt testen. Je kunt hem niet zomaar op een leeg parkeerterrein rijden; je moet hem op een testcircuit zetten met glibberige wegen, scherpe bochten en obstakels.

NGDBench is dat testcircuit voor AI's die met grafische databases werken.

Het bestaat uit drie belangrijke onderdelen:

1. De Testbanen (De Data)

Ze hebben geen saaie, schone testgegevens gebruikt. Ze hebben data verzameld uit vijf heel verschillende werelden:

• Financiën: Geldstromen en verdachte transacties.
• Geneeskunde: Ziektes, medicijnen en patiënten.
• Sociale netwerken: Vrienden en connecties.
• AI-tools: Hoe AI-agenten met elkaar praten.
• Economie: Bedrijfsrapporten.

Ze hebben deze data omgezet in één groot, uniform spinnenweb (een "Labeled Property Graph").

2. De "Vuilnisbak" (Ruis en Fouten)

In de echte wereld is data nooit perfect. Daarom hebben de onderzoekers expres fouten in de data gestopt.

• Analogie: Stel je voor dat je een telefoonboek krijgt, maar sommige namen zijn doorgeknipt, sommige nummers zijn verkeerd getypt, en er staan soms twee keer dezelfde persoon in.
• De AI moet nu proberen de juiste antwoorden te vinden, ondanks dat het "telefoonboek" vol zit met rommel. Dit test of de AI echt slim is, of dat hij alleen maar raadt.

3. De Vragen (De Cypher-taal)

Ze hebben de AI's niet alleen simpele vragen laten beantwoorden. Ze gebruiken Cypher, de taal die echte grafische databases spreken.

• Simpel: "Wie is de buurman van Jan?"
• Complex: "Vind alle routes van A naar B die langer zijn dan 3 stappen, tel hoeveel keer er geld is verplaatst, en bereken het gemiddelde, maar ignoreer alleen die transacties die op een zondag zijn gedaan."
• Ze testen ook of de AI kan updaten: "Verwijder deze persoon en voeg die nieuwe toe, en vertel me direct wat het effect is."

🧪 De Testresultaten: De AI's zweetten

De onderzoekers hebben de slimste AI's van dit moment (zoals GPT-5, DeepSeek en Qwen) op deze testcircuit laten rijden. Het resultaat? Niet best.

• Verwarring bij ruis: Zodra de data "vuil" was (met fouten), vielen de AI's in paniek. Ze gaven vaak het verkeerde antwoord of konden de vraag niet beantwoorden.
• Slecht rekenen: Bij complexe berekeningen (gemiddelden, sommen) faalden ze vaak. Ze waren gewend om tekst te lezen, niet om getallen in een netwerk te tellen.
• Veroudering: Bij het updaten van de data (nieuwe mensen toevoegen, oude verwijderen) raakten ze de draad kwijt. Ze konden de "geschiedenis" van de wijzigingen niet goed onthouden.

🚀 De Conclusie: We hebben nog werk te doen

Het paper concludeert dat we nog een lange weg te gaan hebben voordat AI's echt goed kunnen werken met complexe, gestructureerde netwerken zoals banken of ziekenhuizen dat nodig hebben.

NGDBench is nu de nieuwe standaard. Het is de "olympische spelen" voor AI's die met grafische databases willen werken. Als een AI deze test niet haalt, is hij nog niet klaar voor de echte wereld.

Kort samengevat:
De onderzoekers hebben een moeilijke, realistische test gemaakt om te zien of AI's echt kunnen navigeren door de ingewikkelde, rommelige en snel veranderende netwerken van onze wereld. Tot nu toe zijn de AI's nog te zwak, maar nu hebben we eindelijk een meetlat om ze beter te maken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Towards Neural Graph Data Management" in het Nederlands.

Titel: Towards Neural Graph Data Management

Auteurs: Yufei Li, Yisen Gao, Jiaxin Bai, et al. (HKUST, Beijing Institute of Technology)

---

1. Het Probleem

Hoewel AI-systemen, en met name Large Language Models (LLMs), enorme vooruitgang hebben geboekt in het verwerken van ongestructureerde tekst, blijven ze worstelen met gestructureerde data, zoals grafen die in databases worden opgeslagen. Bestaande methoden voor "Neural Graph Databases" (NGDB) hebben drie fundamentele beperkingen:

1. Beperkte Expressiviteit: De meeste bestaande benchmarks beperken zich tot elementaire logische operaties (zoals Existential First-Order logica). Ze kunnen geen complexe analytische redeneringen uitvoeren die vereist zijn in echte databases, zoals numerieke aggregaties (gemiddelden, sommen), variabele padlengtes of complexe filterlogica.
2. Discrepantie tussen Waarneming en Waarheid: In realistische scenario's (bijv. fraudeopsporing) is de waargenomen graaf niet noodzakelijk de "ground truth". Adversariale data kan er normaal uitzien maar vals zijn, of ontbrekende koppels kunnen incompleetheid aanduiden in plaats van onwaarheid. Bestaande modellen vertrouwen te veel op de ruwe, vaak ruisbehalde structuur in plaats van de onderliggende logica te herstellen.
3. Gebrek aan Dynamische Updatability: Grafen in de echte wereld (bijv. financiële transacties) veranderen continu. Bestaande systemen vereisen vaak dure hertraining bij updates. Er is behoefte aan systemen die dynamische bewerkingen (CREATE, DELETE, UPDATE) direct kunnen verwerken zonder volledige recomputatie.

Daarnaast ontbreekt er een universeel benchmark dat deze uitdagingen adresseert. Bestaande datasets zijn vaak statisch, homogeen of beperkt tot specifieke domeinen.

---

2. Methodologie: NGDBench

Om deze kloof te overbruggen stellen de auteurs NGDBench voor: een unificerend benchmark-ecosysteem voor het evalueren van neurale grafendatabase-capaciteiten.

Data Constructie

NGDBench omvat vijf diverse domeinen:

• Gestructureerd: Social (NGD-BI), Finance (NGD-Fin), en Medicine (NGD-Prime).
• Ongestructureerd: AI Tooling (NGD-MCP) en Economische rapporten (NGD-Econ).
• Unificatie: Alle data wordt omgezet naar een Labeled Property Graph (LPG) model, de industriestandaard voor grafendatabases (in tegenstelling tot RDF/SPARQL).

Perturbatie Generatie (Ruisinjectie)

Om robuustheid te testen, wordt een Perturbation Generator gebruikt die gecontroleerde ruis toevoegt aan de "Ground Truth" grafen:

• Topologische perturbaties: Willekeurige toevoeging of verwijdering van randen.
• Schemaperturbaties: Verwisselen van relatie-types of verkeerde labels.
• Attribuutperturbaties: Typfouten, OCR-fouten of numerieke afwijkingen.
  (Opmerking: Voor ongestructureerde data die via LLM's is geëxtraheerd, wordt geen extra ruis toegevoegd, omdat de extractieprocessen al inherent fouten bevatten.)

Query Generatie

In plaats van beperkte logische operatoren, ondersteunt NGDBench het volledige Cypher-querytaal (de facto standaard voor grafendatabases).

• Query Templates: Een bibliotheek van templates die basispatronen, complexe paden (variabele lengte), en aggregaties (AVG, COUNT, SUM) omvatten.
• Dynamische Management Queries: Sequenties van bewerkingen (CREATE, DELETE, SET) gevolgd door validatiequeries om de staat van de graaf te verifiëren.
• Boolean Queries: Grote resultaatsets worden omgezet naar verificatietaken (ja/nee) om schaalbaarheid te testen.

Evaluatie Taken

1. Robuuste Analytische Vraagbeantwoording: Geef antwoord op een query gebaseerd op een ruisbehalde graaf, waarbij het doel is om de correcte output te genereren alsof de graaf schoon was.
2. Sequentiële Contextuele Grafbewerking: Het model moet een reeks updates uitvoeren en de staat van de graaf in het geheugen houden ("in-context learning") om daarop volgende vragen te beantwoorden.

---

3. Belangrijkste Bijdragen

1. NGDBench Benchmark: Het eerste unified benchmark dat vijf domeinen bestrijkt, zowel gestructureerde als ongestructureerde data integreert, en realistische ruis en dynamische updates simuleert.
2. Geavanceerde Werklasten: Ondersteuning voor het volledige spectrum van Cypher, inclusief complexe patronen, aggregaties en transacties, wat een stap vooruit is ten opzichte van de beperkte logica in eerdere benchmarks (zoals Q2B of LitCQD).
3. Systematische Evaluatie: Een uitgebreide evaluatie van state-of-the-art LLMs en RAG-methoden, die diepgaande inzichten biedt in de zwakke plekken van huidige systemen.

---

4. Resultaten

De auteurs hebben NGDBench gebruikt om verschillende baselines te testen, waaronder:

• Text-to-Cypher: Neo4j-implementaties en code-genererende LLMs (GPT-5.1, DeepSeek, Qwen).
• GraphRAG: Retrieval-Augmented Generation gebaseerd op dichte vectorzoekopdrachten.

Kernbevindingen:

• Analytische Redenering: Text-to-Cypher methoden presteren over het algemeen beter dan GraphRAG bij complexe queries, omdat ze gestructureerde zoekopdrachten kunnen genereren die volledige informatie ophalen. GraphRAG faalt vaak bij complexe queries door het "truncation" probleem (het verliezen van relevante informatie bij het selecteren van top-k resultaten).
• Ruisrobustheid: Alle modellen vertonen significante prestatieverlies bij ruisbehalde data. Ze worstelen om de onderliggende "ground truth" te infereren wanneer de waargenomen structuur valse koppels bevat.
• Dynamische Updates: Bij sequentiële bewerkingen (Task II) accumuleren fouten snel. Als een model een eerdere stap verkeerd interpreteert, beïnvloedt dit alle daaropvolgende stappen. GraphRAG toont hier soms iets betere resultaten door de volledige geschiedenis in context te houden, maar de prestaties blijven over het algemeen laag.
• Aggregatie: Modellen hebben grote moeite met numerieke aggregaties (zoals het berekenen van gemiddelden over grote datasets), wat essentieel is voor financiële en zakelijke toepassingen.

---

5. Betekenis en Conclusie

NGDBench markeert een verschuiving in het onderzoek naar neurale databases. Het bewijst dat huidige AI-systemen, hoewel ze goed zijn in tekst, nog niet klaar zijn voor de complexiteit van gestructureerde grafendata in productieomgevingen.

• Kritische Testomgeving: Het biedt een noodzakelijke testomgeving om systemen te evalueren op robuustheid, precisie en dynamisch vermogen.
• Toekomstige Richting: De resultaten wijzen op de noodzaak van nieuwe methoden die specifiek zijn ontworpen voor ruisbewust queryen, foutcorrectie in sequentiële bewerkingen en de integratie van symbolische logica met neurale representaties.
• Impact: Het werk legt de basis voor de volgende generatie "Neural Graph Databases" die niet alleen kunnen redeneren, maar ook betrouwbaar kunnen opereren in dynamische, imperfecte real-world scenario's zoals fraudeopsporing, medische diagnose en AI-agent tooling.

De code en data zijn openbaar beschikbaar via GitHub, wat de community in staat stelt om deze benchmarks te reproduceren en te verbeteren.