🤖 machine learning

PIPE-Cypher: Automatic Enterprise Benchmark Generation for Text-to-Cypher Systems

Het artikel introduceert PIPE-Cypher, een geautomatiseerde pijplijn die live enterprise eigenschap-grafen en real-world gebruikersqueries transformeert naar uitvoerbare, diverse en gebalanceerde Text-to-Cypher benchmarks om herhaalbare en relevante evaluatie van grafische queriesystemen in de praktijk mogelijk te maken.

Oorspronkelijke auteurs: Suraj Ranganath, Anish Raghavendra

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Suraj Ranganath, Anish Raghavendra

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je werkt voor een enorme bank of een complex logistiek bedrijf. Je bedrijf heeft een gigantische, levende kaart van data (een "property graph") die laat zien hoe geld beweegt, wie wie kent, en waar goederen reizen. Deze kaart is uniek voor jouw bedrijf; het gebruikt zijn eigen speciale namen, regels en geheime codes die niemand anders gebruikt.

Stel je nu voor dat je een slimme assistent wilt bouwen (een AI) waarmee werknemers vragen in gewone mensentaal kunnen stellen, zoals: "Laat me alle rekeningen zien die vorige week geld hebben overgemaakt naar een geblokkeerde gebruiker," en dat de AI automatisch de complexe computercode (genaamd Cypher) moet schrijven om dat antwoord te krijgen.

Het probleem? Je kunt deze AI niet testen op publieke, generieke kaarten. Het moet getest worden op jouw specifieke kaart, met jouw specifieke regels. Maar het bouwen van een test hiervoor is een nachtmerrie:

De kaart verandert elke dag.
De AI kan code schrijven die er goed uitziet, maar de verkeerde vraag stelt.
Je kunt je geheime data niet naar een publieke AI-service sturen om de test te genereren.

PIPE-Cypher is de oplossing die de auteurs hebben gebouwd. Zie dit als een automatische "Testkeuken" die volledig binnen de beveiligde computers van jouw bedrijf leeft.

Hoe de "Testkeuken" werkt

In plaats van dat een mens duizenden testvragen schrijft, doet PIPE-Cypher het zware werk via een pipeline (een productielijn):

De Kaartinspecteur (Schema Profiling):
Eerst kijkt het systeem stilletjes naar de datakaart van jouw bedrijf. Het leert de namen van de nodes (zo zoals "Account" of "Persoon"), de wegen tussen hen (zoals "Transfers To") en de specifieke waarden die worden gebruikt (zoals "Credit Card" of "Blocked"). Het creëert een "menu" van wat mogelijk is.
De Reverse Engineer (Reverse Grounding):
Dit is het slimme gedeelte. In plaats van een vraag te raden en te hopen dat het antwoord bestaat, begint het systeem bij het antwoord. Het voert veilige, alleen-lezen-queries uit om echte datapunten te vinden die daadwerkelijk bestaan.
Analogie: Stel je voor dat je een chef wilt testen. In plaats van te vragen om "een soep te maken" en te hopen dat hij ingrediënten heeft, controleer je eerst de voorraadkast om te zien of je wortelen en uien hebt. Daarna vraag je: "Maak een soep met wortelen en uien." Dit garandeert dat de vraag beantwoordbaar is.
De Strikte Editor (Constrained Generation):
Een lokale AI (die draait op je eigen servers, niet in de cloud) schrijft de Engelse vraag en de Cypher-code op basis van die echte ingrediënten. Maar de AI mag niet op gevaarlijke manieren creatief zijn. Het moet strikte regels volgen: "Lees alleen data, verwijder nooit data," "Gebruik exacte namen," en "Verzin geen wegen die niet bestaan."
De Veiligheidsbewaker (Deterministic Validation):
Voordat de test wordt geaccepteerd, controleert een niet-AI computerprogramma de code. Het werkt als een uitsmijter bij een club:

Is de code veilig? (Geen data verwijderen).
Gebruikt het echte namen? (Geen gefantaseerde termen).
Werkt het daadwerkelijk? (Als de code geen resultaten oplevert, wordt deze afgewezen).
Gaat het de juiste kant op? (In grafen is "A naar B" iets anders dan "B naar A").

De Rechter (LLM Reviewer):
Ten slotte fungeert een tweede lokale AI als rechter. Deze kijkt naar de vraag, de code en de daadwerkelijke resultaten. De AI vraagt zich af: "Beantwoordt deze code echt de vraag? Is het duidelijk?" Als de code wel draait maar het verkeerde antwoord geeft, wijst de rechter het af.

De Resultaten: Een "Levende" Benchmark

De auteurs gebruikten deze pipeline om een enorme testset van 3.000 vragen te maken met behulp van echte financiële en sociale netwerkdata.

Het is onderscheidend: Toen ze standaard AI-modellen op deze nieuwe benchmark testten, faalden de meeste spectaculair (ze kregen minder dan 4% van de antwoorden goed). Dit bewijst dat het feit dat een AI code kan schrijven die er correct uitziet, niet betekent dat de AI jouw specifieke datakaart begrijpt.
Het is verversbaar: Omdat de pipeline geautomatiseerd is, kun je, als jouw bedrijf volgende maand een nieuw type data toevoegt (zoals "Crypto Wallets"), de pipeline gewoon opnieuw draaien om direct nieuwe tests te genereren. Je hoeft niet te wachten tot een publieke dataset is bijgewerkt.
Het is privé: Alles vindt plaats op je eigen computers. Gegevens van gevoelige aard verlaten nooit je gebouw.

De Belangrijkste Conclusie

De paper betoogt dat voor enterprise AI, statische testsets dood zijn. Je kunt een systeem dat ontworpen is voor jouw unieke, veranderende bedrijf niet evalueren met een generieke, bevroren dataset.

PIPE-Cypher verandert het spel door benchmarkcreatie te veranderen in een herhaalbaar, geautomatiseerd fabrieks-proces. Het zorgt ervoor dat de tests:

Echt zijn: Gebaseerd op daadwerkelijke data die bestaat.
Veilig zijn: Gegarandeerd niet je database breken.
Eerlijk zijn: Strikt controleren of de AI het probleem daadwerkelijk oplost, en niet alleen of hij mooie code schrijft.

Kortom, PIPE-Cypher is een tool waarmee bedrijven hun eigen, hoogwaardige "rijtests" voor hun AI-assistenten kunnen bouwen, zodat zij er zeker van zijn dat ze de complexe, unieke wegen van de bedrijfsdata kunnen navigeren zonder te crashen.

Technische Samenvatting: PIPE-Cypher

Probleemstelling

Enterprise property graphs verschillen aanzienlijk van publieke benchmarks wat betreft de schema-structuur, interne terminologie, domeinveronderstellingen, governance-beperkingen en gebruikersinteractiepatronen. Als gevolg hiervan slagen publieke Text-to-Cypher datasets er niet in om te evalueren of een model de specifieke labels, relatierichtingen, waarden en operationele vragen van een organisatie kan afhandelen. Bov�da, statische publieke datasets kunnen niet adapteren wanneer productieschema's evolueren.

Het creëren van een relevante benchmark is moeilijk omdat:

Uniciteit: Schema's en waarden zijn uniek voor elke organisatie.
Dynamiek: Graafstructuren veranderen in de loop van de tijd naarmate producten worden geleverd en integraties worden toegevoegd.
Vereisten: Elk Natural Language (NL) naar Cypher-paar moet uitvoerbaar zijn, echte graafentiteiten gebruiken, diversiteit behouden en gebalanceerd blijven over querytypen en moeilijkheidsgraden.
Privacy: Organisaties kunnen gevoelige schema's of waarden niet naar betaalde generatie-API's sturen.
Betrouwbaarheid: Hoewel lokale modellen individuele queries kunnen schrijven, falen ze vaak bij de volledige loop van het grondig maken (grounding) van echte waarden, het behouden van relatierichtingen, het vermijden van onveilige clausules en het balanceren van categorieën.

Methodologie: PIPE-Cypher Pipeline

PIPE-Cypher is een lokale benchmark-generatiepipeline die een live property graph en optionele seed-queries (uit klantvragen, logs of agent-aanroepen) transformeert naar gebalanceerde, uitvoerbare NL-naar-Cypher benchmarks. Het functioneert als een gecontroleerde pipeline waarbij het model de taal en generatie afhandelt, terwijl deterministische graafcontroles herhaalbaarheid, schaalbaarheid en controleerbaarheid waarborgen.

De pipeline bestaat uit zeven stadia:

Schema en Waarde Profilering: Registreert labels, relatietypes, eigenschappen, geobserveerde richtingen en begrensde laag-cardinaliteit categorische waarden.
Workload Planning: Richt zich op acht operationele categorieën: eenvoudige/complexe retrieval, eenvoudige/complexe aggregatie, booleaanse existentie, negatie/verschil, pad/temporele transactie, en ranking/top-k.
Reverse Cypher Grounding: Voert read-only Cypher-queries uit om slot-waarden te vinden die daadwerkelijk rijen produceren. Dit voorkomt de generatie van plausibel ogende vragen die geen antwoord hebben in de graaf.
Constrained Generation: Gebruikt een lokaal LLM (Qwen3.5-9B) om kandidaten te genereren op basis van workload-templates die zijn ingevuld met reverse-bound waarden. Het maakt gebruik van placeholderized retrieval-voorbeelden om te voorkomen dat het model specifieke tenant-waarden memoriseert.
Cypher Governance (Deterministische Gates): Handhaaft strikte regels voor acceptatie:
- Read-only veiligheid: Blokkeert write/admin tokens.
- Schema validiteit: Zorgt dat labels, eigenschappen en categorische waarden bestaan.
- Direction validiteit: Verifieert de richting van relatie-traversals.
- Normalisatie: Dwingt RETURN DISTINCT af en wijst risicovolle constructen af (bijv. UNION, CALL, UNWIND).
Execution Validation: Voert de gegenereerde Cypher uit met read-only credentials. Het controleert op syntaxis-/runtimefouten en zorgt voor niet-lege resultaten waar vereist.
LLM Judge Review: Een lokale LLM-judge beoordeelt alleen kandidaten die de uitvoering hebben doorstaan. Het evalueert ambiguïteit, semantische uitlijning en schema-gebruik, gekalibreerd tegen een kleine set menselijke labels.

Privacy en Redactie: Het systeem bevat configureerbare waarde-sampling policies en redactieregels. Gevoelige waarden in prompts en resultaten worden vervangen door stabiele placeholders voor bredere interne review, wat ervoor zorgt dat de benchmark gedeeld kan worden zonder PII te lekken.

Belangrijkste Bijdragen

Het paper levert vier primaire bijdragen:

Local-Model Workflow: Een methode voor het genereren van private NL-naar-Cypher benchmarks vanuit de eigen graaf van een organisatie zonder afhankelijk te zijn van betaalde API's.
Outcome-Aware Grounding & Validatie: Een systeem van reverse grounding en Cypher-specifieke validators voor read-only veiligheid, relatierichting, exacte literals, categorische waarden en conservatieve herschrijvingen.
Geschaalde Publieke-Proxy Evaluatie: Een uitgebreide evaluatie over FinBench, SNB en ICIJ Offshore Leaks, inclusief ablatie-studies, judge-kalibratie, redactie-audits en een 11-model lokale transfer studie.
Reproduceerbaarheid Artefacten: Tools voor onboarding, waarde-sampling, benchmark-verversing, bewijsvoering-packaging en audit trails.

Resultaten

Door gebruik te maken van lokale Qwen3.5-9B voor generatie en beoordeling, produceerde PIPE-Cypher 3.000 geaccepteerde voorbeelden (2.000 van FinBench, 1.000 van SNB) uit 4.925 kandidaten.

Acceptatiepercentage: Ongeveer 61% totaal.
Dekking: Bereikte een perfecte balans over alle 8 workload categorieën voor beide grafen.
Betrouwbaarheid: In ablatie-studies bereikte de gecontroleerde pipeline 100% target dekking voor elke niet-geconstraineerde cel, terwijl ongecontroleerde generatie faalde in het produceren van gebalanceerde, uitvoerbare dekking.
Diversiteit: Hoewel de query-signature diversiteit laag bleef door template seeding, verbeterde een diversiteit-gestuurde selector de structurele dekking, aangepaste Distinct-2 en eigenschap-dekking.
Judge Kalibratie: Een post-hoc menselijke audit van 80 rijen toonde 80% overeenstemming met de lokale LLM-judge (Cohen's $\kappa$ = 0.60). De judge was conservatief, waarbij geen false accepts werden waargenomen in de steekproef.

Downstream Evaluatie:

Zero-Shot Performance: Zero-shot transfer op de held-out split was zwak, met een gemiddelde executie-accuratesse variërend van 0.000 tot 0.203 (gemiddelde 0.036).
Few-Shot Nut: Schema-specifieke voorbeeldbanken verbeterden de prestaties. Een "no-signature" controle (het uitsluiten van exacte query-signature matches) bracht de gemiddelde accuratesse naar 0.200, terwijl geordende banken van dezelfde categorie de accuratesse naar 0.269 brachten.
Foutmodi: De benchmark legde succesvol semantische fouten bloot; veel modellen produceerden syntactisch correcte Cypher die weliswaar uitvoerbaar was, maar het verkeerde antwoord gaf (bijv. 52,1% van de fouten waren antwoord-mismatches).

Betekenis en Claims

Het paper positioneert PIPE-Cypher niet als een statische dataset, maar als een reproduceerbare enterprise workflow. De betekenis ligt in:

Verschuiving van Statisch naar Dynamisch: Het stelt organisaties in staat om benchmarks te verversen naarmate hun grafen en workloads evolueren, in plaats van te vertrouwen op verouderde publieke corpora.
Privacy-Preserving: Het maakt benchmarking mogelijk op private data zonder gevoelige waarden aan externe API's bloot te stellen.
Uitvoerbare Waarheid: Door correctheid te behandelen als iets dat gecontroleerd moet worden via uitvoering en deterministische gates, in plaats van te hopen op correctheid via prompting, filtert het "gehallucineerde" queries eruit die er correct uitzien maar semantisch falen.
Diagnostische Waarde: De pipeline biedt duidelijke diagnostiek (rejection ledgers, diversiteitsmetrieken, failure taxonomieën) om organisaties te helpen begrijpen waar hun modellen falen (bijv. richtingfouten, lege resultaten of semantische misalignement).

De auteurs claimen bescheiden dat hoewel de benchmark downstream model-fouten onthult die syntaxis-alleen evaluatie zou verbergen, het geen semantische correctheid garandeert (executie-geldigheid $\neq$ semantische correctheid). Ze merken ook op dat de resultaten gebaseerd zijn op publieke proxies (FinBench, SNB, ICIJ) en dat tenant-specifieke fine-tuning een engineering-pad is dat door de artefacten wordt mogelijk gemaakt, en geen voltooide claim van deze studie is.