📄 other

A Biomedical Benchmark and Modular RAG Framework for Text2Cypher

Dit artikel introduceert bio2C, een FAIR-conforme benchmark van 2.500 gecureerde natuurlijke taal-Cypher paren, en een modulair Retrieval-Augmented Generation-framework dat de Text2Cypher-nauwkeurigheid voor biomedische kennisgrafen aanzienlijk verbetert door het gebruik van opgehaalde voorbeelden boven schema-gebaseerde prompting.

Oorspronkelijke auteurs: Emanuele Cavalleri, Nada Bou Kanaan, Marco Mesiti

Gepubliceerd 2026-07-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Emanuele Cavalleri, Nada Bou Kanaan, Marco Mesiti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorme, bruisende bibliotheek voor waar elk boek, elke auteur en elk personage verbonden is door onzichtbare draden. Dit is niet zomaar een bibliotheek; het is de bibliotheek van het leven zelf, die de geheimen van onze genen, ziekten en medicijnen bevat. Wetenschappers noemen dit een "Biomedische Kennisgraaf". Het is als een gigantische, levende kaart waar een "Gen"-knooppunt verbonden kan zijn met een "Ziekte"-knooppunt, die weer verbonden is met een "Medicijn"-knooppunt. Het probleem is dat deze bibliotheek geen vriendelijke bibliothecaris heeft die jouw taal spreekt. Om een vraag te stellen als: "Welke medicijnen zouden kunnen helpen bij deze specifieke ziekte?", moet je een geheime, codematige taal spreken genaamd "Cypher". Het is alsof je een pizza probeert te bestellen door een computerprogramma te schrijven in plaats van gewoon te zeggen: "Ik wil een pepperoni." De meeste artsen en onderzoekers spreken deze code niet, waardoor ze de schatten van de bibliotheek niet gemakkelijk kunnen verkennen.

Maak kennis met de helden van dit verhaal: Large Language Models (LLM's). Je kent ze misschien als de superintelligente AI-chatbots die verhalen kunnen schrijven of trivia kunnen beantwoorden. Wetenschappers hebben geprobeerd deze AI's te leren om vertalers te zijn, die onze gewone Engelse vragen omzetten in de geheime Cypher-code die de bibliotheek begrijpt. Dit wordt "Text2Cypher" genoemd. Maar hier zit de crux: het leren aan een AI om dit in de medische wereld te doen, was als het proberen te leren aan een hond om schaken te spelen met een kapotte instructiehandleiding. We hadden niet genoeg goede voorbeelden, en de tests die we gebruikten om het werk van de AI te controleren, waren vaak te simpel of door computers bedacht, waardoor de rommelige, complexe realiteit van echte medische vragen werd gemist. Zonder een goede kaart en een eerlijke test konden we er niet zeker van zijn of de AI daadwerkelijk leerde of gewoon gokte.

Dit artikel introduceert een gloednieuwe, hoogwaardige kaart en een rigoureuze testomgeving om dit op te lossen. De onderzoekers hebben bio2C gecreëerd, een benchmark bestaande uit 2.500 zorgvuldig handgemaakte paren van natuurlijke taalvragen en hun correcte Cypher-antwoorden. In tegen tegenstelling tot eerdere pogingen die vertrouwden op door computers gegenereerde sjablonen, werden deze vragen geschreven om te weerspiegelen hoe echte wetenschappers daadwerkelijk denken, variërend van eenvoudige zoekopdrachten tot complexe, meerstaps-onderzoeken waarbij genen, ziekten en biologische processen betrokken zijn. Ze hebben deze vragen georganiseerd in vijf moeilijkheidsgraden, variërend van het vinden van een enkel item tot het navigeren door een driestaps-pad door de graaf en het uitvoeren van geavanceerde berekeningen.

Om te zien hoe goed verschillende AI-strategieën werken, bouwde het team een modulair framework om verschillende "prompting"-technieken te testen. Ze vergeleken drie hoofdbenaderingen:

Schema-only: De AI een blauwdruk geven van de structuur van de bibliotheek, maar zonder voorbeelden.
Retrieval-Augmented Generation (RAG): De AI een paar vergelijkbare voorbeelden van vragen en antwoorden uit de bio2C-collectie geven om van te leren.
Hybrid: Het combineren van de blauwdruk met de voorbeelden, en soms zelfs de AI de resultaten van die voorbeeldqueries te laten zien.

Ze testten deze methoden met zowel krachtige, propriëtaire AI-modellen (zoals GPT-4) als open-source modellen (zoals LLaMA), met en zonder extra training (fine-tuning) op hun nieuwe benchmark.

De resultaten waren duidelijk en verrassend. Het artikel stelde vast dat het simpelweg tonen van een blauwdruk van de databasestructuur aan de AI niet genoeg was. In plaats daarvan was de meest effectieve strategie het opvragen van representatieve voorbeelden. Wanneer de AI vergelijkbare, real-world voorbeelden van vragen en antwoorden te zien kreeg (RAG), presteerde het aanzienlijk beter dan wanneer het alleen de structurele blauwdruk had. Sterker nog, voor de best presterende configuratie verbeterde deze aanpak de nauwkeurigheid van de gegenereerde queries met 31,6 procentpunt vergeleken met de standaard schema-gebaseerde methoden.

Interessant genoeg suggereert het artikel dat voor modellen die waren gefinetuned (specifiek getraind op de bio2C-data), het zien van vergelijkbare voorbeelden zo nuttig was dat ze de structurele blauwdruk niet eens nodig hadden om op hun piek te presteren. Echter, voor modellen die niet waren gefinetuned, werkte het combineren van de blauwdruk met de voorbeelden (S+RAG) het beste. De studie onthulde ook dat deze methode bijzonder goed werkt voor complexe, meerstaps-vragen (zoals 3-hop queries), waarbij de voorbeelden de AI helpen de "vorm" van het probleem beter te begrijpen dan een statische beschrijving van de database dat zou kunnen.

De onderzoekers testten hun systeem ook op een andere, kleinere dataset en met vragen geschreven door een onafhankelijke bioloog die hun trainingsdata nog nooit had gezien. Het systeem hield zich goed staande, wat suggereert dat deze verbeteringen niet slechts een trucje zijn om de testvragen uit het hoofd te leren, maar dat ze de AI daadwerkelijk helpen om te begrijpen hoe ze complexe biomedische data in de echte wereld moeten navigeren. Het artikel concludeert dat het hebben van een hoogwaardige, diverse en door mensen gecureerde benchmark belangrijker is dan simpelweg een enorm aantal voorbeelden hebben, en dat het tonen van de AI de juiste soort voorbeelden de sleutel is om hun vermogen te ontsluiten om menselijke nieuwsgierigheid te vertalen naar machine-leesbare antwoorden.

Technische Samenvatting: Een Biomedische Benchmark en Modulair RAG-Framework voor Text2Cypher

Probleemstelling

Biomedische Kennisgrafen (bioKGs) zijn essentieel voor het integreren van heterogene gegevens, zoals genomische interacties en medicijn-doelwitrelaties. Hoewel property graph-databases zoals Neo4j efficiënte opslag en queries via de Cypher-taal bieden, beperkt de vereiste van technische expertise voor het schrijven van Cypher-queries de toegankelijkheid voor domeinexperts. Hoewel Large Language Models (LLMs) veelbelovend zijn voor het vertalen van Natuurlijke Taal (NL) naar Cypher (Text2Cypher), wordt de vooruitgang in het biomedische domein gehinderd door een gebrek aan representatieve benchmarks en reproduceerbare evaluatieframeworks. Bestaande benchmarks zijn vaak sjabloon-gegenereerd, missen diversiteit in querycomplexiteit of bevatten onvoldoende gecureerde data om robuuste training en evaluatie te ondersteunen. Bovendien worstelen huidige Text2Cypher-benaderingen met de specifieke uitdagingen van property graphs, die het afleiden van graaf-traversals, relatierichtingen en complexe constructies (bijv. variabel-lengte paden, aggregatie) vereisen die significant verschillen van Text2SQL- of Text2SPARQL-taken.

Methodologie

De bio2C Benchmark

De auteurs introduceren bio2C, een FAIR-conforme biomedische benchmark bestaande uit 2.500 handmatig gecureerde NL-Cypher paren. In tegenstelling tot eerdere bronnen die prioriteit geven aan kwantiteit, focust bio2C op representativiteit en annotatiekwaliteit.

Brongegevens: De benchmark is gebaseerd op een weergave van RNA-KG, een grote bioKG die ongeveer 99.000 nodes en 1,6 miljoen relaties bevat, inclusief miRNA's, genen, ziekten, fenotypes en Gene Ontology-annotaties.
Structuur: De 2.500 paren zijn georganiseerd in vijf complexiteitsniveaus (elk 500 paren):
1. Node: Single-node retrieval met logische condities.
2. 1-hop: Queries op relaties tussen node-paren.
3. 2-hop: Traversals waarbij drie nodes en twee relaties betrokken zijn.
4. 3-hop: Diepere traversals waarbij vier nodes en drie relaties betrokken zijn.
5. Advanced: Queries die gebruikmaken van complexe Cypher-constructies (WITH, REDUCE, CASE, aggregatie, ranking).
Curatieproces: Elk instance werd ontwikkeld door grafiekenpatronen te identificeren, syntactisch correcte en biologisch relevante Cypher-queries te implementeren, en NL-vragen te formuleren die realistische biomedische informatiebehoeften weerspiegelen in plaats van sjabloon-gegenereerde expressies. Alle queries werden gevalideerd tegen de RNA-KG weergave om semantische correctheid te waarborgen.

Modulair RAG Framework

Om retrieval-augmented strategieën systematisch te evalueren, ontwierpen de auteurs een modulair framework bestaande uit zes prompt-configuraties. Deze pipelines combineren stapsgewijs drie bronnen van contextuele informatie:

Graph Schema ( $G_S$ ): Beschrijvingen van de property graph-schema (gebruikmakend van het Enhanced Schema paradigma).
Retrieved Examples: Semantisch vergelijkbare NL-Cypher paren die zijn opgehaald uit de bio2C vectordatabase (RAG).
Execution Outputs: De resultaten van het uitvoeren van de opgehaalde Cypher-queries ( $R(Q_C)$ ).

De zes geëvalueerde pipelines zijn:

Vanilla: Alleen de NL-vraag.
Schema: NL-vraag + Schema.
RAG: NL-vraag + Opgehaalde voorbeelden.
RAG+O: NL-vraag + Opgehaalde voorbeelden + Execution outputs.
S+RAG: Schema + Opgehaalde voorbeelden.
S+RAG+O: Schema + Opgehaalde voorbeelden + Execution outputs.

Experimentele Opstelling

Het framework werd geëvalueerd met propriëtaire modellen (GPT-4o, GPT-4o-mini) en een open-source model (LLaMA-3.1-8B), naast hun fine-tuned (FT) tegenhangers getraind op bio2C. Prestaties werden gemeten met behulp van:

Jaro-Winkler (JW): Syntactische gelijkenis.
Jaccard (Jac): Semantische gelijkenis van execution outputs.
Coverage (Cov): Het deel van de grondwaarheid-resultaten dat wordt geretourneerd door de gegenereerde query (Execution Accuracy).
Pass: De indicatorfunctie waarbij Coverage gelijk is aan 1 (volledige semantische dekking).

Belangrijkste Resultaten

Prestaties van RAG Pipelines

Retrieval vs. Schema: Het ophalen van representatieve NL-Cypher voorbeelden (RAG) presteerde consistent beter dan schema-only prompting over alle modellen en metrieken heen.
Fine-Tuning vs. Prompt Engineering: Hoewel fine-tuned modellen over het algemeen een hogere nauwkeurigheid bereikten, verkleurden rijke prompt engineering-configuraties (specifiek S+RAG+O) de prestatiekloof met de fine-tuned modellen aanzienlijk voor basismodellen. Bijvoorbeeld, GPT-4o met S+RAG+O behaalde een Coverage van 76,9% en een Pass van 83,1%, waarmee het de fine-tuned GPT-4oFT onder vanilla prompting (76,1% en 80,0%) overtrof.
Beste Configuratie: De best presterende configuratie overall was GPT-4oFT met RAG, die een Pass-score van 89,3% behaalde. Opvallend genoeg presteerde de RAG-pipeline voor fine-tuned modellen vaak beter dan de combinatie van schema en voorbeelden, wat suggereert dat fine-tuned modellen schema-restricties direct uit voorbeelden kunnen afleiden.
Impact van Execution Outputs: Het opnemen van execution outputs (RAG+O, S+RAG+O) leverde extra winst op, vooral voor basismodellen, door semantische sturing te bieden over de verwachte resultaten.

Generalisatie en Robuustheid

Blind Validatie: Bij testen op 50 onafhankelijk geformuleerde vragen door een moleculair bioloog, behaalde de GPT-4oFT met RAG-pipeline een Coverage van 73,4% en een Pass van 70%, wat generalisatie naar real-world gebruikersvragen demonstreert.
Cross-Dataset Evaluatie: Het framework werd getest op MedT2C (een op Hetionet gebaseerde dataset). Ondanks dat MedT2C een minder complex schema en minder voorbeelden heeft, hield de trend stand: pipelines met opgehaalde voorbeelden presteerden beter dan vanilla en schema-only benaderingen. De beste configuratie (GPT-4oFT met S+RAG) behaalde 88,8% Coverage.
Impact van Query Categorie: Prestaties varieerden per querycomplexiteit. Node en 3-hop queries leverden de hoogste Pass-scores op (92%), terwijl 1-hop en Advanced queries lager waren (78%). Analyse toonde aan dat RAG bijzonder effectief is voor structureel rijke multi-hop queries omdat opgehaalde voorbeelden vaak substructuren delen met de doelquery, terwijl 1-hop queries vaak niet-conforme voorbeelden ophalen, wat leidt tot prestatiedalingen.

Foutanalyse

De best presterende setting (GPT-4oFT met RAG) elimineerde alle compile-time fouten (CE) en verminderde logische fouten (LE) met 91,4% vergeleken met vanilla prompting. Resterende fouten waren voornamelijk geconcentreerd in de Advanced en 1-hop categorieën, vaak door hallucinaties of misinterpretatie van complexe aggregaties.

Betekenis en Bijdragen

Het artikel claimt twee primaire bijdragen aan het veld van biomedische Text2Cypher:

bio2C Benchmark: De eerste FAIR biomedische benchmark specifiek ontworpen voor Text2Cyper, die systematische dekking biedt van echte bioKG-schema's en progressief complexe Cypher-constructies. De auteurs stellen dat de kwaliteit en diversiteit van de benchmark belangrijker zijn dan de loutere hoeveelheid, aangezien handmatige curatie de dekking en modelprestaties aanzienlijk verbeterde ten opzichte van automatisch gegenereerde datasets.
Modulair RAG Framework: Een reproduceerbaar evaluatieframework dat de bijdragen van schema-informatie, opgehaalde voorbeelden en execution outputs isoleert. Dit framework vestigt sterke baselines voor toekomstig onderzoek en demonstreert dat zorgvuldig gecureerde retrieval-voorbeelden de Cypher-generatie over bioKGs aanzienlijk verbeteren, vaak boven de schema-gebaseerde prompting-strategieën uit.

Het werk concludeert dat hoogwaardige, gecureerde benchmarks en representatieve retrieval-voorbeelden essentieel zijn voor het ontwikkelen van betrouwbare Text2Cypher-systemen, waardoor domeinexperts complexe biomedische kennisgrafen kunnen bevragen zonder diepe technische expertise. De benchmark, de broncode en de geëvalueerde pipelines zijn publiekelijk beschikbaar.