💬 NLP

BiomedSQL: Text-to-SQL for Scientific Reasoning on Biomedical Knowledge Bases

Dit paper introduceert BiomedSQL, het eerste benchmark voor tekst-naar-SQL-taken in de biomedische wetenschap dat de complexiteit van domeinspecifiek redeneren evalueert en een aanzienlijke prestatiekloof blootlegt tussen huidige modellen en experts.

Oorspronkelijke auteurs: Mathew J. Koretsky, Maya Willey, Owen Bianchi, Chelsea X. Alvarado, Tanay Nayak, Nicole Kuznetsov, Sungwon Kim, Mike A. Nalls, Daniel Khashabi, Faraz Faghri

Gepubliceerd 2026-03-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mathew J. Koretsky, Maya Willey, Owen Bianchi, Chelsea X. Alvarado, Tanay Nayak, Nicole Kuznetsov, Sungwon Kim, Mike A. Nalls, Daniel Khashabi, Faraz Faghri

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, digitale bibliotheek hebt vol met medische kennis: genen, ziektes, medicijnen en miljoenen onderzoeksresultaten. Deze bibliotheek is zo groot en complex dat alleen echte experts (biomedische onderzoekers) erin kunnen vinden wat ze zoeken.

De auteurs van dit paper hebben een nieuw gereedschap bedacht, genaamd BiomedSQL. Het doel? Zodat elke arts of onderzoeker gewoon een vraag in gewone taal kan stellen, en een slimme computer (een AI) die vraag direct omzet in een precieze zoekopdracht voor die bibliotheek.

Hier is de uitleg, vertaald naar alledaags taalgebruik:

1. Het Probleem: De "Vertaler" die de context mist

Stel je voor dat je een vertaler hebt die perfect Engels naar Nederlands kan vertalen. Als je zegt: "Ik wil de auto's zien die sneller zijn dan 100 km/u," vertaalt hij dat perfect.

Maar in de medische wereld zijn de regels anders. Een expert vraagt misschien: "Welke genen zijn significant geassocieerd met de ziekte van Parkinson?"

Wat de AI denkt: "Oh, ik moet gewoon de naam van het gen en de ziekte zoeken."
Wat de expert bedoelt: "Ik zoek alleen genen waar de kans dat ze een rol spelen statistisch bewezen is (een heel streng getal, lager dan 0,00000005). En ik wil weten of ze de ziekte verergeren of juist vertragen."

De huidige AI's zijn als die vertaler die alleen naar de woorden kijkt, maar niet begrijpt wat de context is. Ze missen de "geheime regels" die medici van nature kennen. Ze vertalen de zin, maar vergeten de belangrijke voorwaarden.

2. De Oplossing: BiomedSQL (De Nieuwe Test)

De auteurs hebben BiomedSQL gemaakt. Dit is geen nieuw medicijn, maar een gigantische test (een benchmark) om te zien hoe goed AI's deze moeilijke medische vragen kunnen beantwoorden.

De Bibliotheek: Ze hebben een enorme database samengesteld met data over Alzheimer, Parkinson, genen en medicijnen.
De Vragen: Ze hebben 68.000 vragen bedacht die echte onderzoekers zouden stellen.
De Opdracht: De AI moet deze vragen omzetten in een zoekopdracht (SQL) die de juiste antwoorden uit de database haalt.

Het is alsof je een groep studenten (de AI's) een examen geeft waarbij ze niet alleen de taal moeten spreken, maar ook de wetten van de natuurkunde moeten kennen om de juiste antwoorden te vinden.

3. De Resultaten: De AI's worstelen nog

De auteurs hebben de slimste AI's van dit moment (zoals Gemini, GPT-4 en Claude) op deze test laten werken. Het resultaat? Ze zakken er nog voor.

De Menselijke Expert: Haalt een 90% (bijna perfect).
De Beste AI (Gemini-3-Pro): Haalt maar 58%.
De Eigen AI van de auteurs (BMSQL): Haalt 62,6%.

Waarom zakken ze?
Stel je voor dat je een detective bent die een moord moet oplossen.

De AI kijkt naar de getuigenverklaringen en zegt: "De dader was in de kamer."
De menselijke expert kijkt ook naar de getuigen, maar zegt: "Wacht, de dader was in de kamer, MAAR alleen als het getuige niet liegt en het tijdstip klopt, en we moeten ook kijken of er een mes bij lag."

De AI's vergeten die extra, cruciale stappen. Ze vergeten de "statistische drempels" (zoals: "moet het bewijs wel heel sterk zijn?") of ze koppelen de verkeerde tabellen aan elkaar.

4. De Creatieve Analogie: De Receptenboeken

Laten we het vergelijken met koken:

De Database is een enorme voorraadkast met duizenden ingrediënten.
De Vraag is: "Maak een gerecht dat goed is voor iemand met een hoge bloeddruk."
De AI pakt zomaar wat ingrediënten en maakt een soep. Het smaakt misschien wel, maar het is niet gezond voor die specifieke persoon.
De Expert (en de ideale AI) weet: "Ah, voor hoge bloeddruk mag er geen zout in, en we moeten knoflook gebruiken, en de temperatuur mag niet te hoog zijn."

De AI's van vandaag zijn nog te goed in het koken (de taal vertalen), maar nog niet goed genoeg in het recept volgen (de medische regels toepassen).

5. Wat betekent dit voor de toekomst?

De auteurs zeggen: "We hebben een nieuwe, moeilijke test gemaakt die laat zien waar de AI's nog tekortschieten."

Ze hebben ook een slimme "AI-assistent" (BMSQL) gebouwd die een beetje beter werkt. Deze assistent doet niet alles in één keer, maar denkt in stappen:

"Welke ingrediënten heb ik nodig?"
"Laten we eerst een proefje maken."
"Oh, het smaakt niet goed, laten we de zoutwaarde aanpassen."
"Nu is het perfect."

Conclusie:
Dit paper is een wake-up call. AI's kunnen steeds beter praten en schrijven, maar als het gaat om het begrijpen van complexe, medische regels en het vinden van de juiste antwoorden in enorme databases, zijn ze nog niet zover dat we ze blindelings kunnen vertrouwen. BiomedSQL is de maatstaf om te zien hoe ver we nog moeten komen voordat AI echt een betrouwbare partner wordt voor medische ontdekkingen.

Titel: BIOMEDSQL: Text-to-SQL voor wetenschappelijk redeneren op biomedische kennisbanken

Acceptatie: Gen2 Workshop bij ICLR 2026

1. Het Probleem

Biomedische onderzoekers vertrouwen steeds meer op grote, gestructureerde databases voor complexe analytische taken. Hoewel tekst-naar-SQL-systemen (Text-to-SQL) beloven om toegang tot deze bronnen te democratiseren, kampen huidige systemen met ernstige tekortkomingen in dit domein:

Gebrek aan domeinredenering: Bestaande systemen behandelen query-generatie vaak als een louter syntactische vertaaltak. Ze mappingen maken van vraagstructuren naar SQL-syntaxis zonder de onderliggende wetenschappelijke logica te begrijpen.
Implicit kennis: Biomedische vragen vereisen vaak impliciete kennis die niet in het databaseschema staat. Voorbeelden zijn het toepassen van specifieke statistische drempels (bijv. $p < 5 \times 10^{-8}$ voor genomewijd significantie), het filteren op klinische trial-fasen, of het interpreteren van effectrichtingen.
Afwijking van bestaande benchmarks: Bestaande benchmarks zoals SPIDER of BIRD focussen op algemene domeinen of klinische patiëntinformatie (EHR), maar testen niet het complexe wetenschappelijk redeneren dat nodig is om biomedische data te interpreteren (zoals het koppelen van genen, ziekten en medicijnen via causale inferentie).

2. Methodologie

De auteurs introduceren BiomedSQL, het eerste benchmark-dataset specifiek ontworpen om wetenschappelijk redeneren in tekst-naar-SQL-generatie te evalueren.

A. Dataset Constructie

Omvang: Het dataset bevat 68.000 triplets bestaande uit een vraag, een SQL-query en het antwoord.
Bronnen: De data is geharmoniseerd in een Google BigQuery database die bestaat uit 10 kern-tabellen. Deze integreren data uit:
- OpenTargets Platform en ChEMBL (gen-ziekte-medicijn associaties).
- GWAS Catalog (Alzheimer's en Parkinson's ziekte, met miljoenen rijen SNP-data).
- omicSynth (causale inferentie via Mendeliaanse randomisatie).
Generatie: De dataset is gegenereerd vanuit 40 unieke, door experts geverifieerde "seed"-vragen. Deze zijn geprogrammeerd uitgebreid (augmented) door entiteiten (ziekten, genen, SNP's) te substitueren, wat resulteert in realistische, complexe wetenschappelijke queries.
Complexiteit: De vragen vereisen het afleiden van domeinspecifieke criteria (zoals drempelwaarden voor p-waarden) in plaats van alleen syntactische vertaling.

B. Evaluatie Framework

De auteurs evalueren een breed scala aan modellen (open-source en gesloten) op een testset van 546 vragen.

Modellen: Inclusief GPT-4o, GPT-o3-mini, Gemini-3-Pro, Claude-4.5-Opus, en open-source modellen zoals LLaMA-3.1 en Qwen-2.5-Coder.
Interactieparadigma's:
- Isolated Generation: Single-turn prompts met verschillende few-shot strategieën.
- Multi-step Agents: ReAct, Schema Indexing, DAIL-SQL, en een aangepast multi-stap agent genaamd BMSQL.
Metingen:
- Execution Accuracy (EX): Of de resultaten van de gegenereerde query exact overeenkomen met de ground truth.
- Jaccard Index (JAC): Mate van overlap in resultaten (minder streng dan EX).
- BioScore: Een LLM-as-a-judge metric voor de kwaliteit van het natuurlijke taalantwoord, inclusief Response Quality Rate (RQR) en Safety Rate (SR).

3. Belangrijkste Bijdragen

BiomedSQL Benchmark: Een uniek dataset van 68.000 vragen dat expliciet wetenschappelijk redeneren test, in plaats van alleen schema-linking. Het is de enige benchmark die BigQuery ondersteunt en modellen test op kennis buiten het schema om.
Infrastructuur: Publicatie van de BigQuery-database, door experts geschreven "gold-standard" queries, uitvoeringsresultaten en een toolkit voor evaluatie en agent-orkestratie.
Uitgebreide Evaluatie: Een grondige analyse van state-of-the-art modellen, die laat zien dat zelfs de beste modellen significant onderpresteren ten opzichte van menselijke experts in dit domein.
BMSQL Agent: Een aangepast, multi-stap systeem dat wetenschappelijke redeneerstappen (zoals het toepassen van drempelwaarden en iteratief verfijnen van queries) nabootst.

4. Resultaten

De resultaten tonen een aanzienlijke kloof tussen huidige AI-modellen en menselijke expertise:

Prestatiekloof:
- Menselijke Experts: Bereiken een Execution Accuracy (EX) van 90,0%.
- Beste LLM (Gemini-3-Pro): Bereikt slechts 58,1% EX.
- Aangepaste Agent (BMSQL met GPT-o3-mini): Bereikt 62,6% EX.
- Er is dus nog steeds een gat van ongeveer 27-30% ten opzichte van experts.
Modelvergelijking:
- Gemini-3-Pro en Claude-4.5-Opus presteren het beste onder de standalone modellen.
- Qwen-2.5-Coder-32B (een kleiner open-source model) presteert verrassend goed (40,8% EX) en toont een betere "abstention behavior" (veiligheid) dan veel grotere modellen.
- Few-shot learning: 10-shot prompts leverden de grootste verbetering op, maar meer voorbeelden (tot 40-shot) brachten geen verdere winst.
Foutanalyse:
- De meest voorkomende fouten zijn: onjuiste tabelselectie en het missen of verkeerd toepassen van statistische drempels (bijv. de $p < 5e-8$ drempel vergeten).
- Modellen worstelen vooral met complexe operaties zoals Join, Multi-Filter en Similarity Search.
Invloed van Schema-grootte:
- Bij uitbreiding van de database met 10 extra tabellen daalde de prestatie van basis-modellen met 7-10%. Het BMSQL-systeem was robuuster, met een daling van slechts 2-4%.

5. Betekenis en Conclusie

BiomedSQL markeert een belangrijke stap in de ontwikkeling van betrouwbare AI voor wetenschappelijke ontdekking. De studie onthult dat:

Wetenschappelijk redeneren een unieke uitdaging is: Alleen het vertalen van taal naar code is niet genoeg; modellen moeten domeinregels (zoals statistische significantie) impliciet kunnen afleiden.
Huidige systemen onvoldoende zijn: Zelfs de meest geavanceerde LLMs halen niet het niveau van een biomedisch analist, wat risico's met zich meebrengt voor foutieve wetenschappelijke conclusies als deze systemen zonder menselijk toezicht worden ingezet.
Multi-stap redeneren noodzakelijk is: Systemen die iteratief kunnen redeneren, feedback gebruiken en domeinregels expliciet toepassen (zoals BMSQL), presteren aanzienlijk beter dan single-turn benaderingen.

De auteurs concluderen dat BiomedSQL een cruciale testomgeving biedt om toekomstige systemen te ontwikkelen die daadwerkelijk onderzoekers kunnen ondersteunen bij het doorgronden van complexe biomedische kennisbanken. De dataset en code zijn openbaar beschikbaar gesteld om verdere research te stimuleren.