💻 computer science

OpenBioRQ: Unsolved Biomedical Research Questions for Agents

Het artikel introduceert OpenBioRQ, een nieuwe retrieval-gegronde agentische benchmark bestaande uit 12.553 onopgeloste biomedische onderzoeksvragen die kritieke faalmodi in huidige modellen blootlegt — zoals citatiehallucinatie en tool collapse — terwijl het aantoont dat zelfs grensverleggende agents moeite hebben met het oplossen van een aanzienlijk deel van deze open, niet-verzadigende taken.

Oorspronkelijke auteurs: Minbyul Jeong

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Minbyul Jeong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student bent die een zeer moeilijk examen maakt. In de meeste medische examens van vandaag geeft de docent je een vraag en een verborgen antwoordmodel. Als je het juiste antwoord geeft, slaag je. Als je het fout hebt, zak je. Maar wat gebeurt er wanneer de docent een vraag stelt waarvan niemand het antwoord al weet? Hoe beoordeel je een student wanneer er geen antwoordmodel is?

Dit artikel introduceert OpenBioRQ, een nieuwe manier om AI-"agenten" (slimme computerprogramen die het internet kunnen doorzoeken en wetenschappelijke artikelen kunnen lezen) te testen op deze onopgeloste medische mysteries.

Hier is de uiteenzetting van wat de onderzoekers hebben ontdekt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Fake Link" Valstrik

Stel je voor dat je een verslag schrijft. Je schrijft een bewering, zoals "Dit nieuwe medicijn geneest hoofdpijn," en je koppelt een link naar een beroemd medisch tijdschriftartikel om dat te bewijzen.

De oude zorg: Mensen dachten dat AI neplinks zou verzinnen (zoals linken naar een website die niet bestaat).
De nieuwe ontdekking: De onderzoekers ontdekten dat de AI eigenlijk heel goed is in het vinden van echte links. Bijna 100% van de links die de AI geeft, werkt daadwerkelijk.
De echte valstrik: De AI linkt vaak naar een echt artikel, maar het is het verkeerde artikel. Het is alsof je linkt naar een recept voor "Chocoladecake" terwijl je probeert te bewijzen dat "Pittige Tacos hoofdpijn genezen." De link werkt, het artikel bestaat, maar het heeft niets te maken met je bewering.

De paper noemt dit de "Wrong-Paper" failure (fout door verkeerd artikel). In ongeveer 16% van de gevallen geeft de AI je een echte, werkende link die echter volledig faalt om wat hij net beweerde te ondersteunen. Dit is gevaarlijk omdat het op het eerste gezicht betrouwbaar lijkt.

2. De Nieuwe Test: De "Onopgeloste Mysterie" Doos

De meeste medische tests voor AI zijn als een kruiswoordpuzzel waarbij de antwoorden al bekend zijn. De AI hoeft alleen maar het juiste woord te onthouden.

OpenBioRQ is anders. Het is als een doos met 12.500 onopgeloste medische mysteries.
De AI moet optreden als een detective: hij moet hulpmiddelen gebruiken om databases te doorzoeken, duizenden artikelen te lezen en te proberen het antwoord te achterhalen.
Omdat er geen antwoordmodel is, beoordelen de onderzoekers de AI niet op basis van het vinden van het juiste antwoord. In plaats daarvan beoordelen ze het op hoe eerlijk en zorgvuldig de AI is.
- Heeft de AI toegegeven: "We weten het nog niet"? (Dit is goed).
- Heeft de AI een zelfverzekerd antwoord verzonnen met een neplink? (Dit is slecht).
- Heeft de AI een echte link gevonden die niet echt zijn punt onderbouwde? (Dit is de "Wrong-Paper" valstrik).

3. Het "Tool Collapse" Fenomeen

De onderzoekers gaven de AI een set "tools" (zoals een vergrootglas, een bibliotheekpas en een zoekmachine) om deze mysteries op te lossen.

Ze verwachtten dat de AI deze tools zou gebruiken om het beste bewijs te vinden.
De verrassing: Bij de moeilijkste vragen gaf de AI soms simpelweg het gebruik van zijn tools op. Hij stopte met zoeken en gokte gewoon op basis van wat hij herinnerde uit zijn training.
Het is als een detective die, wanneer hij geconfronteerd wordt met een echt moeilijke zaak, besluit te stoppen met het zoeken naar aanwijzingen en gewoon de naam van de dader raadt.
De onderzoekers ontdekten dat voor sommige modellen het geven van de tools hen niet eens hielp om een betere score te halen. Ze waren aan het "collapsen" (instorten) en negeerden de heelal die ze juist zouden moeten gebruiken.

4. De "Checklist" Oplossing

Hoe beoordeel je een test waar geen goed antwoord voor is?

De onderzoekers creëerden een bevroren checklist voor elke vraag.
In plaats van een AI te vragen: "Is dit een goed antwoord?" (wat vaag is), gaven ze het een specifieke lijst met zaken om te controleren, zoals:
- "Heb je de specifieke proteïne vermeld?"
- "Heb je toegegeven dat we nog geen genezing hebben?"
- "Heb je voorkomen dat je een nep klinische studie verzon?"
Dit veranderde een vage beoordeling in een eenvoudige "Ja/Nee" checklist, waardoor het nakijken veel eerlijker en consistenter werd.

5. De Resultaten: Wie is geslaagd?

De onderzoekers testten verschillende top-tier AI-modellen (de "frontier agents").

De moeilijkheidsgraad: Zelfs de slimste AI-modellen losten slechts ongeveer 30% tot 60% van deze onopgeloste vragen op. De rest bleef een mysterie, wat precies is wat je wilt in een moeilijke test (het betekent dat de test niet te makkelijk is).
Het Citatieprobleem: Zelfs de beste modellen vielen nog steeds in de "Wrong-Paper" valstrik, ongeveer 10–16% van de tijd. Ze vonden echte artikelen, maar die ondersteunden hun beweringen niet daadwerkelijk.
De Les: Alleen omdat een AI een link geeft die werkt, betekent niet dat de informatie correct is. In de wereld van medisch onderzoek is existentie niet gelijk aan correctheid.

Samenvatting

OpenBioRQ is een nieuwe, zware test voor medische AI. Het stopt met vragen "Weet je het antwoord?" en begint te vragen "Kun je omgaan met het onbekende zonder te liegen?"

De belangrijkste les is dat AI erg goed wordt in het vinden van echte bronnen, maar nog steeds erg slecht is in het controleren of die bronnen daadwerkelijk bewijzen wat ze beweren. Het is als een student die wel een bibliotheekboek kan vinden, maar steeds de verkeerde pagina citeert. Totdat AI leert om dat te stoppen, kunnen we de samenvattingen van medisch onderzoek niet volledig vertrouwen, vooral niet voor vragen waar we nog geen antwoorden op hebben.

Belangrijke opmerking: De auteurs verklaren expliciet dat dit een onderzoeksinstrument is om wetenschappers te helpen begrijpen hoe AI werkt. Het is geen instrument voor artsen om beslissingen te nemen over de zorg voor patiënten. Je mag deze AI-antwoorden niet gebruiken om een zieke persoon te behandelen.

Technische Samenvatting: OpenBioRQ

Probleemstelling

Huidige agentische benchmarks in de biomedische wetenschap gaan grotendeels uit van een bekende, verifieerbare antwoordsleutel. Deze aanname maskeert kritieke foutmodi: wanneer een model in staat is om een vooraf gespecificeerde bron te herhalen, vermijdt het de noodzaak om onafhankelijk te verifiëren of een opgehaald artikel de bewering daadwerkelijk ondersteunt. Gevolgelijk detecteren bestaande evaluaties geen "verkeerd-papier" citaties (waarbij een echt, oplosbaar identificatienummer naar een artikel wijst dat de bewering niet ondersteunt) en "agentische instorting" (waarbij agenten het gebruik van tools staken bij moeilijke vragen). Bovendien richten standaard citatie-audits zich vaak enkel op de existentie van een referentie (lost de PMID op?), waarbij ze de meer gevaarlijke fout missen van het koppelen van een geldig identificatienummer aan een niet-onderbouwde bewering.

Het artikel identificeert een gat in het evaluatielandschap: het snijvlak van agentische settings (die gebruik van tools vereisen) en onopgeloste vragen (geen grondwaarheid-antwoordsleutel). Dit kwadrant is onderbelicht omdat het construeren van benchmarks zonder antwoordsleutels structureel moeilijk is; zonder sleutel is het uitdagend om te verifiëren of een vraag werkelijk openstaat of dat het antwoord van een model correct is.

Methodologie

De OpenBioRQ Benchmark

OpenBioRQ is een op retrieval gebaseerde benchmark bestaande uit 12.553 onopgeloste biomedische onderzoeksvragen over 12 domeinen. Het corpus wordt geconstrueerd via een vijffasige pijplijn: crawlen, extraheren, verfijnen, dedupliceren en exporteren.

Bronnen: Vragen worden geëxtraheerd uit gezaghebbende bronnen die open problemen kaderen, waaronder PubMed, klinische trial-registers, arXiv, James Lind Alliance Priority Setting Partnerships, NICE onderzoeksaanbevelingen en Cochrane research-gap literatuur.
Verificatie van Openheid: In tegen tegenstelling tot eerder werk dat vertrouwt op de inkadering van de bron, gebruikt OpenBioRQ een retrieval-grounded status verifier. Dit systeem verzamelt echte vervolgbewijzen (bijv. citerende artikelen, trial-resultaten) om opnieuw te beoordelen of een vraag nog steeds openstaat. Een heraudit van de kernset vond 0/657 vragen die waren opgelost.
Empirische Moeilijkheid: Moeilijkheid is niet handmatig gelabeld, maar afgeleid via empirie. Een "roster" van drie open-weight modellen (GLM-5.1, Qwen3.6, DeepSeek-V4) probeert elke vraag. Een vraag wordt als core gelabeld als alle drie de modellen deze niet halen (score < 0,5). Een frozen core van 423 vragen wordt gedefinieerd als de vragen die alle drie de modellen niet halen, zelfs onder deterministische decoding ( $T=0$ ).
Evaluatieprotocol:
- Agentic Harness: Modellen interageren met 10 biomedische REST API's (bijv. PubMed, ClinicalTrials.gov, OpenFDA) voor maximaal 10 ronden van redeneren en tool-aanroepen.
- Frozen Checklist Scoring: In plaats van vrije vorm LLM-beoordeling, wordt elke vraag beoordeeld tegen een frozen, per-vraag checklist die eenmalig is gegenereerd en vaststaat. Criteria omvatten "moet vermelden", "moet erkennen" (onzekerheid), "moet funderen" (bewijs) en "moet vermijden" (fabricage). Dit verhoogt de inter-judge overeenstemming (Spearman) van 0,35 naar 0,82.
- Twee-niveau Citatie-audit:
  - L1 (Existentie): Lost de identifier op tot een echt artikel?
  - L2 (Inhoudelijke Ondersteuning): Ondersteunt het opgeloste artikel daadwerkelijk de bewering?

Belangrijkste Bijdragen

Eerste Agentische × Onopgeloste Benchmark: OpenBioRQ is de eerste biomedische benchmark die een agentische setting combineert met onopgeloste vragen zonder antwoordsleutel, waarbij de taak wordt behandeld als een probe voor getrouwheid (faithfulness) en onthouding (abstention).
Twee-niveau Citatie-audit: Het artikel introduceert een rigoureuze audit die onderscheid maakt tussen de existentie van een citatie en de ondersteuning door een citatie. Het onthult dat hoewel biomedische agenten zelden identificaties fabriceren (L1 foutpercentage $\approx 0,7\%$ ), ze frequent echte artikelen koppelen aan niet-onderbouwde beweringen (L2 foutpercentage $\approx 15,9\%$ ).
Observatie van Agentische Instorting: De benchmark brengt een foutmodus aan het licht waarbij agenten, met name bij de moeilijkste vragen, het gebruik van tools volledig staken (zero-tool collapse), en terugvallen op parametrische recitatie.
Constructie van Empirische Moeilijkheid: Het artikel demonstreert een methode voor het construeren van harde benchmarks zonder menselijke moeilijkheidslabels door het gebruik van model-foutpercentages om de "core" set te definiëren, waardoor de benchmark niet-verzadigbaar blijft naarmate modellen verbeteren.

Resultaten

Citatie-getrouwheid (Faithfulness)

Existentie is geen Correctheid: Op een set van 4.863 citaties loste 99,3% op tot echte artikelen. Echter, 15,9% van deze oplossende citaties waren "verkeerd-papier" (ondersteunden de bewering niet). Dit percentage werd bevestigd door een onafhankelijke judge-familie (Opus-4.7) op 10,6%.
Ernst-kloof: Het artikel hypotheseert dat "verkeerd-papier" citaties gevaarlijker zijn dan gefabriceerde citaties omdat de oplosbare identifier een valse autoriteit aan de bewering verleent.

Agent-prestaties

Niet-verzadigende Moeilijkheid: Zelfs de sterkste frontier agents (Gemini-3-Pro, Opus-4.7, GPT-5.5) lossen slechts 29–60% van de frozen core op. De beste agent laat $\sim 33–40\%$ van de vragen onopgelost, wat aangeeft dat de benchmark discriminerend is en niet verzadigd.
Agentische Instorting: Bij de moeilijkste vragen vertonen modellen zoals GLM-5.1 en DeepSeek-V4 hoge zero-tool rates (65% en 62%, respectievelijk). Een no-tool ablatie voor GLM-5.1 toonde geen prestatievermindering, wat suggereert dat tools precies stoppen met renderen waar ze het meest nodig zijn.
Divergentie van Closed-Form QA: Modellen die nauw clusteren op closed-form benchmarks (bijv. MedQA, waar prestatievariatie slechts 3,9 punten bedraagt) vertonen een brede dispersie op OpenBioRQ (variërend in solve-rates van 7,6x), wat een resolutie-gat in huidige evaluatiemetrieken onthult.

Robuustheid

Judge Onafhankelijkheid: Resultaten zijn robuust bij het wisselen van judge-families (GLM vs. Opus), met verschuivingen in solve-rates $\le 4,1$ punten en behoud van de model-volgorde.
Domein Dekking: De benchmark beslaat 12 domeinen, waarbij de frozen core over alle domeinen is verdeeld, wat garandeert dat bevindingen geen domeinspecifieke artefacten zijn.

Betekenis en Claims

Het artikel claimt dat OpenBioRQ gericht is op onderzoeksassistentie — specifesicerlijk bewijsretrieval en getrouwe citatie — in plaats van klinische besluitvorming. De primaire betekenis ligt in het blootleggen van een kritieke betrouwbaarheidsgap in agentische biomedische systemen: de neiging om echte, oplosbare citaties aan ononderbouwde beweringen te koppelen.

De auteurs stellen dat existentie-checks "valse geruststelling" zijn. In de biomedische wetenschenschap is de dominante foutmodus niet het fabriceren van referenties (zoals in wiskundige domeinen), maar het onjuist toeschrijven van echte bronnen. Daarom moet L2 inhoudelijke ondersteuning, en niet L1 existentie, de betrouwbaarheidsbewaker zijn.

Verder benadrukt het artikel agentische instorting als een structurele fout waarbij agenten het gebruik van tools staken bij de moeilijkste vragen, waardoor tool-augmented benchmarks ineffectief worden bij het meten van werkelijke capaciteiten in die regimes. Door het antwoord te verwijderen, dwingt OpenBioRQ agenten om te demonstreren in het gebied van grounding en gekalibreerde onthouding, gedragingen die onzichtbaar zijn in standaard closed-form QA.

De benchmark wordt uitgebracht als een frozen artifact (een vaste lijst van 423 core vragen met een tool-response replay cache) om reproduceerbaarheid te garanderen ondanks de bewegende doelstelling van live biomedische literatuur en API-responses. De auteurs verklaren expliciet dat de bron bedoeld is voor het evalueren van literatuur-grounding en niet gebruikt mag worden voor het sturen van patiëntenzorg.