💬 NLP

DrugClaw and DrugAudit: A Primary-Source-Grounded Agent and Authority-Aware Benchmark for Drug-Information Question Answering

Dit artikel introduceert DrugClaw, een multi-agent retrieval-augmented systeem dat antwoorden over medicijninformatie genereert die gebaseerd zijn op primaire regulatoire of door peers beoordeelde bronnen, en valideert de superieure prestaties ervan op het gebied van nauwkeurigheid, brongetrouwheid en bewijskwaliteit ten opzichte van bestaande modellen met behulp van de nieuwe autoriteitsbewuste DrugAudit-benchmark.

Oorspronkelijke auteurs: Qing Wang, Bo Li, Jialu Liang, Daling Shi, Bob Zhang, Qianqian Song

Gepubliceerd 2026-06-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Qing Wang, Bo Li, Jialu Liang, Daling Shi, Bob Zhang, Qianqian Song

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Zelfverzekerde maar Onjuiste" Dokter

Stel je voor dat je een zeer intelligente, goed geïnformeerde bibliothecaris (een Large Language Model) een specifieke vraag stelt over een medicijn: "Veroorzaakt dit middel leverschade, en waar staat dat vermeld?"

De bibliothecaris kan je een heel vloeiend, zelfverzekerd antwoord geven. Maar hier is de crux:

Hallucinaties: Soms verzint de bibliothecaris cijfers of feiten die echt lijken, maar volledig verzonnen zijn.
Slechte Bronnen: Zelfs als het feit waar is, kan de bibliothecaris een "samenvattende blog" of een "nieuwsartikel" over het medicijn citeren, in plaats van het originele, officiële overheidsrapport of het wetenschappelijk onderbouwde medische onderzoek. In de wereld van de geneeskunde is het citeren van een samenvatting vergelijkbaar met het citeren van een weersvoorspelling in plaats van de werkelijke radargegevens. Dat is riskant.

Het paper betoogt dat in de geneeskunde waar je het antwoord vandaan haalt even belangrijk is als wat het antwoord is.

De Oplossing: "DrugClaw" (De Super-Grillige Detective)

De auteurs hebben een nieuw systeem gebouwd genaamd DrugClaw. Zie dit niet als één enkele bibliothecaris, maar als een team van gespecialiseerde detectives die samenwerken in een beveiligd, hoogtechnologisch kantoor.

Het Team: In plaats van één AI die gokt, gebruikt DrugClaw acht verschillende "agents" (specialisten). Eén plant het onderzoek, één doorzoekt de dossiers, één controleert het bewijs, en één fungeert als een "reflector" (een kwaliteitscontroleur).
Het Beveiligde Kantoor (Sandbox): Om te voorkomen dat de AI alle kanten op gaat of toegang krijgt tot de verkeerde bestanden, werken de detectives in een "sandbox". Dit is als een afgesloten kamer waar ze alleen een specifieke, vooraf goedgekeurde lijst met tools en databases mogen gebruiken. Ze kunnen niet zomaar "Google" gebruiken; ze moeten gegevens halen uit een strikt register van meer dan 70 vertrouwde bronnen (zoals de FDA, officiële bijsluiters van medicijnen en medische tijdschriften).
De "Reflection" Loop: Dit is de superkracht van het systeem. Nadat het team enkele feiten heeft verzameld, vraagt de "Reflector"-agent: "Is dit genoeg? Komt dit uit de originele bron? Moeten we dieper graven?"
- Als het antwoord "Nee, we hebben meer bewijs nodig" is, gaat het team weer aan het werk.
- Als het antwoord is "We hebben niets gevonden," weigert het systeem antwoord te geven. Het geeft eerder de voorkeur aan "Ik weet het niet" boven het verzinnen van een leugen. Dit wordt "gekalibreerde onthouding" (calibrated abstention) genoemd.

De Liniaal: "DrugAudit" (Het Strenge Beoordelingssysteem)

Om te bewijzen dat DrugClaw werkt, hebben de auteurs een nieuwe test gebouwd genaamd DrugAudit. Stel je een leraar voor die een essay van een leerling beoordeelt, maar dan met een twist:

Oude Beoordeling: De leraar controleert alleen of het antwoord correct is.
DrugAudit Beoordeling: De leraar controleert drie dingen:
1. Autoriteit van de Bron: Citeerde de leerling het originele overheidsdocument, of slechts een website die het heeft gekopieerd? (DrugClaw is uitstekend in het vinden van het origineel).
2. Snippet Match: Heeft de leerling daadwerkelijk de specifieke paragraaf gelezen die hij citeerde, of heeft hij alleen de titel gekopieerd?
3. Getrouwheid (Faithfulness): Heeft de leerling een feit verzonnen dat niet in de bron stond?

De auteurs gebruikten twee verschillende "AI-rechters" (zoals twee verschillende hoofddocenten) om de antwoorden te beoordelen. Ze waren het bijna perfect met elkaar eens (98% overeenstemming), wat de resultaten zeer betrouwbaar maakt.

De Resultaten: De Gouden Medaille

Toen ze DrugClft testten tegen andere slimme AI-systemen (inclusclusief directe versies van de grote taalmodellen):

Primaire Bron Ratio: DrugClaw citeerde in 91,8% van de gevallen de originele, officiële documenten. Het op één na beste systeem deed dit slechts ongeveer 81,7% van de tijd.
Waarheidsgetrouwheid: DrugClaw was veel minder geneigd om feiten te verzinnen.
Weigering: Wanneer er geen gegevens beschikbaar waren, gaf DrugClaw in 91-97% van de gevallen correct aan "Ik weet het niet". Andere systemen probeerden te gokken en zaten er naast.

De Afweging

Het paper merkt een klein nadeel op: de "Graph Mode" (het diepgaande detective-team) heeft langer nodig om na te denken (ongeveer 46 seconden) en schrijft langere antwoorden die soms moeilijker door de beoordelings-AI te verwerken zijn. De auteurs stellen echter dat voor medische vragen met een hoge inzet, nauwkeurigheid en bewijsvoering de extra tijd waard zijn.

Samenvatting in één zin

Het paper introduceert DrugClaw, een team van AI-detectives dat weigert te gokken, alleen originele overheids- en medische registers citeert, en een strikt nieuw beoordelingssysteem (DrugAudit) gebruikt om te bewijzen dat het het meest betrouwbare hulpmiddel is voor het beantwoorden van vragen over medicijnen zonder zaken te verzinnen.

Technische Samenvatting: DrugClaw en DrugAudit

Probleemstelling

Vraagbeantwoording (QA) over medicijninformatie opereert in een omgeving met hoge inzet, waarbij gehallucineerde feiten direct de klinische besluitvorming kunnen misleiden. Hoewel Large Language Models (LLM's) beschikken over sterke algemene biomedische kennis, degradeert hun parametrische kennis snel buiten gebieden met veel middelen voor specifieke ziekten, en ontbreken zij aan een natuurlijke audit trail naar regulatoire of door vakgenoten beoordeelde bronnen. Bov�arendien falen bestaande tool-augmented agents vaak door primaire regulatoire bronnen over te slaan ten gunste van de eerste beschikbare URL, of door plausibel ogende numerieke gegevens te fabriceren zonder citaties.

Er bestaat een kritische kloof in de evaluatielaag: de huidige biomedische QA-scoring beoordeelt doorgaans de oppervlakkige juistheid van het antwoord, maar slaagt er niet in om onderscheid te maken tussen citaties naar upstream primaire bronnen (bijv. FDA Labels, FAERS) en downstream aggregator-wrappers van diezelfde bronnen. In gereguleerde omgevingen voor medicijninformatie is herkomst (provenance) niet louter een presentatiekeuze, maar een fundamentele evaluatieas.

Methodologie

Het DrugClaw-systeem

DrugClaw is een multi-agent retrieval-augmented systeem dat is ontworpen om een register van geneesmiddelen- en farmacovigilantie-vaardigheden te bevragen via een reflectiegestuurde state-machine workflow. De architectuur is gebouwd op drie ontwerpdoelen:

Traceerbaarheid van primaire bronnen: Elke geëmitteerde bewering moet een identificator bevatten die oplosbaar is tegen een primaire regulatoire of door vakgenoten beoordeelde record.
Gecalibreerd onthouden: Het systeem moet weigeren te antwoorden wanneer onderliggende vaardigheden geen ondersteunend bewijs teruggeven, in plaats van feiten te fabriceren.
Adaptieve diepte van retrieval: De retrieve-and-reason loop wordt beëindigd zodra het bewijs voldoende is, maar verdiept zich automatisch wanneer het bewijs schaars is.

Architectuur en Workflow:
Het systeem werkt als een discreet dynamisch systeem over een toestand $S_t = (P_t, E_t, G_t, a_t, r_t)$ , waarbij $P_t$ het queryplan is, $E_t$ de evidence pool, $G_t$ een claim-evidence graaf, $a_t$ het tussenliggende proza-antwoord, en $r_t$ een reflectie-voldoeningsscore. De workflow iterereert door zes gespecialiseerde agents (Plan, Retrieval, Graph Builder, Re-Ranker, Response, Reflector) totdat $r_t \geq \tau_{suff}$ of een maximaal aantal iteraties is bereikt.

Skill Registry: DrugClaw heeft toegang tot een gesloten register van 57 actieve vaardigheden afkomstig van meer dan 70 gecureerde bronnen (bijv. openFDA, ChEMBL, DrugBank, PharmGKB, SIDER). Deze zijn georganiseerd in een taxonomie van 15 subcategorieën.
Sandboxed Code Agent: Om veiligheid en determinisme te garanderen, wordt retrieval bemiddeld door een Code Agent. Deze agent vertaalt subqueries naar een beperkte Python subtaal ( $L_{safe}$ ) die ongecontroleerde iteratie en dynamische executie verbiedt. De code wordt uitgevoerd in een proxy-only sandbox met een harde timeout. Als validatie of runtime faalt, valt het systeem terug op een directe API-aanroep.
Reflectiemechanisme: De Reflector-agent berekent een voldoeningsscore $\rho_{t+1}$ op basis van dekking, volledigheid, bronkwaliteit, consistentie en actiegerichtheid. Er wordt een regressiepenalty toegepast als de nieuwe score lager is dan de vorige, om "thrashing" over iteraties heen te voorkomen.
Redeneringsmodi: Het systeem ondersteunt drie modi:
- Lineair: Een single-pass workflow die prioriteit geeft aan lage latentie.
- Graaf: Een volledige iteratieve workflow met constructie van een claim-evidence graaf en reranking.
- Web-only: Een fallback-modus die het register omzeilt voor directe webzoekopdrachten (gebruikt alleen wanneer het register onvoldoende is).

De DrugAudit Benchmark

Om deze systemen te evalueren, introduceren de auteurs DrugAudit, een 3.772-items tellende autoriteitsbewuste benchmark afgeleid van negen brondatabases. In tegen tegenstelling tot standaard benchmarks, bevat DrugAudit gold-standard citaties met veld-specifieke locators en URL's.

Autoriteitsbewuste Metriekpanel:
Het evaluatiekader introduceert vier metrieken om structurele biases in eerdere scoring aan te pakken:

Source Authority Match: Gebruikt een equivalence-bucket regel en een asymmetrische "upstream-van" relatie. Het verleent krediet als een systeem een primaire upstream bron citeert (bijv. FAERS), zelfs als de gold standard een downstream aggregator citeert (bijv. SIDER), mits de upstream bron autoritair is voor die query.
Snippet Semantic Overlap: Vervangt strikte substring matching door token-Jaccard gelijkenis over non-stopwoord tokens.
Primary-source Rate: Berekent het gemiddelde gewicht van geciteerde bronnen op basis van een hiërarchie (1.0 voor regulatoir/peer-reviewed, 0.7 voor gecureerde KBs, 0.5 voor aggregators).
Faithfulness Rate: Meet het fractie van voorspelde citaties die gegrond zijn in de gold source universe of de antwoordtekst.

Evaluatieprotocol:
Het paper hanteert een dual-judge LLM-as-judge protocol gebruikmakend van Llama-3.1-70B-Instruct en gpt-oss-120b. Deze judges staan extern aan alle kandidaat-systemen om self-preference bias te elimineren. Zij scoren de juistheid van het antwoord op basis van feitelijke equivalentieregels (eenheidsconversie, afrondingstolerantie, orde-ongevoeligheid) en gekalibreerde weigeringslogica. De inter-judge overeenstemming ( $\kappa$ ) wordt gerapporteerd als 0.88 (bijna perfect).

Belangrijkste Bijdragen

DrugClaw: Een autoriteitsgegronde multi-agent system die een gesloten register van gevalideerde regulatoire en peer-reviewed bronnen bevraagt, waardoor elke bewering traceerbaar is naar een primaire record.
DrugAudit: Een 3.772-items tellende benchmark met een evaluatiepanel dat expliciet scoort op upstream-van-gold bron match, token-level semantische overlap en citatie getrouwheid.
Dual-Judge Protocol: Een schaalbare evaluatiemethode met behulp van twee onafhankelijke, open-weight LLM's om bijna perfecte overeenstemming ( $\kappa = 0.88$ ) te bereiken op antwoordcorrectheid.
Empirische Resultaten: Een uitgebreide vergelijking van zeven systemen, die aantoont dat DrugClaw de baselines overtreft op primaire-bron rates en evidence density.

Resultaten

Geëvalueerd op DrugAudit, MedQA (drug-gerelateerde subset, 751 items) en PubMedQA (drug-gerelateerde subset, 512 items), behaalde DrugClaw top-1 prestaties over alle headline metrieken:

Primary-Source Rate: DrugClaw-graph bereikte 0.918, een verbetering van +10.1 procentpunt (pp) ten opzichte van het op één na beste systeem (0.817).
Faithfulness: DrugClaw-linear bereikte 0.887, een verbetering van +5.9 pp ten opzichte van het op één na beste systeem.
Composite Evidence Index (EI): DrugClaw-graph scoorde 0.632 (Llama judge) en 0.623 (gpt-oss judge), leidend in alle baselines.
Closed-Form Accuracy: DrugClaw-graph bereikte 0.920 op MedQA en 0.693 op PubMedQA.
Gecalibreerd Onthouden: DrugClaw weigerde te antwoorden op 41–48% van de items. Onder deze weigeringen stemden 91–97% overeen met gold antwoorden die "geen data" aangaven, terwijl baselines slechts 1–5% overeenstemming vertoonden. Dit geeft aan dat het systeem effectief onthoudt wanneer bewijs onvoldoende is.

De resultaten tonen aan dat hoewel closed-form nauwkeurigheid leiderschap competitief was (binnen bootstrap betrouwbaarheidsintervallen van de baselines), de autoriteitsbewuste metrieken (Primary-source rate en Evidence Index) een statistisch significante separatie vertoonden van de baselines.

Betekenis

Het paper stelt dat DrugClaw en DrugAudit de kritieke behoefte aan herkomst in drug-informatie QA adresseren. Door onderscheid te maken tussen primaire regulatoire records en downstream aggregators, operationaliseert het systeem de standaarden van evidence-based medicine rapportage. De resultaten suggereren dat een closed-registry benadering met adaptieve retrieval en gekalibreerd onthouden een hogere structurele kwaliteit in citaties en lagere hallucinatie-rates oplevert vergeleken met open-web of puur parametrische benaderingen. Het dual-judge protocol en de autoriteitsbewuste metrieken bieden een robuust kader voor het evalueren van toekomstige retrieval-augmented systemen in gereguleerde domeinen.

De auteurs vermelden beperkingen, waaronder de moeilijkheid voor LLM judges om multi-claim proza uit de graph mode te parsen en de coverage trade-off die inherent is aan een closed registry (die mogelijk long-tail drugs mist die nog niet in het register staan). Zij stellen echter dat de aanpak geen hertraining van modellen vereist en een concreet pad biedt naar meer auditeerbare klinische AI.