Technische Samenvatting: RxEval – Een voorschriftniveau-benchmark voor het evalueren van medicatierisico's van LLM's

Probleemdefinitie

Huidige benchmarks voor het evalueren van Large Language Models (LLM's) in de gezondheidszorg richten zich voornamelijk op het herinneren van medische kennis (bijvoorbeeld licentie-examens zoals MedQA) of op grofkorrelige medicatievoorspellingen op opname-niveau. Bestaande benchmarks voor medicatierisico's (zoals GAMENet, SafeDrug) formuleren de taak als het voorspellen van één set therapeutische codes (ATC-3 niveau) voor een volledige ziekenhuisopname, gebaseerd op multi-hot vectoren van ICD-diagnose- en procedecodes.

De auteurs stellen dat deze formulering de klinische praktijk in de echte wereld niet weerspiegelt om drie redenen:

1. Temporale Granulariteit: Het aggregeert alle voorschriften van een opname tot één label, en negeert hierbij dat clinici herhaalde, tijdspecifieke beslissingen nemen naarmate de toestand van de patiënt evolueert.
2. Inputtrouw: Het verworpt rijke klinische gegevens (laboratoriumwaarden, vitale functies, klinische notities, beeldvormingsbevindingen) ten gunste van categorische codes, waardoor de context wordt verwijderd waarop clinici vertrouwen voor gepersonaliseerde zorg.
3. Outputspecificiteit: Het reduceert verschillende medicijnen tot brede therapeutische subklassen en laat kritieke details zoals dosering en toedieningsweg weg, die essentieel zijn voor veiligheid en effectiviteit.

Methodologie

Het artikel stelt RxEval voor, een benchmark die is ontworpen om LLM's te evalueren op voorschriftniveau besluitvorming. De methodologie omvat het construeren van een dataset uit de MIMIC-IV kritieke zorg EHR-database en het formuleren van de evaluatie als een Meerkeuzevraag (MCQ) taak.

1. Taakformulering

In tegenstelling tot voorspellingen op opname-niveau, behandelt RxEval elk voorschrijftijdstip binnen een opname als een afzonderlijk beslissingsinstantie.

• Input: Een gedetailleerd patiëntprofiel ($P_a$) inclusief demografie, allergieën en thuismedicatie, gecombineerd met een tijdsgesorteerde klinische traject ($H_{a,<t}$) met laboratoriumresultaten, procedures, radiologierapporten en eerdere voorschriften die leiden tot tijdstip $t$.
• Output: Een specifieke set medicijn-dosering-toedieningsweg-drietallen ($M_{a,t}$) voorgeschreven op tijdstip $t$.
• Formaat: Om evaluatieonduidelijkheid veroorzaakt door naamvariaties en meerdere klinisch aanvaardbare alternatieven te voorkomen, wordt de taak geformuleerd als een MCQ. Het model moet het juiste subset van medicijnen selecteren uit een lijst met opties.

2. Distractorconstructie via Reasoning-Chain Perturbatie

Een kerninnovatie is de generatie van "patiëntspecifieke" distractoren (onjuiste opties) die niet alleen door algemene medische kennis kunnen worden uitgesloten. Dit wordt bereikt via een drie-staps proces:

1. Reasoning-Chain Annotatie: Een LLM annoteert de klinische redeneerketen die uitlegt waarom een specifiek medicijn correct is voor een patiënt, door specifieke observaties (feiten) te koppelen aan klinische inferenties. Een criticus-LLM verifieert dat elk feit is verankerd in het patiëntdossier en dat de logica coherent is.
2. Perturbatie: De redeneerketen wordt verstoord door een specifieke klinische observatie te negeren of een conditie te wijzigen (bijvoorbeeld het negeren van een gedocumenteerde allergie). Vervolgens genereert een LLM een medicijn dat geschikt zou zijn onder de verstoorde keten, maar onjuist is voor de daadwerkelijke patiënt.
3. Validatie: Distractoren worden gevalideerd om ervoor te zorgen dat ze verifieerbaar fout zijn op basis van het patiëntdossier en voldoende moeilijk zijn (dat wil zeggen dat specifieke patiëntgegevens nodig zijn om ze uit te sluiten). Een artsreview van 95 distractoren bevestigde dat 96,8% duidelijk ongepast was.

3. Dataset Samenstelling

RxEval bestaat uit 1.547 MCQ's afgeleid van 584 unieke patiënten (587 opnames).

• Dekking: Omvat 18 ICD-diagnostische hoofdstukken en 969 unieke medicijnen met een langstaartverdeling.
• Complexiteit: Vragen hebben gemiddeld 7,03 opties (tot 23) en vereisen het selecteren van subsets van variabele grootte (gemiddeld 2,03 correcte antwoorden). 44,9% van de vragen heeft meerdere antwoorden.
• Contextlengte: Prompts hebben een mediaanlengte van 3.111 tokens (tot 118.805), aanzienlijk langer dan standaard medische QA-benchmarks.

Belangrijkste Resultaten

De auteurs evalueerden 16 LLM's (8 propriëtaire, 8 open-source) op RxEval.

• Discriminatieve Kracht: RxEval scheidt modellen met verschillende capaciteiten effectief. F1-scores variëren van 45,18 (Llama-3.1-8B-Instruct) tot 77,10 (Gemini-3.1-Pro).
• Moeilijkheid: Zelfs het sterkste model, Gemini-3.1-Pro, bereikt slechts 46,10% Exact Match-nauwkeurigheid, wat aangeeft dat de taak verre van opgelost is.
• Kennis versus Redeneren: Hoewel frontier-modellen >89% scoren op MedQA (kennisherinnering), is hun prestatie op RxEval aanzienlijk lager en meer gevarieerd. Dit suggereert dat RxEval temporale klinische redenering evalueert in plaats van statische kennis.
• Beperkingen van Fine-Tuning: Medisch gespecialiseerde fine-tuned modellen (zoals HuatuoGPT-o1, MedGemma) toonden verwaarloosbare winsten (+1,2 tot +2,2 F1) ten opzichte van hun algemene instructie-getuned tegenhangers, wat suggereert dat huidige fine-tuning-paradigma's de specifieke temporale redenering die nodig is voor voorschriftniveau-beslissingen niet vastleggen.
• Foutanalyse:
  • Oversight-fouten: Modellen negeren vaak expliciet verstrekte patiëntinformatie (bijvoorbeeld allergieën), zoals het voorschrijven van heparine aan een patiënt met een gedocumenteerde heparine-allergie. Het herhalen van de allergielijst aan het einde van de prompt corrigeerde 85,4% van deze fouten.
  • Redeneerfouten: Modellen slagen er niet in klinische conclusies te trekken uit observaties, zoals het voorschrijven van renaal gescheiden medicijnen aan patiënten met verhoogd creatinine of het verkeerd toeschrijven van de oorzaak van hypertensie.
  • Temporale Degradatie: De prestaties verslechteren over het algemeen in de late fase van opnames waar klinische trajecten het langst en complexst zijn.

Betekenis en Claims

Het artikel beweert dat RxEval een noodzakelijke verschuiving vertegenwoordigt in het evalueren van LLM's voor klinische toepassingen:

1. Realisme: Het verplaatst de evaluatie van grofkorrelige voorspellingen op opname-niveau naar de fijnkorrelige, tijdspecifieke realiteit van intramurale voorschrijven.
2. Voorbij Kennis: Het toont aan dat hoge prestaties op benchmarks voor medische kennis niet garanderen dat het vermogen bestaat om complexe, evoluerende klinische gegevens te synthetiseren tot veilige, specifieke behandelplannen.
3. Diagnostische Waarde: De benchmark onthult systematische faalmodi in frontier-modellen, specifiek het onvermogen om aandacht te houden voor patiëntspecifieke beperkingen (oversight) en het falen om multi-stap klinische redenering uit te voeren (redeneren).
4. Veiligheidsimplicaties: Door te benadrukken dat zelfs top-tier modellen worstelen met integratie van dosering, toedieningsweg en contra-indicaties, betogen de auteurs dat huidige LLM's nog niet klaar zijn voor autonome inzet in medicatierisico's zonder strikt menselijk toezicht.

De auteurs positioneren RxEval als een hulpmiddel om de ontwikkeling van veiligere, betrouwbaardere klinische AI-systemen te sturen door specifieke gaten in redeneer- en aandachtsmechanismen te identificeren die moeten worden aangepakt voordat klinische inzet mogelijk is.