Deployment-Centered Evaluation: Predicting Query-Level Rejection Risk in a Clinical LLM System

Technische Samenvatting: Implementatie-gecentreerde Evaluatie van Query-niveau Afwijzingsrisico in Klinische LLM's

Probleemstelling
De integratie van Large Language Models (LLM's) in klinische workflows introduceert een kritieke evaluatiekloof. Traditionele benchmark-gecentreerde evaluaties geven prioriteit aan objectieve "juistheid" (bijv. nauwkeurigheid op medische licentie-examens) en geaggregeerde prestaties over historische queries. Deze statische beoordelingen slagen er echter niet in om de real-world bruikbaarheid te vatten, specifiek of een clinicus een gegenereerd antwoord daadwerkelijk zal accepteren of "verwerpen". Verwerping is een ruisend construct dat een lage waargenomen bruikbaarheid reflecteert, wat kan voorkomen zelfs wanneer een output feitelijk correct is vanwege mismatches in stilistische verwachtingen, context of workflow-integratie. Bov�elijk rusten bestaande benchmarks op dicht geannoteerde datasets die duur zijn om te construeren en moeilijk te verversen, wat blinde vlekken creëert voor dynamische, real-world implementaties. De kernuitdaging is om, voordat een respons wordt gegenereerd, te voorspellen of een specifieke gebruikersinteractie zal resulteren in verwerping, gebruikmakend van de schaarse feedback die natuurlijk beschikbaar is in gedeplyoide systemen.

Methodologie
De auteurs stellen een implementatie-gecentreerd evaluatiekader voor, gecentreerd rond een pre-respons verwerping-voorspellingsmodel ingebed in een Electronic Health Record (EHR) systeem binnen een academisch medisch centrum.

• Taakformalisering: Het doel is om een scorefunctie $f(\cdot)$ te leren die de waarschijnlijkheid voorspelt dat een gebruiker een LLM-respons verwerpt ($r_i = 1$) versus accepteert ($r_i = -1$). De input bestaat uit de gebruikersquery $q_i$ en de implementatie-specifieke context: type zorgverlener ($p_i$), departementsnaam ($d_i$), het specifieke gebruikte LLM-model ($m_i$), en de lengte van het patiëntendossier ($l_i$).
• Databron: De studie maakt gebruik van 4,5 maand aan live gebruikersinteracties (september 2025 – april 2026). Van de 74.729 totale interacties bevatten slechts 1.196 expliciete binaire feedback ("duim omhoog/omlaag"). Na het filteren van duplicaten en ontbrekende metadata, bestond de uiteindelijke geannoteerde dataset uit 878 query-annotatieparen.
• Modelarchitectuur: De auteurs maken gebruik van een logistische regressie getraind op query-embeddings (gegenereerd via text-embedding-3-large) gecombineerd met one-hot encodings van de implementatiecontext.
  • Feature Selectie: Een grid search over 31 mogelijke feature-combinaties (inclusief subsets van embeddings, provider, departement, model en contextlengte) werd uitgevoerd om de AUROC op een validatieset te maximaliseren.
  • Trainingsprotocol: De studie maakt gebruik van een prospectieve analyse-aanpak. Een initieel model wordt getraind op de eerste 8 weken aan data. Voor de daaropvolgende 19 weken wordt het model elke week dynamisch hertraind door nieuwe data met ware labels toe te voegen, wat een rollend trainingsvenster simuleert om te adapteren aan verschuivende gebruikers-LLM-trends.
• Baselines: Prestaties worden vergeleken met modellen die enkel query-embeddings gebruiken, LLM-judge classifiers (met GPT-4.1) met en zonder context, en naïeve "altijd accepteren/verwerpen" classifiers.

Kernbijdragen

1. Prospectieve Verwerpingsvoorspelling: De auteurs demonstreren de haalbaarheid van het trainen van een pre-respons model om gebruikersverwerping op toekomstige queries te voorspellen met behulp van schaarse, real-world feedback.
2. Downstream Bruikbaarheid: De verwerpingsscore wordt geframed als een inzetbaar besluitvormingsinstrument. Door operationele drempelwaarden aan te passen, ondersteunt hetzelfde model twee verschillende use cases:
   • Abstentie (Onthouding): High-precision filtering (preventief achterhouden van waarschijnlijk verworpen responsen) om verificatiemoeheid te verminderen.
   • Guardrail Activatie: High-recall triggering (het signaleren van potentiële problemen voor extra controle) om te voorkomen dat outputs van lage kwaliteit de gebruiker bereiken.
3. Rol van Implementatie-specifieke Context: Het paper stelt vast dat het benutten van metadata (type zorgverlener, departement, model) significant beter presteert dan het uitsluitend vertrouwen op de query-inhoud.

Resultaten

• Prestaties: Het best presterende model (inclusief Embedding + Provider + Department + Model) behaalde een AUROC van 0,719 (95% CI: [0,670, 0,767]) op de prospectieve testset.
• Vergelijking: Dit presteerde beter dan de query-embedding-only baseline (AUROC 0,618) en de LLM-judge baselines (AUROC ~0,52–0,53).
• Feature Belang: Kwantitatieve analyse toonde aan dat departementsnaam en type zorgverlener de meest frequente features waren in de best presterende configuraties. Het verwijderen van embeddings terwijl de context-features behouden bleven, resulteerde in slechts een lichte daling in prestaties, wat suggereert dat context zeer informatief is in data-arme settings.
• Downstream Metrieken:
  • Bij een high-precision drempelwaarde ($\beta = 0,12$) behaalde het model een precisie van 0,88 (3 false positives), geschikt voor abstentie.
  • Bij een high-recall drempelwaarde ($\beta = 4,0$) behaalde het model een recall van 0,99, geschikt voor guardrail activatie.
• Kwalitatieve Inzichten: Analyse van de redenen voor verwerping toonde significante variatie per rol en departement. Zo hadden artsen in de cardiologie hoge verwerping rates vanwege de vraag naar specifieke klinische details, terwijl nurse practitioners vaak hoogwaardige samenvattingen accepteerden. Eveneoids wezen Critical Care artsen queries af die Hospital artsen wel accepteerden, wat aangeeft dat acceptatiecriteria worden gevormd door departementsspecifieke workflows en rol-specifieke verwachtingen.

Betekenis en Claims
Het paper claimt een startpunt te bieden voor implementatie-specifieke evaluaties die verder gaan dan statische benchmarks naar actiegerichte interventies. De primaire betekenis ligt in de verschuiving van het evaluatiemodel van "juistheid" naar "gebruikersacceptatie", waarbij wordt erkend dat bruikbaarheid in klinische settings wordt gedefinieerd door of de output past bij de specifieke context en workflow van de gebruiker.

De auteurs merken bescheiden op dat hun bevindingen zijn afgeleid van een enkel academisch medisch centrum en beperkt worden door de schaarste van passieve feedback (slechts ~1,6% van de gebruikers gaf feedback). Zij argumenteren dat hoewel hun resultaten de haalbaarheid onderstrepen van het voorspellen van verwerping met behulp van implementatie-specifieke context, toekomstig werk nodig is om selectiebias aan te pakken en deze bevindingen te generaliseren naar bredere implementatiecontexten. Het werk claimt niet de oplossing te zijn voor alle klinische AI-veiligheidsproblemen, maar demonstreert dat wie er vraagt, in welke context, en met welk doel, even belangrijk is als de vraag zelf bij het bepalen van systeemsucces.