Conditional outlier detection for clinical alerting

Probleemstelling
Medische fouten blijven een aanhoudend en ernstig probleem in de gezondheidszorgpraktijk. Hoewel er momenteel computertools voor patiëntmonitoring bestaan, zijn deze voornamelijk kennisgebaseerd en vertrouwen ze op regels die a priori uit klinische experts zijn afgeleid. Deze systemen zijn tijdrovend om te bouwen en lijden vaak onder onvolledige klinische dekking. De auteurs stellen een datagedreven alternatief voor: een monitoring- en alarmeringskader dat gebruikmaakt van opgeslagen klinische informatie uit eerdere patiëntgevallen om statistische uitschieters (anomalieën) in patiëntbeheeracties te identificeren. De kernhypothese is dat patiëntbeheeracties die ongebruikelijk zijn ten opzichte van eerdere patiënten en hun specifieke aandoeningen, kunnen wijzen op potentiële medische fouten, wat een klinische waarschuwing rechtvaardigt.

Methodologie
Het artikel presenteert een kader voor conditionele anomaliedetectie, dat patiëntbeheeracties identificeert die zeer ongebruikelijk zijn gezien de specifieke aandoening van een patiënt en historische gegevens. De methodologie verloopt via drie hoofdstappen:

1. Segmentatie en Transformatie:

   • Complexe multivariate tijdreeksgegevens uit Elektronische Gezondheidsdossiers (EGD's) – inclusief laboratoriumtests, medicatie, procedures en diagnoses – worden gesegmenteerd op discrete tijdstippen (bijvoorbeeld elke 24 uur).
   • Gegevens waargenomen tot een segmentatiepunt worden omgezet in een vectorruimtereferentie van de patiënttoestand ($x$). Deze representatie maakt gebruik van een vaste set kenmerken om temporale informatie te samenvatten, waaronder:
     • Laboratoriumkenmerken: Voor categorische resultaten omvatten kenmerken de laatste/na-laatste waarden en de tijd sinds de laatste waarde. Voor continue/ordinaal waarden omvatten kenmerken hellingen, percentage veranderingen, nadir (minimum) en apex (maximum) waarden.
     • Medicatiekenmerken: Indicatoren van huidig gebruik, tijd sinds eerste toediening, tijd sinds laatste toediening en tijd sinds laatste orderwijziging.
     • Procedurakenmerken: Indicatoren of een procedure is uitgevoerd, tijd sinds eerste uitvoering en tijd sinds laatste uitvoering.
   • Patiëntbeheeracties ($y$) die optreden tussen segmentatiepunten, worden gekoppeld aan de voorafgaande patiënttoestand. Acties zijn binair (waar/onwaar) en geven aan of een specifieke laboratoriumtest is besteld of een medicatie is toegediend.

2. Leren van Predictieve Modellen:

   • Het systeem leert een predictief model voor de conditionele verdeling $P(y | x)$ voor specifieke beheeracties (laboratoriumbestellingen en medicatiebestellingen/voortzettingen).
   • Support Vector Machines (SVM) worden gebruikt als het discriminatieve leermodel om klassen van acties te scheiden.
   • Om de hoge dimensionaliteit van kenmerken (duizenden potentiële variabelen) het hoofd te bieden, wordt een gierige kenmerkselectie toegepast. Kenmerken worden gegroepeerd per categorie (bijvoorbeeld alle hemoglobinekenmerken). Groepen worden geëvalueerd via interne cross-validatie (met gebruik van AUC) en stapsgewijs toegevoegd aan het model als ze de predictieve prestaties verbeteren.
   • Probabilistische outputs worden afgeleid van de SVM-beslissingsgrens met behulp van Platts schaalingsmethode om $P(y=1 | x)$ te schatten.

3. Anomaliedetectie en Alarmering:

   • Anomaliescore: De mate van anomalie voor een actie $y$ gegeven toestand $x$ wordt berekend als $Anom(x, y) = 1 - P(y | x)$. Een lage waarschijnlijkheid van de waargenomen actie impliceert een hoge anomaliescore.
   • Alarmscore: Om het probleem aan te pakken dat patiënttoestanden in de tijd veranderen, beoordeelt het systeem de anomalie van een actie $y_{t-1}$ tegen zowel de patiënttoestand op het moment van de actie ($x_{t-1}$) als de daaropvolgende toestand ($x_t$). De alarmscore wordt gedefinieerd als het minimum van deze twee anomaliescores: $Alert(x_t, y_{t-1}) = \min(Anom(x_{t-1}, y_{t-1}), Anom(x_t, y_{t-1}))$. Een alarm wordt geactiveerd als deze score een drempelwaarde overschrijdt, zodat de afwijking persistent is over opeenvolgende tijdstappen.

Evaluatie en Resultaten
Het kader werd geëvalueerd met retrospectieve gegevens van 4.486 patiënten na hartchirurgie in een groot academisch ziekenhuis in Pittsburgh.

• Dataverdeling: De gegevens werden verdeeld in een trainingsset (voor 2005) en een testset (2005 en later). Het segmentatieproces leverde 51.492 patiënttoestandsinstanties op (30.828 voor training, 20.664 voor testen).
• Modelselectie: Alleen modellen met een Area Under the Curve (AUC) van 0,68 of hoger werden gebruikt.
• Expertreview: Uit de testset werden 222 alarms geselecteerd voor evaluatie door een panel van 15 experts in de intensive care (fellows en faculteitsleden). De selectiecriteria omvatten een minimale anomaliescore van 0,15 en een focus op de sterkste anomalieën.
• Vondsten:
  • Met gebruik van een meerderheidsregel (2 van de 3 reviewers) werden 121 van de 222 alarms (54,5%) geacht klinisch nuttig te zijn.
  • Er is een positieve correlatie tussen de alarmscore en het echte alarmpercentage. Alarms met lage scores hadden een echt nuttig percentage van 19%, terwijl die met hoge scores 72% bereikten.
  • De ROC-analyse leverde een AUC van 0,64 op, wat statistisch significant verschilt van 0,5 (willekeur), wat bevestigt dat hogere alarmscores indicatief zijn voor hogere echte alarmpercentages.

Belangrijkste Bijdragen en Betekenis
Het artikel beweert de meest uitgebreide evaluatie van hun conditionele outlier-methodologie tot nu toe te presenteren. De belangrijkste bijdragen zijn:

• Datagedreven Aanpak: Aantonen dat op anomalieën gebaseerde alarmering kan dienen als aanvulling op, of als zelfstandig systeem voor, kennisgebaseerde alarmering, met name in klinische subgebieden waar expertregels nog niet beschikbaar zijn.
• Conditioneel Kader: Voorbijgaan aan eenvoudige outlierdetectie naar een conditionele aanpak waarbij acties worden geëvalueerd ten opzichte van specifieke patiënttoestanden en historische gegevens.
• Klinische Validatie: Empirisch bewijs leveren dat statistische anomalieën in patiëntbeheer positief gecorreleerd zijn met klinisch betekenisvolle alarms, wat de hypothese ondersteunt dat deze aanpak kan helpen medische fouten te identificeren.
• Schaalbaarheid: Succesvol bouwen en testen van modellen op duizenden patiëntkenmerken en honderden acties die zijn ontleend aan real-world EGD's.

De auteurs concluderen dat hoewel niet alle statistische uitschieters overeenkomen met fouten, de methode "de moeite waard" is voor het activeren van alarms vanwege het vermogen om fouten vaak genoeg te signaleren om klinisch nuttig te zijn, met redelijk lage valse alarmpercentages. Toekomstig werk is gepland om temporale kenmerken te verfijnen, verschillende tijdsdiscretisaties te verkennen en het systeem te evalueren in aanvullende klinische domeinen.