Development and validation of an algorithm to identify front-line clinicians using EHR audit log data

Deze studie presenteert en valideert een schaalbaar algoritme dat elektronische gezondheidsregistratie-auditlogs gebruikt om met hoge nauwkeurigheid de primaire frontlijn-klinicus voor elke patiëntendag te identificeren, wat een efficiënter alternatief biedt voor arbeidsintensieve handmatige methoden.

De kern

Stel je voor dat een ziekenhuis een enorm, drukke luchthaven is. Elke dag komen er duizenden passagiers (patiënten) aan, en er zijn honderden piloten, stewardessen en grondpersoneel (artsen, verpleegkundigen en andere zorgverleners) die hen helpen.

Het probleem is: als je wilt weten wie er precies voor een specifieke passagier zorgt op een specifieke dag, is dat heel lastig. Je zou elke passagier moeten volgen en elke handeling van het personeel moeten noteren op een handgeschreven lijstje. Dat is niet alleen extreem veel werk, maar ook ondoenlijk voor een heel ziekenhuis.

De onderzoekers uit dit paper hebben een slimme oplossing bedacht: een digitale "slimme camera" die kijkt naar de digitale sporen die iedereen achterlaat in het ziekenhuiscomputersysteem (het EHR).

Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het probleem: De "Naïeve" telling

Stel je voor dat je probeert te raden wie de hoofdpiloot is door simpelweg te tellen wie het meeste op de knoppen van de cockpit heeft gedrukt.

• Hoe het ging: De onderzoekers probeerden eerst een simpele methode: "Wie heeft het vaakst in het systeem geklikt, die is de baas."
• Het resultaat: Dit werkte maar voor 78% van de gevallen. Soms drukte een secretaresse of een specialist die even langskwam veel meer op knoppen dan de eigenlijke hoofdpiloot, waardoor de computer de verkeerde persoon aanwees.

2. De oplossing: De nieuwe "Slimme Algorithm"

De onderzoekers bouwden een veel slimmer programma (een algoritme). In plaats van alleen te tellen hoe vaak iemand klikte, keek dit programma naar wie er klikte en wat voor soort klik het was.

• Het kijkt naar patronen: "Ah, deze persoon heeft de medicijnen goedgekeurd en het ontslagplan geschreven, terwijl de ander alleen maar labresultaten heeft bekeken."
• Het is alsof je niet alleen kijkt naar wie het hardst roept op de luchthaven, maar naar wie daadwerkelijk de sleutel van de vliegtuigdeur in handen heeft.

3. De test: De "Menselijke Check"

Om te zien of hun slimme camera wel goed werkte, deden ze een proef.

• Ze namen 1.401 dagen uit de database.
• Vervolgens lieten ze een team van echte mensen (die de dossiers van papier tot papier doornamen) bepalen wie de hoofdzorgverlener was. Dit was de "gouden standaard".
• Vervolgens lieten ze hun nieuwe algoritme dezelfde taken doen.

Het resultaat: Het algoritme had het in 91% van de gevallen goed! Dat is een enorme verbetering ten opzichte van de simpele tell-methode. De fouten die het maakte, waren meestal op dagen waarop er een wisseling van wacht was (een passagier wordt overgedragen van piloot A naar piloot B) of als twee mensen evenveel werk deden.

4. Wat hebben ze ontdekt?

Toen ze het algoritme op het hele ziekenhuis (meer dan 34.000 dagen) lieten draaien, zagen ze interessante patronen:

• De hoofdarts (de 'hoofdpiloot') was verantwoordelijk voor 79% van de dagen.
• Verpleegkundig specialisten (APP's) zorgden voor 12% van de dagen.
• Aanstaande artsen (residenten) voor 9%.
• Gemiddeld was er maar 1 keer per verblijf een overdracht van zorg tussen verschillende mensen. Dat betekent dat de zorg vaak stabiel blijft bij dezelfde persoon.

Waarom is dit belangrijk?

Vroeger moest je urenlang in dossiers duiken om te weten wie er voor wie zorgt. Nu hebben ze een schaalbare, automatische tool die dit in een flits doet met bijna perfecte nauwkeurigheid.

Dit is als het verschil tussen het handmatig tellen van elke auto die door een stad rijdt, en het hebben van een slimme verkeerscamera die automatisch weet welke auto bij welke chauffeur hoort. Hierdoor kunnen ziekenhuizen beter begrijpen hoe zorg wordt verdeeld, hoe continuïteit werkt, en hoe ze teams kunnen verbeteren om patiënten nog beter te verzorgen.

Technische samenvatting

Technische Samenvatting: Ontwikkeling en validatie van een algoritme voor het identificeren van eerstelijnsklinici via EHR-auditlogs

1. Het Probleem

Interprofessionele teams zijn essentieel voor hoogwaardige patiëntenzorg. Een kritieke uitdaging in de analyse van zorgdata is echter het nauwkeurig identificeren van de klinicus die primair verantwoordelijk is voor een patiënt op een specifieke dag. Traditionele methoden hiervoor zijn handmatige chart reviews, wat een uiterst arbeidsintensief en niet-schaalbaar proces is. Hoewel auditlogs van Elektronische Gezondheidsrecords (EHR) een schaalbaar alternatief bieden, is het gebruik van deze data voor het bepalen van de "frontline clinician" (eerstelijnsklinicus) tot nu toe onderontwikkeld.

2. Methodologie

De studie is opgezet als een transversale cohortstudie binnen één gezondheidszorgsysteem met 12 ziekenhuizen die een gedeeld EHR-systeem gebruiken.

• Data: De dataset omvatte opnames van volwassenen op de interne geneeskunde tussen 1 februari 2023 en 30 april 2023. Inclusiecriteria waren een verblijfsduur van minimaal 3 dagen en geen opname op de intensive care (IC).
• Algoritme-ontwikkeling: Er werden vier iteraties van een algoritme ontworpen om de hoofdklinicus (attending arts, resident of geavanceerde zorgverlener/APP) per patiënt-dag te identificeren.
• Validatie: De prestaties van de algoritmen werden vergeleken met een "gouden standaard" van handmatige chart reviews.
  • Validatiecohort: 1.401 patiënt-dagen afkomstig van 246 willekeurig geselecteerde patiëntencounters.
  • Statistiek: De nauwkeurigheid werd vergeleken met behulp van McNemar's test, met Bonferroni-correctie voor p-waarden.
  • Benchmark: De prestaties werden vergeleken met een "naïeve aanpak" die uitsluitend baseerde op de frequentie van acties in de auditlogs.

3. Belangrijkste Bijdragen

• Ontwikkeling van een schaalbaar algoritme: Het creëren van een robuust model dat EHR-auditlogs gebruikt om de verantwoordelijke klinicus per dag te bepalen, zonder afhankelijk te zijn van handmatige data-invoer.
• Validatie tegen een gouden standaard: Het bieden van empirisch bewijs voor de nauwkeurigheid van deze geautomatiseerde methode door vergelijking met handmatige reviews.
• Inzicht in zorgcontinuïteit: Het toepassen van het algoritme op een grote schaal om patronen van zorgcontinuïteit en overdrachten (handoffs) binnen het systeem te analyseren.

4. Resultaten

• Nauwkeurigheid: Het best presterende algoritme identificeerde de primaire klinicus correct op 91% van de patiënt-dagen (1.268 van de 1.401).
• Vergelijking: Dit was significant beter dan de naïeve frequentie-methode, die slechts 78% nauwkeurigheid behaalde (1.098 van de 1.401; p < 0.001).
• Foutanalyse: De fouten in het algoritme werden voornamelijk toegeschreven aan:
  • Foutief geïdentificeerde specialismen.
  • Ambiguïteit op dagen met zorgoverdrachten (transitions of care).
  • Situaties met gedeelde verantwoordelijkheid tussen meerdere clinici.
• Toepassing op de volledige cohort: Het algoritme werd toegepast op 5.801 encounters (34.001 patiënt-dagen). De verdeling van de verantwoordelijkheid was als volgt:
  • Attending artsen: 79% (26.750 dagen).
  • APP's (Advanced Practice Providers): 12% (4.145 dagen).
  • Residents: 9% (3.106 dagen).
• Overdrachten: Per encounter was er een mediaan van 1 handoff (interkwartielbereik 0-2) tussen eerstelijnsklinici.

5. Betekenis en Conclusie

De studie toont aan dat het mogelijk is om een schaalbaar, op auditlogs gebaseerd algoritme te ontwikkelen dat met uitstekende nauwkeurigheid (91%) de eerstelijnsklinicus voor een patiënt kan bepalen. Dit biedt een krachtig alternatief voor arbeidsintensieve handmatige methoden. De geautomatiseerde aanpak maakt het mogelijk om op grote schaal inzicht te krijgen in zorgcontinuïteit, teamdynamiek en de verdeling van verantwoordelijkheid binnen interprofessionele teams, wat essentieel is voor het verbeteren van de kwaliteit van de patiëntenzorg en het optimaliseren van klinische workflows.