Can Machine Learning Algorithms use Contextual Factors to Detect Unwarranted Clinical Variation from Electronic Health Record Encounter Data during the Treatment of Children Diagnosed with Acute Viral Pharyngitis

Dit onderzoek toont aan dat machine learning-algoritmen contextuele factoren uit elektronische gezondheidsdossiers effectief kunnen gebruiken om ongerechtvaardigde klinische variatie, zoals ongepaste antibioticabehandeling bij kinderen met acute virale faryngitis, te detecteren zonder centrale data-aggregatie.

De kern

Stel je voor dat je een grote bibliotheek hebt met duizenden medische dossiers. In deze bibliotheek zitten de verhalen van kinderen die met een pijnlijke keel naar de dokter zijn gegaan. De vraag die de auteurs van dit onderzoek stellen, is: "Kunnen we een slimme computer vinden die kan zien welke artsen de verkeerde medicijnen voorschrijven, zonder dat we elke map handmatig hoeven te lezen?"

Hier is een uitleg van het onderzoek, vertaald naar alledaags Nederlands met een paar creatieve vergelijkingen.

1. Het Probleem: De "Onnodige Antibiotica"-Recepten

Wanneer een kind een virale keelontsteking heeft (een keel die pijn doet door een virus, niet door bacteriën), helpen antibiotica niet. Het virus is niet bacterieel. Toch schrijven sommige artsen antibiotica voor. Dit noemen ze "onwenselijke variatie": artsen doen iets anders dan wat de regels zeggen, vaak zonder goede reden.

Dit is als een kok die ijskoffie serveert op een hete zomerdag omdat hij denkt dat het warm is, terwijl het eigenlijk koud is. Het is niet alleen zonde van de medicijnen, maar het kan ook schadelijk zijn.

2. De Oplossing: Een Slimme "Detective-Computer"

De onderzoekers wilden niet elke handgeschreven notitie van elke arts gaan lezen (dat duurt eeuwen). In plaats daarvan bouwden ze een Machine Learning-algoritme.

• De Analogie: Stel je voor dat je een detective hebt die niet naar de daad zelf kijkt, maar naar de omstandigheden rondom de daad.
  • Vroeger: Kijkte men alleen naar de patiënt (heeft hij koorts?).
  • Nu: Kijkt de computer naar de context: Wie is de arts? Hoeveel patiënten heeft hij die dag gezien? In welke wijk werkt hij? Is het een jonge arts of een oude?

De computer leert van deze "contextuele factoren" om te voorspellen: "Hé, deze arts, op dit moment, met deze hoeveelheid werk, heeft een grote kans om een fout te maken en antibiotica te geven."

3. Hoe hebben ze het getest? (De "Gouden Standaard" vs. De "Snelle Schatting")

Om te zien of de computer goed werkt, deden ze twee dingen:

1. De Gouden Standaard: Een groep echte artsen keek handmatig naar de dossiers en besliste: "Ja, dit was een fout" of "Nee, dit was goed". Dit is als het controleren van elke auto in een garage door een meester-mechanicus.
2. De Snelle Schatting (Weak Labels): De computer keek alleen naar de gegevens in het systeem (bijv. "Is er een antibioticumrecept afgegeven?"). Dit is als kijken naar de kilometerstand van de auto om te zien of hij veel gebruikt is.

Het verrassende resultaat: De computer die gebruikmaakte van de "snelle schatting" deed bijna net zo goed als de computer die de handmatige controle van de artsen gebruikte!

• Metaphor: Het is alsof je kunt voorspellen of iemand een slechte bestuurder is door te kijken naar hoe vaak hij parkeert, zonder dat je zijn rijgedrag hoeft te filmen. Dat bespaart enorm veel tijd en geld.

4. Wat leerde de computer? (De "Top 5" Oorzaken)

De slimme computer keek naar welke factoren het meest invloed hadden op het maken van fouten. De belangrijkste bevindingen waren:

• De "Werkdruk" (Caseload): Artsen met een lagere hoeveelheid patiënten maakten vaker fouten dan artsen met een hoge werkdruk.
  • Vergelijking: Je zou denken dat een drukke kok meer fouten maakt. Maar hier was het anders: artsen met minder werk leken minder gefocust op de regels, of misschien dachten ze: "Ik heb tijd, ik geef het maar voor de zekerheid."
• De "Ervaring": Jongere artsen (of artsen met minder ervaring) maakten minder fouten dan de oude, ervaren artsen.
  • Vergelijking: De ervaren chef-koks die denken: "Ik weet het wel beter, ik voeg maar wat extra specerijen toe," terwijl de stagiairs zich strikt houden aan het recept.
• Het Type Arts: Verpleegkundig specialisten (NPs) maakten minder fouten dan artsen (MD's).
• De Wijk: Patiënten uit wijken met meer sociale problemen (hoge "Area Deprivation Index") kregen vaker de juiste behandeling dan patiënten uit rijkere wijken. Misschien voelen artsen zich daar minder onder druk om "te voldoen aan de wensen van de patiënt".

5. Waarom is dit belangrijk?

Vroeger moest je enorme databases van honderden ziekenhuizen samenvoegen om te zien wie er fouten maakte. Dat is als proberen een heel land te bestuderen door elke straat te lopen.

Met deze nieuwe methode kan één ziekenhuis zijn eigen data gebruiken om zijn eigen "zwakke plekken" te vinden.

• Het is alsof je een spiegel hebt die je laat zien: "Kijk, jij, dokter X, in wijk Y, je schrijft te vaak onnodige medicijnen voor."
• Omdat de computer ook uitlegbaar is (we weten waarom hij dat denkt), kunnen artsen het vertrouwen en hun gedrag aanpassen.

Samenvatting in één zin

Dit onderzoek toont aan dat slimme computers, die kijken naar de context rondom een arts (zoals zijn werklast en ervaring), heel goed kunnen voorspellen wanneer er onnodige medicijnen worden voorgeschreven, en dat ze dit net zo goed kunnen doen met snelle, automatische data als met dure, handmatige controles.

Het is een stap in de richting van een zorgsysteem dat zichzelf corrigeert, net als een GPS die je waarschuwt als je de verkeerde afslag neemt, voordat je in de file staat.

Technische samenvatting

Titel: Machine Learning Algoritmen voor het Detecteren van Ongerechtigde Klinische Variatie bij de Behandeling van Acute Virale Faryngitis bij Kinderen

Auteurs: Apollo McOwiti et al. (UTHealth Houston)
Publicatie: MedRxiv Preprint (2026)

---

1. Het Probleem

Ongerechtigde klinische variatie (Unwarranted Clinical Variation - UCV) verwijst naar patiëntenzorg die niet overeenkomt met de klinische kenmerken, behoeften of voorkeuren van de patiënt, en vaak afwijkt van evidence-based richtlijnen. UCV leidt tot hogere kosten, onnodige behandelingen en slechte uitkomsten.

• Uitdaging: Bestaande methoden voor het detecteren van UCV zijn vaak gebaseerd op gecentraliseerde data-aggregatie en gemengde-effecten regressie. Deze benaderingen meten alleen relatieve variatie tussen providers of locaties, maar kunnen geen absolute afwijkingen van de richtlijnen detecteren.
• Specifiek Geval: Bij acute virale faryngitis bij kinderen schrijft de Infectious Disease Society of America (IDSA) voor dat er geen antibiotica mogen worden voorgeschreven. Desondanks gebeurt dit vaak. Het is complex om te bepalen of een specifieke voorschriftafwijking "ongerechtigd" is, omdat de zorgprocessen veel keuzemogelijkheden bevatten.

2. Methodologie

Data Bron en Populatie:

• Bron: Elektronische Gezondheidsrecords (EHR) uit het BIG-ARC data warehouse van UTHealth (PCORnet Common Data Model).
• Periode: 1 januari 2021 tot 30 december 2024.
• Populatie: Kinderen (3-19 jaar) met een diagnosecode J02.8 (acute faryngitis door een gespecificeerd organisme).
• Selectiecriteria: Uitsluiting van patiënten met positieve streptokokken A-testen, pre-existing aandoeningen die antibiotica vereisen, of gebrek aan klinische notities.
• Dataset: In totaal 132 bezoeken (24 klinieken, 80 providers, 122 patiënten). Na handmatige review (chart review) werden 20 gevallen gedefinieerd als "ongerechtigde" antibioticavoorschriften.

Kenmerken (Features) en Ontologie:

• De studie gebruikt Local Context Factors (LCF): factoren gerelateerd aan de provider, de locatie en het encounter, maar niet aan de patiënt zelf (omdat UCV per definitie niet door patiëntfactoren gedreven zou moeten zijn).
• Standaardisatie: Alle EHR-kenmerken zijn gemapt naar de UCVA Ontologie (Unwarranted Clinical Variation and Accountability) om interoperabiliteit te vergroten en de cardinaliteit te verlagen.
• Kenmerken omvatten:
  • Site-level: Jaarlijkse casusvolumes (totaal en J02.8).
  • Provider-level: Credential (MD, NP, PA), geslacht, specialisme, ervaringsniveau, casusvolumes.
  • Encounter-level: Type encounter (bijv. ED, AV), jaar.
  • Patient-level (voor context): Socio-economische status via Area Deprivation Index (ADI).

Modelontwikkeling:

• Algoritmen: Er werden ensemble-modellen getraind: Random Forest (RF), CatBoost, en Explainable Boosting Machine (EBM). Logistische regressie (LR) diende als baseline.
• Validatie: Geneste kruisvalidatie (nested cross-validation) met 10-voudige stratificatie om bias te minimaliseren.
• Labeling:
  • Gold Standard: Handmatige review door artsen.
  • Weak Labels: Labels afgeleid direct uit de EHR-data (bijv. op basis van voorschrijfpatronen zonder handmatige validatie).
• Interpretatie: Gebruik van SHAP-waarden (voor CatBoost) en ingebouwde interpretatie (voor EBM) om de bijdrage van kenmerken te visualiseren.

3. Belangrijkste Bijdragen

1. Absolute UCV Detectie: Het is de eerste studie die ML toepast om absolute afwijkingen van klinische richtlijnen te detecteren (in plaats van alleen relatieve variatie tussen providers) door gebruik te maken van contextuele factoren uit EHR-data.
2. Ontologie-gebaseerde Standaardisatie: Toepassing van de UCVA-ontologie om EHR-data te harmoniseren, wat cross-institutionele vergelijkingen mogelijk maakt.
3. Validatie van Weak Labels: Demonstreert dat modellen getraind op "weak labels" (automatisch gegenereerd uit EHR) vergelijkbare prestaties leveren als modellen getraind op dure, handmatig geannoteerde "gold standard" labels.
4. Interpreteerbaarheid: Benadrukt het belang van interpreteerbare modellen (zoals EBM en CatBoost met SHAP) voor klinische adoptie, in tegenstelling tot "black-box" deep learning.

4. Resultaten

• Modelprestaties:
  • Alle ensemble-modellen (RF, CatBoost, EBM) presteerden robuust met een mediane AUC van 0,91.
  • CatBoost getraind op de LCF_DS feature set (alleen lokale contextfactoren) werd geselecteerd als het eindmodel.
  • Testresultaten: Op een vastgehouden testset (26 samples) bereikte het model een AUC van 0,89, een precisie van 0,85, een recall van 0,79 en een F1-score van 0,81.
• Weak vs. Gold Standard: Er was geen statistisch significant verschil in prestatie tussen modellen getraind op weak labels versus gold-standard labels. Dit suggereert dat handmatige annotatie voor dit specifieke gebruik geval mogelijk overbodig is.
• Belangrijkste Predictoren (Feature Importance):
  De analyse toonde aan dat de volgende factoren de sterkste voorspellers waren voor ongepaste antibioticavoorschriften:
  1. Casusvolumes: Zowel het totale volume van diagnoses als het specifieke J02.8-volume op provider- en site-niveau.
  2. Provider Credential: Nurse Practitioners (NP) waren minder waarschijnlijk om ongepaste antibiotica voor te schrijven dan artsen (MD), hoewel dit statistisch niet altijd significant was in de univariate analyse.
  3. Ervaring: Providers met minder ervaring (early career) waren minder geneigd tot ongepaste voorschriften dan ervaren providers (late career).
  4. Encounter Type: Het type consult (bijv. spoedeisende hulp vs. polikliniek) had invloed.
  5. ADI (Socio-economische status): Patiënten uit gebieden met hoge behoeften (high-needs ADI) kregen minder vaak ongepaste antibiotica dan die uit lage-behoeften gebieden.
• Interpretatie van Volumes: Een verrassende bevinding was dat providers met lagere casusvolumes minder waarschijnlijk ongepaste behandelingen gaven, wat contrasteert met studies in de chirurgie waar hogere volumes vaak geassocieerd worden met betere uitkomsten.

5. Betekenis en Conclusie

• Schaalbaarheid: Deze aanpak biedt een schaalbaar alternatief voor traditionele statistische methoden. Het vereist geen gecentraliseerde data-analyse van meerdere instellingen, maar kan lokaal worden uitgevoerd op EHR-data.
• Klinische Toepassing: Door de interpretatie van de modellen (bijv. "waarom werd deze voorschrift als ongepast gemarkeerd?"), kunnen zorgverleners en managers gerichte feedback krijgen om de zorgkwaliteit te verbeteren.
• Beperkingen: De studie had een kleine dataset (132 bezoeken), wat deep learning uitsluit en externe validatie bemoeilijkt. De resultaten zijn lokaal specifiek, maar de gebruikte ontologie maakt vergelijkingen tussen verschillende locaties mogelijk.
• Toekomst: De studie bevestigt dat klassieke ML-algoritmen, gecombineerd met gestandaardiseerde contextfactoren, effectief zijn om afwijkingen van evidence-based zorg te detecteren. Het succes met weak labels opent de deur voor grootschalige, kostenefficiënte monitoring van zorgkwaliteit.

Samenvattend: Dit onderzoek bewijst dat machine learning, gevoed met gestructureerde contextfactoren uit EHR's, nauwkeurig en interpreteerbaar kan detecteren wanneer de behandeling van virale keelontstekingen bij kinderen afwijkt van de richtlijnen, zonder dat er uitgebreide handmatige data-analyse nodig is.