Falsification Testing of Sepsis Prediction Models: Evaluating Independent Biological Signal After Controlling for Care-Process Intensity

Hoewel dit gerandomiseerde falsificatieonderzoek aantoont dat sepsisvoorspellingsmodellen in academische ziekenhuizen voornamelijk echte biologische signalen detecteren en niet alleen zorgintensiteit, onthult het een systematische en significante discrepantie tussen klinische en administratieve sepsisdefinities die gevolgen heeft voor kwaliteitsmetingen en AI-benchmarks.

De kern

De "Sepsis-Alarm" Test: Zoek je de ziekte of de drukte?

Stel je voor dat je een heel slimme alarmklok hebt gebouwd voor een ziekenhuis. Deze klok moet waarschuwen als een patiënt gevaarlijk ziek wordt (in dit geval: sepsis, een levensgevaarlijke infectie). De makers van deze klok zeggen: "Onze klok is geweldig! Hij ziet de ziekte voordat de artsen het merken."

Maar Adam Dickens, de onderzoeker van dit nieuwe rapport, vroeg zich af: "Ziet deze klok echt de ziekte, of ziet hij alleen maar dat de artsen al druk bezig zijn?"

Hier is wat dit onderzoek in gewone taal betekent, met een paar handige vergelijkingen.

1. Het Grote Misverstand: De "Drukte" vs. De "Ziekte"

Stel je voor dat je in een drukke supermarkt staat.

• De Ziekte: Iemand die plotseling flauwvalt.
• De Drukte (Zorgintensiteit): Een groep mensen die om die persoon heen staat, roept, telefoontjes pakt, en snel dingen haalt.

Deze slimme alarmklok (het computerprogramma) kijkt naar de data in het ziekenhuis. De vraag was: Leerde de computer om de flauwvallende persoon te zien, of leerde hij alleen om de drukte om die persoon heen te zien?

Als de computer alleen de "drukte" ziet, is hij nutteloos. Want als de artsen al druk bezig zijn, is het alarm te laat. Het moet juist voordat de artsen in paniek raken, waarschuwen.

2. De Test: Een "Valsheidstest" (Falsification Test)

Dickens wilde niet zomaar zeggen "het werkt wel". Hij wilde het bewijzen door te proberen het te weerleggen. Hij deed dit in vier stappen, als een detective die op zoek gaat naar bewijs dat de klok niet werkt.

• Stap 1: De Regels Checken. Er zijn drie manieren om te zeggen "deze patiënt heeft sepsis": twee medische definities (Sepsis-2 en 3) en één administratieve definitie (voor de verzekering/regering, genaamd CMS SEP-1).

  • Het resultaat: De twee medische definities waren het bijna altijd eens (90% overeenkomst). Maar de administratieve definitie (voor de papieren) was het helemaal niet eens met de artsen. Ze zagen totaal andere mensen als "ziek".
  • Vergelijking: Het is alsof de artsen zeggen: "Die man is ziek," maar de administratie zegt: "Nee, die man is gezond, want hij heeft geen specifieke formulier ingevuld." Dit is een groot probleem voor ziekenhuis-ranglijsten.

• Stap 2: De "Drukte" Verwijderen. De onderzoeker haalde alle gegevens over "hoe vaak artsen dingen bestelden" (bloedprikken, infusen, notities maken) uit de computer.

  • Het resultaat: De klok werd niet veel minder goed. Hij zag de ziekte nog steeds net zo goed.
  • Conclusie: De klok kijkt dus echt naar de biologie (het bloed, de temperatuur), niet alleen naar de drukte.

• Stap 3: Alleen de "Drukte". Wat als je de klok alleen de gegevens over de drukte geeft, zonder de medische waarden?

  • Het resultaat: De klok werd een beetje slimmer dan een gok, maar niet goed genoeg om echt te vertrouwen. Hij kon de ziekte niet alleen op basis van "hoe druk het was" voorspellen.

• Stap 4: De "Nep-patiënten". De computer maakte 50.000 nep-patiënten die precies dezelfde "drukte" hadden als echte zieke mensen, maar geen ziekte.

  • Het resultaat: De echte klok kon de echte zieke mensen onderscheiden van de nep-patiënten.
  • Conclusie: De "drukte" alleen is niet genoeg om de ziekte te simuleren. Er zit echt een biologisch signaal in.

3. Het Belangrijkste Ontdekte Geheim

Hoewel de klok in dit ene grote academische ziekenhuis (BIDMC) de ziekte echt zag, kwam er een ander, heel belangrijk resultaat naar voren dat in alle ziekenhuizen gold:

De administratie en de artsen praten over twee verschillende werelden.

Als je kijkt naar de cijfers die de overheid gebruikt om ziekenhuizen te beoordelen (op basis van factuurcodes), dan meet je iets heel anders dan wat de artsen in de praktijk zien.

• Vergelijking: Stel dat je een wedstrijd organiseert om de "snelste renners" te vinden. De artsen kijken naar de mensen die hard rennen. De administratie kijkt naar de mensen die een specifiek nummer op hun shirt hebben. Het blijkt dat de mensen met het nummer en de mensen die hard rennen, nauwelijks elkaar overlappen!

Wat betekent dit voor ons?

1. De Klok is eerlijk (in dit ziekenhuis): In dit specifieke, zeer goed uitgeruste ziekenhuis, werken de AI-systemen goed. Ze zien de ziekte, niet alleen de chaos.
2. Maar pas op met de cijfers: De cijfers die we lezen in de krant over "hoeveel mensen sepsis hebben" of "hoe goed ziekenhuizen presteren", zijn vaak gebaseerd op administratieve codes. Die codes meten misschien meer de "administratieve drukte" dan de echte ziekte.
3. Verschil tussen ziekenhuizen: In kleinere ziekenhuizen (zoals in de exploratieve tests) kan het zijn dat de klok wél te veel afhankelijk is van de "drukte", omdat daar minder gedetailleerde medische data beschikbaar is.

Kortom: De computer is slim genoeg om de ziekte te zien, maar we moeten oppassen dat we niet de verkeerde cijfers gebruiken om te oordelen of ziekenhuizen goed werken. Het is alsof we een auto beoordelen op basis van hoe vaak hij in de file staat, in plaats van hoe snel hij kan rijden.

Technische samenvatting

Titel: Falsificatietesten van Sepsis-voorspellingsmodellen: Evaluatie van onafhankelijke biologische signalen na controle voor zorgprocesintensiteit

1. Het Probleem

Automatische vroege waarschuwingssystemen voor sepsis hebben aanzienlijke onderzoeksinvesteringen getrokken en rapporteren vaak hoge prestaties (AUROC > 0,85). Er bestaat echter een fundamentele methodologische zorg die niet rigoureus is onderzocht:

• Biologisch signaal vs. Zorgproces: Detecteren deze modellen daadwerkelijke biologische signalen van sepsis, of leren ze voornamelijk het patroon van "zorgprocesintensiteit" (care-process intensity)? Dit laatste verwijst naar het gedrag van artsen om intensiever te monitoren en te bestellen bij patiënten die al verdacht worden van ziekte. Als modellen alleen dit gedragspatroon leren, bieden ze geen echte vroege waarschuwing, maar bevestigen ze alleen al bestaande klinische verdenkingen.
• Label-instabiliteit: Er wordt gebruikgemaakt van verschillende definities voor sepsis (Sepsis-2, Sepsis-3 en administratieve CMS SEP-1 codes). Het is onduidelijk of deze definities dezelfde patiëntenpopulaties identificeren. Als administratieve codes (gebaseerd op facturatie) fundamenteel verschillen van klinische diagnoses, dan meten AI-modellen getraind op administratieve data mogelijk factureringsgedrag in plaats van ziekte.

2. Methodologie

De studie is een vooraf geregistreerde falsificatiestudie (OSF, 11 maart 2026) die een vierfasig raamwerk toepast om de hypothese te testen dat modellen voornamelijk zorgintensiteit leren.

• Datasets:
  • Primair (Confirmatorisch): MIMIC-IV v3.1 (n=65.241 ICU-opnames, Beth Israel Deaconess Medical Center, 2008-2022).
  • Exploratorisch (Replicatie): eICU-CRD v2.0 (n=136.864, 208 ziekenhuizen), MIMIC-III v1.4 (n=44.091), en PhysioNet/CinC 2019 Challenge (n=40.314).
• Definities: Drie labels werden toegepast: Sepsis-2 (SIRS-gebaseerd), Sepsis-3 (SOFA-gebaseerd) en CMS SEP-1 (ICD-codes).
• Fasen van het Falsificatiekader:
  1. Grondwaarheid-stabiliteit: Berekening van de Jaccard-similariteit tussen de drie definities. Drempel: Gemiddelde Jaccard < 0,50 (wat zou suggereren dat de labels instabiel zijn).
  2. Functie-afhankelijkheid: Vergelijking van de prestaties van een volledig model versus een model dat alleen biologische kenmerken gebruikt (zonder zorgintensiteit-proxy's). Drempel: AUC-daling > 0,15 bij verwijdering van zorgkenmerken.
  3. Universeelheid van Zorgintensiteit: Training van een model uitsluitend op vier proxy-kenmerken voor zorgintensiteit (frequentie van laborders, vitale metingen, verpleegkundige notities en artsorders). Drempel: AUROC > 0,70 voor het "alleen-zorg"-model.
  4. Synthetische Validatie: Generatie van synthetische records die de verdeling van zorgintensiteit nabootsen, met als doel te testen of een discriminator deze kan onderscheiden van echte sepsisgevallen. Drempel: Discriminator AUROC < 0,60 (wat zou betekenen dat zorgpatronen alleen niet genoeg zijn om echte gevallen te simuleren).

3. Belangrijkste Resultaten

A. Primair Resultaat (MIMIC-IV):
De vooraf gespecificeerde hypothese dat modellen voornamelijk zorgintensiteit leren, werd niet bevestigd (0 van de 4 fasen bevestigd).

• Fase 1 (Labels): Sepsis-2 en Sepsis-3 kwamen sterk overeen (Jaccard = 0,903), maar beide klinische definities verschilden sterk van de administratieve CMS SEP-1 codes (Jaccard ≈ 0,32). Dit betekent dat administratieve codering en klinische diagnose grotendeels verschillende patiëntenpopulaties identificeren.
• Fase 2 (Biologisch signaal): Het verwijderen van zorgintensiteitskenmerken had een verwaarloosbaar effect op de prestaties (AUC-daling van slechts 0,003). Het biologische model behaalde een AUROC van 0,898, bijna gelijk aan het volledige model (0,901). Zorgintensiteit was een van de minst belangrijke kenmerken.
• Fase 3 (Zorgintensiteit alleen): Het logistische regressiemodel dat alleen op zorgintensiteit trainde, behaalde een AUROC van 0,660 (onder de drempel van 0,70). Een XGBoost-sensitiviteitsanalyse toonde wel een niet-lineair signaal (AUROC 0,729), maar het primaire lineaire model faalde de drempel.
• Fase 4 (Synthetisch): Synthetische records waren statistisch onderscheidbaar van echte sepsisgevallen (Discriminator AUROC 0,633), wat aangeeft dat zorgpatronen alleen niet de volledige multivariate kenmerken van sepsis kunnen reproduceren.

B. Exploratorische Bevindingen:

• Variatie per Instelling: In het eICU-dataset (veelal gemeenschapsziekenhuizen) was de AUC-daling bij het verwijderen van zorgkenmerken groter (0,076) dan in MIMIC-IV (0,003). Dit suggereert dat "care-process leakage" sterker kan zijn in settings met minder rijke biologische data of andere documentatiepraktijken.
• Consistente Label-instabiliteit: De discrepantie tussen klinische en administratieve definities (Jaccard ≈ 0,20 in multi-centrum cohorts) was robuust over alle datasets heen.

4. Kernbijdragen

1. Empirisch Bewijs voor Biologisch Signaal: De studie levert bewijs dat bij een elite academisch medisch centrum (BIDMC) sepsis-modellen echte biologische signalen detecteren en niet gedomineerd worden door zorgproces-lekkage.
2. Kwantificering van Definities-Discrepantie: De studie toont aan dat administratieve sepsiscodes (CMS SEP-1) systematisch een andere populatie meten dan klinische definities (Sepsis-2/3). De overlap is slechts ongeveer 20-32%.
3. Gereproduceerbaar Falsificatiekader: Het biedt een vooraf geregistreerde, transparante methodologie om toekomstige AI-modellen te testen op bias en validiteit.

5. Betekenis en Implicaties

• Klinische Validiteit: Voor modellen getraind op rijke academische data is de zorg dat ze alleen "artsenvermoeden" voorspellen, minder relevant; ze vangen wel degelijk biologische achteruitgang.
• Beleid en Kwaliteitsmeting: De grote discrepantie tussen klinische en administratieve definities heeft ernstige gevolgen. Kwaliteitsmetingen, vergoedingen (pay-for-performance) en AI-benchmarks die gebaseerd zijn op administratieve ICD-codes meten mogelijk factureringsgedrag in plaats van echte ziekte. Het optimaliseren van deze metrics leidt mogelijk niet tot betere klinische uitkomsten.
• Instelling-afhankelijkheid: De mate van "care-process leakage" lijkt te variëren per type ziekenhuis. Modellen getraind op data van academische centra kunnen niet direct worden gegeneraliseerd naar gemeenschapsziekenhuizen zonder verdere validatie.

Conclusie: Hoewel de primaire falsificatiehypothese (dat modellen alleen zorgintensiteit leren) werd weerlegd in de primaire dataset, is de meest significante bevinding de systematische onverenigbaarheid tussen administratieve en klinische sepsisdefinities. Dit ondermijnt de validiteit van veel bestaande benchmarks en beleidsmaatregelen die op administratieve data zijn gebaseerd.