Variability in Automated Sepsis Case Detection: A Systematic Analysis of Implementation Methods in Clinical Data Repositories

Deze systematische review toont aan dat aanzienlijke variatie in methodologische keuzes leidt tot sterk uiteenlopende sepsisdetectiepercentages in dezelfde klinische databases, wat de noodzaak onderstreept voor gestandaardiseerde rapportage en publicatie van broncode om de reproduceerbaarheid te verbeteren.

De kern

De Verborgen Variatie in Sepsis-Detectie: Een Reis door de Data-Wereld

Stel je voor dat je een gigantische bibliotheek hebt vol met medische dossiers van duizenden patiënten die in het ziekenhuis zijn geweest. Wetenschappers gebruiken deze dossiers om te proberen een computerprogramma te bouwen dat sepsis (een levensgevaarlijke bloedvergiftiging) automatisch kan herkennen. Het doel is geweldig: als de computer sepsis ziet, kunnen artsen sneller ingrijpen en levens redden.

Maar in dit onderzoek, gedaan door een team uit Berlijn, ontdekten de auteurs iets verrassends en zorgwekkends. Ze keken naar honderden studies die allemaal hetzelfde doel hadden: sepsis vinden in dezelfde databanken (MIMIC-III en eICU-CRD).

Hier is wat ze vonden, vertaald in een simpel verhaal:

1. Het "Recept" dat niet werkt voor iedereen

Stel je voor dat er één officieel recept is voor het maken van een taart (de definitie van sepsis). Iedere bakker (wetenschapper) krijgt hetzelfde recept en dezelfde ingrediënten (dezelfde patiëntendata).

Je zou denken dat ze allemaal dezelfde taart zouden bakken. Maar in werkelijkheid bakten ze taarten die er totaal anders uitzagen en smaken!

• De ene bakker zei: "Ik gebruik 30% van de patiënten als sepsis-patiënt."
• De andere bakker zei: "Nee, ik gebruik 60%!"
• Een derde zei: "Ik gebruik maar 3%."

Zelfs als ze precies dezelfde patiënten in hun keuken hadden staan, kwamen ze tot heel verschillende conclusies. Waarom? Omdat het recept (de definitie van sepsis) niet exact genoeg was voor de computer. Het gaf aanwijzingen, maar liet veel ruimte voor interpretatie.

2. De Zes "Kooktrucs" die alles veranderen

De auteurs keken naar zes specifieke stappen in het kookproces (de "methodologische domeinen") waar elke bakker zijn eigen trucjes gebruikte. Dit zijn de redenen waarom de taarten zo verschillend waren:

• De Ingrediëntenlijst (Parameter Coverage): Sommige bakkers gebruikten alleen de basiszout en peper, terwijl anderen ook 100 verschillende kruiden gebruikten. In medische termen: welke vitale tekens (zoals bloeddruk of zuurstof) tellen mee?
• Het Tijdsraam (Temporal Windows): Kijk je naar de patiënt gedurende 1 uur, 24 uur of een hele week? Net als bij het wachten op een cake om te rijzen: als je te vroeg kijkt, is hij nog niet klaar; te laat, en hij is verbrand.
• Het Maken van een Gemiddelde (Aggregation): Als een patiënt op één moment een lage bloeddruk had en de rest van de dag normaal, tellen we dat dan als een probleem? Of nemen we het gemiddelde?
• De "Lege" Ingrediënten (Missing Data): Wat doe je als een ingrediënt ontbreekt in het dossier?
  • Truc A: "We doen alsof het normaal was" (missen = gezond).
  • Truc B: "We vullen het in met een schatting."
  • Dit lijkt klein, maar het kan de uitkomst volledig veranderen.
• De Score (SOFA-berekening): Hoe bereken je de "ziekte-score"? Is de basislijn 0, of kijk je naar de laagste score die de patiënt ooit had?
• Het Vinden van de Infectie: Hoe weet je dat er een infectie is? Kijk je naar medicijnen (antibiotica) die gegeven werden, of naar de diagnose in het systeem?

3. De "Geheime Code"

De auteurs gingen nog dieper. Ze keken niet alleen naar de artikelen die de bakkers schreven, maar ook naar hun computercode (de daadwerkelijke instructies die de machine uitvoerde).

Ze ontdekten dat veel artikelen verzwegen hoe ze de taart precies maakten. Ze schreven alleen: "We volgden het recept." Maar in de code (de geheime instructies) bleek dat ze totaal andere keuzes hadden gemaakt.

• Sommige code-bibliotheken werden door andere onderzoekers gekopieerd. Als de eerste bakker een fout maakte of een eigenaardige keuze deed, werd die fout doorgegeven aan tientallen andere studies. Het was alsof iedereen dezelfde slechte taart bakte omdat ze allemaal hetzelfde "kopieer-en-plak"-recept gebruikten.

4. Waarom maakt dit uit?

Stel je voor dat je een auto wilt bouwen die zelf kan rijden. Als de ene ingenieur zegt: "Deze auto stopt bij rood licht" en de andere zegt: "Deze auto stopt bij oranje licht", dan krijg je twee totaal verschillende auto's.

In de medische wereld betekent dit:

• Als we niet weten hoe de computer sepsis heeft gevonden, kunnen we de resultaten niet vergelijken.
• Een model dat in het ene ziekenhuis werkt, kan in het andere ziekenhuis falen.
• We kunnen geen betrouwbare medicijnen of behandelingen ontwikkelen als we niet zeker weten wie we eigenlijk behandelen.

De Conclusie: Een Nieuw Standaardrecept

De boodschap van dit onderzoek is helder: We moeten stoppen met gissen en beginnen met transparantie.

De auteurs pleiten voor twee dingen:

1. Een gedetailleerd kookboek: Elke studie moet precies uitleggen welke "trucs" ze gebruikten bij die zes stappen. Geen geheimen meer.
2. De code delen: Net zoals je een recept deelt, moeten wetenschappers hun computercode openbaar maken, zodat iedereen kan zien en controleren hoe de taart is gemaakt.

Alleen zo kunnen we ervoor zorgen dat wanneer we zeggen "deze patiënt heeft sepsis", we allemaal over dezelfde patiënt praten, en dat de computers die ons helpen, betrouwbaar zijn voor iedereen.

Kortom: We hebben een geweldig recept voor het vinden van sepsis, maar elke bakker gebruikt zijn eigen geheime ingrediënten. Het is tijd om de keuken open te maken en te zorgen dat we allemaal dezelfde, veilige taart bakken.

Technische samenvatting

Probleemstelling

Sepsis is een wereldwijd grote klinische en economische last, met een hoge mortaliteit in intensive care-afdelingen. Hoewel de Sepsis-3-definitie (2016) een gestandaardiseerd klinisch kader biedt (verdachte infectie + acute orgaanfunctiestoornis gemeten via de SOFA-score), leidt de automatische detectie van sepsisgevallen in retrospectieve studies tot aanzienlijke variatie in detectiepercentages.

Ondanks het gebruik van identieke brondata (zoals MIMIC-III en eICU-CRD) en dezelfde theoretische definitie, rapporteren studies detectiepercentages die variëren van 3,4% tot 65,2%. Deze variatie wordt niet veroorzaakt door verschillen in patiëntpopulaties, maar door methodologische heterogeniteit in de computationele implementatie. Veel studies missen gedetailleerde beschrijvingen van hun data-preprocessing, waardoor reproduceerbaarheid onmogelijk is en de validiteit van machine learning-modellen in gevaar komt.

Methodologie

De auteurs voerden een systematische review uit volgens de PRISMA-richtlijnen (publicatiejaren 2016–2024) in PubMed en Web of Science.

• Datasets: De analyse concentreerde zich op twee grote intensive care-databases: MIMIC-III (VS, 2001–2012) en eICU-CRD (VS, 2014–2015). MIMIC-IV en AmsterdamUMCdb werden uitgesloten vanwege overlap of onvoldoende publicaties.
• Selectiecriteria: Uit 396 gescruteerde publicaties werden 64 studies geselecteerd die expliciet SOFA-gebaseerde sepsisdetectie toepasten op deze datasets.
• Data-extractie: De auteurs ontwikkelden een protocol met zes methodologische domeinen (D1-D6) om de implementatie te ontleden:
  1. Parameter coverage (D1): Selectie van klinische parameters en naamvariaties.
  2. Temporale vensters (D2): Tijdsintervallen voor SOFA-berekening en referentiepunt (ICU-toelating vs. infectie-ontstaan).
  3. Aggregatiestrategieën (D3): Omgaan met meerdere metingen binnen een venster (bijv. worst-case vs. gemiddelde).
  4. Handling van ontbrekende data (D4): Imputatiemethoden en fallback-strategieën.
  5. SOFA-berekening (D5): Baseline-aannames (bijv. SOFA=0 vs. dynamische baseline) en componentwijzigingen.
  6. Infectiedetectie (D6): Methoden om infectie te bepalen (ICD-codes vs. antibioticum-cultuur matching).
• Broncode-analyse: Voor studies met beschikbare broncode (12 van de 64) werd de code direct geanalyseerd om verborgen implementatiebeslissingen te identificeren die niet in de publicaties werden vermeld.

Key Contributions

1. Systematische Kwantificering: Eerste studie die de omvang van methodologische heterogeniteit kwantificeert door zowel publicatietekst als broncode te analyseren.
2. Het D1-D6 Framework: Een gestructureerd raamwerk om sepsisdetectie te decomponeren in zes kritieke domeinen, wat een standaard biedt voor toekomstige rapportage.
3. Identificatie van "Black Box" Beslissingen: Door broncode-analyse werden 321 specifieke implementatiebeslissingen geïdentificeerd die variëren tussen studies, zelfs binnen dezelfde onderzoeksgroepen of afhankelijkheidsketens (bijv. repositories die op elkaar bouwen).
4. Ontmaskering van Documentatiekloof: De studie toont aan dat de meeste studies cruciale details (zoals hoe ontbrekende data wordt behandeld of hoe de SOFA-baseline wordt gedefinieerd) niet publiceren, wat reproduceerbaarheid onmogelijk maakt.

Resultaten

• Enorme Variatie in Detectie:
  • MIMIC-III: Detectiepercentages varieerden van 3,4% tot 65,2% (mediaan 26,4%). Zelfs binnen studies die dezelfde populatie (bijv. alle volwassen patiënten zonder extra filters) gebruikten, varieerde het percentage van 16,9% tot 42,2%.
  • eICU-CRD: Variatie van 9,8% tot 47,9% (mediaan 18,7%).
• Documentatiekwaliteit:
  • Alleen 53,1% van de studies rapporteerde details over SOFA-berekening.
  • Slechts 17,2% gaf details over handling van ontbrekende data.
  • Parameter coverage (D1) was bijna nooit in de tekst beschreven en kon alleen via broncode worden vastgesteld.
• Broncode-inzichten:
  • Verschillen in SOFA-baseline: Sommige studies nemen een baseline van 0 aan (absolute SOFA ≥2), terwijl anderen een dynamische baseline gebruiken (stijging van ≥2 ten opzichte van de laagste waargenomen waarde).
  • Ontbrekende data: Strategieën variëren van "zero-imputation" (wat SOFA-scores kunstmatig verlaagt) tot complexe multi-stap imputatie.
  • Infectiedetectie: Variatie tussen antibioticum-cultuur matching (Seymour et al.) en ICD-codes.
  • Afhankelijkheden: Er werd vastgesteld dat veel repositories op elkaar bouwen, wat betekent dat implementatiefouten of specifieke keuzes zich verspreiden door de literatuur ("propagation of implementation decisions").
• Geen Convergentie: Er is geen trend naar convergentie van detectiepercentages over de tijd (2016–2024), wat aangeeft dat bewustwording alleen niet leidt tot standaardisatie.

Significantie en Conclusie

De studie concludeert dat de computationele implementatie de drijvende kracht is achter de variatie in sepsisdetectie, niet de conceptuele definitie zelf. Dit heeft ernstige gevolgen:

1. Reproduceerbaarheid: Machine learning-modellen getraind op verschillend gelabelde cohorts zijn niet direct vergelijkbaar, zelfs als ze vergelijkbare prestatiescijfers rapporteren.
2. Klinische Toepassing: De betrouwbaarheid van klinische beslissingsondersteuningssystemen (CDSS) wordt ondermijnd door deze variabiliteit.
3. Aanbevelingen: De auteurs pleiten voor:
   • Verplichte rapportage van methodologische details over de zes domeinen (D1-D6).
   • Publicatie van versiegecontroleerde broncode.
   • Ontwikkeling van consensus-referentie-implementaties voor veelgebruikte databases.
   • Integratie van sepsis-labelstandaarden in bestaande rapportagerichtlijnen (zoals TRIPOD, CONSORT, STROBE).

Zonder deze standaardisatie blijft de klinische bruikbaarheid van sepsisvoorspellingsmodellen beperkt door implementatievariabiliteit in plaats van modelprestaties. De studie waarschuwt ook dat de recente introductie van SOFA-2 deze complexiteit en heterogeniteit waarschijnlijk zal vergroten als er geen proactieve standaardisatie plaatsvindt.