Benchmarking Machine Learning Architectures for Antimicrobial Stewardship in Pediatric ICUs

Technische Samenvatting: Benchmarken van Machine Learning-architecturen voor Antimicrobiële Stewardship in Pediatrische IC's

Probleemstelling
Antimicrobiële resistentie vormt een kritieke wereldwijde bedreiging, wat effectieve Antimicrobiële Stewardship (AMS)-programma's vereist om onnodige blootstelling aan antibiotica te verminderen. In Pediatrische Intensive Care Units (PICU's) leidt klinische onzekerheid vaak tot de standaardinitiatie van breedwerkende antibiotica, wat bijdraagt aan overgebruik en langetermijnresistentie. Hoewel Machine Learning (ML) is voorgesteld om AMS te ondersteunen door interventiemogelijkheden te voorspellen op basis van data uit Elektronische Gezondheidsdossiers (EHR), heeft eerder werk zich grotendeels gericht op volwassen populaties en statische tabulaire representaties. Er is een aanzienlijke lacune in het begrijpen hoe AMS-interventies in pediatrische settingen effectief gemodelleerd kunnen worden, waar data heterogener en schaarser is. Bovendien is het nog onduidelijk welke interventiedoelen het meest informatief zijn en welke modelleringbenaderingen (tabulair versus temporair) de klinische structuur van stewardship-beslissingen het beste vastleggen.

Methodologie
De auteurs presenteren een systematische benchmarkstudie die ML-architecturen evalueert voor het voorspellen van AMS-interventies in PICU's. De studie maakt gebruik van twee distincte cohorten: een publieke dataset (PIC, van het Kinderziekenhuis van de Universiteit van Zhejiang) en een privé-institutionele dataset.

• Voorspellingssituatie: De taak is geformuleerd als een patiënt-dag classificatieprobleem. Aan het begin van elke dag met actieve antibioticatherapie voorspelt het model of er binnen de daaropvolgende 24 uur een stewardship-interventie zal plaatsvinden.
• Doelen: Vier klinisch relevante proxy-doelen worden gedefinieerd op basis van retrospectieve voorschrijfdata:
  1. Omschakeling van IV naar oraal: Overgang van intraveneuze naar niet-intraveneuze formulering.
  2. De-escalatie: Overschakelen naar een antibioticum met een strikt smaller spectrum (gebaseerd op de Antibiotic Spectrum Index).
  3. Stopzetting: Beëindiging van de therapie vóór ontslag zonder onmiddellijke hervatting.
  4. Kortdurende therapie: Totale antibioticaduur tussen 24 en 96 uur (exclusief profylactische cefazoline), dienend als proxy voor potentieel overtreatment.
• Data-representatie: De studie vergelijkt drie temporele resoluties:
  1. 24-uurs (Tabulair): Samenvattende statistieken (min, max, gemiddelde, aantal) van dynamische variabelen geaggregeerd over de voorgaande dag.
  2. 1-uurs (Geaugmenteerd): Uurlijkse bakken van de laatste 24 uur gecodeerd via een Convolutional Neural Network (CNN) en samengevoegd met de 24-uurs kenmerken.
  3. Irregulier (Grafisch): Native, onregelmatig bemonsterde EHR-data verwerkt zonder discretisatie.
• Modelklassen: Drie klassen van modellen worden geëvalueerd binnen een unificerend raamwerk:
  • Tabulaire Modellen: Logistische Regressie, LightGBM, MLP en TabPFN.
  • Sequentie-gebaseerde Temporele Modellen: GRU, LSTM, TCN, Transformer en State Space Models (SSM/Mamba-geïnspireerd). Zowel Single-Task Learning (STL) als Multi-Task Learning (MTL) configuraties worden getest.
  • Grafisch-gebaseerde Temporele Modellen: RAINDROP, dat multivariate tijdreeksen modelleert als een graaf over variabelen.
• Evaluatie: Modellen worden geëvalueerd aan de hand van AUROC, F1-score en het Oppervlak onder de Precision-Recall Curve (AUPRC). Calibratie wordt eveneens beoordeeld om de betrouwbaarheid van waarschijnlijkheidsschattingen te bepalen.

Belangrijkste Resultaten

• Doelprevalentie drijft prestaties: Modelprestaties worden primair bepaald door doelprevalentie en data-karakteristieken in plaats van modelcomplexiteit. Zeldzame doelen (bijv. omschakeling van IV naar oraal, voorkomend in <1% van de gevallen) leveren slechte precisie-recall-prestaties op ondanks hoge AUROC-scores, wat de beperkingen van AUROC in onbalans klinische settingen benadrukt.
• Temporele modellering voordelen: Sequentie-gebaseerde modellen bieden verbeteringen in de precisie-recall afweging (AUPRC en F1) ten opzichte van tabulaire benaderingen, vooral voor meer voorkomende doelen zoals de-escalatie en kortdurende therapie. Deze winsten zijn echter bescheiden bij de overstap van 24-uurs geaggregeerde data naar fijnere 1-uurs temporele resoluties.
• Calibratie-afweging: Er bestaat een aanzienlijke afweging tussen discriminatie en calibratie. Hoewel complexe sequentie- en grafisch-gebaseerde modellen vaak betere rangschikkingsprestaties behalen, zijn ze consistent minder goed gekalibreerd dan eenvoudigere tabulaire modellen (met name LightGBM). Tabulaire modellen produceren betrouwbaardere waarschijnlijkheidsschattingen, wat cruciaal is voor klinische besluitvorming.
• Multi-Task Learning (MTL): Het gezamenlijk modelleren van gerelateerde stewardship-taken levert slechts marginale verbeteringen op ten opzichte van single-task learning. Dit suggereert dat de gedeelde voorspellende structuur over verschillende interventietypen (bijv. de-escalatie versus stopzetting) zwak is, en dat taakspecifieke modellering nog steeds de voorkeur verdient.
• Beperkingen van grafisch-gebaseerde modellen: Het grafisch-gebaseerde model (RAINDROP) vertoonde onderprestaties ten opzichte van sequentiemodellen, wat suggereert dat de aanpak voor het modelleren van onregelmatige bemonstering de dagelijkse patronen in deze specifieke context niet volledig vastlegde.

Betekenis en Claims
Het artikel claimt de eerste systematische, cross-cohort evaluatie van AMS-interventievoorspelling specifiek voor pediatrische populaties te bieden. De primaire betekenis ligt in het bieden van praktische richtlijnen voor het ontwikkelen van betrouwbare Klinische Beslissingsondersteuningssystemen (CDSS) voor AMS:

1. Doelselectie is cruciaal: Standaard volwassen doelen (zoals omschakeling van IV naar oraal) kunnen in pediatrische settingen onderbenut of zeldzaam zijn, wat de definitie van pediatrisch-specifieke proxies zoals kortdurende therapie noodzakelijk maakt.
2. Modelcomplexiteit versus nut: Het vergroten van modelcomplexiteit (bijv. het gebruik van diepe temporele modellen) garandeert geen superieure prestaties. Eenvoudigere tabulaire modellen bieden vaak betrouwbaardere waarschijnlijkheidsschattingen (calibratie), wat essentieel is voor het vertrouwen van de klinicus.
3. Temporele representatie: Hoewel fijnere temporele resolutie incrementele winsten biedt, wordt het merendeel van het voorspellende signaal vastgelegd door geaggregeerde dagelijkse kenmerken.
4. Evaluatiemetingen: De studie benadrukt dat AUROC alleen onvoldoende is voor het evalueren van klinisch nut; metrieken zoals AUPRC en calibratie zijn informatiever voor beslissingsondersteunende tools.

De auteurs concluderen dat voor PICU AMS-interventievoorspelling, doeldefinitie, temporele representatie en calibratie even cruciaal zijn als modelkeuze, en dat het alleen vergroten van modelcomplexiteit onvoldoende is voor het bouwen van betrouwbare klinische beslissingsondersteuningssystemen. De code voor de studie is publiek beschikbaar gesteld om reproduceerbaarheid te waarborgen.