Development and temporal validation of an auditable EHR-based risk-ranking pipeline integrating Chinese admission notes and laboratory data for cardiac intensive care: a retrospective cohort study

Technische Samenvatting: Ontwikkeling en Temporele Validatie van een Controleerbare EHR-gebaseerde Risicoranking-pipeline voor de Cardiale Intensive Care

Probleemstelling
Vroege risicostratificatie in de Cardiale Intensive Care Units (CCU's) wordt momenteel belemmerd door het onvermogen van gestructureerde Electronic Health Record (EHR)-velden om de klinische context die in opname-narratieven wordt gedocumenteerd, volledig te vatten. Hoewel bestaande risicotools gebruikmaken van gestructureerde variabelen, missen zij vaak cruciale contextuele details zoals symptoomtrajecten, verwijspaden en door clinici waargenomen instabiliteit die aanwezig zijn in vrije tekst in opnameverslagen. Bovendien wordt de definitie van nadelige uitkomsten in Chinese inpatient-data bemoeilijkt door "Discharge Against Medical Advice" (DAMA), een heterogene categorie die kan wijzen op kritieke ziekte, financiële beperkingen of vroegtijdig herstel. Het behandelen van alle DAMA-gevallen als gelijkwaardig aan overlijden leidt tot misclassificatie van de uitkomst. De studie onderzoekt of Chinese kenmerken uit opnameverslagen kunnen worden omgezet in controleerbare, regelgebaseerde variabelen om de risicoranking te verbeteren bovenop enkel gestructureerde data, terwijl de uitkomstdefinities worden verfijnd door middel van klinische adjudatie.

Methodologie
De studie maakte gebruik van een retrospectief cohortontwerp met één centrum, waarbij 1.365 unieke CCU-patiënten werden betrokken die tussen 2023 en 2025 werden opgenomen in ziekenhuizen verbonden aan Wannan Medical College.

• Cohortverdeling: Patiënten opgenomen in 2023–2024 vormden het ontwikkelingscohort ($N=822$), en patiënten opgenomen in 2025 vormden het temporele validatiecohort ($N=536$).
• Definitie van Uitkomst: De primaire uitkomst werd gedefinieerd als overlijden in het ziekenhuis of DAMA vanwege kritieke ziekte/staken van actieve behandeling. DAMA-gevallen werden klinisch geadjudiceerd in drie categorieën: kritieke ziekte/staken van behandeling, overplaatsing naar een ander ziekenhuis, of vroegtijdige ontslag na verbetering. Alleen de eerste categorie werd opgenomen in de primaire uitkomst; overplaatsingen en ontslagen na verbetering werden uitgesloten om misclassificatie te verminderen. Twee niet-geadjudiceerde DAMA-gevallen werden uitgesloten, waardoor 1.363 patiënten overbleven voor analyse.
• Predictoren:
  • Gestructureerde Data: Klinische variabelen (leeftijd, geslacht, vitale functies, opnameroute, diagnostische groep) en vroege laboratoriumwaarden (hemoglobine, WBC, bloedplaatjes, NLR, SII, BNP, hs-cTnI, hs-CRP, creatinine).
  • Ongestructureerde Data: Opnameverslagen (hoofdklacht, huidige ziektegeschiedenis, voorgeschiedenis, rook-/drinkgedrag) werden verwerkt met behulp van een regelgebaseerde Natural Language Processing (NLP) benadering. Predefinieerde Chinese klinische expressies werden gebruikt om feature-flags te extraheren voor specifieke symptomen (bijv. pijn op de borst, dyspneu), procedures en comorbiditeiten. Tekstlengte werd eveneens meegenomen.
• Modellering: Vier modellen werden vergeleken met behulp van L2-geregulariseerde logistische regressie:
  1. Klinisch model.
  2. Klinisch + Laboratorium model.
  3. Regelgebaseerd tekst-feature model.
  4. Multimodaal model (integratie van alle drie).
     Een exploratief model met behulp van character-level TF-IDF werd eveneens getest.
• Evaluatie: Prestaties werden beoordeeld via discriminatie (AUC, AUPRC), kalibratie (intercept, helling, plots), decision curve analysis (DCA) en incrementele waardemetrieken (IDI, cNRI). Bootstrap-resampling (1.000 iteraties) werd gebruikt voor betrouwbaarheidsintervallen.

Belangrijkste Resultaten

• Prevalentie van Uitkomst: In de primaire analysecohort ervoeren 115 patiënten (8,4%) de primaire uitkomst (overlijden of DAMA gerelateerd aan kritieke ziekte).
• Prestaties van Temporele Validatie:
  • Het Multimodale model behaalde een AUC van 0,726 (95% BI: 0,656–0,793).
  • Het Klinisch + Laboratorium model behaalde een AUC van 0,693 (95% BI: 0,615–0,768).
  • Het Regelgebaseerde tekst-feature model alleen behaalde een AUC van 0,602.
• Incrementele Winst: De toevoeging van tekstfeatures aan het klinische en laboratoriummodel resulteerde in een bescheiden stijging van de AUC van 0,033 (95% BI: -0,001 tot 0,065; bootstrap $P=0,054$). Het 95% betrouwbaarheidsinterval kruiste nul, wat aangeeft dat de verbetering statistisch onzeker was.
• Precisie-Recall en Kalibratie: De precision-recall prestaties vertoonden geen duidelijk voordeel voor het multimodale model. Cruciaal was dat de kalibratiehellingen aanzienlijk onder de 1,0 lagen in alle modellen in de temporele validatieset, wat erop wijst dat de modellen overfitten of te extreme risicoschattingen produceerden, waardoor ze ongeschikt zijn voor absolute risicocommunicatie zonder recalibratie.
• Sensitiviteitsanalyses: De tekstfeatures toonden een meer evidente bijdrage wanneer de uitkomstdefinitie overplaatsingen als nadelige gebeurtenissen bevatte (AUC 0,738 vs. 0,694) vergeleken met enkel overlijden. Het model verbeterde de voorspellingen voor een verlengde ligduur niet.

Kernbijdragen

1. Controleerbare Pipeline: De studie heeft een transparante, regelgebaseerde NLP-pipeline ontwikkeld voor Chinese klinische tekst die gestructureerde EHR-data, laboratoriumresultaten en opnameverslagen integreert. Deze aanpak geeft prioriteit aan controleerbaarheid boven "black-box" deep learning, wat cruciaal is voor klinische implementatie in single-center settings met beperkte events.
2. Verfijnde Uitkomstadjudatie: Het onderzoek toont aan dat het klinisch adjuderen van DAMA-gevallen de interpreteerbaarheid van het eindpunt aanzienlijk verbetert. Door het onderscheid te maken tussen kritieke ziekte-gerelateerde terugtrekking en overplaatsingen en ontslagen na verbetering, creëerde de studie een klinisch meer betekenisvolle definitie van ernstige nadelige uitkomsten.
3. Realistische Prestatiebeoordeling: Het artikel biedt een rigoureuze temporele validatie die de beperkingen van huidige multimodale benaderingen benadrukt. Het toont expliciet aan dat hoewel tekstfeatures numeriek hogere discriminatie bieden, de winst bescheiden is en kalibratie een significante barrière blijft.

Betekenis en Claims
De auteurs beweren dat hun werk een fundamenteel, controleerbaar kader biedt voor de integratie van ongestructureerde Chinese klinische tekst in risicostratificatie. Zij benadrukken dat hoewel de multimodale pipeline numeriek een hogere discriminatie vertoonde dan gestructureerde data alleen, de incrementele winst bescheiden was en de kalibratie suboptimaal was.

Het artikel concludeert dat het huidige model geschikt is voor relatieve risicoranking (het signaleren van hoog-risico patiënten voor nauwere controle) in plaats van voor het communiceren van absolute individuele risicokansen. De auteurs stellen expliciet dat vóór klinische implementatie de pipeline het volgende vereist:

• Externe validatie in onafhankelijke cohorten.
• Logistische recalibratie of modelupdate.
• Onafhankelijke handmatige validatie van de uit de tekst afgeleide features.
• Prospectieve evaluatie van beslissingsdrempels en klinische workflows.

De studie positioneert zichzelf niet als een inzetbare oplossing, maar als een hypothese-genererende stap die aantoont dat regelgebaseerde tekstfeatures geïntegreerd kunnen worden in een EHR-pipeline, mits de beperkingen met betrekking tot kalibratie en de noodzaak voor rigoureuze validatie worden erkend.