Development and temporal validation of an auditable EHR-based risk-ranking pipeline integrating Chinese admission notes and laboratory data for cardiac intensive care: a retrospective cohort study

Resumen Técnico: Desarrollo y Validación Temporal de un Pipeline de Clasificación de Riesgo Basado en EHR con Capacidad de Auditoría para Cuidados Intensivos Cardíacos

Planteamiento del Problema
La estratificación temprana del riesgo en las Unidades de Cuidados Intensivos Cardíacos (CCU) se ve actualmente obstaculizada por la incapacidad de los campos estructurados de la Historia Clínica Electrónica (EHR) para capturar plenamente el contexto clínico documentado en las narrativas de admisión. Aunque las herramientas de riesgo existentes utilizan variables estructuradas, a menudo omiten detalles contextuales críticos, como las trayectorias de los síntomas, las vías de derivación y la inestabilidad percibida por el clínico, presentes en las notas de admisión de texto libre. Además, la definición de resultados adversos en los datos de pacientes hospitalizados chinos se ve complicada por el "Alta Contra el Deseo Médico" (DAMA, por sus siglas en inglés), una categoría heterogénea que puede reflejar enfermedad crítica, limitaciones financieras o una mejoría temprana. Tratar todos los casos de DAMA como equivalentes a la muerte conduce a una clasificación errónea de los resultados. El estudio aborda si las características de las notas de admisión chinas pueden convertirse en variables auditables y basadas en reglas para mejorar la clasificación de riesgos más allá de los datos estructurados por sí solos, refinando al mismo tiempo las definiciones de los resultados mediante la adjudicación clínica.

Metodología
El estudio empleó un diseño de cohorte retrospectivo de centro único que involucró a 1,365 pacientes únicos de CCU admitidos entre 2023 y 2025 en hospitales afiliados al Colegio Médico de Wannan.

• División de la Cohorte: Los pacientes admitidos en 2023–2024 formaron la cohorte de desarrollo ($N=822$), y aquellos admitidos en 2025 sirvieron como la cohorte de validación temporal ($N=536$).
• Definición del Resultado: El resultado primario se definió como muerte intrahospitalaria o DAMA debido a enfermedad crítica/retiro de tratamiento activo. Los casos de DAMA fueron adjudicados clínicamente en tres categorías: enfermedad crítica/retiro, traslado a otro hospital o alta temprana tras mejoría. Solo se incluyó la primera categoría en el resultado primario; los traslados y las altas por mejoría se excluyeron para reducir la clasificación errónea. Se excluyeron dos casos de DAMA no adjudicados, dejando 1,363 pacientes para el análisis.
• Predictores:
  • Datos Estructurados: Variables clínicas (edad, sexo, constantes vitales, vía de admisión, grupo diagnóstico) y valores de laboratorio tempranos (hemoglobina, glóbulos blancos, plaquetas, NLR, SII, BNP, hs-cTnI, hs-CRP, creatinina).
  • Datos No Estructurados: Las notas de admisión (motivo de consulta, historia de la enfermedad actual, antecedentes médicos personales, antecedentes de tabaquismo/alcoholismo) fueron procesadas utilizando un enfoque de Procesamiento de Lenguaje Natural (NLP) basado en reglas. Se utilizaron expresiones clínicas chinas predefinidas para extraer indicadores de características (feature flags) para síntomas específicos (p. ej., dolor torácico, disnea), procedimientos e historial de comorbilidades. También se incluyó la longitud del texto.
• Modelado: Se compararon cuatro modelos utilizando regresión logística con regularización L2:
  1. Modelo clínico.
  2. Modelo Clínico + Laboratorio.
  3. Modelo de características de texto basado en reglas.
  4. Modelo multimodal (integrando los tres anteriores).
     También se probó un modelo exploratorio utilizando TF-IDF a nivel de caracteres.
• Evaluación: El rendimiento se evaluó mediante discriminación (AUC, AUPRC), calibración (intercepto, pendiente, gráficos), análisis de curva de decisión (DCA) y métricas de valor incremental (IDI, cNRI). Se utilizó el remuestreo por bootstrap (1,000 iteraciones) para los intervalos de confianza.

Resultados Clave

• Prevalencia del Resultado: En la cohorte de análisis primario, 115 pacientes (8.4%) experimentaron el resultado primario (muerte o DAMA relacionada con enfermedad crítica).
• Rendimiento de la Validación Temporal:
  • El Modelo Multimodal alcanzó un AUC de 0.726 (IC 95%: 0.656–0.793).
  • El Modelo Clínico + Laboratorio alcanzó un AUC de 0.693 (IC 95%: 0.615–0.768).
  • El Modelo de características de texto basado en reglas por sí solo alcanzó un AUC de 0.602.
• Ganancia Incremental: La adición de características de texto al modelo clínico y de laboratorio resultó en un aumento modesto del AUC de 0.033 (IC 95%: -0.001 a 0.065; bootstrap $P=0.054$). El intervalo de confianza del 95% cruzó el cero, lo que indica que la mejora fue estadísticamente incierta.
• Precisión-Exhaustividad y Calibración: El rendimiento de precisión-exhaustividad (precision-recall) no mostró una ventaja clara para el modelo multimodal. Crucialmente, las pendientes de calibración estuvieron sustancialmente por debajo de 1.0 en todos los modelos en el conjunto de validación temporal, lo que indica que los modelos estaban sobreajustados o produciendo estimaciones de riesgo excesivamente extremas, lo que los hace inadecuados para la comunicación de riesgo absoluto sin recalibración.
• Análisis de Sensibilidad: Las características de texto mostraron una contribución más evidente cuando la definición del resultado incluyó los traslados como eventos adversos (AUC 0.738 frente a 0.694) en comparación con la muerte sola. El modelo no mejoró las predicciones para la estancia hospitalaria prolongada.

Contribuciones Clave

1. Pipeline Auditable: El estudio desarrolló un pipeline de NLP transparente y basado en reglas para el texto clínico en chino que integra datos estructurados de la EHR, resultados de laboratorio y notas de admisión. Este enfoque prioriza la auditabilidad sobre el aprendizaje profundo de "caja negra", lo cual es crítico para la implementación clínica en entornos de centro único con eventos limitados.
2. Adjudicación de Resultados Refinada: La investigación demuestra que la adjudicación clínica de los casos de DAMA mejora significamente la interpretabilidad del punto final. Al distinguir el retiro por enfermedad crítica de los traslados y las altas por mejoría, el estudio creó una definición más clínicamente significativa de los resultados adversos graves.
3. Evaluación de Rendimiento Realista: El documento proporciona una validación temporal rigurosa que destaca las limitaciones de los enfoques multimodales actuales. Muestra explícitamente que, si bien las características de texto añaden discriminación numérica, la ganancia es modesta y la calibración sigue siendo una barrera significativa para el despliegue.

Significancia y Reivindicaciones
Los autores afirman que su trabajo proporciona un marco fundacional y auditable para integrar el texto clínico no estructurado en chino en la estratificación del riesgo. Enfatizan que, aunque el pipeline multimodal mostró una discriminación numéricamente superior a los datos estructurados por sí solos, la ganancia incremental fue modesta y la calibración fue subóptima.

El documento concluye que el modelo actual es apropiado para la clasificación de riesgo relativo (señalar pacientes de alto riesgo para una revisión más cercana) en lugar de para la comunicación de probabilidades de riesgo individual absoluto. Los autores establecen explícitamente que, antes de la implementación clínica, el pipeline requiere:

• Validación externa en cohortes independientes.
• Recalibración logística o actualización del modelo.
• Validación manual independiente de las características derivadas del texto.
• Evaluación prospectiva de los umbrales de decisión y los flujos de trabajo clínicos.

El estudio se posiciona no como una solución desplegable, sino como un paso de generación de hipótesis que demuestra que las características de texto basadas en reglas pueden integrarse en un pipeline de EHR, siempre que se reconozcan las limitaciones respecto a la calibración y la necesidad de una validación rigurosa.