Can Physician Expertise Improve Machine Learning Identification of Delirium?

Resumen Técnico: ¿Puede la experiencia médica mejorar la identificación del delirio mediante el aprendizaje automático?

Planteamiento del problema
El delirio, una condición neuropsiquiátrica aguda que afecta hasta al 50% de los pacientes ancianos hospitalizados, suele pasar desapercibido en la atención rutinaria. El delirio no tratado conduce a resultados graves, incluyendo el doble de costos de atención médica, mayor mortalidad y un declive cognitivo a largo plazo. Aunque hasta el 40% de los casos son prevenibles mediante programas multicomponentes, estas intervenciones se utilizan poco debido a la falta de protocolos estandarizados y de herramientas de detección temprana escalables. Los modelos de predicción de aprendizaje automático (ML) existentes suelen sufrir limitaciones como la dependencia de datos no recopilados de forma rutinaria (p. ej., evaluaciones cognitivas), baja precisión, el descuido de los datos de texto no estructurados y la susceptibilidad a la deriva del modelo (model drift). Además, los enfoques estándar de aprendizaje automático automatizado (aML) suelen carecer de transparencia (naturaleza de "caja negra"), lo que dificulta la confianza clínica y su adopción.

Metodología: Aprendizaje Automático Interactivo Centrado en el Usuario (UC-iML)
Los autores proponen un marco de Aprendizaje Automático Interactivo Centrado en el Usuario (UC-iML) diseñado para integrar directamente la experiencia médica en el ciclo de vida del desarrollo del ML. A diferencia de los flujos de trabajo tradicionales donde los clínicos solo revisan los modelos finales, este marco emplea un enfoque de "humano en el bucle" (human-in-the-loop) a través de tres etapas iterativas:

1. Adquisición de Requisitos (RA): Los médicos (actuando como "Maestros de la Máquina") colaboran con los desarrolladores para definir las prioridades clínicas. Priorizan características que abarcan desde datos administrativos (p. ej., estancia hospitalaria, disposición de alta), señales clínicas (p. ej., anomalías de laboratorio, ingreso en la UCI) hasta patrones de medicación. El objetivo es priorizar una alta sensibilidad para el cribado en lugar de depender únicamente de la precisión, que puede ser engañosa en conjuntos de datos desbalanceados.
2. Diseño y Prototipado (DP): Esta etapa implica ingeniería de características de múltiples fuentes y refinamiento guiado por médicos. El sistema integra:
   • Datos Administrativos y Clínicos: Códigos ICD-10, signos vitales y resultados de laboratorio (p. ej., sodio, creatinina, WBC).
   • Indicadores Derivados de Texto: Los informes de radiología (TC/RM) se procesan utilizando la frecuencia de término-frecuencia inversa de documento (TF-IDF) y un clasificador de potenciación de gradiente (gradient boosting) para crear un indicador de probabilidad de delirio derivado de texto.
   • Refinamiento por Expertos: Tras un cribado inicial basado en Lasso, los médicos refinan manualmente la retención de características para preservar predictores clínicamente significativos y señales etiológicamente relevantes.
3. Evaluación Centrada en los Maestros de la Máquina (MTCE): Los médicos evalúan los modelos candidatos utilizando un panel interactivo. Los criterios de selección incluyen desempeño de discriminación (F1-score, ROC-AUC), estabilidad temporal (desviación estándar a través de segmentos de tiempo) y calidad de calibración.

Conjunto de Datos y Configuración Experimental
El estudio utiliza el conjunto de datos GEMINI (General Medicine Inpatient Initiative), que comprende 3,862 ingresos hospitalarios etiquetados de seis hospitales de Toronto. Los datos incluyen variables administrativas, resultados de laboratorio, medicamentos e indicadores de texto derivados de radiología.

• Fases: El estudio abarca la Fase 1 (abril 2010–marzo 2015) y la Fase 2 (enero 2018–enero 2020).
• Estrategia de Validación: Se utilizó un enfoque de prueba de retención temporalmente separado. Los datos de la Fase 1 se segmentaron en diez intervalos de 6 meses; los modelos se entrenaron en los primeros nueve y se probaron en el décimo para simular una predicción prospectiva. Una prueba de deriva entre fases evaluó el modelo entrenado en la Fase 1 sobre los datos de la Fase 2.
• Comparadores: El modelo propuesto UC-iML-Delirium se comparó contra:
  • aML-Delirium: Selección de características basada puramente en datos sin intervención médica.
  • Baseline-Delirium: Excluyó las características derivadas de texto y el refinamiento guiado por médicos.
• Algoritmos: Se probaron doce clasificadores, incluyendo GBC (Gradient Boosting Classifier), AdaBoost, Regresión Logística y Random Forest. El GBC fue seleccionado como el mejor desempeño.
• Interpretabilidad: Se utilizaron explicaciones de Shapley Aditivas (SHAP) para cuantificar la atribución de características y asegurar la interpretabilidad clínica.

Result)：

• Desempeño: El marco UC-iML-Delirium demostró una discriminación general superior en comparación con las variantes automatizadas y de referencia. En la prueba de retención prospectiva (Fase 1), el modelo UC-iML basado en GBC logró un F1 score de 0.719, una Precisión de 0.851 y un ROC-AUC de 0.902.
• Robustez Temporal: El modelo UC-iML mostró una estabilidad temporal significativamente más fuerte. A través de ventanas rodantes de 6 meses, el F1 score para UC-iML-GBC fue de 0.701 ± 0.024, en comparación con 0.749 ± 0.136 para aML-Delirium y 0.402 ± 0.046 para Baseline-Delirium.
• Validación Cruzada de Fase: Al probarse en los datos de la Fase 2 (3 a 5 años después), el modelo mantuvo un desempeño robusto (F1 = 0.693 para GBC), aunque subestimó ligeramente la prevalencia del delirio, lo cual es consistente con el aumento del desbalance de clases en el conjunto de datos posterior.
• Importancia de las Características: El análisis SHAP reveló que las variables de ingeniería, particularmente una probabilidad de delirio derivada de texto de los informes de radiología, fueron entre los predictores más fuertes. Otros factores de riesgo principales incluyeron códigos de diagnóstico específicos (p. ej., F05 para delirio en la sala de urgencias), órdenes de antipsicóticos y niveles de lactato.
• Compromisos Clínicos: Si bien el modelo UC-iML logró una mayor recuperación (sensibilidad) y puntuaciones F1, mostró una menor precisión en comparación con el modelo de referencia (Baseline). Los autores señalan que para fines de cribado, se prioriza minimizar los casos perdidos (alta sensibilidad) sobre la precisión.

Significancia y Reivindicaciones
El artículo sostiene que el marco UC-iML es un enfoque práctico de "humano en el bucle" que mejora significativamente la predicción del delirio en comparación con los métodos automatizados estándar. Las contribuciones clave son:

1. Integración de la Experiencia: Demostrar que el refinamiento de características guiado por médicos y la evaluación conducen a modelos con mejor relevancia clínica y robustez temporal que los enfoques puramente basados en datos.
2. Replicabilidad: Establecer un flujo de trabajo replicable para aplicaciones clínicas que equilibra la eficiencia automatizada con la supervisión de expertos en el dominio.
3. Robustez: Mostrar que el modelo mantiene la estabilidad del desempeño a lo largo del tiempo y a través de diferentes cohortes hospitalarias, abordando el problema de la deriva del modelo común en la IA de la salud.
4. Interpretabilidad: Utilizar SHAP para resaltar señales clínicamente significativas (como los indicadores de texto de radiología), fomentando así la confianza entre los clínicos.

Los autores concluyen que ni la ingeniería de características ni la experiencia médica por sí solas lograron resultados comparables; la sinergia de ambas dentro del marco UC-iML es esencial para desarrollar herramientas de detección de delirio que sean fiables y clínicamente accionables. Se sugiere que el trabajo futuro se centre en integrar aún más la experiencia médica y refinar la metodología para una integración clínica más amplia.