From Code to Critical Care Time: Implementing an AI-Driven ICU Length-of-Stay Clinical Decision Support System Under European Governance Constraints

Resumen Técnico: Del Código a los Cuidados Críticos

Planteamiento del Problema
Los modelos de aprendizaje automático (ML) en cuidados críticos frecuentemente demuestran una sólida precisión retrospectiva, pero no logran aportar un valor sostenido en la práctica clínica rutinaria. Esta "brecha de traslación" es particularmente pronunciada en los hospitales europeos, donde la estricta protección de datos (RGPD), los protocolos de seguridad informática y los requisitos operativos de seguridad crítica condicionan las arquitecturas de sistemas, los ciclos de actualización y el acceso a los resultados de los modelos. El desafío específico abordado es el despliegue de un Sistema de Soporte a la Decisión Clínica (CDSS) impulsado por IA para predecir la Estancia Hospitalaria (LoS) en la Unidad de Cuidados Intensivos (UCI) dentro de estas restricciones de gobernanza, sin desestabilizar las operaciones existentes del Sistema de Información Hospitalaria (HIS).

Metodología
Los autores llevaron a cabo un estudio de implementación prospectivo de centro único en una UCI quirúrgica de un hospital universitario alemán. El estudio se adhirió a los principios TRIPOD+AI con un enfoque en la implementación sociotécnica.

• Arquitectura y Gobernanza: Para cumplir con los requisitos locales de seguridad informática y protección de datos, el CDSS se desplegó como un sistema offline en portátiles de planta aislados de la red (air-gapped). No se integró directamente en el HIS. Los datos fueron extraídos y pseudonimizados a través del Centro de Integración de Datos Médicos (MeDIZ) local, procesados en un entorno de computación on-premises y devueltos como artefactos del modelo y un listado de pacientes offline actualizado una vez al día.
• Flujo de Trabajo y Roles: El sistema se integró en las rondas matutinas y los turnos nocturnos. Los residentes visualizaron los resultados de la IA y registraron sus propias estimaciones de LoS ($n=136$). Los médicos adjuntos permanecieron ciegos a los resultados de la IA para prevenir el sesgo de automatización y proporcionaron estimaciones independientes y ciegas ($n=162$). Los resultados de la IA se registraron para todos los casos desplegados ($n=221$).
• Versiones Iterativas:
  • Versión 1: Mostraba una única predicción de LoS.
  • Versión 2: Actualizó el modelo subyacente y añadió un panel de explicabilidad compacto basado en TreeSHAP para facilitar la verificación rápida de la plausibilidad y la discusión interdisciplinaria.
• Métricas de Evaluación:
  • Rendimiento: Se compararon los errores absolutos (Error Absoluto Medio - MAE) entre versiones utilizando pruebas de Mann–Whitney U. Las estimaciones de los adjuntos sirvieron como punto de referencia.
  • Factores Humanos: 11 médicos completaron la Evaluación Psicológica de Soporte de Decisión basado en IA (PAAI) para evaluar la utilidad, facilidad de uso, comprensibilidad, irritación y carga de trabajo.
  • Ética Integrada: Un especialista en ética participó durante todo el proyecto, realizando investigación cualitativa y entrevistas en profundidad para identificar puntos ciegos éticos (p. ej., sesgo algorítmico) e informar el diseño del sistema, la incorporación y la comunicación.

Resultos Clave

• Factibilidad e Impacto en el Flujo de Trabajo: El despliegue offline fue factible, pero introdujo una carga de coordinación específica conocida como "deriva del listado" (roster drift). Debido a que el listado de pacientes se actualizaba solo una vez al día, presentaba un desfase respecto a los cambios en tiempo real del censo de la planta, lo que requería que los clínicos cotejaran los datos en vivo e ignoraran las entradas desactualizadas. Esto desplazó la carga de integración de la informática hacia la coordinación clínica.
• Mejoras de Rendimiento: La transición de la Versión 1 a la Versión 2 resultó en reducciones estadísticamente significativas en el error de predicción:
  • IA Sola: El MAE disminuyó de 5.80 (V1) a 4.92 (V2) ($p<0.05$).
  • Residentes + IA: El MAE disminuyó de 6.18 (V1) a 3.84 (V2) ($p<0.05$).
• Factores Humanos y Ética: La encuesta PAAI identificó tres arquetipos de usuario distintos: usuarios entusiastas, usuarios bajo presión de tiempo (donde el coste de interacción predominaba) y escépticos pragmáticos. El enfoque de ética integrada logró operacionalizar la responsabilidad y la transparencia, con el panel TreeSHAP permitiendo a los clínicos justificar el descarte de los resultados de la IA cuando estos conflictaban con las trayectorias clínicas, reforzando así la evaluación crítica sobre la aceptación acrítica.

Contribuciones Clave

1. La Gobernanza como Parámetro de Diseño: El estudio demuestra que las restricciones de gobernanza (arquitectura offline) dictan directamente la dinámica del flujo de trabajo, creando costes de coordinación específicos (deriva del listado) que deben anticiparse y mitigarse junto con las métricas de precisión.
2. Actualización Iterativa en el Campo: El estudio valida que las actualizaciones iterativas del modelo, apoyadas por una comparación continua con las estimaciones de los adjuntos, pueden mejorar mensurablemente tanto el rendimiento del modelo como la colaboración humano-IA en un entorno clínico real.
3. Ética Operacionalizada: La investigación muestra que integrar un especialista en ética puede traducir preocupaciones éticas abstractas (equidad, consentimiento, transparencia) en características concretas del sistema, tales como interfaces de explicabilidad y mensajes de incorporación específicos que gestionan las expectativas del usuario respecto a la incertidumbre.
4. Heterogeneidad del Usuario: Los hallazgos destacan que la adopción de la IA no es uniforme; una implementación exitosa requiere estrategias diferenciadas que acomoden los distintos niveles de confianza, presión de tiempo y escepticismo entre el personal clínico.

Significancia y Reivindicaciones
El artículo se posiciona como un informe de implementación temprano más que como un ensayo clínico definitivo. Su principal significancia radica en sacar a la luz los "costes impulsados por la gobernanza" y las realidades sociotécnicas del despliegue de IA en la atención sanitaria europea. Los autores sostienen que la traslación exitosa de la IA del código a los cuidados críticos requiere:

• Co-diseño del Flujo de Trabajo: Anticipar el trabajo de coordinación creado por la integración offline o restringida.
• Explicabilidad Compacta: Utilizar herramientas como TreeSHAP no solo para la validación del modelo, sino para apoyar el "permiso para discrepar" y una adopción responsable.
• Integración Ética: Traducir las preocupaciones éticas en arquitectura y prácticas de comunicación para construir una confianza sostenida.

Los autores concluyen que, si bien el estudio tiene las limitaciones de ser de un solo centro, la falta de una evaluación formal de resultados derivados y la naturaleza pragmática de sus comparaciones de versiones, proporciona un plano para abordar la brecha de traslación. Se sugiere que el trabajo futuro se centre en mitigar la deriva del listado y en evaluar el impacto a largo plazo de la incorporación informada éticamente.