Cyber-Physical Orchestration of Emergency Department Services Through a Bidirectional Digital Twin and a Deep Reinforcement Learning Agent: Architectural Design, In SilicoValidation, and Critical Analysis of Performance Under Demand Stress

Resumen Técnico: Orquestación Ciber-Física de Servicios de Departamentos de Emergencias

Declaración del Problema
Los departamentos de emergencias (DE) de los hospitales operan como sistemas de colas multiclasificación no estacionarios, donde la demanda estocástica y la capacidad fija a corto plazo crean cuellos de botella que comprometen la seguridad clínica. Si bien los modelos predictivos de Aprendizaje Automático (ML) han demostrado ser superiores a las escalas de triaje manual para anticipar el riesgo clínico y los volúmenes de llegada, rara vez se vinculan operativamente con modelos de ingeniería industrial capaces de traducir esas predicciones en decisiones de despacho ejecutables. La literatura existente suele tratar la predicción y la optimización como fases desacopladas, o depende de disciplinas de servicio estáticas (por ejemplo, Primero en Llegar-Primero en Ser Atendido [FIFO]) que no logran adaptarse a la trayectoria de saturación dinámica del servicio. Este desequilibrio impide que el sistema pase de una gestión reactiva a un modelo predictivo y prescriptivo que pueda mitigar el hacinamiento en tiempo real.

Metodología y Arquitectura
Los autores proponen e implementan una arquitectura ciber-física que integra tres componentes convergentes para cerrar el bucle de predicción–decisión–ejecución–retroalimentación:

1. Gemelo Digital Bidireccional Activo: Implementado sobre un motor de Simulación de Eventos Discretos (DES) (SimPy), el Gemelo Digital mantiene una sincronización bidireccional de alta frecuencia ($\Delta t \le 30$ s) con el DE físico. Ingiere telemetría (colas, ocupación, señales fisiológicas) y envía de vuelta al nivel de decisión conjuntos de escenarios estocásticos (proyecciones de prospección). La simulación utiliza Procesos de Poisson No Homogéneos para las llegadas y distribuciones lognormales para los tiempos de servicio, calibradas con parámetros de la literatura.
2. Agente de Aprendizaje por Refuerzo Profundo (DRL): El problema de despacho dinámico se formaliza como un Proceso de Decisión de Markov (MDP) de 17 dimensiones y 6 acciones.
   • Espacio de Estados: Un vector normalizado que agrega colas por niveles de ESI, ocupación de recursos (camas, salas, imagenología), hora del día, censo total y señales fisiológicas agregadas (saturación de oxígeno, frecuencia cardíaca).
   • Espacio de Acciones: El agente selecciona una de seis políticas de despacho compuestas (por ejemplo, prioridad estricta ESI, refuerzo de casos críticos, vía rápida para casos leves, prioridad de imagenología) en lugar de el enrutamiento de pacientes individuales, reduciendo la dimensionalidad mientras preserva la interpretabilidad clínica.
   • Función de Recompensa: Una función multiobjetivo que pondera el tiempo de espera de pacientes críticos, la estancia media (LOS), la ocupación máxima, el rendimiento (throughput) y un índice de equidad (basado en el coeficiente de Gini de los tiempos de espera entre niveles de severidad).
   • Algoritmo: Un Deep Q-Network (DQN) con experiencia de repetición (experience replay), una red objetivo y pérdida de Huber, entrenado dentro del entorno del Gemelo Digital.
3. Capa de IA Explicable (XAI): Para abordar las barreras de adopción clínica, una capa basada en valores de Shapley (SHAP) traduce las recomendaciones del agente en narrativas diferenciadas por audiencia (clínica vs. gerencial), explicando las covariables que impulsan cada decisión.

El sistema se despliega como un microservicio FastAPI con un ciclo de vida de MLOps, que incluye una ejecución en modo sombra (shadow-mode) donde las recomendaciones se registran pero no se ejecutan automáticamente hasta que se alcanza un umbral de concordancia clínica.

Validación Experimental y Resultados
La validación se realizó mediante replicaciones de Monte Carlo (10 semillas independientes) a través de cuatro políticas de despacho (ESI-FIFO, SRPT, Heurística Compuesta, DQN) y cuatro escenarios operativos (línea base, +40% demanda, -25% recursos, estrés combinado).

• Desempeño Bajo Estrés: Bajo un escenario de estrés de +40% de demanda, la política DQN redujo la ocupación máxima proyectada de 76.2 a 67.4 pacientes (una reducción del 11.5%) en comparación con las políticas estáticas. Esta mejora se logró sin una penalización estadísticamente significativa en la estancia media (98.31 vs. 98.48 min; $p=0.878$) o en el rendimiento.
• Desempeño en Línea Base: Bajo carga nominal, la política adaptativa no mostró una ventaja estadísticamente significativa sobre las disciplinas estáticas, lo cual es consistente con las predicciones de la teoría de colas que indican que la disciplina de servicio tiene un impacto marginal por debajo de la saturación.
• Hallazgos Metodológicos Críticos (Artefactos de Instrumentación):
  • Análisis de la Ley de Little: Un reanálisis utilizando la Ley de Little ($L = \lambda W$) reveló que el censo medio implícito bajo estrés ($\approx 30.6$) excedía la capacidad instalada (25 camas), arrojando un factor de utilización $\rho \approx 1.23$. Esto indicó la ausencia de un mecanismo de "bloqueo de capacidad dura" en la versión actual del Gemelo Digital; la simulación permitió que el flujo de pacientes continuara a pesar de la saturación de recursos. Consecuentemente, la insensibilidad de la estancia media (LOS) a las políticas de despacho fue un artefacto del modelo, no una propiedad del sistema.
  • Degeneración de la Métrica de Equidad: El índice de equidad reportado ($E=0.000$) fue identificado como matemáticamente inalcanzable para cinco clases de severidad (el mínimo teórico es $E=0.20$). Esto se atribuyó a un artefacto de instrumentación donde la métrica devolvía cero por defecto, haciendo que el término de equidad en la función de recompensa fuera operativamente inerte durante el entrenamiento.

Contribuciones Clave
El documento identifica cinco contribuciones distintas:

1. Arquitectónica: Un sistema ciber-físico de tres planos con sincronización bidireccional de alta frecuencia, utilizando el mismo motor de DES tanto para el entrenamiento del agente como para la validación.
2. Formulación: La formalización del despacho dinámico como un MDP que opera sobre políticas compuestas en lugar de pacientes individuales, equilibrando la dimensionalidad con la interpretabilidad.
3. Empírica: La confirmación experimental de que el valor del despacho adaptativo se concentra en regímenes de tráfico pesado, precisamente donde el hacinamiento plantea el mayor riesgo clínico.
4. Metodológica: Un protocolo de validación crítico que somete las métricas del sistema a pruebas de consistencia teórica (Ley de Little, límites del coeficiente de Gini), logrando identificar y exponer con éxito los artefactos de instrumentación que de otro modo serían malinterpretados como hallazgos empíricos.
5. Gobernanza: Un protocolo de despliegue en modo sombra definido que requiere un umbral de concordancia clínica cuantitativo ($\ge 80\%$) antes de la autonomía operativa.

Significancia y Reivindicaciones
Los autores sostienen que la contribución central de su trabajo no reside en los componentes aislados (Gemelos Digitales, DRL, XAI), sino en su convergencia arquitectónica dentro de un sistema de bucle cerrado y auditable. El documento enfatiza un "protocolo de validación crítica" que prioriza la exposición de las fallas del sistema (como la falta de bloqueo de capacidad o métricas degeneradas) sobre la ocultación de las mismas para producir resultados favorables.

Los autores se mantienen modestos respecto al estado actual del sistema, declarando explícitamente que las mejoras observadas en la ocupación máxima deben interpretarse como una mejora en la regulación del censo (reduciendo la relación pico-media) en lugar de una reducción en la estancia media, dado la actual falta de bloqueo de capacidad. Concluyen que el sistema aún no está listo para el despliegue en el mundo real, proponiendo una hoja de ruta de cinco puntos para trabajos futuros que prioriza la implementación de restricciones de capacidad dura, la corrección de la instrumentación de métricas, la expansión del presupuesto de entrenamiento para la convergencia y la realización de validaciones externas con datos reales de hospitales.