EHR-MPC: Inference-Time Control for Sepsis Treatment with Generative Patient Digital Twins

Resumen Técnico: EHR-MPC: Control en el Tiempo de Inferencia para el Tratamiento de la Sepsis con Gemelos Digitales de Pacientes Generativos

Planteamiento del Problema

La sepsis sigue siendo una de las principales causas de mortalidad global, aunque las políticas de tratamiento óptimas —particularmente en lo que respecta a la administración de corticosteroides— siguen siendo objeto de controversia. Los enfoques actuales de aprendizaje por refuerzo (RL) para el manejo de la sepsis suelen aprender políticas fijas al entrelazar la dinámica del paciente y los objetivos clínicos durante la fase de entrenamiento. Este acoplamiento limita la adaptabilidad; cambiar los objetivos clínicos (por ejemplo, priorizar la preservación de órganos sobre la estabilidad hemodinámica inmediata) o los entornos de implementación suele requerir el reentrenamiento de todo el modelo. Además, las políticas de RL aprendidas suelen ser difíciles de interpretar, validar o adaptar a contextos clínicos individualizados, lo que genera una desconexión entre el rendimiento retrospectivo y la práctica clínica. El desafío central es desarrollar un marco de toma de decisiones que pueda desacoplar el aprendizaje de la fisiología del paciente de la optimización de las estrategias de tratamiento, permitiendo la adaptación en el tiempo de inferencia ante objetivos evolutivos sin necesidad de reentrenamiento.

Metodología: Marco EHR-MPC

Los autores proponen EHR-MPC (Control Predictivo de Modelo de Registros Médicos Electrónicos), un marco de dos etapas que separa el aprendizaje de la dinámica del paciente de la optimización de las decisiones de tratamiento.

1. Gemelo Digital Generativo del Paciente (Aprendizaje de la Dinámica):

   • Representación de Datos: El sistema ingiere datos de Registros Médicos Electrónicos (EHR) tokenizados de una cohorte de UCI multicéntrica. Los eventos clínicos (signos vitales, laboratorios, intervenciones, demografía) se discretizan en una secuencia de tokens $x_{1:k}$.
   • Arquitectura del Modelo: Un modelo de secuencia generativo (implementado como un transformador) es entrenado para predecir el siguiente token en la secuencia, $p_\theta(x_{t+1} | x_{\le t})$. Este modelo sirve como un "gemelo digital", aprendiendo la distribución condicional de las trayectorias de los pacientes bajo la historia observada.
   • Simulación Contrafáctica: Para evaluar las intervenciones, el modelo realiza "rollouts de forzado de tokens". Secuencias de tratamientos candidatas (por ejemplo, dosis específicas de corticosteroides) se inyectan como tokens de acción en la entrada. El modelo genera entonces de forma autorregresiva estados futuros del paciente, simulando trayectorias contrafácticas bajo estas intervenciones específicas.

2. Control Predictivo de Modelo (Optimización de Decisiones):

   • Planificación en el Tiempo de Inferencia: A diferencia del RL, que produce una política fija, EHR-MPC realiza planificación en el tiempo de inferencia. En cada paso de decisión, el controlador simula múltiples secuencias de intervención candidatas sobre un horizonte finito $h$ utilizando el gemelo digital.
   • Especificación del Objetivo: Se define una función de recompensa $R$ para codificar los objetivos clínicos (por ejemplo, minimizar las puntuaciones SOFA o el riesgo de mortalidad). Crucialmente, esta función de recompensa no está embebida en el modelo durante el entrenamiento. Se especifica en el tiempo de inferencia, lo que permite que el mismo gemelo digital sea optimizado para diferentes objetivos clínicos, potencialmente competitivos, sin reentrenamiento.
   • Selección de Acción: El controlador selecciona la secuencia de acciones que maximiza la recompensa esperada sobre las trayectorias simuladas. Solo se ejecuta la primera acción, tras la cual el sistema observa nuevos datos y repite el proceso de planificación (control de horizonte recesivo).

Contribuciones Clave

• Desacoplamiento de Dinámica y Política: El artículo introduce un cambio de paradigma donde los modelos reutilizables de la dinámica del paciente reemplazan a las políticas fijas como el objeto principal de aprendizaje. Las decisiones de tratamiento se derivan mediante el control en el tiempo de inferencia sobre estos modelos.
• Adaptabilidad en el Tiempo de Inferencia: El marco permite la especificación de nuevos objetivos clínicos y la adaptación a los cambios en los estándares de atención sin reentrenar el modelo generativo subyacente.
• Contrafácticos Interpretables: Al simular explícitamente las trayectorias del paciente bajo intervenciones candidatas, el sistema proporciona a los clínicos pronósticos mecanísticos de la evolución del paciente en lugar de estimaciones de recompensa escalares opacas.
• Marco Generalizable: El enfoque extiende el concepto de modelos fundacionales desde la predicción hacia la planificación, utilizando simuladores de pacientes aprendidos para la toma de decisiones secuenciales.

Resultados Experimentales

El marco fue evaluado en una cohorte de 36,930 pacientes de UCI de 8 hospitales del sistema Mass General Brigham.

• Fidelidad del Gemelo Digital: El modelo generativo demostró un fuerte desempeño en la predicción del siguiente token y en el pronóstico de resultados (por ejemplo, mortalidad, estancia hospitalaria). Exhibió sensibilidad de dosis-respuesta, mostrando disminuciones monotónicas en el riesgo de mortalidad predicho con el aumento de los tokens de corticosteroides en las simulaciones contrafácticas.
• Evaluación Fuera de la Política (Off-Policy): Utilizando Muestreo de Importancia Ponderado (WIS), EHR-MPC logró un desempeño comparable al de las líneas base de redes Q y superó significativamente a las políticas clínicas observadas en la minimización de las puntuaciones SOFA y el riesgo de mortalidad.
• Evaluación Basada en Simulación (On-Policy): Cuando se evaluó mediante rollouts en el simulador del gemelo digital, EHR- máximo de la SOFA y la reducción de la mortalidad.
• Robustez: La ventaja de desempeño de EHR-MPC persistió incluso cuando el modelo de planificación fue desacoplado del modelo de evaluación (utilizando diferentes puntos de control de entrenamiento), lo que sugiere que los resultados no se debieron meramente a la explotación de un modelo de dinámica compartido.
• Divergencia de la Política: EHR-MPC mostró una mayor divergencia de las políticas clínicas observadas en comparación con las redes Q. Notablemente, cuando se optimizó para la reducción de la mortalidad, EHR-MPC recomendó un aumento en el uso de corticosteroides, alineándose más estrechamente con la evidencia reciente de ensayos clínicos aleatorizados (por ejemplo, Annane et al., 2025) que la red Q, que tendía a reducir el uso de esteroides.

Significancia y Reivindicaciones

El artículo afirma que EHR-MPC establece un marco general para la toma de decisiones con modelos clínicos generativos. Su principal significancia radica en desplazar la carga de la optimización del ajuste de la política en el tiempo de entrenamiento hacia la planificación en el tiempo de inferencia. Esto permite:

1. Flexibilidad: Adaptarse a nuevos objetivos clínicos sin reentrenamiento.
2. Reutilización: Un único modelo de dinámica sirviendo para múltiples objetivos clínicos, potencialmente conflictivos.
3. Seguridad e Interpretabilidad: Permitir la evaluación explícita de trayectorias contrafácticas y la incorporación de restricciones de seguridad durante la fase de planificación.

Los autores reconocen limitaciones, particularmente respecto a la fidelidad del gemelo digital aprendido y los desafíos de la evaluación fuera de la política en el cuidado de la salud. Postulan que, si bien los resultados actuales son prometedores, el valor último del marco depende de la mejora continua de la fidelidad del gemelo digital y el desarrollo de métodos de evaluación basados en principios para las políticas de simulación. El trabajo sugiere un camino hacia sistemas de aprendizaje clínico que vayan más allá de la predicción estática hacia una planificación dinámica y consciente de los objetivos.