Learning Dynamic Representations and Policies from Multimodal Clinical Time-Series with Informative Missingness

1. El Problema: Datos Clínicos Multimodales y MNAR

El trabajo aborda el desafío de aprender representaciones dinámicas de pacientes y políticas de tratamiento óptimas a partir de registros de salud electrónicos (EHR) multimodales. Estos registros incluyen:

• Datos estructurados: Signos vitales y resultados de laboratorio.
• Datos no estructurados: Notas clínicas y textos médicos.

El núcleo del problema radica en la naturaleza de los datos faltantes. En entornos clínicos, la ausencia de datos no es aleatoria (Missing Not At Random - MNAR). La probabilidad de que una medición se registre o que una nota se escriba depende intrínsecamente del estado latente del paciente (su gravedad) y de las decisiones de los médicos.

• Patrones informativos: Un paciente más grave tiende a tener monitoreo más denso (más datos estructurados) y actualizaciones de notas más frecuentes (burstiness en texto). Ignorar estos patrones de observación implica perder información crítica sobre la severidad del paciente.
• Diferencias entre modalidades: Los mecanismos de generación de datos difieren. Los signos vitales son rutinarios, los laboratorios requieren órdenes y las notas dependen del comportamiento de documentación del médico.
• Limitaciones de trabajos previos: Los métodos existentes a menudo tratan la falta de datos como un problema de imputación o ignoran la dinámica temporal de los patrones de observación en entornos multimodales, lo que limita la capacidad de aprender políticas de tratamiento secuenciales efectivas.

2. Metodología: OPL-MT-MNAR

Los autores proponen OPL-MT-MNAR (Off-Policy Learning under Multimodal Observations with Temporal Missing-Not-At-Random Patterns), un marco de aprendizaje en dos etapas que combina codificación multimodal, filtrado bayesiano y aprendizaje por refuerzo offline.

Etapa 1: Aprendizaje de Representación del Estado del Paciente

El objetivo es aprender un estado latente $s_h$ que capture la dinámica de salud y los efectos acumulados de tratamientos pasados, utilizando observaciones parciales.

1. Codificador Multimodal con Conciencia MNAR:

   • Datos Estructurados: Utiliza una extensión de GRU-D (Gated Recurrent Units-Decay). Introduce factores de decaimiento aprendidos para las entradas y el estado oculto basados en el tiempo transcurrido desde la última observación. Además, incorpora características explícitas de MNAR (conteo acumulado de observaciones, tasas de falta y frecuencia de ventanas) para capturar la intensidad del monitoreo.
   • Datos de Texto: Introduce un factor de proceso de documentación ($F^{doc}_h$). Este factor se actualiza en cada paso de tiempo basándose en la presencia de notas, la recencia y la densidad de documentación reciente. No usa el contenido semántico del texto, sino el patrón de documentación.
   • Fusión: Se utiliza un mecanismo de atención cruzada para alinear el texto con los datos estructurados. Luego, un mecanismo de "puerta" (gating) adapta la fusión basándose en el factor de proceso de documentación, permitiendo al modelo distinguir entre ausencia de texto, texto desactualizado y actualizaciones recientes.

2. Estado de Creencia Latente (Filtrado Bayesiano):

   • Se introduce un estado latente $z_h$ aprendido mediante inferencia variacional (VAE).
   • Dinámica Condicionada a la Acción: A diferencia de modelos anteriores, la transición del estado latente $z_{h+1}$ depende explícitamente de la acción de tratamiento $a_h$ tomada en el paso anterior.
   • Justificación Teórica: El artículo demuestra teóricamente que sin esta dependencia de la acción, el gradiente de la política para recompensas futuras se anula en configuraciones offline, haciendo imposible aprender que las intervenciones tempranas afectan los resultados a largo plazo.

3. Estado Posterior: El estado final del paciente $s_h$ se combina a partir de la representación unificada de las observaciones ($\phi_h$) y el estado de creencia latente ($z_h$). Se utiliza una pérdida de reconstrucción para asegurar que el estado aprendido preserve la información de los patrones MNAR.

Etapa 2: Optimización de Políticas y Predicción de Resultados

• Optimización de Políticas Offline: Se utiliza Implicit Q-Learning (IQL). Se aprenden funciones de valor (Q y V) sin consultar acciones fuera de distribución, y se extrae una política mediante clonación de comportamiento ponderada por la ventaja.
• Predicción de Resultados: Se entrena simultáneamente un cabezal de predicción para resultados clínicos (ej. mortalidad después de 72 horas). El aprendizaje conjunto permite una transferencia positiva: la predicción de resultados proporciona una señal de supervisión más directa y menos ruidosa para aprender el estado $s_h$, mientras que la RL optimiza la secuencia de decisiones.

3. Contribuciones Clave

1. Modelado Explícito de MNAR Temporal: El marco es el primero en modelar explícitamente cómo los patrones de observación (tanto en datos estructurados como en texto) evolucionan temporalmente y son informativos sobre el estado del paciente en un entorno multimodal.
2. Factor de Proceso de Documentación: La introducción de un factor latente que captura el comportamiento de documentación del médico (frecuencia, recencia) sin depender del contenido del texto, mejorando la fusión multimodal.
3. Dinámica Latente Condicionada a la Acción: La demostración teórica y práctica de que la dinámica del estado latente debe depender de la acción para permitir el aprendizaje de políticas óptimas en entornos offline con recompensas terminales.
4. Aprendizaje Conjunto: La integración de la optimización de políticas y la predicción de resultados para mejorar la calidad de la representación del estado.

4. Resultados Experimentales

El marco se evaluó en tres conjuntos de datos de UCI: MIMIC-III, MIMIC-IV y eICU, centrándose en cohortes de sepsis con pasos de decisión de 4 horas durante las primeras 72 horas.

• Optimización de Políticas (FQE - Fitted Q-Evaluation):

  • En MIMIC-III, OPL-MT-MNAR alcanzó un FQE de 0.679, superando significativamente al comportamiento de los médicos (0.528) y a otros métodos de RL (como MedDreamer con 0.583).
  • Los resultados se mantuvieron consistentes en MIMIC-IV (0.634 vs 0.521) y eICU (0.604 vs 0.534).
  • Análisis de Texto: La inclusión de notas de enfermería (alta frecuencia) y texto diagnóstico (baja frecuencia) mejoró sustancialmente el rendimiento. El modelo completo superó al modelo solo estructurado en un 18.3% en FQE.

• Predicción de Resultados:

  • Para la predicción de mortalidad hospitalaria después de 72 horas en MIMIC-III, el modelo alcanzó un AUROC de 0.886, superando a baselines fuertes como GRU-D (0.844) y MedDreamer (0.867).

• Análisis de Subgrupos:

  • Las mejoras fueron más pronunciadas en pacientes de alta acuidad (SOFA > 10), donde los patrones de observación y documentación son más informativos. En este grupo, el modelo propuesto logró un FQE de 0.344 frente a 0.192 del comportamiento clínico.

5. Significado e Impacto

Este trabajo es significativo porque cambia el paradigma de tratar los datos faltantes en medicina como un ruido a ser imputado, a considerarlos como señales informativas sobre la gravedad del paciente y el comportamiento clínico.

• Mejora en la Toma de Decisiones: Al capturar la dinámica latente condicionada a la acción y los patrones de observación, el modelo aprende representaciones de pacientes más precisas, lo que conduce a políticas de tratamiento más seguras y efectivas, especialmente en pacientes críticos.
• Generalización: La capacidad de transferir el aprendizaje entre diferentes instituciones (MIMIC a eICU) y modalidades de texto demuestra la robustez del enfoque.
• Marco Reproducible: El código y los materiales están disponibles públicamente, facilitando la investigación futura en RL clínico y datos faltantes.

En resumen, OPL-MT-MNAR establece un nuevo estado del arte en el aprendizaje de políticas clínicas offline al integrar rigurosamente la naturaleza endógena de los datos faltantes multimodales en el proceso de aprendizaje de representaciones.