Insulin4RL: Real-Time Insulin Management in the Intensive Care Unit for Offline Reinforcement Learning

Resumen Técnico: Insulin4RL

Planteamiento del Problema

El Aprendizaje por Refuerzo Fuera de Línea (Offline Reinforcement Learning o ORL) promete optimizar la toma de decisiones clínicas utilizando datos históricos de Registros Electrónicos de Salud (EHR). Sin embargo, la investigación actual en ORL aplicada a la salud depende en gran medida de conjuntos de datos que han sido discretizados temporalmente en intervalos de tiempo fijos y regulares (por ejemplo, agregando eventos en ventanas de 4 horas). Los autores argumentan que esta discretización crea "representaciones ficticias" de escenarios clínicos complejos, introduciendo un sesgo significativo e incertidumbre respecto a la selección del tamaño de la ventana. En consecuencia, los modelos entrenados y evaluados en tales datos pueden aprender políticas maladaptativas que parecen beneficiosas en el análisis retrospectivo, pero que fallan en el despliegue en el mundo real, donde las intervenciones clínicas ocurren en intervalos naturalmente irregulares. El campo carece de un punto de referencia (benchmark) que preserve la naturaleza estocástica y de tiempo continuo del cuidado clínico, particularmente para tareas críticas de titulación de insulina.

Metodología

Para abordar estas limitaciones, los autores presentan Insulin4RL, un conjunto de datos curado derivado del conjunto de datos MIMIC-IV v3.1. La metodología se centra en preservar la irregularidad natural de los datos clínicos en lugar de forzarlos en contenedores de tiempo fijos.

• Construcción de la Cohorte: El conjunto de datos comprende 12,209 pacientes adultos únicos de la UCI que requieren infusión continua de insulina intravenosa. Un episodio se define como el periodo continuo que rodea una infusión (incluyendo interrupciones), con un margen de 24 horas de datos previos y posteriores a la infusión. Los datos se dividen en 80/10/10 a nivel de paciente para entrenamiento, validación y prueba.
• Representación del Estado: Inspirados en el Estándar de Datos de Eventos Médicos (MEDS), los estados de los pacientes se representan como secuencias puras de tuplas de eventos médicos retrospectivos $(f, t, v)$, donde $f$ es el código de la característica, $t$ es el tiempo transcurrido en minutos y $v$ es el valor. La entrada incluye 140 características que cubren demografía, laboratorios, medicamentos y fisiología. La secuencia se limita a 400 eventos, excluyendo eventos antiguos (>7 días).
• Espacio de Acción y Etiquetas de Decisión: A diferencia de los MDP estándar que asumen acciones de "no hacer nada", Insulin4RL define los puntos de decisión estrictamente en las mediciones registradas de glucosa en sangre. Las acciones se categorizan según el comportamiento del clínico dentro de una ventana específica (5 minutos antes a 30 minutos después de la verificación):
  1. Mantener: Cambio en la tasa de insulina < 0.25 unidades/hr.
  2. Detener: La tasa cae de >0.1 a <0.1 unidades/hr.
  3. Cambiar: La tasa se ajusta por >0.25 unidades/hr (sin detenerse).
     Los cambios que exceden las 5.5 unidades/hr se tratan como valores atípicos (outliers) y se eliminan.
• Marco de Trabajo (Framework): Los autores proponen modelar el entorno como un Proceso de Decisión de Markov Semi-observable (SMDP) de horizonte finito en lugar de un MDP estándar. Esto da cuenta de los tiempos de permanencia variables ($\eta$) entre decisiones y ajusta dinámicamente el factor de descuento ($\gamma^\eta$).
• Experimentos de Referencia (Baselines): Los autores implementaron una arquitectura de modelado de secuencias compartida (embedding de características, 1D-CNN y LSTM) para entrenar:
  • Clonación de Comportamiento (BC): Para imitar el comportamiento del clínico.
  • Aprendizaje Q Implícito (IQL) y Aprendizaje Q Conservador (CQL): Dos algoritmos de ORL de modelo libre (model-free) de vanguardia.
  • Evaluación: Los modelos fueron evaluados mediante la Evaluación Q Ajustada (Fitted Q-Evaluation o FQE) bajo tanto supuestos de MDP estándar ( $\gamma$ fijo) como supuestos de SMDP ( $\gamma^\eta$ dinámico).

Contribuciones Clave

1. Conjunto de Datos Insulin4RL: Un recurso a gran escala que contiene más de 375,000 puntos de decisión con tiempos naturales para la titulación de insulina en la UCI. Es el primer conjunto de datos diseñado explícitamente para evaluar ORL bajo supuestos de muestreo clínico irregulares y realistas.
2. Validación del Marco SMDP: El artículo demuestra que tratar los datos clínicos como un SMDP (preservando la irregularidad temporal) produce resultados de política diferentes en comparación con la discretización de MDP estándar.
3. Protocolo de Evaluación Estandarizado: Los autores proporcionan una evaluación de referencia utilizando FQE y clonación de comportamiento, estableciendo un benchmark para futuras investigaciones en ORL de tiempo continuo en el ámbito de la salud.
4. Recursos Abiertos: El conjunto de datos está alojado en PhysioNet, acompañado de cuadernos de Jupyter y código para reproducir todos los experimentos, incluyendo las transiciones de tensores específicos y metadatos.

Resultados

• Características de la Cohorte: El conjunto de datos incluye 13,652 episodios de infusión distintos con una duración media de 28 horas (máximo 35 días). La cohorte presenta una alta prevalencia de comorbilidades (ej. hipertensión, arritmias cardíacas) y una tasa de supervivencia a 28 días del 91.4%.
• Rendimiento de la Clonación de Comportamiento: El modelo BC logró una alta discriminación para intervenciones activas (AUROC 0.89–0.94) y una precisión razonable en la predicción de ajustes continuos de dosis (Error Absoluto Medio de 0.61 unidades/hr).
• Coherencia del Espacio Latente: La visualización UMAP del espacio de estados aprendido reveló gradientes claros correspondientes a la glucosa en sangre, las tasas de insulina y la duración del episodio. Notablemente, el espacio latente separó naturalmente a los pacientes supervivientes de los no supervivientes, a pesar de que la supervivencia no fue un objetivo de entrenamiento explícito.
• Rendimiento de ORL: Todos los modelos de ORL (IQL y CQL) superaron la línea base de la clonación de comportamiento. Crucialmente, los modelos entrenados y evaluados bajo el marco SMDP lograron los mejores retornos generales, superando a sus contrapartes de MDP. Esta divergencia resalta la sensibilidad de los algoritmos de ORL a los supuestos temporales.

Significado y Reivindicaciones

Los autores afirman que el consenso científico sobre el ORL en la salud está actualmente limitado por la calidad de las prácticas de evaluación, específicamente la dependencia de benchmarks discretizados temporalmente. Al introducir Insulin4RL, pretenden desplazar el enfoque hacia datos clínicos con tiempos realistas.

El artículo sostiene que:

1. Los Supuestos Temporales Importan: Arquitecturas e entradas de modelos idénticas pueden aprender comportamientos óptimos divergentes dependiendo de si se entrenan bajo supuestos de MDP o SMDP.
2. Riesgo de Sobreestimación: El uso generalizado de conjuntos de datos discretizados con intervalos espaciados uniformemente puede llevar a una sobreestimación general de la seguridad y eficacia de los modelos en aplicaciones del mundo real donde los intervalos de decisión son impredecibles.
3. Dirección Futura: El campo requiere más benchmarks de evaluación que representen con precisión el tiempo de decisión. Insulin4RL sirve como banco de pruebas para desarrollar algoritmos de ORL de tiempo continuo y evaluar nuevas metodologías de Evaluación Fuera de la Política (OPE) en entornos de alta dimensionalidad y específicos de la salud.

Los autores concluyen que la adopción de marcos de evaluación de tiempo continuo es un paso necesario hacia una evaluación de modelos de ORL más rigurosa y realista, acercando el campo a las condiciones requeridas para los ensayos clínicos en el mundo real.