Resumen Técnico: Soporte de Decisiones para Ventiladores con Múltiples Agentes y Humano en el Bucle mediante Aprendizaje de Preferencias con Banditos Contextuales

1. Declaración del Problema

La ventilación mecánica en la Unidad de Cuidados Intensivos (UCI) requiere ajustes continuos y de alta granularidad para adaptarse a la fisiología del paciente, el intercambio gaseoso y la hemodinámica en evolución. La práctica clínica actual depende de protocolos y de la experiencia del clínico, pero enfrenta desafíos significativos:

• Complejidad Dinámica: Las trayectorias de los pacientes son no estacionarias, y las estrategias que funcionan para un paciente o en un momento dado pueden fallar en otro.
• Restricciones del Flujo de Trabajo: La titulación en la cabecera del paciente exige respuestas rápidas ante señales imperfectas, lo que a menudo conduce a ajustes inconsistentes debido a la presión del tiempo y los cambios de turno.
• Brechas de Personalización: Los equipos clínicos varían en su tolerancia al riesgo, estilos de ajuste y convenciones locales. Los sistemas de soporte de decisiones (DSS) existentes a menudo no logran adaptarse a estas preferencias específicas, limitando la confianza y la adopción.
• Limitaciones de la IA Actual: Los enfoques basados en reglas carecen de generalización para la personalización, mientras que el aprendizaje por refuerzo (RL) de extremo a extremo o los sistemas de un solo Modelo de Lenguaje Grande (LLM) son difíciles de controlar, auditar y alinear con límites de seguridad específicos.

Los autores argumentan que, en entornos clínicos de alto riesgo, el rendimiento puntual del modelo es insuficiente. Un despliegue exitoso requiere un sistema donde el comportamiento sea inspeccionable en la cabecera del paciente, el razonamiento sea rastreable y el sistema pueda adaptarse a las preferencias del clínico sin romper el flujo de trabajo clínico.

2. Metodología: El Sistema de Soporte de Decisiones para Ventiladores (VDSS)

Los autores proponen VDSS, un marco de múltiples agentes con humano en el bucle (HITL) diseñado para descomponer la toma de decisiones sobre ventiladores en componentes modulares regulados por interfaces estructuradas impulsadas por contratos.

2.1 Arquitectura de Múltiples Agentes

En lugar de un único modelo que mapee entradas a salidas, VDSS orquesta un flujo de trabajo de agentes especializados (módulos LLM o VLM) con roles definidos y salidas restringidas por esquemas:

• Ingesta de Datos: Un Analizador de Formas de Onda convierte las trazas de presión y flujo en señales estructuradas (por ejemplo, asincronía, incertidumbre) para complementar los datos tabulares.
• Detección e Inferencia de Objetivos: Un Agente de Detección sintetiza las señales en un resumen del estado. Un Gestor de Objetivos de Fase infiere la fase del tratamiento y especifica los objetivos primarios y secundarios.
• Control de Decisión: Una Puerta de Retención/Ajuste decide si mantener la configuración actual o iniciar la titulación, evitando ajustes innecesarios cuando la evidencia es insuficiente.
• Planificación y Seguridad: Si se requiere un ajuste, un Selector de Estrategia, un Agente de Selección de Modo y un Planificador de Parámetros generan un conjunto compacto de actualizaciones ejecutables. Estas propuestas pasan por verificaciones deterministas de seguridad y compatibilidad antes de llegar al clínico.
• Retroalimentación y Revisión: Si un clínico rechaza una propuesta, un Agente de Reflexión traduce la retroalimentación en restricciones de revisión, identificando la capa de decisión mínima (por ejemplo, estrategia frente a parámetros) que debe revisarse. Esto permite una replanificación dirigida en lugar de reinicios completos del pipeline.
• Documentación: Un Generador de Notas produce un resumen estructurado y un registro de ciclo auditable tras la aceptación.

2.2 Interacción con Humano en el Bucle

El sistema opera en ciclos de ajuste. Para cada ciclo $t$, el sistema propone configuraciones $a^{(k)}_t$ en rondas $k=1, \dots, K_t$.

• Manejo de Rechazos: El rechazo se trata como una señal de control estructurada. El sistema registra la justificación, localiza el error en una etapa de decisión específica y replanifica solo esa etapa.
• Terminación: El ciclo finaliza cuando el clínico acepta una propuesta ($\tilde{a}_t$), la cual se convierte en la verdad fundamental para ese ciclo.

2.3 Adaptación de Preferencias en Línea (Bandito Contextual)

Para abordar la variabilidad en los estilos de ajuste de los clínicos, VDSS emplea un mecanismo de bandito contextual en línea:

• Estado de Preferencia: Cada clínico $d$ mantiene un estado de preferencia $\theta_d$.
• Bucle de Retroalimentación: Al cierre del ciclo, el sistema extrae una señal de preferencia $p_t$ basada en la decisión final aceptada $\tilde{a}_t$ y la traza de interacción $h_t$.
• Objetivo de Aprendizaje: El bandito actualiza $\theta_d$ utilizando la fórmula $\theta_d \leftarrow \text{ActualizaciónBandito}(\theta_d; x_t, \tilde{a}_t, h_t, p_t)$.
• Categorías de Preferencia: El modelo aprende sobre 12 categorías fijas, incluyendo granularidad (pasos pequeños frente a asertivos), cambios de modo, priorización de objetivos clínicos (oxigenación, protección pulmonar, hemodinámica, etc.) y tendencias del flujo de trabajo (por ejemplo, posponer la acción cuando los datos son insuficientes).
• Integración: El $\theta_d$ actualizado sirve como contexto para el motor de razonamiento en ciclos posteriores, guiando la clasificación y selección de candidatos.

3. Contribuciones Clave

1. Marco Modular de Múltiples Agentes: VDSS introduce una arquitectura de múltiples agentes impulsada por contratos que descompone la titulación de ventiladores en módulos verificables y mantenibles, reemplazando los modelos monolíticos de extremo a extremo con una traza de razonamiento coherente y auditable.
2. Rechazo Estructurado y Replanificación Dirigida: El sistema implementa un mecanismo donde el rechazo del clínico desencadena una revisión dirigida de capas de decisión específicas, reduciendo iteraciones improductivas y manteniendo la estabilidad de la interacción.
3. Adaptación de Preferencias en Línea: La integración de un bandito contextual permite que el sistema aprenda los estilos de ajuste individuales de los clínicos a partir de decisiones aceptadas, mejorando la alineación de las recomendaciones sin requerir una elicita ción explícita de preferencias.
4. Evidencia Rastreable: El marco garantiza que cada recomendación esté acompañada de un resumen estructurado, verificaciones de seguridad y una justificación, facilitando la revisión y auditoría clínica.

4. Resultados Experimentales

Los autores evaluaron VDSS utilizando la reproducción retrospectiva de trayectorias de UCI y la revisión por expertos en un conjunto de datos de 1.309 registros estructurados (7.447 entradas de configuración) que cubren 13 modos de ventilación.

• Rendimiento frente a Modelos Únicos: Cuando se desplegó dentro de VDSS, los modelos superaron significativamente a la generación directa de un solo modelo. Por ejemplo, utilizando GPT-5.2 como base:
  • MSE (Error Cuadrático Medio): Reducido de 0.343 (modelo único) a 0.102 (VDSS).
  • Calificación General del Clínico: Mejoró de 2.63 a 4.11 (en una escala de 1 a 5).
  • Aceptabilidad: Aumentó de 2.75 a 4.09.
• Estudios de Ablación: Eliminar la evidencia de formas de onda (NoImg) o el contexto de preferencias (NoPref) resultó en un rendimiento degradado (por ejemplo, el MSE aumentó a 0.145 y 0.128 respectivamente), confirmando la necesidad tanto de evidencia dinámica como de aprendizaje de preferencias.
• Eficiencia de Interacción: El análisis del "arrepentimiento" (número de propuestas rechazadas por ciclo) mostró una tendencia a la baja a lo largo de 100 ciclos, lo que indica que el sistema aprendió las preferencias de los clínicos y requirió menos rondas de interacción para alcanzar un plan aceptable.
• Tiempo de Ejecución: En hardware local (RTX 5070 Ti), el tiempo promedio del ciclo fue de 305.3 segundos, siendo el análisis de formas de onda el principal cuello de botella (56.46 s). El marco mantuvo una tasa de fallo de finalización por debajo del 7%.

5. Significado y Afirmaciones

El artículo afirma que VDSS representa un paso práctico hacia la colaboración humano-IA clínicamente desplegable en entornos de alto riesgo. Su importancia radica en:

• Seguridad y Auditabilidad: Al imponer interfaces impulsadas por contratos y verificaciones de seguridad deterministas, el sistema garantiza que la planificación generativa permanezca acotada por restricciones explícitas, abordando las preocupaciones de "caja negra" del RL de extremo a extremo.
• Alineación con el Flujo de Trabajo: El diseño HITL respeta la naturaleza iterativa de la titulación en la cabecera del paciente, permitiendo a los clínicos anular, rechazar y refinar sugerencias sin romper el bucle.
• Personalización sin Sobreajuste: El enfoque de bandito contextual se adapta a los estilos individuales de los clínicos utilizando retroalimentación del mundo real (decisiones aceptadas) en lugar de requerir un preentrenamiento masivo en datos de usuarios específicos, lo que lo hace escalable entre diferentes instituciones y profesionales.
• Interpretabilidad: El sistema proporciona un vínculo transparente entre la recomendación, el estado del paciente y las preferencias del equipo, apoyando un uso repetido eficiente y la confianza.

Los autores concluyen que, aunque la precisión puntual del modelo es necesaria, la capacidad del marco para proporcionar una colaboración verificable, consciente de las preferencias y segura es el factor crítico para una adopción sostenida en cuidados críticos.