🤖 machine learning

HyMaTE: A Hybrid Mamba and Transformer Model for EHR Representation Learning

El artículo presenta HyMaTE, un nuevo modelo híbrido que combina la eficiencia de tiempo lineal de los Modelos de Espacio de Estados Mamba con las capacidades de mezcla a nivel de canal de los Transformers para abordar eficazmente los desafíos de la escasez, los valores faltantes y las secuencias largas en los datos de Registros de Salud Electrónicos (EHR), demostrando un rendimiento y una interpretabilidad superiores en tareas de predicción clínica.

Autores originales: Md Mozaharul Mottalib, Thao-Ly T. Phan, Rahmatollah Beheshti

Publicado 2026-06-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Md Mozaharul Mottalib, Thao-Ly T. Phan, Rahmatollah Beheshti

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: La "Biblioteca" vs. El "Velocista"

Imagina la Historia Clínica Electrónica (EHR) de un paciente como una biblioteca masiva y caótica que contiene todo su historial médico. Esta biblioteca tiene miles de libros (resultados de laboratorio, notas médicas, signos vitales) escritos en momentos irregulares, con muchas páginas faltantes o arrancadas.

Para predecir qué podría sucederle a un paciente después (como si podría volver a enfermarse), necesitamos que un modelo informático lea esta biblioteca. Sin embargo, los modelos actuales tienen dos fallos importantes:

El "Súper Lector" (Transformers): Son como eruditos brillantes que pueden leer cada libro de la biblioteca y entender cómo se conectan todos entre sí. Pero son lentos. Si la biblioteca se vuelve demasiado grande, se ven abrumados y se quedan sin tiempo (potencia de cómputo). También les cuesta leer la biblioteca completa a la vez, por lo que a menudo tienen que saltarse el principio o el final.
El "Velocista" (Mamba): Son como un corredor rápido que puede recorrer toda la biblioteca en segundos sin cansarse. Son increíblemente eficientes con historias largas. Sin embargo, son un poco "monotemáticos". Son excelentes leyendo la historia en orden (tiempo), pero no son muy buenos notando cómo interactúan diferentes tipos de libros (como la relación entre la frecuencia cardíaca y un análisis de sangre) en un mismo momento.

La Solución: HyMaTE (El Bibliotecario Híbrido)

Los autores de este artículo construyeron HyMaTE, un nuevo modelo que actúa como el bibliotecario perfecto al combinar las mejores cualidades tanto del "Súper Lector" como del "Velocista".

Piensa en HyMaTE como un proceso de lectura de dos pasos:

Paso 1: La Carrera de Velocidad (Mamba): Primero, el modelo utiliza al "Velocista" (Mamba) para escanear rápidamente la larga y desordenada historia del paciente. Captura el flujo general de la historia y gestiona la larga línea temporal de manera eficiente sin estancarse.
Paso 2: La Inmersión Profunda (Transformer): Una vez escaneada la historia, el modelo cambia al "Súper Lector" (Transformer). Se detiene para observar de cerca momentos específicos. Pregunta: "¿Cómo se relaciona este ritmo cardíaco con esa lectura de presión arterial justo aquí?". Este paso asegura que comprenda las relaciones complejas entre diferentes variables médicas.

Finalmente, utiliza un mecanismo especial de "Atención de Fusión" (Fusion Attention). Imagina a un director de orquesta. El Velocista tocó los instrumentos rápido, y el Súper Lector entendió las notas. El Director (Atención de Fusión) mezcla ambos para crear una única y perfecta sinfonía que representa la salud del paciente.

Cómo Aprendió: El Juego de "Completar los Espacios en Blanco"

Antes de que HyMaTE estuviera listo para ayudar a los médicos, tuvo que estudiar. El artículo describe un método de entrenamiento ingenioso:

El Juego: Se le dio al modelo la historia de un paciente, pero con muchos números ocultos (enmascarados).
La Tarea: Tenía que adivinar los números faltantes basándose en el resto de la historia.
El Resultado: Al jugar este juego de "Completar los Espacios en Blanco" una y otra vez, el modelo aprendió a entender los patrones de la salud humana sin necesidad de que un humano etiquetara cada una de las respuestas. Esto es crucial porque, en la vida real, a menudo no tenemos datos perfectos y etiquetados para cada paciente.

Los Resultados: Ganando la Carrera

Los investigadores probaron HyMaTE contra otros modelos de primer nivel en tres "bibliotecas" (conjuntos de datos) diferentes:

PhysioNet 2012: Un conjunto de datos público de pacientes de UCI.
MIMIC-IV: Un conjunto de datos masivo de un hospital importante.
Gestión de Peso Pediátrico: Un conjunto de datos privado de niños.

El Resultado: HyMaTE ganó. Fue mejor prediciendo:

Quién podría morir en el hospital (Mortalidad).
Cuánto tiempo permanecería un paciente en el hospital (Estancia Hospitalaria).
Si un paciente regresaría al hospital (Reingreso).
Si un niño perdería peso con la medicación.

Le ganó a los "Súper Lectores" (Transformers) porque no se vio abrumado por historias largas, y le ganó a los "Velocistas" (Mamba) porque comprendió las complejas relaciones entre diferentes pruebas médicas.

El "Porqué" (Interpretabilidad)

Una de las partes más geniales de HyMaTE es que no solo da una respuesta, sino que explica el porqué.

El Foco de Luz: Debido al paso del "Director" (Atención de Fusión), el modelo puede resaltar exactamente qué momentos en la línea de tiempo del paciente fueron los más importantes.
- Ejemplo: En un estudio de caso, el modelo predijo un alto riesgo de muerte para un hombre de 82 años. Cuando los investigadores miraron el "foco de luz", vieron que el modelo estaba intensamente concentrado en las lecturas de presión arterial del paciente en un día específico. Esto coincidía con lo que los médicos reales saben que es una señal de advertencia crítica.
El Tablero de Puntuación: El modelo también clasificó qué variables médicas importaban más en general (como la Frecuencia Cardíaca o el Nitrógeno Ureico en Sangre), y estas clasificaciones coincidieron con el conocimiento médico establecido.

Resumen

HyMaTE es una nueva herramienta de IA que lee las historias médicas de los pacientes más rápido que los antiguos "Súper Lectores" y comprende las conexiones complejas entre diferentes pruebas médicas mejor que los antiguos "Velocistas". Aprende adivinando datos faltantes, tiene un mejor desempeño al predecir resultados de pacientes y puede mostrar a los médicos exactamente qué partes de la historia de un paciente llevaron a sus predicciones.

Resumen Técnico: HyMaTE – Un Modelo Híbrido de Mamba y Transformer para el Aprendizaje de Representaciones de EHR

Planteamiento del Problema

Los Registros de Salud Electrónicos (EHR, por sus siglas en inglés) sirven como un recurso crítico para analizar la progresión de la salud del paciente, documentando historias longitudinales que incluyen diagnósticos, procedimientos y resultados de laboratorio. Sin embargo, el modelado de los datos de EHR presenta desafíos significativos debido a su complejidad inherente: consisten en secuencias multivariantes largas, que a menudo son dispersas, con muestreo irregular y que contienen numerosos valores faltantes.

Los enfoques existentes de aprendizaje profundo enfrentan limitaciones específicas en este dominio:

Modelos basados en Transformers: Aunque han tenido éxito en capturar dependencias temporales de largo alcance, sufren de una complejidad computacional cuadrática ( $O(N^2)$ ) y requisitos de memoria en relación con la longitud de la secuencia de entrada. Esto restringe su capacidad para procesar historiales de pacientes extensos (que abarcan miles de tokens) sin truncamiento o cuantización, lo que puede degradar la precisión. Además, los Transformers estándar suelen priorizar la mezcla de secuencias sobre la mezcla de canales, lo que potencialmente pasa por alto las interacciones entre diferentes tipos de eventos (variables).
Modelos de Espacio de Estados (SSMs) / Mamba: Estos modelos ofrecen un modelado de secuencias en tiempo lineal y una eficiencia superior para secuencias largas. Sin embargo, las arquitecturas Mamba tradicionales se centran principalmente en la mezcla de secuencias y carecen de mecanismos robustos para la mezcla de canales, lo cual es esencial para los datos de series temporales multivariantes donde las relaciones entre variables son críticas.

Metodología

Los autores proponen HyMaTE (Un Modelo Híbrido de Mamba y Transformer para el Aprendizaje de Representaciones de EHR), una arquitectura novedosa diseñada para sintetizar la eficiencia lineal de los SSM con las fortalezas contextuales y de mezcla de canales de los Transformers.

1. Representación de Entrada

Los eventos de EHR se representan como tripletos $(t, f, v)$ , que consisten en el tiempo de observación, la característica/variable y el valor observado. Estos tripletos se embeben en un vector de dimensión $\tau$ sumando los embeddings para la característica (tabla de búsqueda), el valor continuo y el tiempo (derivado mediante Redes Feed Forward).

2. Arquitectura del Modelo

La arquitectura sigue un flujo de procesamiento secuencial:

Atención Contextual (Bloques Mamba): Los inputs embebidos pasan a través de múltiples bloques Mamba. Estos bloques utilizan un Modelo de Espacio de Estados (SSM) discretizado para filtrar la información relevante de manera eficiente. La unidad SSM mapea las secuencias de entrada a secuencias de salida a través de un estado oculto implícito, empleando un núcleo de convolución global para el procesamiento en paralelo. Esta etapa gestiona la codificación eficiente de secuencias largas.
Extracción de Contexto Local (Auto-atención): Tras la codificación de Mamba, se aplican capas de auto-atención para extraer el contexto local y las dependencias inmediatas dentro de la secuencia.
Atención de Fusión (Fusion Self-Attention): La salida de los bloques Mamba se pasa a un módulo de auto-atención de fusión. Esta capa aplica una Red Feed Forward (FFN) a cada embedding contextual y utiliza una función softmax para calcular los pesos de atención ( $\alpha_i$ ). El embedding final de la serie temporal ( $z_T$ ) se computa como una suma ponderada de los embeddings contextuales.
Integración de Variables Estáticas: Las variables demográficas estáticas se embeben por separado mediante una FFN con dos capas ocultas para producir un embedding estático ( $z_d$ ).
Representación Final: El embedding temporal ( $z_T$ ) y el embedding estático ( $z_d$ ) se concatenan para formar la representación final del paciente ( $e_E$ ).

3. Estrategia de Entrenamiento

HyMaTE emplea un enfoque de entrenamiento semi-supervisado de dos fases:

Pre-entrenamiento Auto-supervisado: El modelo se pre-entrena en un conjunto de datos más grande utilizando una tarea de pronóstico con máscara (masked forecasting). Aprende a predecir valores de variables futuras basados en la historia observada, utilizando una pérdida de Error Cuadrático Medio (MSE) con máscara para manejar los valores faltantes. Esta fase le permite aprender representaciones robustas a partir de datos con etiquetas limitadas.
Ajuste Fino Supervisado (Fine-tuning): El modelo pre-entrenado se ajusta en tareas de predicción clínica específicas (por ejemplo, mortalidad, estancia hospitalaria) mediante la conexión de cabezales específicos de la tarea a los embeddings finales.

Contribuciones Clave

Arquitectura Híbrida: HyMaTE combina estratégicamente bloques Mamba para la codificación eficiente de secuencias en tiempo lineal con mecanismos de atención basados en Transformers para abordar las limitaciones de mezcla de canales de los SSM puros y los cuellos de botella computacionales de los Transformers puros.
Mecanismo de Fusión: La introducción de una capa de auto-atención de fusión permite la síntesis del contexto local (de la auto-atención) y la información de la secuencia global (de Mamba) en una representación unificada.
Interpretabilidad: El modelo incorpora explícitamente la interpretabilidad a través del análisis de los pesos de atención de la capa de fusión y los coeficientes de las capas densas predictivas finales, proporcionando perspectivas tanto temporales como de importancia de características globales.
Aprendizaje Semi-supervisado: La integración de una fase de pre-entrenamiento de pronóstico auto-supervisado permite al modelo aprender representaciones de alta calidad a partir de conjuntos de datos de EHR con etiquetas escasas, una ventaja crítica en entornos de atención médica.

Resultados Experimentales

HyMaTE fue evaluado en tres conjuntos de datos diversos: PhysioNet Challenge 2012 (mortalidad en UCI), MIMIC-IV (mortalidad, estancia hospitalaria, readmisión) y un conjunto de datos privado de Gestión de Peso Pediátrico.

Desempeño: HyMaTE superó consistentemente a los modelos de referencia, incluyendo SeFT, STraTS, EHR-Mamba y DuETT.
- En la predicción de mortalidad de MIMIC-IV, HyMaTE alcanzó un AUROC de 0.907 y un AUPRC de 0.648, superando al segundo mejor modelo (EHR-Mamba) por 0.026 en AUROC.
- En PhysioNet 2012, alcanzó un AUROC de 0.868.
- En la tarea de pérdida de peso pediátrica, logró un AUROC de 0.752, superando significativamente a EHR-Maamba (0.704).
Estudios de Ablación: La eliminación de componentes clave resultó en una degradación del desempeño:
- Eliminar el embedding de entrada causó una caída notable, resaltando la importancia de la representación de tripletos.
- Eliminar la auto-atención o la fusión de atención condujo a caídas de desempeño idénticas, confirmando la interdependencia de estos componentes para la mezcla efectiva de características.
- Eliminar el pre-entrenamiento auto-supervisado impactó significativamente el desempeño, particularmente en el conjunto de datos pediátrico, validando la necesidad del enfoque semi-supervisado.
- Eliminar los bloques Mamba redujo drásticamente el desempeño, confirmando el valor del procesamiento de secuencias en tiempo lineal.
Escalabilidad: El modelo demostró robustez al manejar secuencias largas (hasta 8,654 observaciones), con un declive mínimo de desempeño incluso en longitudes de secuencia mayores.

Significado y Reivindicaciones

El artículo afirma que HyMaTE ofrece una solución escalable y generalizable para aplicaciones de salud en el mundo real al equilibrar eficazmente la eficiencia computacional con la riqueza representacional. Al superar la complejidad cuadrática de los Transformers y las limitaciones de mezcla de canales de Mamba, HyMaTE proporciona una representación unificada de los datos de EHR que captura tanto las dependencias de largo alcance como las relaciones inter-variables detalladas.

Los autores enfatizan que la interpretabilidad del modelo —derivada de los pesos de atención y los coeficientes de las capas densas— se alinea con hallazgos clínicos establecidos (por ejemplo, identificando la NIMAP y la Frecuencia Cardíaca como factores críticos para la mortalidad), lo que aumenta la transparencia y la utilidad clínica potencial. El trabajo posiciona a HyMaTE como un paso adelante en el aprendizaje de representaciones de EHR, capaz de manejar las complejidades de los datos médicos longitudinales manteniendo la eficiencia requerida para procesar historiales de pacientes extensos.