HealthFormer: Dual-level time-aware Transformers for irregular electronic health record events

El artículo presenta HealthFormer, un modelo Transformer de doble nivel que aprende representaciones de pacientes a partir de registros electrónicos de salud longitudinales e irregulares mediante el uso de codificaciones temporales y preentrenamiento auto-supervisado, logrando un alto rendimiento en la predicción de incidentes de cáncer mediante ajuste fino estándar.

Lo esencial

¡Claro que sí! Imagina que la historia médica de una persona es como una novela muy compleja y desordenada, escrita por muchos autores diferentes (médicos de cabecera, especialistas, hospitales, farmacéuticos) y con capítulos que no siguen un orden cronológico estricto. A veces hay capítulos de 10 páginas (una hospitalización larga) y a veces solo una línea (una receta de medicina).

El papel que has compartido presenta a HealthFormer, un nuevo "inteligente lector" de historias médicas creado por investigadores. Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: Un rompecabezas desordenado

Los registros médicos electrónicos (EHR) son como una caja llena de piezas de rompecabezas de diferentes formas, colores y tamaños.

• El desafío: Las piezas llegan en momentos muy irregulares. A veces hay un evento cada día, y a veces pasan años sin nada. Además, en un solo día, un paciente puede tener una visita al médico, una cirugía y una receta de medicina todo a la vez.
• El error anterior: Los modelos antiguos intentaban aplanar todo esto, como si mezclaran todas las piezas en una bolsa y las sacaran al azar. Así perdían la estructura: no sabían qué pasó dentro de una visita ni cuánto tiempo pasó entre una visita y la siguiente.

2. La Solución: HealthFormer (El Detective de Dos Niveles)

HealthFormer es como un detective que tiene dos lentes diferentes para leer la historia, uno para los detalles pequeños y otro para la línea de tiempo grande.

Lente 1: El "Micro-Explorador" (Intra-Event Encoder)

Imagina que entras a una habitación donde un médico está atendiendo a un paciente. En esa habitación hay muchas cosas pasando a la vez: diagnósticos, procedimientos, medicamentos.

• Lo que hace HealthFormer: En lugar de mezclar todo, este lente agrupa inteligentemente todas las piezas que ocurrieron en ese mismo momento. Entiende que si un paciente tiene "dolor de cabeza" y "fiebre" en la misma visita, esas dos cosas están relacionadas. Crea un resumen compacto de esa visita específica.

Lente 2: El "Viajero del Tiempo" (Inter-Event Encoder)

Ahora, imagina que tienes que conectar todas esas habitaciones (visitas) a lo largo de los años.

• Lo que hace HealthFormer: Aquí es donde entra su superpoder: el tiempo. A diferencia de otros modelos que solo cuentan "1, 2, 3" (primera visita, segunda visita), HealthFormer sabe exactamente cuánto tiempo pasó entre una visita y la siguiente.
  • Analogía: Si pasaron 3 días entre dos visitas, el modelo piensa: "¡Ah, esto es muy reciente, probablemente están conectados!". Si pasaron 5 años, piensa: "Esto es un nuevo capítulo, el contexto ha cambiado". Usa una técnica especial (llamada ALiBI) que le permite entender el tiempo de forma fluida, como un río, no como escalones rígidos.

3. El Entrenamiento: Aprender sin un profesor

Para que este detective sea bueno, no le dieron un libro de respuestas. En su lugar, le dieron millones de historias médicas reales (de Hungría, con datos de 10 millones de personas) y le pidieron que jugara a "completar la historia":

1. Adivinar lo que falta: Le taparon algunas palabras (diagnósticos o medicamentos) y tuvieron que adivinar cuáles eran basándose en el resto de la historia.
2. Predecir el futuro: Le mostraron el pasado y le preguntaron: "¿Qué tipo de evento ocurrirá a continuación?".
3. Calcular el tiempo: Le preguntaron: "¿Cuántos días pasarán hasta la próxima visita?".

Al hacer esto millones de veces, el modelo aprendió patrones profundos sobre cómo funciona la salud humana, sin necesidad de que un humano le explicara cada regla.

4. Los Resultados: Prediciendo el cáncer

Luego, probaron a HealthFormer en una tarea difícil: predecir si una persona desarrollaría cáncer colorrectal o de próstata en los próximos 30, 60 o 90 días.

• La comparación: Lo pusieron contra modelos tradicionales (como una calculadora simple que solo suma cuántas veces fue al médico).
• El resultado: HealthFormer ganó por mucho.
  • Para el cáncer de próstata, logró una precisión (AUC) de 0.94 (casi perfecto) a 30 días, mientras que los modelos antiguos rondaban el 0.79.
  • Para el cáncer colorrectal, también superó ampliamente a los métodos antiguos.

¿Por qué es importante esto?

Imagina que antes, para predecir una enfermedad, tenías que construir una máquina nueva y diferente para cada tipo de cáncer. Con HealthFormer, tienes un motor universal que ya entiende el lenguaje de la salud. Si quieres predecir diabetes, o una caída en ancianos, solo necesitas "ajustar" un poco el motor (fine-tuning), sin tener que construir todo desde cero.

En resumen:
HealthFormer es como un bibliotecario genio que no solo lee los libros (registros médicos), sino que entiende la caligrafía de cada autor, sabe exactamente cuándo se escribió cada página y puede predecir el final de la historia antes de que llegue, ayudando a los médicos a estar un paso adelante en la prevención de enfermedades.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "HealthFormer: Dual-level time-aware Transformers for irregular electronic health record events", presentado en español:

1. Planteamiento del Problema

Los registros electrónicos de salud (EHR) longitudinales presentan dos desafíos metodológicos principales que dificultan la creación de representaciones de pacientes transferibles y precisas:

• Composición heterogénea intra-evento: Cada evento clínico (ej. una visita a urgencias o una hospitalización) puede contener múltiples códigos procedentes de sistemas distintos (diagnósticos ICD-10, procedimientos hPCS, medicamentos ATC, contexto de institución). Los métodos tradicionales que "aplanan" estos eventos en una bolsa de códigos desordenada pierden la estructura interna y las interacciones entre dominios.
• Muestreo temporal irregular: Los intervalos entre eventos pueden variar desde días hasta años. Las representaciones temporales coarsas (basadas en "bolsas" de tiempo o posiciones discretas) no aprovechan la información clínica crítica contenida en los huecos temporales exactos.

El objetivo es desarrollar un marco de preentrenamiento que preserve la estructura de los eventos, utilice explícitamente el tiempo transcurrido y permita un ajuste fino (fine-tuning) sencillo para nuevos objetivos supervisados sin ingeniería de características específica.

2. Metodología: HealthFormer

El autores proponen HealthFormer, un modelo Transformer de doble nivel diseñado específicamente para secuencias de eventos clínicos irregulares y heterogéneos.

Arquitectura Dual-Nivel

El modelo separa el procesamiento en dos etapas:

1. Codificador Intra-Evento (Intra-Event Encoder):

   • Agrega los tokens heterogéneos dentro de un mismo evento clínico.
   • Utiliza módulos de incrustación específicos por dominio (para ICD, hPCS, ATC, etc.).
   • Aplica agrupamiento por atención (attention pooling): utiliza el tipo de evento como consulta (query) y los tokens del evento como claves y valores, permitiendo al modelo ponderar qué códigos son más relevantes dentro de ese contexto específico.
   • Genera una incrustación única para cada evento.

2. Codificador Inter-Evento (Inter-Event Encoder):

   • Modela la trayectoria longitudinal del paciente a lo largo del tiempo.
   • Integración Temporal: Combina dos mecanismos:
     • Un Codificador de Fechas que genera incrustaciones temporales absolutas (usando Time2Vec) para cada evento.
     • Un Sesgo de Atención Continuo (ALiBI): En lugar de usar posiciones discretas, aplica un sesgo a la atención basado en el logaritmo del tiempo transcurrido ($\Delta t$) entre eventos. Esto permite al modelo capturar dependencias a largo plazo y manejar intervalos irregulares de forma estable sin depender de "baldes" de tiempo.

Tokenización Jerárquica

Para códigos como ICD-10 y ATC, el modelo utiliza una expansión jerárquica: descompone cada código en su camino de ancestros (hasta una profundidad configurada) y suma las incrustaciones del nodo y la profundidad, permitiendo compartir estadísticas entre códigos relacionados.

Preentrenamiento Auto-supervisado Multi-tarea

El modelo se preentrena en una cohorte nacional de registros administrativos de salud de Hungría (millones de individuos, 10 años) utilizando cuatro objetivos simultáneos:

1. Predicción de Tokens enmascarados (Code-level MLM): Predecir códigos específicos enmascarados dentro de un evento.
2. Predicción de Tipo de Evento (Event-level MLM): Enmascarar todo un evento (incluyendo sus códigos) y predecir el tipo de evento (ej. "Hospitalización", "Medicamento") basándose en el contexto longitudinal.
3. Predicción del Siguiente Evento: Predecir el tipo y los códigos del siguiente evento en la secuencia (con máscara causal estricta).
4. Regresión de Tiempo al Siguiente Evento ($\Delta t$): Predecir el tiempo transcurrido en días hasta el siguiente evento.

3. Contribuciones Clave

• Representación centrada en eventos: Unifica registros administrativos complejos en una secuencia ordenada de eventos tipificados, preservando la estructura interna de cada encuentro clínico.
• Arquitectura Transformer sensible al tiempo: La separación entre codificación intra-evento e inter-evento, junto con el uso de ALiBI continua, permite modelar tanto la composición de códigos como la dinámica temporal a largo plazo de manera eficiente.
• Preentrenamiento multi-tarea: La combinación de objetivos a nivel de código, evento y tiempo crea representaciones ricas que capturan tanto la semántica clínica como la temporal.
• Transferibilidad sin ingeniería específica: El mismo modelo preentrenado puede adaptarse a diferentes tareas de predicción mediante un ajuste fino estándar, sin necesidad de rediseñar la arquitectura para cada nuevo objetivo.

4. Resultados

Los autores evaluaron el modelo en la predicción de cáncer incidente (colorrectal y de próstata) en horizontes de 30, 60 y 90 días.

• Rendimiento Superior: HealthFormer superó consistentemente a las líneas base de regresión logística (incluyendo modelos de "bolsa de códigos" con decaimiento temporal).
  • Cáncer Colorrectal (CRC): AUC de 0.81 (30 días), 0.75 (60 días) y 0.73 (90 días).
  • Cáncer de Próstata: AUC de 0.94 (30 días), 0.87 (60 días) y 0.84 (90 días).
• Mejora sobre Baselines: En la predicción de CRC, el modelo ajustado mejoró en aproximadamente 0.13 puntos de AUC respecto al mejor modelo de regresión logística (bolsa de códigos con decaimiento temporal).
• Análisis de Incrustaciones: La visualización de las incrustaciones de ICD-10 aprendidas mostró una organización jerárquica coherente (códigos relacionados clínicamente se agrupan espacialmente), lo que sugiere que el preentrenamiento captura la semántica clínica subyacente.

5. Significado e Impacto

• Interpretabilidad Clínica: La estructura de las incrustaciones aprendidas se alinea con la jerarquía ICD-10, facilitando la inspección clínica y la comprensión de por qué el modelo toma ciertas decisiones.
• Escalabilidad y Adopción: Al utilizar estándares internacionales (ICD-10, ATC), el enfoque es potencialmente aplicable más allá de los datos administrativos de Hungría.
• Eficiencia Operativa: La capacidad de reutilizar el mismo backbone preentrenado para múltiples tareas de predicción reduce significativamente el costo y la complejidad de desarrollar modelos de IA para nuevos objetivos clínicos.
• Manejo de Datos Reales: Demuestra que es posible modelar eficazmente datos de salud administrativos reales, que son inherentemente irregulares y heterogéneos, superando las limitaciones de los métodos anteriores que simplifican en exceso la estructura de los datos.

En conclusión, HealthFormer establece un nuevo estándar para la representación de EHRs al tratar explícitamente la complejidad de la composición de eventos y la irregularidad temporal, logrando un rendimiento superior en tareas de predicción clínica crítica.