Resumen Técnico: LONGMOE

Planteamiento del Problema

El aprendizaje clínico multimodal enfrenta dos desafíos fundamentales e interconectados que los métodos existentes no logran abordar de forma conjunta:

1. Ausencia de Modalidades (Modality Missingness): En las cohortes clínicas del mundo real, subconjuntos arbitrarios de modalidades (por ejemplo, imágenes, texto, datos genéticos) suelen no estar disponibles en una visita determinada debido a protocolos de adquisición heterogéneos y restricciones de recursos.
2. Dinámicas Longitudinales: La significancia diagnóstica de una observación es inseparable de la trayectoria evolutiva de la enfermedad del paciente. El valor de un biomarcador depende de su posición a lo largo de la trayectoria de declive de un individuo, más que de su valor absoluto en una instantánea estática única.

Los enfoques actuales tratan estos desafíos de forma aislada. Los marcos de trabajo para modalidades faltantes (por ejemplo, Flex-MoE, FuseMoE) suelen tratar cada visita como una instantánea estática independiente, descartando el contexto temporal. Por el contrario, los modelos longitudinales (por ejemplo, enfoques basados en GRU) suelen asumir la disponibilidad completa de modalidades en cada visita y se degradan ante la ausencia sistemática de datos. Ningún modelo existente gestiona eficazmente el desafío conjunto de la espaciación irregular de las visitas, las combinaciones arbitrarias de modalidades y la heterogeneidad de la población.

Metodología: Arquitectura LONGMOE

Los autores proponen LONGMOE (Mixture-of-Experts Longitudinal), un marco unificado diseñado para abordar conjuntamente la ausencia de modalidades y la dinámica longitudinal. La arquitectura procesa la secuencia de visitas longitudinales de un paciente a través de cuatro módulos secuenciales:

1. Embeddings Específicos de la Modalidad

Cada modalidad $m_l$ es procesada por un codificador dedicado $\phi_l$ adaptado a sus propiedades estructurales:

• MRI: Un codificador convolucional 3D seguido de una proyección MLP.
• Puntuaciones Clínicas, Biomarcadores y Genética: MLPs específicos de la modalidad.
• Embedding Temporal: Los sellos de tiempo de las visitas se codifican como embeddings aprendidos que capturan el tiempo absoluto y los intervalos entre visitas.
  Las modalidades no observadas se establecen inicialmente como vectores de ceros.

2. Imputación de Modalidades y Tokenización

Este módulo gestiona los datos faltantes y crea un token de visita unificado:

• Imputación Consciente del Contexto:
  • Carry-Forward (Transporte hacia adelante): Si una modalidad fue observada en una visita previa, se replica la embedding más reciente (motivado por la fuerte autocorrelación a corto plazo de los biomarcadores).
  • Imputación Contextual: Si no existe una observación previa, una red aprendida se condiciona a las modalidades disponibles en la visita actual para generar una embedding, utilizando el enmascaramiento de ceros para evitar la contaminación de señales faltantes.
• Tokenización Atencional:
  • Fusión de Modalidades: Se aplica auto-atención de múltiples cabezales sobre las embeddings de las modalidades imputadas para aprender las dependencias inter-modales.
  • Codificación Viscode: Una codificación posicional sinusoidal de multifrecuencia de tiempo continuo mapea los sellos de tiempo de las visitas a un vector de dimensión fija. Esta codificación es probablemente inyectiva para secuencias muestreadas de forma no uniforme, capturando tanto las tendencias longitudinales lentas como los cambios rápidos de ritmo sin asumir un espaciado de visitas uniforme.
  • Fusión: La embedding de la modalidad y la codificación viscode se fusionan mediante la suma elemento a elemento para producir el token de visita $z_t$.

3. Modelado Longitudinal Consciente de la Trayectoria

Un stack de bloques de codificador Transformer procesa la secuencia de tokens de visita $\{z_t\}$.

• Enmascaramiento Causal: Una máscara de atención causal asegura que la representación en la visita $t$ dependa únicamente del historial $\{v_1, \dots, v_t\}$, evitando la filtración de información futura.
• Salida: Esto produce una embedding contextualizada $h_t$ que integra la trayectoria completa de progresión de la enfermedad del paciente, sirviendo como una entrada rica para el módulo de enrutamiento.

4. Enrutamiento SMoE Consciente del Contexto

La capa final emplea una arquitectura de Mezcla de Expertos Dispersa (Sparse Mixture-of-Experts, SMoE) para manejar la heterogeneidad específica del paciente y los patrones de modalidad:

• Arquitectura de Expertos: La capa contiene $K=8$ expertos particionados en:
  • Expertos Individuales: Subredes especializadas para distintas subpoblaciones de pacientes.
  • Expertos Compartidos: Accesibles para todas las entradas para capturar patrones comunes a nivel poblacional y prevenir la especialización excesiva.
• Enrutamiento: Una red de enrutamiento mapea la embedding de la trayectoria $h_t$ a un vector de puntuación. El enrutamiento hard top-1 selecciona el experto más relevante (además de los expertos compartidos que siempre están activados).
• Agregación: Las predicciones finales se obtienen mediante la agregación atencional de las salidas de los expertos a través de todas las visitas, ponderadas por la confianza del enrutador.
• Regularización: Una pérdida de equilibrio de carga (load-balancing loss) evita el colapso del enrutador, asegurando la utilización uniforme de los expertos.

Principales Contribuciones

1. Marco Unificado: LONGMOE es el primer modelo que aborda conjuntamente la ausencia de modalidades y la dinámica temporal longitudinal en el aprendizaje clínico multimodal.
2. Componentes Arquitectónicos Novedosos:
   • Un módulo de imputación consciente del contexto que aprovecha tanto los datos históricos como el contexto actual.
   • Un módulo de tokenización atencional que combina la atención cross-modal con una codificación temporal de multifrecuencia y probablemente inyectiva para secuencias irregulares.
   • Un codificador consciente de la trayectoria que modela la progresión de la enfermedad.
   • Una capa de enrutamiento SMoE condicionada al contexto que selecciona dinámicamente los expertos basándose en la combinación de modalidades observada y la trayectoria del paciente.
3. Robustez: El marco demuestra robustez bajo condiciones de modalidades faltantes o débiles, manteniéndose competitivo en entornos de modalidad completa.

Resultados Experimentales

Los autores evaluaron LONGMOE en tres conjuntos de datos: ADNI (Alzheimer's Disease Neuroimaging Initiative), OASIS-3 y MIMIC-IV.

• Rendimiento: LONGMOE logró el mejor AUC-ROC en todas las combinaciones de modalidades en ADNI y MIMIC-IV. En OASIS-3, lideró en cuatro de siete combinaciones, particularmente en entornos dominados por imágenes y genética donde otros modelos base colapsaron.
• Robustez ante la Ausencia de Modalidades:
  • En ADNI, LONGMOE mantuvo un alto rendimiento (AUC $\approx$ 0.94–0.97) incluso cuando solo estaba presente una sola modalidad, mientras que los modelos base como TF colapsaron hacia el azar (0.50) y otros se degradaron significativamente.
  • El codificador consciente de la trayectoria sustituyó eficazmente el contexto longitudinal por la información de la modalidad faltante contemporánea, resultando en curvas de degradación casi planas a medida que se eliminaban las modalidades.
• Estudios de Ablación: Eliminar el Codificador Longitudinal (LE) o la Codificación Viscode (VE) resultó en las mayores caídas de rendimiento, confirmando su papel crítico. También se demostró que los Expertos Compartidos y los mecanismos de Equilibrio de Carga son vitales, particularmente en entornos con ausencia severa de datos o cohortes pequeñas.
• Complejidad: LONGMOE tiene un mayor número de parámetros y latencia de paso hacia adelante en comparación con los modelos base estáticos (por ejemplo, 4.4M de parámetros frente a 183K para Flex-MoE) debido al Transformer consciente de la trayectoria. Sin embargo, los autores señalan que esto es práctico para la inferencia por lotes (batch inference) fuera de línea, aunque impide su uso en tiempo real junto a la cama del paciente.

Significado y Reivindicaciones

El artículo afirma que LONGMOE establece una base sólida para el aprendizaje clínico multimodal con conciencia longitudinal. Su principal significancia radica en cerrar la brecha entre el manejo de datos faltantes y el modelado de la progresión de la enfermedad. Al tratar la historia del paciente como una trayectoria continua e irregular en lugar de una serie de instantáneas independientes, el modelo puede extraer señales discriminativas incluso cuando las visitas actuales carecen de modalidades críticas.

Los autores declaran explícitamente que, si bien el modelo es altamente efectivo para la inferencia por lotes fuera de línea y el manejo de registros clínicos complejos e incompletos, el aumento del costo computacional del codificador consciente de la trayectoria limita su aplicabilidad al soporte en tiempo real junto a la cama del paciente. Además, el modelo no puede aprovechar el contexto longitudinal para pacientes de primera consulta que no tienen historial de visitas previas, ya que el codificador requiere al menos una observación pasada para generar embeddings significativos.