Resumen Técnico: PAMF (Fusión Multimodal con Conocimiento Previo para Datos de Series Temporales Incompletas)

Definición del Problema

El análisis de series temporales multimodales en el cuidado de la salud enfrenta un desafío crítico: la presencia generalizada de datos faltantes que degradan el rendimiento predictivo posterior. El artículo identifica dos patrones estructuralmente distintos de ausencia de datos que los métodos existentes no logran abordar simultáneamente:

1. Faltante dentro de la modalidad (Within-modality missing): Faltan puntos temporales individuales dentro de una modalidad que, por lo demás, está observada (por ejemplo, una desconexión de un sensor durante una grabación).
2. Faltante a nivel de modalidad (Modality-level missing): Una modalidad completa no está disponible (por ejemplo, un paciente no puede someterse a una prueba específica como un ECG).

Los enfoques existentes suelen dividirse en dos categorías, ambas con limitaciones:

• Fusión consciente de la ausencia (Missing-Aware Fusion): Métodos como FuseMoE, FlexMoE y Maestro gestionan la ausencia de datos mediante el uso de máscaras, mecanismos de compuerta (gating) o embeddings de marcadores aprendidos. Sin embargo, no reconstruyen explícitamente los valores de la señal faltante, tratándola a menudo como un problema de robustez de la representación en lugar de un problema de recuperación de la señal.
• Imputación explícita: Métodos como CSDI y SSSD utilizan modelos generativos (por ejemplo, difusión) para reconstruir los valores faltantes. No obstante, suelen tratar toda ausencia de datos de manera uniforme, ignorando las diferencias estructurales entre las brechas dentro de la modalidad y las brechas a nivel de modalidad. Además, la imputación suele estar desacoplada de la tarea de seguimiento, lo que significa que las señales imputadas no están optimizadas para el objetivo de predicción específico.

Metodología: Marco de Trabajo PAMF

Los autores proponen PAMF, un marco unificado que gestiona explícitamente ambos patrones de ausencia de datos mientras acopla la imputación con la predicción posterior. El marco consta de cuatro componentes principales: un codificador de imputación ($h_{imp}$), un codificador de fusión ($h_{fus}$), un módulo de ajuste de flujo o flow matching ($ffm$) y una cabeza de seguimiento ($f_{ds}$).

1. Ajuste de Flujo con Conocimiento Previo (Prior-Aware Flow Matching)

En lugar de iniciar el proceso generativo desde una distribución Gaussiana fija y agnóstica al dominio (como en los modelos de difusión estándar), PAMF utiliza ajuste de flujo (Flow Matching) con inicialización basada en conocimientos previos (prior-aware initialization). Esto permite que el estado de origen ($x_0$) se diseñe en función del tipo específico de ausencia de datos, reduciendo la distancia de transporte hacia la distribución de los datos objetivo.

• Para la ausencia dentro de la modalidad: La inicialización aprovecha la continuidad temporal local. El estado de origen se construye utilizando una combinación convexa del vecino temporal observado más cercano y la media por canal del lote (batch mean). El peso decae exponencialmente con la brecha temporal, asegurando que el punto de partida permana dentro de un rango de observación local plausible.
• Para la ausencia a nivel de modalidad: Dado que la evidencia de la misma modalidad está ausente, la inicialización se basa en el contexto intermodal. El estado de origen se deriva de la media del lote o de muestras similares en contexto, condicionado por las representaciones de las modalidades observadas.

El módulo de ajuste de flujo aprende un campo de velocidad condicional $v_\theta$ que transporta este estado de origen estructurado $x_0$ hacia la señal objetivo $x_1$ a lo largo de trayectorias de ODE rectas, condicionado por el contexto de imputación $c_{imp}$.

2. Uso Compartido de Pesos y Entrenamiento en Tres Fases

Para abordar la desconexión entre la imputación y las tareas posteriores, PAMF emplea un mecanismo de uso compartido de pesos y una estrategia de entrenamiento de tres fases:

• Fase 1 (Calentamiento de la tarea de seguimiento): El codificador de fusión ($h_{fus}$) y la cabeza de seguimiento se entrenan con datos crudos e incompletos utilizando una pérdida de clasificación. Esto obliga al codificador a aprender representaciones robustas ante la ausencia de datos.
• Fase 2 (Entrenamiento del ajuste de flujo): El codificador de imputación ($h_{imp}$) se inicializa copiando los pesos de $h_{fus}$. Luego, el módulo de ajuste de flujo se entrena para imputar las señales faltantes condicionadas por $c_{imp}$ (que codifica el contexto relevante para la tarea aprendido en la Fase 1). Esto transfiere la estructura relevante para la tarea al proceso de imputación.
• Fase 3 (Ajuste fino conjunto): La rama de imputación se congela para generar los datos completados ($x_{complete}$). El codificador de fusión y la cabeza de seguimiento se ajustan finamente sobre estos datos completados para refinar el rendimiento predictivo final.

Contribuciones Clave

1. Marco Unificado para la Dualidad de Ausencia de Datos: PAMF es el primer método que aborda simultáneamente la ausencia dentro de la modalidad y la ausencia a nivel de modalidad mediante la reconstrucción explícita de señales faltantes con conocimientos previos específicos de cada tipo.
2. Inicialización con Conocimiento Previo: Los autores introducen un módulo generativo basado en el ajuste de flujo donde el estado de origen se inicializa con conocimientos previos estructurales (vecinos temporales para brechas locales, estadísticas intermodales para brechas globales) en lugar de ruido fijo. Este diseño reduce la sobrecarga de inferencia en comparación con las alternativas basadas en difusión.
3. Imputación Guiada por la Tarea: A través del uso compartido de pesos y un programa de entrenamiento de tres fases, el marco conecta la imputación con la clasificación. Las representaciones relevantes para la tarea aprendidas para la predicción posterior guían el proceso de imputación, asegurando que las señales recuperadas sean informativas para la tarea específica.

Resultados Experimentales

Los autores evaluaron PAMF en cuatro referentes fisiológicos: Sleep-EDF (estadiaje del sueño), PTB-XL (diagnóstico de ECG), PPG-DaLiA (reconocimiento de actividad con dispositivos portátiles) y Chapman-Shaoxing (ritmo de ECG).

• Rendimiento: PAMF logró el mejor rendimiento general en las tareas de seguimiento en todos los conjuntos de datos y configuraciones de ausencia de datos (tanto para el 20% de ausencia dentro de la modalidad como para la ausencia a nivel de modalidad). Superó consistentemente a bases sólidas como FuseMoE, FlexMoE, Maestro y MIRA en términos de Macro-F1 y AUROC.
• Robustez: Bajo condiciones de ausencia mixta (brechas simultáneas dentro de la modalidad y a nivel de modalidad) y pruebas de estrés de alta ausencia (tasa de ausencia del 50%), PAMF mantuvo un rendimiento superior, mientras que los modelos base como Maestro mostraron una degradación significativa.
• Eficiencia: En comparación con las bases de imputación basadas en difusión (CSDI, SSSD), PAMF logró puntuaciones de Macro-F1 más altas con una latencia de inferencia significativamente menor (menos evaluaciones de función) debido a la eficiencia del ajuste de flujo y la naturaleza informativa de la inicialización con conocimiento previo.
• Estudios de Ablación: Eliminar cualquier componente clave (imputación, inicialización con conocimiento previo, condicionamiento de contexto o uso compartido de pesos) resultó en caídas de rendimiento, confirmando que el flujo completo es necesario para obtener resultados óptimos.

Significado y Reivindicaciones

El artículo sostiene que el obstáculo principal en el análisis de series temporales multimodales no es solo la presencia de datos faltantes, sino la heterogeneidad estructural de esa ausencia y el desacoplamiento de la recuperación de la señal de las tareas posteriores.

PAMF demuestra que:

1. La reconstrucción explícita de las señales faltantes es superior a simplemente tolerar las entradas incompletas mediante el uso de máscaras o marcadores (placeholders).
2. Distinguir los tipos de ausencia de datos es crucial; tratar todos los datos faltantes de manera uniforme (por ejemplo, con un único conocimiento previo Gaussiano) es subóptimo.
3. Acoplar la imputación con el aprendizaje de la tarea posterior mediante el uso compartido de pesos permite que el modelo aprenda representaciones que están específicamente adaptadas a la tarea de predicción, en lugar de generar señales genéricas "plausibles".

Los autores posicionan a PAMF como un método en etapa de investigación que mejora la robustez en entornos de atención médica donde los fallos de sensores o los exámenes incompletos son comunes. Reconocen limitaciones, señalando que el método requiere suficientes datos de entrenamiento para aprender estructuras temporales y transmodales fiables, y que la imputación explícita conlleva el riesgo de generar señales fisiológicas plausibles pero incorrectas si no se validan.