Résumé Technique : PAMF (Prior-Aware Multimodal Fusion for Incomplete Time Series Data)

Définition du Problème

L'analyse de séries temporelles multimodales dans le domaine de la santé est confrontée à un défi critique : la présence omniprésente de données manquantes qui dégradent les performances prédictives en aval. L'article identifie deux modèles de données manquantes structurellement distincts que les méthodes existantes ne parviennent pas à traiter simultanément :

1. Manque intra-modalité : Des points temporels individuels sont absents au sein d'une modalité par ailleurs observée (par exemple, une défaillance de capteur lors d'un enregistrement).
2. Manque au niveau de la modalité : Une modalité entière est indisponible (par exemple, un patient ne peut pas subir un test spécifique comme un ECG).

Les approches existantes se divisent généralement en deux catégories, présentant toutes deux des limites :

• Fusion sensible aux données manquantes (Missing-Aware Fusion) : Des méthodes telles que FuseMoE, FlexMoE et Maestro gèrent l'absence de données en utilisant des masques, des mécanismes de porte (gating) ou des plongements (embeddings) de substitution appris. Cependant, elles ne reconstruisent pas explicitement les valeurs du signal manquant, traitant souvent l'absence de données comme un problème de robustesse de la représentation plutôt que comme un problème de récupération de signal.
• Imputation explicite : Des méthodes comme CSDI et SSSD utilisent des modèles génératifs (par exemple, la diffusion) pour reconstruire les valeurs manquantes. Cependant, elles traitent généralement toutes les données manquantes de manière uniforme, ignorant les différences structurelles entre les lacunes intra-modalité et celles au niveau de la modalité. De plus, l'imputation est souvent déconnectée de la tâche en aval, ce qui signifie que les signaux imputés ne sont pas optimisés pour l'objectif de prédiction spécifique.

Méthodologie : Le cadre PAMF

Les auteurs proposent PAMF, un cadre unifié qui traite explicitement les deux types de données manquantes tout en couplant l'imputation avec la prédiction en aval. Le cadre se compose de quatre composants principaux : un encodeur d'imputation ($h_{imp}$), un encodeur de fusion ($h_{fus}$), un module de correspondance de flux (flow matching module, $ffm$) et une tête de prédiction en aval ($f_{ds}$).

1. Correspondance de Flux Sensible aux Priors (Prior-Aware Flow Matching)

Au lieu de commencer le processus génératif à partir d'une distribution gaussienne fixe et agnostique du domaine (comme dans les modèles de diffusion standards), PAMF utilise la correspondance de flux (Flow Matching) avec une initialisation sensible aux priors. Cela permet de concevoir l'état source ($x_0$) en fonction du type spécifique de données manquantes, réduisant ainsi la distance de transport vers la distribution cible des données.

• Pour le manque intra-modalité : L'initialisation tire parti de la continuité temporelle locale. L'état source est construit à l'aide d'une combinaison convexe du voisin temporel observé le plus proche et de la moyenne par canal du lot (batch mean). Le poids décroît exponentiellement avec l'écart temporel, garantissant que le point de départ reste dans une plage d'observation locale plausible.
• Pour le manque au niveau de la modalité : Puisque les preuves de même modalité sont absentes, l'initialisation repose sur le contexte inter-modal. L'état source est dérivé de la moyenne du lot ou d'échantillons similaires au contexte, conditionnés par les représentations des modalités observées.

Le module de correspondance de flux apprend un champ de vitesse conditionnel $v_\theta$ qui transporte cet état source structuré $x_0$ vers le signal cible $x_1$ le long de trajectoires d'EDO (équations différentielles ordinaires) rectilignes, conditionné par le contexte d'imputation $c_{imp}$.

2. Partage de Poids et Entraînement en Trois Phases

Pour remédier au décalage entre l'imputation et les tâches en aval, PAMF emploie un mécanisme de partage de poids et une stratégie d'entraînement en trois phases :

• Phase 1 (Chauffage de la tâche en aval - Downstream Warmup) : L'encodeur de fusion ($h_{fus}$) et la tête de prédiction sont entraînés sur des données brutes et incomplètes à l'aide d'une perte de classification. Cela force l'encodeur à apprendre des représentations robustes aux données manquantes.
• Phase 2 (Entraînement de la correspondance de flux) : L'encodeur d'imputation ($h_{imp}$) est initialisé en copiant les poids de $h_{fus}$. Le module de correspondance de flux est ensuite entraîné pour imputer les signaux manquants conditionnés par $c_{imp}$ (qui encode le contexte pertinent pour la tâche appris lors de la Phase 1). Cela transfère la structure pertinente de la tâche dans le processus d'imputation.
• Phase 3 (Affinage conjoint - Joint Fine-tuning) : La branche d'imputation est gelée pour générer des données complétées ($x_{complete}$). L'encodeur de fusion et la tête de prédiction sont ensuite affinés sur ces données complétées pour perfectionner la performance prédictive finale.

Contributions Clés

1. Cadre Unifié pour la Dualité des Données Manquantes : PAMF est la première méthode qui traite simultanément les manques intra-modalité et au niveau de la modalité en reconstruisant explicitement les signaux manquants avec des priors spécifiques au type.
2. Initialisation Sensible aux Priors : Les auteurs introduisent un module génératif basé sur la correspondance de flux où l'état source est initialisé avec des priors structurels (voisins temporels pour les lacunes locales, statistiques inter-modales pour les lacunes globales) plutôt qu'avec un bruit fixe. Cette conception réduit les coûts d'inférence par rapport aux alternatives basées sur la diffusion.
3. Imputation Guidée par la Tâche : Grâce au partage de poids et à un calendrier d'entraînement en trois phases, le cadre relie l'imputation à la classification. Les représentations pertinentes pour la tâche, apprises pour la prédiction en aval, guident le processus d'imputation, garantissant que les signaux récupérés sont informatifs pour la tâche spécifique.

Résultats Expérimentaux

Les auteurs ont évalué PAMF sur quatre benchmarks physiologiques : Sleep-EDF (stades du sommeil), PTB-XL (diagnostic ECG), PPG-DaLiA (reconnaissance d'activité via wearables) et Chapman-Shaoxing (rythme ECG).

• Performance : PAMF a obtenu la meilleure performance globale en aval sur tous les ensembles de données et configurations de données manquantes (20 % de manque intra-modalité et manque au niveau de la modalité). Il a systématiquement surpassé les bases solides comme FuseMoE, FlexMoE, Maestro et MIRA en termes de Macro-F1 et d'AUROC.
• Robustesse : Sous un régime de manque mixte (simultanément intra-modalité et au niveau de la modalité) et lors de tests de stress à taux de manque élevé (50 %), PAMF a maintenu une performance supérieure, tandis que les bases comme Maestro ont montré une dégradation significative.
• Efficacité : Comparé aux bases d'imputation par diffusion (CSDI, SSSD), PAMF a obtenu des scores Macro-F1 plus élevés avec une latence d'inférence nettement inférieure (moins d'évaluations de fonctions) grâce à l'efficacité de la correspondance de flux et à la nature informative de l'initialisation sensible aux priors.
• Études d'Ablation : Le retrait de n'importe quel composant clé (imputation, initialisation sensible aux priors, conditionnement de contexte ou partage de poids) a entraîné des baisses de performance, confirmant que l'ensemble du pipeline est nécessaire pour des résultats optimaux.

Signification et Revendications

L'article affirme que l'obstacle principal de l'analyse de séries temporelles multimodales n'est pas seulement la présence de données manquantes, mais l'hétérogénéité structurelle de ces données et le découplage entre la récupération du signal et les tâches en aval.

PAMF démontre que :

1. La reconstruction explicite des signaux manquants est supérieure à la simple tolérance des entrées manquantes via le masquage ou les substituts.
2. Distinguer les types de données manquantes est crucial ; traiter toutes les données manquantes de manière uniforme (par exemple, avec un seul prior gaussien) est sous-optimal.
3. Coupler l'imputation avec l'apprentissage en aval via le partage de poids permet au modèle d'apprendre des représentations spécifiquement adaptées à la tâche de prédiction, plutôt que de générer des signaux génériques "plausibles".

Les auteurs positionnent PAMF comme une méthode de recherche qui améliore la robustesse dans les contextes de soins de santé où les défaillances de capteurs ou les examens incomplets sont courants. Ils reconnaissent des limites, notant que la méthode nécessite suffisamment de données d'entraînement pour apprendre des structures temporelles et inter-modales fiables, et que l'imputation explicite comporte le risque de générer des signaux physiologiques plausibles mais incorrects s'ils ne sont pas validés.