Résumé Technique : LONGMOE

Énoncé du Problème

L'apprentissage clinique multimodal fait face à deux défis fondamentaux et intersectés que les méthodes existantes ne parviennent pas à traiter conjointement :

1. Absence de Modalités (Modality Missingness) : Dans les cohortes cliniques réelles, des sous-ensembles arbitraires de modalités (par exemple, l'imagerie, le texte, les données génétiques) sont souvent indisponibles lors d'une visite donnée en raison de protocoles d'acquisition hétérogènes et de contraintes de ressources.
2. Dynamique Longitudinale : La signification diagnostique d'une observation est inséparable de la trajectoire évolutive de la maladie du patient. La valeur d'un biomarqueur dépend de sa position le long de la trajectoire de déclin individuelle plutôt que de sa valeur absolue lors d'un instantané statique unique.

Les approches existantes traitent ces défis de manière isolée. Les cadres de gestion des modalités manquantes (par exemple, Flex-MoE, FuseMoE) traitent généralement chaque visite comme un instantané statique indépendant, écartant ainsi le contexte temporel. Inversement, les modèles longitudinaux (par exemple, les approches basées sur les GRU) supposent souvent une disponibilité complète des modalités à chaque visite et se dégradent en cas de présence systématique de données manquantes. Aucun modèle existant ne gère efficacement le défi conjoint de l'espacement irrégulier des visites, des combinaisons de modalités arbitraires et de l'hétérogénéité de la population.

Méthodologie : Architecture LONGMOE

Les auteurs proposent LONGMOE (Longitudinal Mixture-of-Experts), un cadre unifié conçu pour traiter conjointement l'absence de modalités et la dynamique longitudinale. L'architecture traite la séquence de visites longitudinales d'un patient à travers quatre modules séquentiels :

1. Plongements Spécifiques aux Modalités (Modality-Specific Embeddings)

Chaque modalité $m_l$ est traitée par un encodeur dédié $\phi_l$ adapté à ses propriétés structurelles :

• IRM : Un encodeur convolutionnel 3D suivi d'une projection MLP.
• Scores Cliniques, Biomarqueurs et Génétique : MLPs spécifiques à la modalité.
• Plongement Temporel : Les horodatages des visites sont encodés sous forme de plongements appris capturant le temps absolu et les intervalles entre les visites.
  Les modalités non observées sont initialement définies comme des vecteurs nuls.

2. Imputation de Modalités et Tokenisation

Ce module gère les données manquantes et crée un jeton (token) de visite unifié :

• Imputation Sensible au Contexte :
  • Report à Terme (Carry-Forward) : Si une modalité a été observée lors d'une visite précédente, l'embedding le plus récent est répliqué (motivé par une forte autocorrélation à court terme des biomarqueurs).
  • Imputation Contextuelle : Si aucune observation préalable n'existe, un réseau appris se conditionne sur les modalités disponibles à la visite actuelle pour générer un embedding, utilisant un masquage par zéro pour éviter la contamination par des signaux manquants.
• Tokenisation Attentionnelle :
  • Fusion de Modalités : Une auto-attention multi-têtes est appliquée sur les embeddings de modalités imputés pour apprendre les dépendances inter-modalités.
  • Encodage Viscode : Un encodage positionnel sinusoïdal multi-fréquence à temps continu projette les horodatages des visites dans un vecteur de dimension fixe. Cet encodage est prouvablement injectif pour les séquences échantillonnées de manière non uniforme, capturant à la fois les tendances longitudinales lentes et les changements de taux rapides sans supposer un espacement uniforme des visites.
  • Fusion : L'embedding de la modalité et l'encodage Viscode sont fusionnés par addition élément par élément pour produire le jeton de visite $z_t$.

3. Modélisation Longitudinale Sensible à la Trajectoire

Une pile de blocs d'encodeurs Transformer traite la séquence de jetons de visite $\{z_t\}$.

• Masquage Causal : Un masque d'attention causal garantit que la représentation à la visite $t$ ne dépend que de l'historique $\{v_1, \dots, v_t\}$, empêchant ainsi la fuite d'informations futures.
• Sortie : Cela produit un embedding contextualisé $h_t$ qui intègre la trajectoire complète de progression de la maladie du patient, servant d'entrée riche pour le module de routage.

4. Routage SMoE Sensible au Contexte

La couche finale emploie une architecture de Mélange d'Experts Creux (Sparse Mixture-of-Experts - SMoE) pour gérer l'hétérogénéité spécifique aux patients et les motifs de modalités :

• Architecture des Experts : La couche contient $K=8$ experts partitionnés en :
  • Experts Individuels : Sous-réseaux spécialisés pour des sous-populations de patients distinctes.
  • Experts Partagés : Accessibles à toutes les entrées pour capturer les motifs communs au niveau de la population et prévenir la sur-spécialisation.
• Routage : Un réseau de routage projette l'embedding de trajectoire $h_t$ vers un vecteur de score. Un routage "hard top-1" sélectionne l'expert le plus pertinent (plus les experts partagés toujours activés).
• Agrégation : Les prédictions finales sont obtenues via une agrégation attentionnelle des sorties des experts à travers toutes les visites, pondérée par la confiance du routeur.
• Régularisation : Une perte d'équilibrage de charge (load-balancing loss) empêche l'effondrement du routeur, assurant une utilisation uniforme des experts.

Contributions Clés

1. Cadre Unifié : LONGMOE est le premier modèle traitant conjointement l'absence de modalités et la dynamique temporelle longitudinale dans l'apprentissage clinique multimodal.
2. Composants Architecturaux Nouveaux :
   • Un module d'imputation sensible au contexte qui exploite à la fois les données historiques et le contexte actuel.
   • Un module de tokenisation attentionnelle combinant l'attention inter-modale avec un encodage temporel multi-fréquence prouvablement injectif pour les séquences irrégulières.
   • Un encodeur sensible à la trajectoire qui modélise la progression de la maladie.
   • Une couche de routage SMoE conditionnée par le contexte qui sélectionne dynamiquement les experts en fonction de la combinaison de modalités observée et de la trajectoire du patient.
3. Robustesse : Le cadre démontre une robustesse face aux modalités manquantes ou faibles tout en restant compétitif dans les configurations à modalités complètes.

Résultats Expérimentaux

Les auteurs ont évalué LONGMOE sur trois jeux de données : ADNI (Alzheimer's Disease Neuroimaging Initiative), OASIS-3 et MIMIC-IV.

• Performance : LONGMOE a obtenu le meilleur AUC-ROC sur toutes les combinaisons de modalités sur ADNI et MIMIC-IV. Sur OASIS-3, il arrive en tête dans quatre des sept combinaisons, particulièrement dans les contextes dominés par l'imagerie et la génétique, où les autres bases de référence s'effondrent.
• Robustesse à l'absence de modalités :
  • Sur ADNI, LONGMOE a maintenu des performances élevées (AUC $\approx$ 0,94–0,97) même lorsqu'une seule modalité était présente, alors que les bases de référence comme TF s'effondraient vers le hasard (0,50) et que d'autres se dégradaient significativement.
  • L'encodeur sensible à la trajectoire a efficacement substitué le contexte longitudinal aux informations de modalités contemporaines manquantes, résultant en des courbes de dégradation presque plates lorsque les modalités sont supprimées.
• Études d'Ablation : La suppression de l'Encodeur Longitudinal (LE) ou de l'Encodage Viscode (VE) a entraîné les baisses de performance les plus importantes, confirmant leur rôle critique. Les Experts Partagés et les mécanismes d'Équilibrage de Charge ont également montré qu'ils étaient vitaux, particulièrement dans les contextes de forte absence de données ou de petites cohortes.
• Complexité : LONGMOE possède un nombre de paramètres et une latence de passage direct (forward-pass) plus élevés que les bases de référence statiques (par exemple, 4,4M de paramètres contre 183K pour Flex-MoE) en raison de l'encodeur de trajectoire. Cependant, les auteurs notent que cela est pratique pour l'inférence par lots hors ligne, bien que cela empêche une utilisation au chevet du patient en temps réel.

Signification et Revendications

L'article affirme que LONGMOE établit une base solide pour l'apprentissage multimodal longitudinalement conscient. Sa principale importance réside dans le pont jeté entre la gestion des données manquantes et la modélisation de la progression de la maladie. En traitant l'historique du patient comme une trajectoire continue et irrégulière plutôt que comme une série d'instantanés indépendants, le modèle peut extraire des signaux discriminants même lorsque les visites actuelles manquent de modalités critiques.

Les auteurs déclarent explicitement que, bien que le modèle soit très efficace pour l'inférence par lots hors ligne et la gestion de dossiers cliniques complexes et incomplets, le coût computationnel accru de l'encodeur de trajectoire limite son applicabilité au support clinique en temps réel au chevet du patient. De plus, le modèle ne peut pas exploiter le contexte longitudinal pour les patients de premier contact n'ayant aucun historique de visite antérieur, car l'encodeur nécessite au moins une observation passée pour générer des embeddings significatifs.