Riepilogo Tecnico: LONGMOE

Definizione del Problema

L'apprendimento clinico multimodale affronta due sfide fondamentali e intersecanti che i metodi esistenti non riescono ad affrontare congiuntamente:

1. Mancanza di Modalità (Modality Missingness): Nei cohort clinici reali, sottoinsiemi arbitrari di modalità (ad esempio, imaging, testo, dati genetici) sono spesso non disponibili in una determinata visita del paziente a causa di protocolli di acquisizione eterogenei e vincoli di risorse.
2. Dinamiche Longitudinali: Il significato diagnostico di un'osservazione è inseparabile dalla traiettoria evolutiva della malattia del paziente. Il valore di un biomarcatore dipende dalla sua posizione lungo la traiettoria di declino individuale, piuttosto che dal suo valore assoluto in un singolo istante statico.

Gli approcci esistenti trattano queste sfide in isolamento. I framework per la mancanza di modalità (ad esempio, Flex-MoE, FuseMoE) trattano tipicamente ogni visita come uno snapshot statico indipendente, scartando il contesto temporale. Al contrario, i modelli longitudinali (ad esempio, approcci basati su GRU) spesso assumono la disponibilità completa delle modalità a ogni visita e degradano in presenza di una mancanza sistematica. Nessun modello esistente gestisce efficacemente la sfida congiunta della spaziatura irregolare delle visite, delle combinazioni di modalità arbitrarie e dell'eterogeneità della popolazione.

Metodologia: Architettura LONGMOE

Gli autori propongono LONGMOE (Longitudinal Mixture-of-Experts), un framework unificato progettato per affrontare congiuntamente la mancanza di modalità e le dinamiche longitudinali. L'architettura elabora la sequenza longitudinale delle visite di un paziente attraverso quattro moduli sequenziali:

1. Embedding Specifici per Modalità

Ogni modalità $m_l$ è elaborata da un encoder dedicato $\phi_l$ adattato alle sue proprietà strutturali:

• MRI: Un encoder convoluzionale 3D seguito da una proiezione MLP.
• Punteggi Clinici, Biomarcatori e Genetica: MLP specifici per la modalità.
• Embedding Temporale: I timestamp delle visite sono codificati come embedding appresi che catturano il tempo assoluto e gli intervalli tra le visite.
  Le modalità non osservate sono inizialmente impostate come vettori nulli.

2. Imputazione e Tokenizzazione delle Modalità

Questo modulo gestisce i dati mancanti e crea un token di visita unificato:

• Imputazione Consapevole del Contesto (Context-Aware Imputation):
  • Carry-Forward: Se una modalità è stata osservata in una visita precedente, l'embedding più recente viene replicato (motivato dalla forte autocorrelazione a breve termine dei biomarcatori).
  • Imputazione Contestuale: Se non esiste un'osservazione precedente, una rete appresa si condiziona sulle modalità disponibili nella visita corrente per generare un embedding, utilizzando lo zero-masking per prevenire la contaminazione da segnali mancanti.
• Tokenizzazione Attentiva:
  • Fusione delle Modalità: La multi-head self-attention è applicata sugli embedding delle modalità imputate per apprendere le dipendenze inter-modali.
  • Codifica Viscode: Una codifica posizionale sinusoidale a frequenza multipla in tempo continuo mappa i timestamp delle visite in un vettore a dimensione fissa. Questa codifica è provabilmente iniettiva per sequenze campionate in modo non uniforme, catturando sia i trend longitudinali lenti che i rapidi cambiamenti di tasso senza assumere una spaziatura uniforme delle visite.
  • Fusione: L'embedding della modalità e la codifica viscode sono fusi tramite addizione elemento per elemento per produrre il token di visita $z_t$.

3. Modellazione Longitudinale Consapevole della Traiettoria

Uno stack di blocchi dell'encoder Transformer elabora la sequenza di token di visita $\{z_t\}$.

• Causal Masking: Una maschera di attenzione causale assicura che la rappresentazione alla visita $t$ dipenda solo dalla cronologia $\{v_1, \dots, v_t\}$, prevenendo la fuga di informazioni future.
• Output: Questo produce un embedding contestualizzato $h_t$ che integra l'intera traiettoria di progressione della malattia del paziente, fungendo da input ricco per il modulo di routing.

4. Routing SMoE Consapevole del Contesto

L'ultimo strato impiega un'architettura Sparse Mixture-of-Experts (SMoE) per gestire l'eterogeneità specifica del paziente e i pattern delle modalità:

• Architettura degli Esperti: Lo strato contiene $K=8$ esperti suddivisi in:
  • Esperti Individuali: Sottoreti specializzate per distinte sottopopolazioni di pazienti.
  • Esperti Condivisi: Accessibili a tutti gli input per catturare pattern comuni a livello di popolazione e prevenire la sovra-specializzazione.
• Routing: Una rete di routing mappa l'embedding della traiettoria $h_t$ a un vettore di punteggio. Il routing hard top-1 seleziona il singolo esperto più rilevante (più gli esperti condivisi sempre attivati).
• Aggregazione: Le previsioni finali sono ottenute tramite l'aggregazione attentiva degli output degli esperti attraverso tutte le visite, pesata dalla confidenza del router.
• Regolarizzazione: Una perdita di bilanciamento del carico (load-balancing loss) previene il collasso del router, garantendo un utilizzo uniforme degli esperti.

Contributi Chiave

1. Framework Unificato: LONGMOE è il primo modello che affronta congiuntamente la mancanza di modalità e la dinamica temporale longitudinale nell'apprendimento clinico multimodale.
2. Componenti Architetturali Innovative:
   • Un modulo di imputazione consapevole del contesto che sfrutta sia i dati storici che il contesto corrente.
   • Un modulo di tokenizzazione attentiva che combina l'attenzione cross-modale con una codifica temporale a frequenza multipla, provabilmente iniettiva, per sequenze irregolari.
   • Un encoder consapevole della traiettoria che modella la progressione della malattia.
   • Uno strato di routing SMoE condizionato dal contesto che seleziona dinamicamente gli esperti in base alla combinazione di modalità osservata e alla traiettoria del paziente.
3. Robustezza: Il framework dimostra robustezza in presenza di modalità mancanti o deboli, rimanendo competitivo nei setting a modalità complete.

Risultati Sperimentali

Gli autori hanno valutato LONGMOE su tre dataset: ADNI (Alzheimer's Disease Neuroimaging Initiative), OASIS-3 e MIMIC-IV.

• Performance: LONGMOE ha ottenuto il miglior AUC-ROC in tutte le combinazioni di modalità su ADNI e MIMIC-IV. Su OASIS-3, ha guidato in quattro delle sette combinazioni, particolarmente in contesti dominati da imaging e genetica, dove altri baseline sono crollati.
• Robustezza alla Mancanza di Modalità:
  • Su ADNI, LONGMOE ha mantenuto alte performance (AUC $\approx$ 0.94–0.97) anche quando era presente una singola modalità, mentre i baseline come TF sono crollati verso il caso casuale (0.50) e altri sono degradati significativamente.
  • L'encoder consapevole della traiettoria ha efficacementmente sostituito il contesto longitudinale con l'informazione della modalità mancante contemporanea, risultando in curve di degradazione quasi piatte man mano che le modalità venivano rimosse.
• Studi di Ablazione: La rimozione del Longitudinal Encoder (LE) o della Viscode Encoding (VE) ha causato i cali di performance più grandi, confermando il loro ruolo critico. Anche gli Esperti Condivisi e i meccanismi di Load Balancing si sono dimostrati vitali, specialmente in contesti con mancanza severa o cohort ridotte.
• Complessità: LONGMOE ha un numero di parametri e una latenza del forward-pass superiori rispetto ai baseline statici (ad esempio, 4.4M di parametri contro 183K per Flex-MoE) a causa del Transformer consapevole della traiettoria. Tuttavia, gli autori notano che questo è praticabile per l'inferenza batch offline, sebbene escluda l'uso al letto del paziente in tempo reale.

Significato e Rivendicazioni

Il paper afferma che LONGMOE stabilisce una solida base per l'apprendimento clinico multimodale consapevole della longitudinalità. Il suo principale significato risiede nel colmare il divario tra la gestione dei dati mancanti e la modellazione della progressione della malattia. Trattando la storia del paziente come una traiettoria continua e irregolare anziché come una serie di snapshot indipendenti, il modello può estrarre segnali discriminanti anche quando le visite correnti mancano di modalità critiche.

Gli autori dichiarano esplicitamente che, sebbene il modello sia altamente efficace per l'inferenza batch offline e la gestione di record clinici complessi e incompleti, l'aumentato costo computazionale dell'encoder consapevole della traiettoria ne limita l'applicabilità al supporto al letto del paziente in tempo reale. Inoltre, il modello non può sfruttare il contesto longitudinale per i pazienti al primo contatto senza una storia di visite precedenti, poiché l'encoder richiede almeno un'osservazione passata per generare embedding significativi.