Riepilogo Tecnico: PAMF (Prior-Aware Multimodal Fusion for Incomplete Time Series Data)

Definizione del Problema

L'analisi di serie temporali multimodali in ambito sanitario affronta una sfida critica: la presenza pervasiva di dati mancanti che degrada le prestazioni predittive a valle. Il paper identifica due modelli di mancanza strutturalmente distinti che i metodi esistenti non riescono ad affrontare simultaneamente:

1. Mancanza intra-modalità (Within-modality missing): Singoli punti temporali sono assenti all'interno di una modalità altrimenti osservata (ad esempio, un dropout di un sensore durante una registrazione).
2. Mancanza a livello di modalità (Modality-level missing): Un'intera modalità non è disponibile (ad esempio, un paziente non può sottoporsi a un test specifico come l'ECG).

Gli approcci esistenti rientrano tipicamente in due categorie, entrambe con limitazioni:

• Fusione consapevole della mancanza (Missing-Aware Fusion): Metodi come FuseMoE, FlexMoE e Maestro gestiscono la mancanza utilizzando maschere, meccanismi di gating o embedding di segnaposto appresi. Tuttavia, non ricostruiscono esplicitamente i valori del segnale mancante, trattando spesso la mancanza come un problema di robustezza della rappresentazione piuttosto che come un problema di recupero del segnale.
• Imputazione esplicita (Explicit Imputation): Metodi come CSDI e SSSD utilizzano modelli generativi (ad esempio, la diffusione) per ricostruire i valori mancanti. Tuttavia, trattano tipicamente ogni tipo di mancanza in modo uniforme, ignorando le differenze strutturali tra i vuoti intra-modalità e quelli a livello di modalità. Inoltre, l'imputazione è spesso scissa dal compito a valle, il che significa che i segnali imputati non sono ottimizzati per l'obiettivo di predizione specifico.

Metodologia: Framework PAMF

Gli autori propongono PAMF, un framework unificato che gestisce esplicitamente entrambi i modelli di mancanza accoppiando l'imputazione con la predizione a valle. Il framework è composto da quattro componenti principali: un encoder di imputazione ($h_{imp}$), un encoder di fusione ($h_{fus}$), un modulo di flow matching ($ffm$) e una testa downstream ($f_{ds}$).

1. Flow Matching con Consapevolezza dei Prior (Prior-Aware Flow Matching)

Inveve di iniziare il processo generativo da una distribuzione Gaussiana fissa e agnostica rispetto al dominio (come nei modelli di diffusione standard), PAMF utilizza il Flow Matching con inizializzazione consapevole dei prior (prior-aware). Ciò consente di progettare lo stato sorgente ($x_0$) in base al tipo specifico di mancanza, riducendo la distanza di trasporto verso la distribuzione dei dati target.

• Per la mancanza intra-modalità: L'inizializzazione sfrutta la continuità temporale locale. Lo stato sorgente è costruito utilizzando una combinazione convessa del vicino temporale osservato più prossimo e della media del batch per canale. Il peso decade esponenzialmente con il gap temporale, garantendo che il punto di partenza rimanga entro un intervallo di osservazione locale plausibile.
• Per la mancanza a livello di modalità: Poiché l'evidenza della stessa modalità è assente, l'inizializzazione si basa sul contesto cross-modale. Lo stato sorgente è derivato dalla media del batch o da campioni simili per contesto, condizionati dalle rappresentazioni delle modalità osservate.

Il modulo di flow matching apprende un campo di velocità condizionale $v_\theta$ che trasporta questo stato sorgente strutturato $x_0$ verso il segnale target $x_1$ lungo percorsi ODE rettilinei, condizionato dal contesto di imputazione $c_{imp}$.

2. Condivisione dei Pesi e Addestramento in Tre Fasi

Per affrontare il disconnessione tra imputazione e compiti a valle, PAMF impiega un meccanismo di condivisione dei pesi e una strategia di addestramento in tre fasi:

• Fase 1 (Warmup Downstream): L'encoder di fusione ($h_{fus}$) e la testa downstream vengono addestrati su dati grezzi incompleti utilizzando una perdita di classificazione. Questo costringe l'encoder a imparare rappresentazioni robuste alla mancanza di dati.
• Fase 2 (Addestramento del Flow Matching): L'encoder di imputazione ($h_{imp}$) viene inizializzato copiando i pesi da $h_{fus}$. Il modulo di flow matching viene quindi addestrato per imputare i segnali mancanti condizionati su $c_{imp}$ (che codifica il contesto rilevante per il compito appreso nella Fase 1). Ciò trasferisce la struttura rilevante per il compito nel processo di imputazione.
• Fase 3 (Fine-tuning Congiunto): Il ramo di imputazione viene congelato per generare i dati completi ($x_{complete}$). L'encoder di fusione e la testa downstream vengono quindi perfezionati su questi dati completi per raffinare la prestazione predittiva finale.

Contributi Chiave

1. Framework Unificato per la Duplice Mancanza: PAMF è il primo metodo che affronta simultaneamente la mancanza intra-modalità e quella a livello di modalità, ricostruendo esplicitamente i segnali mancanti con prior specifici per tipo.
2. Inizializzazione Consapevole dei Prior: Gli autori introducono un modulo generativo basato sul flow matching in cui lo stato sorgente è inizializzato con prior strutturali (vicini temporali per i gap locali, statistiche cross-modali per i gap globali) invece di un rumore fisso. Questo design riduce l'overhead di inferenza rispetto alle alternative basate sulla diffusione.
3. Imputazione Guidata dal Compito: Attraverso la condivisione dei pesi e un programma di addestramento in tre fasi, il framework collega l'imputazione alla classificazione. Le rappresentazioni rilevanti per il compito apprese per la predizione a valle guidano il processo di imputazione, garantendo che i segnali recuperati siano informativi per il compito specifico.

Risultati Sperimentali

Gli autori hanno valutato PAMF su quattro benchmark fisiologici: Sleep-EDF (stadiazione del sonno), PTB-XL (diagnosi ECG), PPG-DaLiA (riconoscimento dell'attività tramite wearable) e Chapman-Shaoxing (ritmo ECG).

• Prestazioni: PAMF ha ottenuto le migliori prestazioni complessive a valle su tutti i dataset e le impostazioni di mancanza (sia il 20% di mancanza intra-modalità che la mancanza a livello di modalità). Ha superato costantemente i forti baseline come FuseMoE, FlexMoE, Maestro e MIRA in termini di Macro-F1 e AUROC.
• Robustezza: In condizioni di mancanza mista (gap simultanei sia intra-modalità che a livello di modalità) e test di stress con alta percentuale di mancanza (50%), PAMF ha mantenuto prestazioni superiori, mentre i baseline come Maestro hanno mostrato un significativo degrado.
• Efficienza: Rispetto ai baseline di imputazione basati sulla diffusione (CSDI, SSSD), PAMF ha ottenuto punteggi Macro-F1 più elevati con una latenza di inferenza significativamente inferiore (meno valutazioni della funzione) grazie all'efficienza del flow matching e alla natura informativa dell'inizializzazione consapevole dei prior.
• Studi di Ablazione: La rimozione di qualsiasi componente chiave (imputazione, inizializzazione consapevole dei prior, condizionamento del contesto o condivisione dei pesi) ha causato cali di prestazione, confermando che l'intera pipeline è necessaria per risultati ottimali.

Significato e Rivendicazioni

Il paper sostiene che l'ostacolo principale nell'analisi di serie temporali multimodali non è solo la presenza di dati mancanti, ma l'eterogeneità strutturale di tale mancanza e la disconnessione tra il recupero del segnale e i compiti a valle.

PAMF dimostra che:

1. La ricostruzione esplicita dei segnali mancanti è superiore al semplice tollerare gli input mancanti tramite masking o segnaposto.
2. Distinguere i tipi di mancanza è fondamentale; trattare tutti i dati mancanti in modo uniforme (ad esempio, con un singolo prior Gaussiano) è subottimale.
3. Accoppiare l'imputazione con l'apprendimento a valle tramite la condivisione dei pesi permette al modello di apprendere rappresentazioni che sono specificamente adattate al compito di predizione, piuttosto che generare segnali generici "plausibili".

Gli autori posizionano PAMF come un metodo in fase di ricerca che migliora la robustezza in contesti sanitari dove i guasti dei sensori o gli esami incompleti sono comuni. Riconoscono i limiti, notando che il metodo richiede una quantità sufficiente di dati di addestramento per apprendere strutture temporali e cross-modali affidabili e che l'imputazione esplicita comporta il rischio di generare segnali fisiologici plausibili ma errati se non validati.