NeuralFLoC: Neural Flow-Based Joint Registration and Clustering of Functional Data

1. Enunciato del Problema

Il paper affronta la sfida del clustering di dati funzionali (ad esempio, segnali biologici, percorsi di movimento) in presenza di variazione di fase.

• Il Problema Centrale: I dati funzionali spesso esibiscono due tipi di variabilità: variazione di ampiezza (differenze di magnitudine verticale) e variazione di fase (disallineamento temporale/orizzontale delle caratteristiche).
• La Difficoltà: Gli algoritmi di clustering standard falliscono quando la variazione di fase è significativa, poiché raggruppano le curve basandosi sul disallineamento temporale piuttosto che su differenze intrinseche di forma.
• Limitazioni dei Metodi Esistenti:
  • Approcci a due stadi: Esegono registrazione (allineamento) e clustering separatamente. Ciò porta a propagazione degli errori, bias da template pre-specificati e inefficienza computazionale.
  • Modelli statistici congiunti: Spesso si basano su assunzioni parametriche restrittive (ad esempio, semplici spostamenti temporali, processi di Dirichlet) e faticano con la scalabilità o i dati multivariati.

2. Metodologia: NeuralFLoC

Gli autori propongono NeuralFLoC, un framework di deep learning completamente non supervisionato e end-to-end che integra le Equazioni Differenziali Ordinarie Neurali (Neural ODE) con il clustering spettrale. Il framework è composto da tre moduli principali:

A. Inizializzazione Latente (Encoder 1D-CNN)

• I dati funzionali grezzi $x_i(t)$ vengono passati attraverso una Rete Neurale Convoluzionale 1D (CNN) per estrarre pattern morfologici locali.
• L'output è un vettore latente $z_i$ che funge da condizione iniziale per le successive dinamiche di warping. Ciò garantisce che l'allineamento inizi da una rappresentazione consapevole della forma.

B. Warping a Tempo Continuo (Neural ODE Warper)

• Invece di un warping discreto, il modello impara funzioni di warping lisce e invertibili $\gamma_i(t)$ utilizzando Neural ODE.
• Meccanismo: Un campo di velocità apprendibile $f$ (parametrizzato da un MLP) governa il flusso continuo $\tau_i(t)$:
  $$\frac{d\tau_{ij}(t)}{dt} = f(\tau_{ij}(t), t, z_{ij}; \Theta_{ode})$$
• Vincoli: Un'attivazione Softplus garantisce che la derivata sia positiva ($\dot{\gamma} > 0$), assicurando che la funzione di warping sia strettamente monotona e invertibile (un diffeomorfismo).
• Mixing Consapevole del Cluster: La funzione di warping finale per un campione è una miscela di flussi specifici per il cluster, ponderata dalle probabilità di assegnazione soft $p_{ij}$, permettendo all'allineamento di essere guidato dalla struttura del cluster.

C. Clustering Spettrale e Funzione Obiettivo

• Allineamento: Le curve allineate vengono trasformate nello spazio della Funzione Velocità Radice Quadrata (SRVF). Questa metrica è invariante rispetto alla riparametrizzazione, permettendo calcoli di distanza geometricamente significativi.
• Clustering: Le curve allineate vengono proiettate su una base di Fourier per filtrare il rumore ed estrarre coefficienti spettrali. Un meccanismo di assegnazione soft (utilizzando un kernel della distribuzione t di Student) assegna le curve ai centroidi del cluster.
• Funzione di Perdita Congiunta: Il modello minimizza un obiettivo unificato:
  $$\mathcal{L}_{total} = \mathcal{L}_{reg} + \alpha \mathcal{L}_{clu}$$
  • $\mathcal{L}_{reg}$: Perdita di registrazione SRVF condizionata al cluster (minimizzazione della distanza rispetto alle medie di Karcher specifiche per il cluster).
  • $\mathcal{L}_{clu}$: Perdita di clustering (divergenza Kullback-Leibler tra assegnazioni soft e una distribuzione target) per incoraggiare una separazione sicura dei cluster.
  • $\alpha$: Un iperparametro di bilanciamento.

3. Contributi Chiave

1. Framework Innovativo: Il primo approccio di deep learning end-to-end per la simultanea registrazione e clustering di dati funzionali.
2. Flussi Diffeomorfi: Utilizza Neural ODE per garantire funzioni di warping lisce, invertibili e monotone senza assunzioni distributive esplicite, superando i limiti dei metodi discreti o parametrici.
3. Garanzie Teoriche:
   • Approssimazione Universale: Dimostra che il modulo Neural ODE può approssimare qualsiasi funzione di warping ammissibile arbitrariamente bene.
   • Consistenza Asintotica: Stabilisce che lo stimatore congiunto converge alle assegnazioni vere dei cluster all'aumentare della dimensione del campione, a condizione che i cluster siano separabili dopo la registrazione.
4. Scalabilità: Raggiunge una complessità temporale lineare $O(N)$ rispetto alla dimensione del campione e un utilizzo di memoria costante tramite il metodo di sensibilità aggiuntiva, rendendolo adatto a grandi dataset.

4. Risultati Sperimentali

Il metodo è stato valutato su dataset diversificati provenienti dall'UCR Time Series Archive (Shapes, Wave, Symbols) che coinvolgono sia dati funzionali univariati che multivariati.

• Prestazioni: NeuralFLoC ha ottenuto risultati State-of-the-Art (SOTA) sia nella registrazione (misurata tramite Varianza Totale Aggiustata, ATV) che nel clustering (Accuratezza e Normalized Mutual Information).
• Studi di Ablazione:
  • Sostituire la Neural ODE con un warping discreto (SrvfRegNet) ha degradato significativamente le prestazioni, evidenziando l'importanza dei flussi continui.
  • Rimuovere il modulo di registrazione o quello di clustering ha causato drastici cali di prestazioni, confermando la necessità della formulazione congiunta.
• Robustezza: Il modello ha dimostrato una forte robustezza a:
  • Dati Mancanti: Ha mantenuto le prestazioni con fino al 20% di punti mancanti.
  • Campionamento Irregolare: Ha funzionato bene su griglie campionate in modo non uniforme.
  • Rumore: È rimasto stabile sotto livelli di rumore gaussiano fino a $\sigma=0.10$.
• Scalabilità: È stato scalato con successo a ~70.000 campioni con degradazione minima delle prestazioni.

5. Significato

NeuralFLoC rappresenta un cambiamento di paradigma nell'Analisi dei Dati Funzionali (FDA) unificando la registrazione geometrica e l'apprendimento non supervisionato.

• Disaccoppiamento: Separa efficacemente le variazioni di fase e di ampiezza, un passaggio critico spesso ignorato o gestito male nei metodi precedenti.
• Flessibilità: Evitando assunzioni parametriche restrittive, può modellare distorsioni temporali complesse e non lineari comuni nei sistemi biologici e fisici reali.
• Praticità: La sua efficienza computazionale e la robustezza lo rendono applicabile a grandi dataset funzionali, rumorosi e campionati in modo irregolare, dove i metodi statistici tradizionali falliscono.

In sintesi, NeuralFLoC fornisce una soluzione principiale, scalabile ed altamente efficace per l'analisi di dati funzionali disallineati, colmando il divario tra la flessibilità del deep learning e il rigore geometrico richiesto per l'analisi dei dati funzionali.