Bayesian local clustering of functional data via semi-Markovian random partitions

Titolo: Clustering locale bayesiano di dati funzionali tramite partizioni casuali semi-Markoviane

1. Il Problema: Clustering Locale vs. Globale in Dati Funzionali

L'analisi dei dati funzionali (FDA) si occupa di dati rappresentati come curve o superfici lisce definite su un dominio continuo. Un problema centrale è il clustering, ovvero l'identificazione di gruppi omogenei all'interno di un campione di curve.

• Clustering Globale: Assegna ogni intera curva a un unico cluster. Questo approccio è spesso insufficiente perché le curve funzionali possono mostrare comportamenti diversi in diverse regioni del loro dominio (es. comportamento simile ai bordi ma diverso al centro).
• Clustering Locale: L'obiettivo è permettere a una singola osservazione funzionale di appartenere a cluster diversi in punti diversi del suo dominio.
• Sfida: Esistono approcci precedenti basati su processi di Dirichlet o modelli a due fasi (prima approssimazione, poi clustering), ma spesso falliscono nel catturare efficacemente le dipendenze locali o richiedono assunzioni di Markovianità di primo ordine troppo restrittive per la struttura dei dati funzionali.

2. Metodologia Proposta

Gli autori propongono un framework gerarchico bayesiano che combina l'espansione in basi B-spline con un nuovo modello di partizione casuale dipendente.

A. Espansione in Basi B-spline
Le curve $y_i(x)$ sono approssimate tramite una combinazione lineare di funzioni B-spline di grado $d$:
$$y_i(x) = \sum_{k=1}^K b_k(x)\theta_{ik}$$
dove $\theta_i$ è il vettore dei coefficienti. La proprietà chiave sfruttata è il supporto locale delle B-spline: una curva è determinata localmente in un sottointervallo da $d+1$ coefficienti contigui. Pertanto, due curve sono localmente identiche se condividono $d+1$ coefficienti contigui.

B. Il Modello di Partizione Casuale Semi-Markoviano (smRPM)
Per modellare l'evoluzione delle assegnazioni ai cluster lungo il dominio (indice $k$ della base), gli autori introducono il smRPM (semi-Markovian Random Partition Model). Questo supera i limiti dei modelli Markoviani tradizionali (come il tRPM di Page et al., 2022) che considerano solo la dipendenza immediata tra step adiacenti.

Il modello introduce due ordini di dipendenza:

1. Dipendenza di ordine $d_\rho$ (nelle partizioni): Introduce variabili latenti binarie $\gamma_{ik}$ che bloccano la riallocazione di un'unità $i$ per $d_\rho$ passi consecutivi. Questo permette di catturare la struttura di dipendenza di ordine superiore necessaria per allinearsi al grado $d$ delle B-spline (tipicamente $d_\rho = d+1$ o simile, a seconda della definizione di contiguità).
2. Dipendenza di ordine $d_\gamma$ (nelle variabili ausiliarie): Le variabili $\gamma_{ik}$ non sono indipendenti, ma seguono un modello autoregressivo logistico di ordine $d_\gamma$. Questo permette di modellare la persistenza delle decisioni di non-riallocazione in modo più flessibile.

C. Priori e Inferenza

• Coefficienti: I coefficienti delle B-spline per ciascun cluster sono modellati con una distribuzione normale, dove la media di un cluster al passo $k$ è una media pesata dei cluster "genitori" al passo $k-1$, garantendo regolarità e smoothness.
• Inferenza: L'inferenza postuma viene eseguita tramite un campionatore Gibbs. Gli autori derivano le distribuzioni condizionali complete per le partizioni $\rho_k$, le variabili latenti $\gamma_{ik}$ e i parametri di dipendenza $\alpha$, utilizzando algoritmi efficienti (come l'Algoritmo 8 di Neal) per gestire la complessità computazionale.

3. Contributi Chiave

1. Nuovo Modello di Partizione (smRPM): Introduzione di un modello di partizione casuale dipendente che rilassa l'assunzione di Markovianità di primo ordine, permettendo dipendenze di ordine superiore sia nelle partizioni che nelle variabili latenti che le guidano.
2. Allineamento Teorico: Dimostrazione che la struttura di dipendenza del modello deve essere allineata all'ordine della base B-spline per catturare correttamente le similarità funzionali locali.
3. Flessibilità Applicativa: Il modello non è limitato ai dati funzionali; è un contributo generale alla statistica non parametrica bayesiana per problemi che coinvolgono sequenze di partizioni dipendenti (es. serie temporali, dati spaziali).
4. Algoritmo di Inferenza: Sviluppo di un campionatore Gibbs efficiente che gestisce la complessità delle dipendenze di ordine superiore senza sacrificare la velocità di esecuzione.

4. Risultati Sperimentali

Gli autori hanno valutato il modello attraverso studi di simulazione e un'applicazione reale.

• Studi di Simulazione:

  • Confronto con tRPM: Il modello smRPM con ordini di dipendenza corretti ($d_\rho$ e $d_\gamma$) supera significativamente il modello tRPM (Markoviano di primo ordine) nel recuperare la vera sequenza di partizioni, specialmente quando i dati presentano dipendenze di ordine superiore.
  • Robustezza: Le prestazioni sono robuste anche in caso di specificazione errata del numero di funzioni base o del grado delle B-spline, sebbene una sovrastima del numero di basi sia preferibile a una sottostima.
  • Confronto con HMFLCM: Il modello proposto compete favorevolmente con il Hidden Markov Functional Local Clustering Model (HMFLCM), mostrando migliori prestazioni in termini di accuratezza di clustering (ARI) e, in alcuni scenari, di errore quadratico medio (RMSE), specialmente con campioni più piccoli.

• Applicazione Reale: Livelli di Marea nella Laguna di Venezia

  • Dati: Livelli orari dell'acqua misurati da 11 stazioni in due intervalli temporali (agosto e ottobre 2023), includendo periodi di attivazione del sistema MOSE (barriere mobili anti-allagamento).
  • Risultati: Il modello ha identificato con successo comportamenti globali (tutte le stazioni simili quando il MOSE è spento) e comportamenti locali complessi (divergenze durante l'attivazione del MOSE o durante tempeste).
  • Dettaglio: Ha permesso di osservare come una singola stazione possa mantenere un comportamento costante (cluster rosso) mentre le altre si raggruppano dinamicamente in base alle condizioni locali, dimostrando la capacità di catturare l'eterogeneità spaziale e temporale che il clustering globale perderebbe.

5. Significato e Implicazioni

Questo lavoro rappresenta un avanzamento significativo nella statistica bayesiana non parametrica per i dati funzionali.

• Superamento dei limiti Markoviani: Fornisce una soluzione teorica e pratica al problema della rigidità delle assunzioni Markoviane di primo ordine, che spesso non riescono a catturare la complessità delle transizioni di cluster in dati ad alta dimensionalità o con memoria lunga.
• Interpretabilità Fisica: L'allineamento tra l'ordine di dipendenza del modello e il grado delle B-spline garantisce che il clustering abbia un significato fisico reale (sovraimpressione delle curve su intervalli contigui), non essendo solo un artefatto matematico.
• Versatilità: Il framework smRPM è un blocco costruttivo generale che può essere integrato in modelli gerarchici complessi per qualsiasi problema dove l'evoluzione delle partizioni nel tempo o nello spazio è fondamentale.

In sintesi, Toto e Canale offrono un metodo potente e flessibile per analizzare dati funzionali eterogenei, permettendo una comprensione più granulare delle dinamiche locali che caratterizzano fenomeni complessi come le maree o altri processi continui.