📊 statistics

funOCLUST: Clustering Functional Data with Outliers

Il documento propone funOCLUST, un'estensione robusta dell'algoritmo OCLUST progettata per raggruppare dati funzionali e identificare efficacemente gli outlier affrontando le sfide della dimensionalità infinita e della sensibilità alle anomalie.

Autori originali: Katharine M. Clark, Paul D. McNicholas

Pubblicato 2026-07-14

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Katharine M. Clark, Paul D. McNicholas

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una scatola gigante di spaghetti. Ma questi non sono semplici noodles; sono linee sinuose e aggrovigliate che rappresentano cose come le variazioni di temperatura durante il giorno, il flusso del traffico o la crescita di una pianta. Nel mondo della scienza dei dati, queste vengono chiamate dati funzionali. Il problema? Queste linee sono infinite-dimensional (hanno infiniti punti) e sono disordinate. A volte, un noodle prende una strana piega, o un intero lotto viene sballato da una tempesta improvvisa, creando "outlier" (valori anomali) che rovinano la festa.

Entra in scena funOCLUST, un nuovo metodo proposto da Katharine M. Clark e Paul D. McNicholas. Pensa a funOCLUST come a uno chef super intelligente, ma leggermente scontroso, che vuole smistare questi spaghetti in pile perfette basandosi sulla loro forma, ma prima deve buttare via i pezzi bruciati, rotti o strani che non si adattano.

La Grande Idea: Trasformare le Sinuose in Vettori

Non puoi semplicemente gettare l'infinito spaghetti in una normale macchina per smistamento; è troppo complesso. Gli autori suggeriscono un trucco astuto: appiattire le curve.

Usano quella che viene chiamata una base B-spline cubica. Immagina di prendere ogni linea sinuosa e descriverla non tramite i suoi infiniti punti, ma attraverso una breve lista di numeri (coefficienti) che ti dicono come costruire quella linea usando un set specifico di blocchi da costruzione. È come trasformare un dipinto complesso in una semplice scheda ricetta. Una volta che le curve sono state trasformate in queste brevi liste di numeri (vettori), il problema diventa molto più facile da gestire.

La Caccia agli "Outlier": Il Gioco della Log-Likelihood

Ecco dove avviene la magia. Gli autori prendono un metodo esistente chiamato OCLUST (progettato per dati regolari) e lo adattano per queste nuove "schede ricetta".

L'algoritmo gioca al gioco del "E se rimuovessimo questo?".

Esamina l'intero gruppo di curve.
Chiede: "Se scaccio questo specifico elemento, il gruppo rimanente assomiglia di più a un cluster perfetto e ordinato?".
Misura questo attraverso quella che viene chiamata subset log-likelihood. Immaginala come un "punteggio di ordine". Se rimuovere una curva fa saltare il punteggio significativamente, quella curva era probabilmente l'elemento di disturbo.
L'algoritmo controlla se i "disturbatori" seguono un particolare modello matematico (una distribuzione beta traslata e scalata). Se le curve strane si adattano a questo modello, vengono ufficialmente espulse come outlier.

Gli autori hanno dimostrato (matematicamente) che, se le curve sono generate da un modello di miscela gaussiana standard, il "punteggio di ordine" cambia in modo prevedibile quando si rimuove una curva normale. Se il cambiamento è troppo drastico, la curva è un outlier.

Cosa Dice il Paper (e Cosa Non Dice)

Gli autori hanno eseguito 100 simulazioni di dataset per testare le abilità dello chef. Hanno creato 8 scenari diversi, variando i parametri:

Cluster: A volte c'erano 2 gruppi, a volte 5.
Complessità: Alcune curve erano semplici (come una linea retta), altre erano selvagge (con gobbe e increspature).
Sparsità: A volte i dati erano densi (molti punti), a volte sparsi (molti punti mancanti).
Outlier: Hanno creato due tipi di disturbatori. Alcuni erano "shift-scale" (l'intera curva è diventata più grande o si è spostata) e altri erano "heavy-tail" (errori casuali e selvaggi).

I Risultati:

Errori Heavy-Tail: Quando i dati presentavano errori casuali e selvaggi (code pesanti/heavy tails), funOCLUST è stato il chiaro vincitore, battendo competitor come funHDDC, T-funHDDC e tkmeans.
Errori Shift-Scale: Quando gli outlier erano solo versioni traslate o scalate delle curve normali, tkmeans (un metodo k-means troncato) ha fatto un lavoro leggermente migliore, sebbene funOCLUST si sia comunque mantenuto a livelli validi.
Test sul Mondo Reale 1 (Traffico Pedonale): Lo hanno testato sul traffico pedonale orario a Melbourne. L'algoritmo ha separato con successo i giorni lavorativi dai weekend/festivi. Ha identificato correttamente 22 giorni "outlier", inclusi il Capodanno, il Natale e il Capodanno Cinese. Questi erano giorni in cui il pattern del traffico non si adattava al solito modello di giorno lavorativo o di weekend.
Test sul Mondo Reale 2 (Dati NOx): Lo hanno testato sui dati dell'inquinamento atmosferico (livelli di NOx) a Barcellona. Il metodo ha raggiunto un Tasso di Classificazione Corretta (CCR) compreso tra 0,51 e 0,86, a seconda delle impostazioni del modello. La migliore impostazione (struttura di covarianza EEE) ha toccato lo 0,86, un valore in linea con i migliori altri metodi.

Cosa il Paper Esclude

Gli autori sono cauti nel definire cosa il loro metodo non sia.

Affermano esplicitamente che, mentre alcuni metodi cercano di raggruppare i dati in "sottospazi" (riducendo le dimensioni in un modo specifico), funOCLUST mantiene intatto l'intero dominio funzionale. Sostengono che a volte serve l'immagine completa, non solo un ritaglio.
Notano che il loro metodo si basa sull'assunto che le "schede ricetta" (coefficienti) provengano da una distribuzione normale multivariata. Se i dati sono selvaggiamente asimmetrici o non seguono questo schema, il metodo potrebbe faticare (sebbene suggeriscano che sia abbastanza robusto per molti casi reali).
Non sostengono che questo sia un "problema risolto" per tutti i dati funzionali. Infatti, nelle loro simulazioni, quando c'erano 5 cluster con alta complessità e dati sparsi, il tasso di falsi negativi (mancata rilevazione di un outlier) è salito al 51%. Ammettono che rilevare gli outlier in quelle specifiche e disordinate condizioni è intrinsecamente difficile.

Il Verdetto

Il paper suggerisce che funOCLUST è uno strumento robusto. Non è una bacchetta magica che risolve tutto istantaneamente, ma è un forte contendente, specialmente quando i dati sono rumorosi o presentano errori a coda pesante.

Gli autori concludono che questa è la prima estensione di OCLUST ai dati funzionali. Lo vedono come un punto di partenza. Suggeriscono che in futuro questo metodo potrebbe essere esteso per gestire dati asimmetrici o addirittura per far sì che la "ricetta" (la decomposizione della base) venga stimata all'interno dell'algoritmo di clustering, anziché come semplice primo passo.

Quindi, se avete una scatola di disordinati e sinuosi spaghetti e dovete smistarli eliminando quelli bruciati, funOCLUST è uno chef che vale la pena assumere — ma non aspettatevi che funzioni perfettamente se gli spaghetti sono troppo strani e la cucina è troppo buia!

Sintesi Tecnica: funOCLUST – Clustering di Dati Funzionali con Outlier

Definizione del Problema
L'analisi dei dati funzionali (FDA) affronta sfide uniche dovute alla natura a dimensione infinita delle funzioni e alla loro sensibilità agli outlier. Sebbene esistano metodi di clustering basati su modelli per i dati funzionali, essi spesso faticano a gestire osservazioni rumorose. Le robuste alternative esistenti, come quelle che utilizzano distribuzioni a code pesanti o approcci di trimming, si affidano frequentemente a tecniche di riduzione della dimensionalità (ad esempio, il clustering di sottospazi) che possono scartare informazioni dall'intero dominio funzionale. Inoltre, vi è una scarsità di algoritmi di trimming progettati specificamente per il clustering di dati funzionali basati su modelli che possano simultaneamente identificare gli outlier e raggruppare curve simili senza sacrificare l'integrità della rappresentazione funzionale.

Metodologia
Il documento propone funOCLUST, un'estensione dell'algoritmo OCLUST (Clark e McNicholas, 2024) adattato per i dati funzionali. La metodologia opera in due fasi principali:

Decomposizione Funzionale (Filtraggio):
Invece di trattare le osservazioni discretizzate come vettori ad alta dimensionalità, il metodo decompone i dati funzionali grezzi $Y_i(t)$ in una combinazione lineare di funzioni di base B-spline cubiche:
$Y_i(t) = \sum_{k=1}^{K+4} \beta_{i,k} B_k(t) + \epsilon_i$
Questo trasforma le funzioni a dimensione infinita in vettori di coefficienti $\mathbf{b}_i$ di dimensione $(K+4)$ . Gli autori assumono che questi coefficienti seguano un modello di miscela gaussiana a dimensione finita.
Trimming Iterativo e Clustering:
Il nucleo dell'algoritmo si basa sulla distribuzione delle log-verosimiglianze dei sottoinsiemi.
- Base Teorica: Il documento deriva che, se i coefficienti adattati appartengono a un particolare cluster $h$ , la differenza nella log-verosimiglianza tra l'intero dataset e un sottoinsieme con un'osservazione rimossa ( $D_j = l_{X \setminus b_j} - l_X$ ) segue una distribuzione beta traslata e scalata approssimativa.
- Definizione di Outlier: Un vettore di coefficienti candidato come outlier è definito come quello la cui rimozione produce il maggiore incremento della log-verosimiglianza dei dati rimanenti.
- Processo Algoritmico: L'algoritmo identifica e rimuove iterativamente il vettore di coefficienti più anomalo. Dopo ogni rimozione, la distribuzione delle log-verosimiglianze del sottoinsieme rimanente viene confrontata con la distribuzione teorica della miscela beta utilizzando la divergenza di Kullback-Leibler (KL). Il processo termina quando la divergenza KL è minimizzata, indicando che i dati rimanenti sono conformi alle assunzioni del modello.

Contributi Chiave

Estensione di OCLLUST: Questo lavoro rappresenta la prima estensione del framework OCLUST al dominio dei dati funzionali.
Derivazione della Distribuzione: Il documento fornisce una derivazione matematica (Lemma 1) stabilendo che le differenze di log-verosimiglianza dei coefficienti B-spline seguono una distribuzione beta traslata e scalata sotto l'assunzione di un modello di miscela gaussiana.
Clustering e Trimming Simultanei: A differenza degli approcci in due fasi che filtrano e poi effettuano il clustering, funOCLUST integra il rilevamento degli outlier e il clustering all'interno di un paradigma basato su modelli, mantenendo le informazioni dalla piena rappresentazione funzionale tramite la base B-spline.
Gestione dei Tipi di Outlier: Il metodo si dimostra capace di rilevare vari tipi di outlier funzionali (isolati, persistenti, di spostamento, di ampiezza e di forma) analizzando le proprietà multivariate dei coefficienti spline.

Risultati
Le prestazioni di funOCLUST sono state valutate attraverso studi di simulazione e applicazioni nel mondo reale:

Studio di Simulazione:
- L'algoritmo è stato testato contro cinque competitor (funHDDC, T-funHDDC, tkmeans, mocca e fOutl) in otto scenari che variano per numero di cluster, complessità funzionale, scarsità di campionamento e tipo di outlier (code pesanti vs. shift-scale).
- Accuratezza del Clustering: funOCLUST ha ottenuto il più alto valore medio di Adjusted Rand Index (ARI) in tutti gli scenari. Ha performato eccezionalmente bene negli scenari con errori a code pesanti (scenari 1, 4, 6, 7) e ha dimostrato una performance robusta e costante in altre condizioni.
- Identificazione degli Outlier: Negli scenari shift-scale, funOCLUST ha mostrato i tassi di falsi negativi più bassi per dati di moderata complessità, sebbene la performance sia diminuita in scenari ad alta complessità, con campionamento sparso e molti cluster.
Applicazioni nel Mondo Reale:
- Traffico Pedonale (Melbourne): Applicato ai dati del traffico orario, funOCLUST ha identificato con successo le festività significative (es. Capodanno, Natale, Capodanno Cinese) come outlier. Dopo la rimozione di 22 outlier, l'algoritmo ha classificato perfettamente i giorni rimanenti in giorni lavorativi e non lavorativi, superando funHDDC, T-funHDDC e tkmeans.
- Benchmark NOx (Barcellona): Applicato ai dati sull'inquinamento atmosferico, funOCLUST ha raggiunto un tasso di classificazione corretta (CCR) compreso tra 0,51 e 0,86, a seconda della struttura di covarianza. Il modello con le migliori prestazioni (struttura EEE) ha raggiunto un CCR di 0,86, posizionandosi al pari di metodi esistenti come T-funHDDC e C-funHDDC.

Significatività e Rivendicazioni
Il documento afferma che funOCLUST fornisce un approccio robusto e basato su modelli per il clustering di dati funzionali che gestisce efficacemente gli outlier senza richiedere una riduzione della dimensionalità che scarti l'informazione funzionale. Gli autori dichiarano che l'algoritmo dimostra una "forte performance nel clustering e nell'identificazione degli outlier" attraverso diversi dataset simulati e reali.

La significatività del lavoro è inquadrata come un modo per aprire la strada a future estensioni, inclusi i casi di applicazione a dati funzionali multivariati e asimmetrici, e potenziali sviluppi in cui la decomposizione funzionale viene stimata all'interno dell'algoritmo Expectation-Maximization (EM) anziché come fase di pre-processing. Gli autori mantengono un tono modesto, riconoscendo che, sebbene il metodo funzioni bene, rimangono sfide in scenari che combinano alta complessità, campionamento sparso e informazioni limitate per ogni cluster.