Bayesian local clustering of functional data via semi-Markovian random partitions

Probleemstelling

Traditionele functionele data-analyse (FDA) richt zich vaak op globale clustering, waarbij elke curve (functie) als geheel aan één cluster wordt toegewezen. Echter, functionele data vertonen vaak heterogeniteit: verschillende delen van een curve kunnen verschillende patronen vertonen die niet door één enkel globaal cluster kunnen worden gevangen.
De auteurs introduceren het concept van lokale clustering, waarbij een enkele functionele observatie op verschillende punten in haar domein tot verschillende clusters kan behoren. Bestaande methoden, zoals Hidden Markov Modellen (HMM) of eerdere Random Partition Models (zoals tRPM), zijn vaak te restrictief omdat ze aannemen dat de overgang tussen clusters een eerste-orde Markov-karakteristiek heeft (de toestand op tijdstip $k$ hangt alleen af van $k-1$). Dit sluit niet goed aan bij de wiskundige eigenschappen van B-splines, waarbij een functie op een bepaald interval wordt bepaald door een reeks van $d+1$ opeenvolgende coëfficiënten (waarbij $d$ de graad van de spline is). Een eerste-orde afhankelijkheid is dus ontoereikend om de lokale gelijkenis van functies correct te modelleren.

Methodologie

De auteurs stellen een nieuw Bayesiaans hiërarchisch raamwerk voor dat twee kerncomponenten combineert:

1. Basis-expansie met B-splines:
   Functionele data $y_i(x)$ worden benaderd als een lineaire combinatie van B-spline-basisfuncties:
   $$y_i(x) = \sum_{k=1}^K b_k(x)\theta_{ik}$$
   In plaats van de gehele vector $\theta_i$ aan één cluster toe te wijzen, wordt een vector van lokale clusterlabels $c_i = (c_{i1}, \dots, c_{iK})^\top$ gebruikt. Twee curves worden lokaal identiek geacht als ze $d+1$ opeenvolgende basiscoëfficiënten delen.

2. Semi-Markovian Random Partition Model (smRPM):
   Om de afhankelijkheid tussen de lokale clusters langs het domein te modelleren, introduceren de auteurs het smRPM. Dit model lost de beperkingen van eerdere modellen op door twee vormen van afhankelijkheid in te voeren:

   • Dependence order $d_\rho$ (voor partities): In plaats van alleen de vorige partitie te bekijken, wordt de toewijzing van een eenheid beïnvloed door een reeks van $d_\rho$ vorige indices. Dit wordt geregeld via binaire latente variabelen $\gamma_{ik}$. Als $\gamma_{ik}=1$, kan eenheid $i$ niet worden hertoewezen voor de volgende $d_\rho$ stappen. Hierdoor wordt de "persistency" van een cluster over meerdere stappen geforceerd, wat overeenkomt met de orde van de B-spline basis.
   • Dependence order $d_\gamma$ (voor hulpvariabelen): De auteurs modelleren de evolutie van de hulpvariabelen $\gamma_{ik}$ zelf niet als onafhankelijk, maar via een logistische autoregressie. De kans dat een eenheid niet wordt hertoewezen hangt af van de waarden van $\gamma$ in de vorige $d_\gamma$ stappen.

   Het model wordt aangeduid als smRPM($d_\rho, d_\gamma$). De auteurs bevelen aan om $d_\rho$ gelijk te stellen aan de graad van de B-spline en $d_\gamma$ gelijk aan $d_\rho$ te stellen voor optimale prestaties.

3. Posterieure Inferentie:
   De inferentie gebeurt via Gibbs-sampling. De auteurs leiden de volledige conditionele verdelingen af voor de partities, de hulpvariabelen en de hyperparameters. Ze maken gebruik van de Chinese Restaurant Process (CRP) voor de initiële partitie en passen Neal's algoritme toe voor efficiënte updates.

Belangrijkste Bijdragen

• Nieuw Model (smRPM): Een generalisatie van het tijdsafhankelijke Random Partition Model (tRPM) dat hogere-orde afhankelijkheid toestaat, zowel in de evolutie van de clusters als in de sturing van die evolutie.
• Koppeling met B-splines: Het model is specifiek ontworpen om de lokale steun-eigenschappen van B-splines te benutten. Door $d_\rho$ te matchen met de spline-graad, garandeert het model dat gedeelde clusters leiden tot daadwerkelijk overlappende functiedelen.
• Flexibiliteit: Het model is niet beperkt tot functionele data; het kan worden toegepast op elk probleem waarbij sequenties van afhankelijke partities nodig zijn en waar standaard Markov-aannames te streng zijn.
• Efficiëntie: Ondanks de complexiteit van hogere-orde afhankelijkheid, tonen de auteurs aan dat het algoritme computatie-efficiënt is, vooral bij grotere datasets.

Resultaten

De auteurs evalueren het model via drie simulatiestudies en een toepassing op reële data:

1. Simulaties:

   • Vergelijking met tRPM: Het smRPM presteert significant beter dan het standaard tRPM (dat $d_\rho=1$ is), vooral wanneer de data een hogere-orde afhankelijkheid vertonen.
   • Invloed van $d_\rho$ en $d_\gamma$: De beste prestaties worden behaald wanneer $d_\rho$ en $d_\gamma$ beide gelijk zijn aan de orde van de onderliggende structuur (bijv. de spline-graad). Het modelleren van afhankelijkheid in de hulpvariabelen ($d_\gamma > 0$) leidt tot robuustere resultaten en minder variabiliteit.
   • Robuustheid: Het model presteert goed zelfs bij verkeerde specificatie van het aantal basisfuncties (misspecification), hoewel een over-schatting van het aantal knopen beter werkt dan een onderschatting.
   • Vergelijking met HMFLCM: In vergelijking met de Hidden Markov Functional Local Clustering Model (HMFLCM) van Fan & Sarkar (2024) presteert smRPM beter in kleine steekproeven en levert het lagere voorspellingsfouten (RMSE).

2. Toepassing: Getijdata van de Venetiaanse Lagune:

   • Data: Uurlijkse getijmetingen van 11 stations in de Venetiaanse Lagune.
   • Context: Analyse van twee periodes, inclusief momenten waarop het MOSE-vloedbeveiligingssysteem werd geactiveerd.
   • Resultaat: Het model slaagt erin om zowel globale patronen (bijv. gelijktijdige stijgingen) als lokale patronen te detecteren. Tijdens de activering van MOSE vertonen de stations verschillende lokale gedragingen die door globale clustering-methoden zouden worden gemist. Het model identificeert ook onzekerheid in het aantal clusters via de posterior-verdeling, wat inzicht geeft in de stabiliteit van de clusters.

Betekenis en Conclusie

Dit artikel biedt een krachtige, flexibele oplossing voor het probleem van lokale clustering in functionele data. Door de beperkingen van eerste-orde Markov-aannames te doorbreken en deze te koppelen aan de wiskundige eigenschappen van B-splines, stelt het smRPM onderzoekers in staat om complexe, gedeeltelijk overlappende patronen in data te ontrafelen.

De methode is niet alleen theoretisch interessant voor de Bayesiaanse niet-parametrische statistiek, maar heeft ook directe praktische toepassingen in domeinen zoals hydrologie, waar lokale variaties in tijdreeksen cruciaal zijn voor begrip en voorspelling. De beschikbaarheid van de code en de robuuste prestaties in simulaties maken het een waardevol instrument voor de statistische gemeenschap.