NeuralFLoC: Neural Flow-Based Joint Registration and Clustering of Functional Data

1. Probleemstelling

Het artikel adresseert de uitdaging van het clustern van functionele data (bijvoorbeeld biologische signalen, bewegingspaden) in aanwezigheid van fasevariatie.

• De Kernkwestie: Functionele data vertonen vaak twee soorten variabiliteit: amplitudvariatie (verschillen in verticale grootte) en fasevariatie (horizontale/temporale misalignatie van kenmerken).
• De Moeilijkheid: Standaard clustering-algoritmen falen wanneer fasevariatie significant is, omdat ze curves groeperen op basis van temporale misalignatie in plaats van intrinsieke vormverschillen.
• Beperkingen van Bestaande Methoden:
  • Tweestapsbenaderingen: Voeren registratie (uitlijning) en clustering gescheiden uit. Dit leidt tot foutpropagatie, bias door vooraf gespecificeerde templates, en computatieve inefficiëntie.
  • Gecombineerde statistische modellen: Vertrouwen vaak op restrictieve parametrische aannames (bijvoorbeeld eenvoudige tijdsverschuivingen, Dirichlet-processen) en hebben moeite met schaalbaarheid of multivariate data.

2. Methodologie: NeuralFLoC

De auteurs stellen NeuralFLoC voor, een volledig onbewaakt, end-to-end deep learning-framework dat Neural Ordinary Differential Equations (Neural ODEs) integreert met spectrale clustering. Het framework bestaat uit drie hoofdmodules:

A. Latente Initialisatie (1D-CNN Encoder)

• Ruwe functionele data $x_i(t)$ wordt door een 1D Convolutional Neural Network (CNN) gevoerd om lokale morfologische patronen te extraheren.
• De output is een latente vector $z_i$ die dient als beginvoorwaarde voor de daaropvolgende vervormingsdynamica. Dit zorgt ervoor dat uitlijning begint vanuit een vormbewuste representatie.

B. Continu Tijdsvervormen (Neural ODE Warper)

• In plaats van discrete vervorming, leert het model gladde, omkeerbare vervormingsfuncties $\gamma_i(t)$ met behulp van Neural ODEs.
• Mechanisme: Een leerbare snelheidsveld $f$ (geparametriseerd door een MLP) beheert de continue stroom $\tau_i(t)$:
  $$\frac{d\tau_{ij}(t)}{dt} = f(\tau_{ij}(t), t, z_{ij}; \Theta_{ode})$$
• Beperkingen: Een Softplus-activatie zorgt ervoor dat de afgeleide positief is ($\dot{\gamma} > 0$), wat garandeert dat de vervormingsfunctie strikt monotoon en omkeerbaar is (een diffeomorfisme).
• Cluster-bewuste Mixing: De uiteindelijke vervormingsfunctie voor een steekproef is een mengsel van clusterspecifieke stromen, gewogen door zachte toewijzingskansen $p_{ij}$, waardoor de uitlijning kan worden geleid door de clusterstructuur.

C. Spectrale Clustering & Doelfunctie

• Uitlijning: De uitgelijnde curves worden getransformeerd naar de ruimte van de Square Root Velocity Function (SRVF). Deze metriek is invariant onder re-parametrizatie, wat geometrisch betekenisvolle afstandsberekeningen mogelijk maakt.
• Clustering: Uitgelijnde curves worden geprojecteerd op een Fourier-basis om ruis te filteren en spectrale coëfficiënten te extraheren. Een zachte-toewijzingsmechanisme (met behulp van een Student's t-distributie-kernel) wijst curves toe aan clustercentroïden.
• Gecombineerde Doelfunctie: Het model minimaliseert een geünificeerde doelstelling:
  $$\mathcal{L}_{total} = \mathcal{L}_{reg} + \alpha \mathcal{L}_{clu}$$
  • $\mathcal{L}_{reg}$: Cluster-voorwaardelijke SRVF-registratieverlies (minimaliseren van de afstand tot clusterspecifieke Karcher-middens).
  • $\mathcal{L}_{clu}$: Clusteringverlies (Kullback-Leibler-divergentie tussen zachte toewijzingen en een doeldistributie) om een zelfverzekerde clusterseparatie te bevorderen.
  • $\alpha$: Een balancerende hyperparameter.

3. Belangrijkste Bijdragen

1. Nieuw Framework: De eerste end-to-end deep learning-benadering voor gelijktijdige functionele registratie en clustering.
2. Diffeomorfe Stromen: Gebruikt Neural ODEs om gladde, omkeerbare en monotoon vervormende functies te garanderen zonder expliciete distributieaannames, waarmee de beperkingen van discrete of parametrische methoden worden overwonnen.
3. Theoretische Waarborgen:
   • Universele Benadering: Bewijst dat de Neural ODE-module elke toelaatbare vervormingsfunctie willekeurig goed kan benaderen.
   • Asymptotische Consistentie: Stelt vast dat de gecombineerde schatter convergeert naar de ware cluster-toewijzingen naarmate de steekproefgrootte toeneemt, mits clusters na registratie scheidbaar zijn.
4. Schaalbaarheid: Bereikt lineaire tijdscomplexiteit $O(N)$ met betrekking tot de steekproefgrootte en constant geheugengebruik via de adjoint-sensitiviteitsmethode, waardoor het geschikt is voor grote datasets.

4. Experimentele Resultaten

De methode werd geëvalueerd op diverse datasets uit het UCR Time Series Archive (Shapes, Wave, Symbols) met zowel univariate als multivariate functionele data.

• Prestaties: NeuralFLoC behaalde State-of-the-Art (SOTA) resultaten zowel in registratie (gemeten door Adjusted Total Variance, ATV) als in clustering (Accuracy en Normalized Mutual Information).
• Ablatiestudies:
  • Het vervangen van de Neural ODE door discrete vervorming (SrvfRegNet) degradeerde de prestaties aanzienlijk, wat het belang van continue stromen benadrukt.
  • Het verwijderen van ofwel de registratie- ofwel de clusteringmodule veroorzaakte ernstige prestatiedalingen, wat de noodzaak van de gecombineerde formulering bevestigt.
• Robuustheid: Het model toonde sterke robuustheid tegenover:
  • Ontbrekende Data: Behield prestaties met tot 20% ontbrekende punten.
  • Onregelmatige Sampling: Presteerde goed op ongelijkmatig gesamplede roosters.
  • Ruis: Bleef stabiel onder Gaussische ruisniveaus tot $\sigma=0.10$.
• Schaalbaarheid: Scaled succesvol tot ~70.000 steekproeven met minimale prestatiedegradatie.

5. Betekenis

NeuralFLoC vertegenwoordigt een paradigma-verschuiving in Functional Data Analysis (FDA) door geometrische registratie en onbewaakt leren te verenigen.

• Ontkoppeling: Het scheidt effectief fase- en amplitudvariaties, een kritieke stap die in eerdere methoden vaak werd genegeerd of slecht werd behandeld.
• Flexibiliteit: Door restrictieve parametrische aannames te vermijden, kan het complexe, niet-lineaire tijdsvervormingen modelleren die veel voorkomen in real-world biologische en fysische systemen.
• Praktijktoepasbaarheid: De computatieve efficiëntie en robuustheid maken het toepasbaar op grote, ruizige en onregelmatig gesamplede functionele datasets waar traditionele statistische methoden falen.

Kortom, NeuralFLoC biedt een principiële, schaalbare en zeer effectieve oplossing voor het analyseren van misgelijkte functionele data, en overbrugt de kloof tussen de flexibiliteit van deep learning en de geometrische strengheid die vereist is voor functionele data-analyse.