NeuralFLoC: Neural Flow-Based Joint Registration and Clustering of Functional Data

1. Énoncé du problème

Le papier aborde le défi du clustering de données fonctionnelles (par exemple, signaux biologiques, trajectoires de mouvement) en présence de variation de phase.

• Le problème central : Les données fonctionnelles présentent souvent deux types de variabilité : la variation d'amplitude (différences de magnitude verticale) et la variation de phase (désalignement horizontal/temporel des caractéristiques).
• La difficulté : Les algorithmes de clustering standards échouent lorsque la variation de phase est significative, car ils regroupent les courbes en fonction de leur désalignement temporel plutôt que de leurs différences de forme intrinsèques.
• Limites des méthodes existantes :
  • Approches en deux étapes : Elles réalisent l'enregistrement (alignement) et le clustering séparément. Cela entraîne une propagation d'erreurs, des biais dus à des modèles prédéfinis et une inefficacité computationnelle.
  • Modèles statistiques conjoints : Ils reposent souvent sur des hypothèses paramétriques restrictives (par exemple, simples décalages temporels, processus de Dirichlet) et peinent à s'adapter à l'évolutivité ou aux données multivariées.

2. Méthodologie : NeuralFLoC

Les auteurs proposent NeuralFLoC, un cadre d'apprentissage profond entièrement non supervisé et de bout en bout qui intègre les Équations Différentielles Ordinaires Neurales (Neural ODE) avec le clustering spectral. Le cadre se compose de trois modules principaux :

A. Initialisation latente (Encodeur CNN 1D)

• Les données fonctionnelles brutes $x_i(t)$ sont passées à travers un Réseau de Neurones Convolutif 1D (CNN) pour extraire des motifs morphologiques locaux.
• La sortie est un vecteur latent $z_i$ qui sert de condition initiale pour la dynamique de déformation subséquente. Cela garantit que l'alignement commence à partir d'une représentation consciente de la forme.

B. Déformation temporelle continue (Déformateur Neural ODE)

• Au lieu d'une déformation discrète, le modèle apprend des fonctions de déformation lisses et inversibles $\gamma_i(t)$ en utilisant des Neural ODE.
• Mécanisme : Un champ de vitesse apprenable $f$ (paramétré par un MLP) régit le flux continu $\tau_i(t)$ :
  $$\frac{d\tau_{ij}(t)}{dt} = f(\tau_{ij}(t), t, z_{ij}; \Theta_{ode})$$
• Contraintes : Une activation Softplus assure que la dérivée est positive ($\dot{\gamma} > 0$), garantissant que la fonction de déformation est strictement monotone et inversible (un difféomorphisme).
• Mélange conscient des clusters : La fonction de déformation finale pour un échantillon est un mélange de flux spécifiques aux clusters pondérés par des probabilités d'affectation douce $p_{ij}$, permettant à l'alignement d'être guidé par la structure des clusters.

C. Clustering spectral et fonction objectif

• Alignement : Les courbes alignées sont transformées dans l'espace de la Fonction de Vitesse Racine Carrée (SRVF). Cette métrique est invariante à la ré-paramétrisation, permettant des calculs de distance géométriquement significatifs.
• Clustering : Les courbes alignées sont projetées sur une base de Fourier pour filtrer le bruit et extraire les coefficients spectraux. Un mécanisme d'affectation douce (utilisant un noyau de distribution t de Student) assigne les courbes aux centroïdes des clusters.
• Fonction de perte conjointe : Le modèle minimise un objectif unifié :
  $$\mathcal{L}_{total} = \mathcal{L}_{reg} + \alpha \mathcal{L}_{clu}$$
  • $\mathcal{L}_{reg}$ : Perte d'enregistrement SRVF conditionnelle au cluster (minimisation de la distance par rapport aux moyennes de Karcher spécifiques aux clusters).
  • $\mathcal{L}_{clu}$ : Perte de clustering (divergence de Kullback-Leibler entre les affectations douces et une distribution cible) pour encourager une séparation de clusters confiante.
  • $\alpha$ : Un hyperparamètre d'équilibrage.

3. Contributions clés

1. Cadre novateur : La première approche d'apprentissage profond de bout en bout pour l'enregistrement et le clustering simultanés de données fonctionnelles.
2. Flux difféomorphes : Utilise des Neural ODE pour garantir des fonctions de déformation lisses, inversibles et monotones sans hypothèses distributionnelles explicites, surmontant ainsi les limites des méthodes discrètes ou paramétriques.
3. Garanties théoriques :
   • Approximation universelle : Prouve que le module Neural ODE peut approximer n'importe quelle fonction de déformation admissible de manière arbitrairement précise.
   • Consistance asymptotique : Établit que l'estimateur conjoint converge vers les vraies affectations de clusters à mesure que la taille de l'échantillon augmente, à condition que les clusters soient séparables après enregistrement.
4. Évolutivité : Atteint une complexité temporelle linéaire $O(N)$ par rapport à la taille de l'échantillon et une utilisation de mémoire constante via la méthode de sensibilité adjointe, le rendant adapté aux grands ensembles de données.

4. Résultats expérimentaux

La méthode a été évaluée sur divers ensembles de données de l'archive UCR Time Series (Shapes, Wave, Symbols) impliquant des données fonctionnelles univariées et multivariées.

• Performance : NeuralFLoC a obtenu des résultats State-of-the-Art (SOTA) à la fois en enregistrement (mesuré par la Variance Totale Ajustée, ATV) et en clustering (Précision et Information Mutuelle Normalisée).
• Études d'ablation :
  • Le remplacement de la Neural ODE par une déformation discrète (SrvfRegNet) a considérablement dégradé les performances, soulignant l'importance des flux continus.
  • La suppression de l'un ou l'autre module d'enregistrement ou de clustering a causé des chutes de performances sévères, confirmant la nécessité de la formulation conjointe.
• Robustesse : Le modèle a démontré une forte robustesse face à :
  • Données manquantes : Maintien des performances avec jusqu'à 20 % de points manquants.
  • Échantillonnage irrégulier : Bonnes performances sur des grilles échantillonnées de manière inégale.
  • Bruit : Stabilité maintenue sous des niveaux de bruit gaussien jusqu'à $\sigma=0.10$.
• Évolutivité : Mise à l'échelle réussie à environ 70 000 échantillons avec une dégradation minimale des performances.

5. Importance

NeuralFLoC représente un changement de paradigme dans l'Analyse de Données Fonctionnelles (FDA) en unifiant l'enregistrement géométrique et l'apprentissage non supervisé.

• Désenchevêtrement : Il sépare efficacement les variations de phase et d'amplitude, une étape critique souvent ignorée ou mal gérée dans les méthodes précédentes.
• Flexibilité : En évitant les hypothèses paramétriques restrictives, il peut modéliser des distorsions temporelles complexes et non linéaires courantes dans les systèmes biologiques et physiques réels.
• Praticité : Son efficacité computationnelle et sa robustesse le rendent applicable à de grands ensembles de données fonctionnelles bruyants et échantillonnés de manière irrégulière, là où les méthodes statistiques traditionnelles échouent.

En résumé, NeuralFLoC fournit une solution fondée sur des principes, évolutive et hautement efficace pour analyser des données fonctionnelles désalignées, comblant le fossé entre la flexibilité de l'apprentissage profond et le rigueur géométrique requise pour l'analyse de données fonctionnelles.