Résumé Technique : Décodeur Génératif Riemannien

Énoncé du Problème

Les données du monde réel possèdent souvent des structures intrinsèques non euclidiennes (par exemple, des arbres évolutifs, des réseaux sociaux, des signaux périodiques) qui sont mal représentées par des espaces latents euclidiens standards ($\mathbb{R}^d$). Forcer de telles données dans des configurations euclidiennes déforme leurs relations géométriques, entraînant des visualisations médiocres et une perte de signaux.

Les approches existantes pour l'apprentissage de représentations riemanniennes, principalement les Autoencodeurs Variationnels (VAE), tentent d'incorporer les données sur des variétés en imposant des priors spécifiques (par exemple, von Mises–Fisher sur les sphères ou des normales riemanniennes sur les espaces hyperboliques). Cependant, ces méthodes font face à des défis significatifs :

1. Fragilité Numérique : Elles nécessitent l'optimisation d'objectifs complexes impliquant des constantes de normalisation intraitables et des estimations de Monte Carlo pour les densités sur des variétés arbitraires.
2. Évolutivité : Ces approximations de densité limitent souvent l'évolutivité aux variétés générales ou aux espaces latents de haute dimension.
3. Complexité : L'imposition de contraintes de variété repose généralement sur un encodeur pour estimer les densités, ajoutant une surcharge architecturale et computationnelle.

Méthodologie

Les auteurs proposent le Décodeur Génératif Riemannien (RGD), un cadre unificateur qui élimine entièrement l'encodeur. Au lieu d'amortir l'inférence, le modèle traite les codes latents comme des paramètres libres à optimiser directement sur une variété riemannienne choisie.

Formulation Principale

Le problème d'apprentissage est formulé comme une estimation du Maximum A Posteriori (MAP). Étant donné un ensemble de données $X = \{x_i\}_{i=1}^N$ et un décodeur différentiable $f_\theta: \mathcal{M} \to \mathcal{X}$, le modèle optimise conjointement les paramètres du décodeur $\theta$ et les codes latents $Z = \{z_i\}_{i=1}^N$ en minimisant le logarithme négatif de la posteriori :
$$\mathcal{L}(\theta, Z) = \sum_{i=1}^N \left( -\log p_\theta(x_i|z_i) - \log p(z_i) \right) - \log p(\theta)$$

• Vraisemblance : Modélisée via une perte de reconstruction (par exemple, l'erreur quadratique pour un bruit gaussien).
• Prior : Pour les variétés compactes, un prior uniforme est utilisé ; pour les variétés non compactes, des distributions enveloppées ou des normales riemanniennes sont employées.
• Optimisation : Les codes latents sont mis à jour en utilisant la descente de gradient riemannienne (spécifiquement l'Adam riemannien), garantissant que les itérés restent sur la variété $\mathcal{M}$ via des applications de rétraction. Les paramètres du décodeur sont mis à jour via l'Adam euclidien standard.

Régularisation Géométrique

Pour aligner la régularité du décodeur avec la géométrie de la variété sans nécessiter d'estimation explicite de densité, les auteurs introduisent une régularisation consciente de la géométrie via du bruit d'entrée.

• Pendant l'entraînement, chaque latent $z$ est perturbé par un bruit gaussien $\epsilon \sim \mathcal{N}(0, \sigma^2 G^{-1}(z))$, où $G(z)$ est le tenseur métrique riemannien.
• Ce bruit est injecté via l'application exponentielle (approximée comme l'identité pour un bruit faible).
• Déduction Théorique : Basée sur Bishop (1995) et An (1996), la perte attendue sous cette perturbation de bruit produit un régularisateur additif :
  $$\mathbb{E}_\epsilon[\mathcal{L}(z')] \approx \mathcal{L}(z) + \sigma^2 \text{Tr}\left( J(z)^\top G^{-1}(z) J(z) \right)$$
  où $J(z)$ est le jacobien du décodeur. Ce terme pénalise les grands gradients de sortie pondérés par l'inverse de la métrique, encourageant efficacement le décodeur à respecter la courbure locale de la variété.

Flexibilité

Le cadre prend en charge n'importe quelle variété riemannienne implémentée dans la bibliothèque geoopt, y compris les sphères, les boules de Poincaré, les modèles de Lorentz et les ProductManifolds (permettant des géométries latentes hétérogènes où différentes dimensions de l'espace latent résident sur des variétés différentes).

Contributions Clés

1. Cadre Unificateur : Une méthode pour l'apprentissage de représentations sur n'importe quelle variété riemannienne en combinant l'optimisation riemannienne avec un modèle génératif sans encodeur, éliminant le besoin d'approximations variationnelles de densité.
2. Régularisation Géométrique Évolutif : Une technique de régularisation basée sur le bruit qui favorise la cohérence entre la fonction du décodeur et la métrique de la variété, évitant les pénalités de courbure d'ordre supérieur coûteuses en calcul.
3. Validation Empirique : Démonstration de la méthode sur des ensembles de données divers, montrant une meilleure alignement avec la géométrie intrinsèque et une stabilité dans les hautes dimensions où les bases de référence variationnelles échouent.

Résultats et Évaluation

La méthode a été validée sur trois études de cas :

1. Processus de Diffusion Arborescent Synthétique :

   • Tâche : Récupération de données structurées en arbre.
   • Résultats : Les projections euclidiennes et UMAP ont échoué à révéler la topologie de l'arbre. Les embeddings hyperboliques régularisés (disque de Poincaré) ont récupéré avec succès la hiérarchie.
   • Ablation : L'augmentation de l'échelle du bruit $\sigma$ a amélioré la corrélation entre les distances géodésiques latentes et les distances dans l'espace des données jusqu'à un point optimal ($\sigma \approx 0,9$), après quoi le bruit a submergé le signal.

2. ADN Mitochondrial Humain (hmtDNA) :

   • Tâche : Inférence des schémas de migration et des lignées à partir de séquences génétiques.
   • Résultats : Les modèles hyperboliques (Lorentz/Poincaré) ont récupéré les hiérarchies d'haplogroupes et les corrélations géographiques significativement mieux que les bases de référence euclidiennes ou UMAP.
   • Utilité en Aval : Dans les tâches de classification (prédiction des régions géographiques et des haplogroupes), le RGD hyperbolique a surpassé les bases de référence euclidiennes et P-VAE, en particulier dans des contextes de haute dimension.

3. Stades du Cycle Cellulaire (scRNA-seq) :

   • Tâche : Modélisation de la progression cyclique de la division cellulaire.
   • Résultats : Les embeddings sphériques ($S^2$) et toriques ($S^1 \times S^1$) ont capturé la nature cyclique des données. Bien que les espaces euclidiens offrent une fidélité de reconstruction légèrement supérieure (en raison de degrés de liberté plus élevés), les modèles riemanniens ont montré une corrélation supérieure avec la géométrie de la phase biologique.
   • Évolutivité : Le RGD a démontré une mise à l'échelle stable vers des dimensions latentes élevées (jusqu'à 500D), tandis que les bases de référence variationnelles (P-VAE, $\Delta$VAE) sont devenues numériquement instables ou irréalisables.

Importance et Revendications

L'article revendique que le Décodeur Génératif Riemannien offre une alternative plus simple et plus stable aux méthodes existantes d'apprentissage de variétés. En supprimant l'encodeur, la méthode évite les fonctions objectif « numériquement fragiles » associées à l'estimation de densité sur des espaces courbes.

• Interprétabilité : Les espaces latents appris sont explicitement alignés avec la géométrie prescrite, facilitant l'exploration guidée par des hypothèses dans les domaines scientifiques.
• Généralité : L'approche n'est pas limitée à des variétés spécifiques (comme les sphères ou les espaces hyperboliques) mais s'étend aux produits de variétés hétérogènes.
• Praticité : La méthode ne nécessite qu'un décodeur et est compatible avec les architectures de réseaux de neurones existantes.

Les auteurs reconnaissent des limitations, notant que la paramétrisation par échantillon (stockage explicite de chaque latent) entraîne une croissance linéaire de la mémoire avec la taille de l'ensemble de données, ce qui peut être prohibitif pour des millions de points. Ils suggèrent des schémas hybrides (par exemple, l'inférence amortie) comme une direction future. Le travail est positionné comme un outil pour l'analyse exploratoire et les tests d'hypothèses dans les domaines scientifiques, en particulier là où la topologie des données est connue ou hypothétique.