Résumé Technique : Compensation Radiale dans les Modèles Génératifs Basés sur des Cartes

1. Énoncé du Problème

Les modèles génératifs sur les variétés riemanniennes (par exemple, les Autoencodeurs Variationnels, les Flots de Normalisation et les Flots de Normalisation Continus) reposent souvent sur une approche « basée sur des cartes ». Cela consiste à échantillonner à partir d'une distribution de base euclidienne dans l'espace tangent $T_pM$ et à mapper l'échantillon sur la variété $M$ via une carte (par exemple, l'application exponentielle).

L'article identifie une distorsion sémantique fondamentale dans ce pipeline standard :

1. Distorsion Radiale : Les bases euclidiennes isotropes standard (comme une distribution gaussienne) ne préservent pas la distribution souhaitée du rayon géodésique $R = d(p, q)$ sur la variété. Par exemple, une gaussienne isotrope dans l'espace tangent se mappe vers une distribution $\chi_n$ des rayons sur la variété, ce qui correspond rarement à la loi a priori souhaitée par le praticien (par exemple, HalfNormal, Gamma).
2. Dépendance à la Carte : Les cartes non géodésiques (telles que les projections Lambert à aire égale) introduisent des distorsions supplémentaires où la même échelle dans l'espace tangent correspond à des rayons géodésiques différents, selon le choix de la carte et la courbure de la variété.
3. Décisions de Modélisation Cachées : Par conséquent, le choix de la carte et de la distribution de base fixe silencieusement une loi radiale sur la variété. Pour compenser cette distorsion cachée, le modèle doit apprendre à ajuster ses paramètres d'échelle ou de courbure, ce qui entraîne un entraînement instable, des termes jacobiens importants et des courbures apprises difficiles à interpréter.

2. Méthodologie : Compensation Radiale (CR)

Les auteurs proposent la Compensation Radiale (CR), une méthode pour découpler la signification statistique du modèle des propriétés numériques de la carte.

Concept Central

Au lieu de commencer par une base euclidienne et de laisser la carte la déformer, la CR commence par une loi cible spécifiée par l'utilisateur pour le rayon géodésique $R \sim p_{R,\theta}$ sur la variété. Elle construit ensuite une distribution de base isotrope spécifique dans l'espace tangent telle que, après passage par n'importe quelle carte azimutale à jacobien scalaire, la densité résultante sur la variété ne dépend de l'échantillon que par le biais du rayon géodésique $R$.

Formulation Mathématique

Pour une carte azimutale à jacobien scalaire $T$ avec un jacobien radial $J_T(r)$ et une application de rayon $R_T(r) = d(p, T(ru))$, la densité de base CR $f_\theta(x)$ sur l'espace tangent $T_pM \cong \mathbb{R}^n$ est définie par :
$$f_\theta(x) = \phi_\theta(R_T(\|x\|)) J_T(\|x\|)$$
où $\phi_\theta(R)$ est la densité cible sur la variété dérivée de la loi radiale spécifiée par l'utilisateur $p_{R,\theta}$ et de l'élément de volume de la variété (spécifiquement, $\phi_\theta(R) = p_{R,\theta}(R) / S_\kappa(R)$, où $S_\kappa$ est l'aire de la sphère géodésique).

Cette construction garantit :

• Vraisemblances Radiales Géodésiques : La densité image directe sur la variété est $\rho_\theta(q) = \phi_\theta(d(p, q))$.
• Invariance de la Carte : La densité sur la variété réalisée et l'information de Fisher radiale sont invariantes par rapport au choix de la carte azimutale à jacobien scalaire.
• Unicité : Au sein de la classe des bases isotropes et des cartes azimutales à jacobien scalaire, la CR est la seule construction qui préserve simultanément les vraisemblances radiales géodésiques, l'information de Fisher invariante à la carte et l'isotropie de l'espace tangent.

Cartes Exponentielles Équilibrées (bExp)

Pour résoudre les problèmes de conditionnement numérique sans altérer la signification statistique, les auteurs introduisent la famille exponentielle équilibrée ($bExp_\alpha$). Cette famille interpole entre :

• $\alpha = 0$ : Cartes Lambert à aire égale (préservant le volume, $|\det| \equiv 1$).
• $\alpha = 1$ : L'application exponentielle standard (rayons géodésiques exacts).

Sous la CR, faire varier $\alpha$ agit purement comme un préconditionneur numérique. Il ajuste le conditionnement de l'optimisation de la vraisemblance (en réduisant la variance du terme de carte dans le gradient) sans changer la densité sur la variété réalisée. Théoriquement, la variance du terme de carte évolue comme $O(\alpha^2)$.

3. Contributions Clés

1. Compensation Radiale (CR) : Un cadre théorique et une recette pratique pour pré-déformer la distribution de base de l'espace tangent afin que le rayon géodésique sur la variété suive une loi spécifiée par l'utilisateur, indépendamment de la carte utilisée.
2. Garanties Théoriques :
   • Théorème 1 : Prouve que sous la CR, l'information de Fisher et la divergence KL sur la variété se réduisent exactement à leurs homologues radiaux unidimensionnels, indépendamment de la carte.
   • Théorèmes 2 et 3 : Établissent que la CR est la solution unique au sein de la classe scalaire-isotrope à jacobien scalaire pour atteindre des vraisemblances radiales géodésiques et une information de Fisher invariante à la carte.
   • Théorèmes 4 et 12 : Caractérisent la famille $bExp_\alpha$ et prouvent que la variance du terme de carte évolue quadratiquement avec $\alpha$, permettant un réglage numérique sans coût statistique.
3. Cartes Exponentielles Équilibrées : Une nouvelle famille de cartes permettant aux utilisateurs d'arbitrer entre la distorsion de volume et la fidélité géodésique uniquement pour la stabilité numérique.

4. Résultats Expérimentaux

Les auteurs évaluent la CR sur des variétés synthétiques ($S^2, H^2$) et des benchmarks d'images standards (MNIST, Fashion-MNIST, Omniglot, CIFAR-10) en utilisant des VAE sur variétés et des Flots de Normalisation Continus (CNF).

• Calibration Sémantique : La CR récupère avec succès la loi de rayon géodésique souhaitée. Sur $S^2$ et $H^2$, la CR réduit la divergence KL entre les distributions de rayon réalisées et cibles d'environ $1,48$ et $0,28$ (pour l'enroulement exponentiel brut) à environ $10^{-3}$.
• Stabilité Numérique :
  • Dans les CNF latents de haute dimension ($d_z \in \{32, 64, 128\}$), l'enroulement exponentiel brut conduit à un entraînement instable (explosion des rayons, excursions de l'objectif). Les variantes CR restent stables avec les mêmes paramètres de solveur.
  • Faire varier $\alpha$ dans $bExp_\alpha$ réduit considérablement la variance du terme de carte (par exemple, de $1,016$à$0,167$ sur CIFAR-10) et diminue le nombre moyen d'évaluations de fonctions (NFE) pour les solveurs d'EDS, indiquant une réduction de la raideur.
• Interprétabilité de la Courbure : Dans les VAE à courbure mixte, la CR empêche l'« absorption de la courbure », où le modèle apprend des courbures incorrectes pour compenser les distorsions de la carte. La CR produit des courbures apprises moins compensatoires vis-à-vis de la carte et améliore l'ELBO d'environ 7 nats (principalement grâce à un terme KL plus faible).
• Vérifications d'Application : La CR maintient ou améliore les performances dans les flots Wordnet hyperboliques et les modèles d'orientation de protéines sur $S^3$, confirmant que la méthode se généralise au-delà de la modélisation de l'espace latent vers des données possédant une structure de variété intrinsèque.

5. Signification et Revendications

L'article affirme que la CR modifie fondamentalement la façon dont les modèles génératifs basés sur des cartes doivent être construits :

• Découplage de la Sémantique et du Numérique : La CR sépare la signification statistique du modèle (la loi du rayon géodésique) de son conditionnement numérique (le choix de la carte). La carte devient un « préconditionneur numérique » plutôt qu'une décision de modélisation cachée.
• Stabilité et Interprétabilité : En éliminant la nécessité pour le modèle de compenser les distorsions induites par la carte, la CR conduit à un entraînement plus stable, à des estimations de courbure plus claires et à des modèles où les paramètres appris ont une signification géométrique directe et interprétable.
• Remplacement Direct : La CR ne nécessite aucun changement d'architecture, de décodeur, de solveur ou d'objectif génératif ; il s'agit d'une modification uniquement de la distribution de base, ce qui en fait une amélioration pratique de type « plug-and-play » pour les outils existants de flots sur variétés et de VAE.

Les auteurs reconnaissent des limites : la théorie d'invariance exacte nécessite un facteur de volume polaire traitable et des cartes azimutales à jacobien scalaire. Ils notent que pour les gaussiennes analytiques par exemple (non isotropes), l'exponentielle enroulée standard reste l'outil approprié, et l'extension de la CR aux variétés sans volumes polaires sous forme close est une direction future.