Résumé Technique : Modélisation Générative de Données Discrètes à l'Aide de Sous-Espaces Latents Géométriques

Énoncé du Problème

La modélisation générative de données discrètes (catégorielles) présente des défis uniques par rapport aux données continues, notamment en ce qui concerne la représentation des dépendances statistiques et la géométrie des espaces de probabilité sous-jacents. Les approches existantes traitent souvent les données discrètes comme des points dans un espace euclidien ambiant ou s'appuient sur des entrées de taille fixe avec des hypothèses d'indépendance entre les classes. De plus, les techniques standard de réduction de dimensionnalité comme l'Analyse en Composantes Principales (PCA) ne respectent pas la structure de variété intrinsèque des distributions jointes discrètes, conduisant souvent à des reconstructions qui n'appartiennent pas à l'espace des données discrètes (par exemple, des valeurs non entières). L'article répond au besoin d'un cadre capable de coder précisément les données discrètes, de compresser les distributions discrètes de haute dimension et de faciliter la modélisation générative efficace tout en respectant les propriétés géométriques des variétés statistiques.

Méthodologie

1. Sous-Espaces Latents Géométriques (GPCA)

Les auteurs proposent la PCA Géométrique (GPCA), un cadre qui étend la PCA classique à l'espace des paramètres exponentiels des variétés produits de distributions catégorielles.

• Paramétrisation : Les points de données discrètes $x \in \mathcal{X}^n$ sont modélisés comme des distributions produits entièrement factorisées $s \in \mathcal{S}_c^n$ (où $\mathcal{S}_c$ est le simplexe de probabilité). Ces distributions sont paramétrées par des paramètres naturels $\theta$ dans la famille exponentielle, où $s = \partial \psi(\theta)$ et $\psi$ est la fonction de partition logarithmique.
• Sous-espace Latent : Un sous-espace latent de faible dimension $\mathcal{U} \subset T_0^n$ est défini comme l'enveloppe linéaire de vecteurs de base $V$. Les paramètres naturels sont contraints à ce sous-espace : $\theta = V \odot z$, où $z \in \mathbb{R}^d$ sont les coordonnées latentes et $d \ll nc$.
• Variété Induite : L'application $\partial \psi$ agit comme un décodeur, mappant le sous-espace latent linéaire $\mathcal{U}$ vers une variété de données non linéaire $\mathcal{M} = \partial \psi(\mathcal{U}) \subset \mathcal{S}_c^n$.
• Optimisation : Les paramètres GPCA ($V, Z$) sont obtenus en minimisant un objectif empirique basé sur la divergence de Bregman $D_{\psi^*}$ générée par la conjuguée convexe de la fonction de partition logarithmique. Cela équivaut à minimiser la négative log-vraisemblance (NLL) ou, lorsque les données sont lissées dans le simplexe, l'entropie croisée.

2. Géométrie Riemannienne et Isométries

Une contribution centrale est la structure géométrique spécifique imposée à l'espace des données pour permettre un appariement de flux cohérent.

• La Métrique e : Au lieu de la métrique de Fisher-Rao, les auteurs équipent le simplexe $\mathcal{S}_c^n$ de la métrique e (induite par la connexion exponentielle). Dans le système de coordonnées $\theta$, cette métrique correspond au produit scalaire euclidien standard.
• Embedding Isométrique : Il est démontré que l'application $\partial \psi: \mathcal{U} \to \mathcal{M}$ est un embedding isométrique lorsque $\mathcal{M}$ est équipé de la métrique e induite. Crucialement, cela implique que les géodésiques dans l'espace latent $\mathcal{U}$ (lignes droites) correspondent exactement aux e-géodésiques sur la variété $\mathcal{M}$.
• Régularisation Géométrique : Pour garantir que la distance riemannienne entre les données et les reconstructions reste faible (une exigence pour les garanties théoriques sur l'appariement de flux), les auteurs introduisent une fonction de perte régularisée. Cette perte combine l'entropie croisée standard (divergence KL) avec une pénalité explicite sur la distance riemannienne au carré ($d_e^2$), contrôlée par un paramètre $\lambda$. Cela empêche les reconstructions de s'approcher de la frontière du simplexe où la géométrie devient singulière.

3. Appariement de Flux sur le Sous-Espace Latent

Le modèle génératif est entraîné en utilisant l'Appariement de Flux (FM) restreint au sous-espace latent GPCA.

• Apprentissage du Champ de Vecteurs : L'objectif est d'apprendre un champ de vecteurs dépendant du temps $u_t$ qui transporte une distribution de base $p_0$ vers la distribution de données $p$.
• Efficacité via Rétroaction : Grâce à la propriété isométrique, l'objectif d'appariement de flux conditionnel peut être formulé entièrement dans l'espace des paramètres naturels de faible dimension $\mathcal{U}$. L'objectif se simplifie en minimisant la distance euclidienne au carré entre le champ de vecteurs appris et l'interpolation linéaire directe des paramètres naturels ($\theta_1 - \theta_0$).
• Avantage Computationsnel : Cette formulation permet l'entraînement dans l'espace latent de faible dimension $Z$ plutôt que dans l'espace ambiant de haute dimension, réduisant considérablement le coût computationnel et l'utilisation de la mémoire tout en maintenant la cohérence géométrique.

Contributions Clés

1. PCA Géométrique (GPCA) : Une nouvelle méthode de réduction de dimensionnalité pour les données discrètes opérant dans l'espace des paramètres exponentiels, induisant une variété non linéaire qui respecte la structure statistique des distributions catégorielles.
2. Appariement de Flux Isométrique : La démonstration que l'utilisation de la métrique e permet une relation isométrique entre le sous-espace latent et la variété des données. Cela permet d'effectuer l'appariement de flux via une interpolation linéaire directe dans l'espace latent, rendant l'entraînement des modèles génératifs pour les données discrètes computationnellement efficace.
3. Objectif Régularisé : La formulation d'une perte consciente de la géométrie qui équilibre la précision de reconstruction (distance de Hamming) avec la cohérence géométrique (distance riemannienne), assurant la validité de l'approximation par appariement de flux.
4. Validation Empirique : Des expériences extensives montrant que des représentations latentes de faible dimension suffisent pour modéliser avec précision des données discrètes de haute dimension (par exemple, images, séquences d'ADN) et que la méthode atteint une qualité de génération compétitive.

Résultats Expérimentaux

Les auteurs ont évalué GPCA sur des données synthétiques, MNIST, FashionMNIST, Cityscapes et des ensembles de données de séquences d'ADN (PROMOTER, ENHANCER).

• Reconstruction : GPCA atteint une distance de Hamming proche de zéro (nœuds mal étiquetés) sur les ensembles de données d'images (MNIST, Cityscapes) avec des dimensions latentes relativement faibles (par exemple, $d=44$ pour MNIST, $d=133$ pour Cityscapes).
• Compromis : Les expériences mettent en évidence un compromis entre la minimisation de l'entropie croisée (NLL) et la minimisation de la distance riemannienne. Bien que la minimisation de la NLL produise une faible distance de Hamming, elle ne garantit pas de faibles distances riemanniennes. La régularisation proposée ($\lambda > 0$) contrôle avec succès ce compromis, réduisant l'erreur de reconstruction riemannienne tout en maintenant une faible erreur de Hamming.
• Qualité de Génération : Les échantillons générés pour MNIST et FashionMNIST sont visuellement cohérents et nouveaux (pas de simples copies des données d'entraînement). Sur les ensembles de données d'ADN, la méthode montre des performances compétitives en termes de Distance Biologique Fréchet (FBD) par rapport à des bases de référence comme Fisher-Flow, bien que les auteurs notent que les performances de compression varient selon l'ensemble de données.
• Efficacité : L'entraînement dans l'espace latent $Z$ (par exemple, $d=64$) est significativement plus rapide et nécessite moins de mémoire que l'entraînement dans l'espace de données complet, même avec des architectures de réseau plus grandes dans l'espace latent.

Importance et Revendications

L'article revendique que son importance principale réside dans le pont établi entre la modélisation géométrique continue et la génération de données discrètes. En exploitant la géométrie de l'information des familles exponentielles (spécifiquement la connexion e), les auteurs fournissent un cadre où :

• Les données discrètes peuvent être compressées et représentées sur une variété qui préserve les dépendances statistiques.
• La propriété de « ligne droite » des géodésiques dans l'espace latent rend l'appariement de flux efficace et computationnellement peu coûteux, évitant les complexités de l'appariement de flux riemannien dans les espaces ambiants de haute dimension.
• L'approche offre un cadre unifié et indépendant de l'ensemble de données pour la modélisation générative une fois le sous-espace latent géométrique appris.

Les auteurs reconnaissent modestement les limites, spécifiquement que la compressibilité des données est un prérequis (une compression plus faible observée sur certains ensembles de données d'ADN) et que la sélection du paramètre de régularisation $\lambda$ repose actuellement sur un réglage empirique. Ils suggèrent que les travaux futurs consistent à explorer des modèles de cohérence au sein du sous-espace GPCA et à analyser davantage l'isométrie entre les domaines latent et des données.