Résumé Technique : Apprentissage Génératif Conditionnel Semi-Supervisé par Interpolation Stochastique et Représentations Suffisantes

1. Énoncé du Problème

La modélisation générative conditionnelle vise à apprendre la distribution conditionnelle sous-jacente $P_{X|Y}$ de données de haute dimension $X \in \mathbb{R}^d$ étant donné une condition $Y \in \mathbb{R}^q$. Alors que la régression standard fournit des estimations ponctuelles, l'apprentissage de la distribution complète est essentiel pour la quantification de l'incertitude et la capture de structures complexes telles que la multimodalité. Cependant, dans les contextes semi-supervisés, les paires étiquetées $(X, Y)$ sont rares tandis que les échantillons non étiquetés de $X$ sont abondants.

Les approches directes qui injectent $Y$ dans le processus de génération de haute dimension souffrent d'une faible efficacité d'échantillonnage. Elles nécessitent un volume substantiel de données étiquetées pour apprendre la complexe distribution conditionnelle ambiante, échouant ainsi à exploiter l'abondance des données non étiquetées. Les méthodes existantes basées sur les représentations (par exemple, les VAE ou la diffusion latente) reposent souvent sur des structures d'auto-encodeurs pour lesquelles les garanties théoriques concernant la génération conditionnelle restent inexplorées, particulièrement en ce qui concerne la manière dont la perte d'information due à des représentations imparfaites se propage à l'erreur générative.

2. Méthodologie : Le Cadre RepG

Les auteurs proposent RepG, un cadre à deux étapes qui factorise le processus de génération conditionnelle en utilisant des représentations suffisantes et une interpolation stochastique conditionnelle.

2.1 Factorisation Structurelle via des Représentations Suffisantes

RepG introduit une représentation latente de faible dimension $R(X) \in \mathbb{R}^k$ (où $k \ll d$) conçue pour capturer toute l'information liant $X$ et $Y$. La méthode repose sur l'hypothèse d'indépendance conditionnelle $X \perp\!\!\!\perp Y \mid R$, établissant la chaîne de Markov $Y \to R \to X$. Cela permet de décomposer le processus de génération en :

1. Échantillonnage Latent (Dépendant de l'Étiquette) : Générer la représentation suffisante $r$ à partir de la condition $y$ ($P_{R|Y}$). Il s'agit d'une tâche de faible dimension estimée à l'aide de données étiquetées rares.
2. Reconstruction (Sans Étiquette) : Générer la cible de haute dimension $x$ à partir de la représentation $r$ ($P_{X|R}$). Puisque $P_{X|R}$ est indépendante de $Y$, cette étape peut être estimée en utilisant l'ensemble de données combinées de données étiquetées et de données non étiquetées abondantes.

2.2 Implémentation via l'Interpolation Stochastique Conditionnelle

Pour implémenter les deux étapes, RepG utilise l'interpolation stochastique conditionnelle (Albergo et al., 2025 ; Huang et al., 2023).

• Chemin d'Interpolation : Un chemin $Z_t = a_t Z_0 + b_t Z_1$ relie une distribution gaussienne de référence ($Z_0$) à la distribution cible ($Z_1$) sur $t \in [0, 1]$.
• Estimation du Drift (Dérive) : La tâche générative se réduit à l'estimation du champ de dérive $v^*_F$ d'une équation différentielle stochastique (SDE). Ce drift est décomposé en un champ de vitesse et une fonction de score.
• Estimateurs Neuronaux : Les champs de vitesse pour les deux étapes sont paramétrés par des réseaux de neurones feedforward (FNN) profonds à fonctions d'activation ReLU.
  • Étape 1 : Le champ de vitesse $u$ est entraîné sur des paires étiquetées $(R_i, Y_i)$ pour minimiser le risque empirique du chemin d'interpolation.
  • Étape 2 : Le champ de vitesse $v$ est entraîné sur le jeu de données augmenté $(X_m, R_m)$ (combinant données étiquetées et non étiquetées) pour apprendre la cartographie de reconstruction.
• Génération : Étant donné une condition $y$, le modèle simule d'abord l'SDE pour générer une représentation latente $\hat{r}$, puis simule une seconde SDE conditionnée sur $\hat{r}$ pour générer l'échantillon final $\hat{x}$.

2.3 Apprentissage de la Représentation

Pour construire la représentation suffisante $R(\cdot)$, les auteurs emploient un cadre de Réduction de Dimension Profonde (DDR) (Huang et al., 2024). Cela implique l'apprentissage d'une application qui maximise la covariance de distance entre $R(X)$ et $Y$ tout en régularisant $R(X)$ pour qu'il suive une distribution gaussienne standard, garantissant que $X \perp\!\!\!\perp Y \mid R(X)$ est approximativement satisfait.

3. Contributions Clés

3.1 Décomposition de l'Erreur Théorique

L'article établit une décomposition rigoureuse de la divergence de Kullback-Leibler (KL) attendue entre la véritable distribution conditionnelle et l'estimateur RepG. L'erreur totale comprend trois composantes :

1. Biais Structurel : Quantifié par l'Information Mutuelle Conditionnelle (CMI), $I(X; Y \mid R)$. Cela mesure la perte d'information si la représentation n'est pas parfaitement suffisante.
2. Erreur d'Estimation de Faible Dimension : L'erreur dans l'apprentissage de $P_{R|Y}$ en utilisant les données étiquetées.
3. Erreur d'Estimation de Haute Dimension : L'erreur dans l'apprentissage de $P_{X|R}$ en utilisant le jeu de données combiné.

Cette décomposition prouve qu'une indépendance conditionnelle stricte n'est pas requise ; une faible CMI combinée à des erreurs d'estimation contrôlées suffit pour obtenir une erreur de génération totale faible.

3.2 Taux de Convergence Non-Asymptotiques

Sous des hypothèses de lissage (classes de Hölder locales) et de bornes de moments sub-exponentielles, les auteurs dérivent des taux de convergence pour les estimateurs FNN :

• L'erreur de la première étape évolue avec la taille de l'échantillon $n$ et la dimension $k+q$.
• L'erreur de la seconde étape évola avec la taille de l'échantillon combiné $n+N$ et la dimension $d+k$.
• Résultat Crucial : Dans le régime où les données non étiquetées sont abondantes ($N \gg n$), le taux de convergence global est dominé par la composante supervisée de faible dimension ($n^{-2\alpha/(2\alpha+q+k+1)}$). Cela démontre que RepG atténue efficacement le fléau de la dimension en confinant la charge statistique des données étiquetées à la dimension réduite $k$.

3.3 Borne Inférieure Minimax

L'article fournit une borne inférieure minimax pour la génération conditionnelle directe (sans factorisation latente), montrant que l'erreur évolue avec la dimension ambiante complète $d+q+1$. En comparant cela avec la borne supérieure de RepG, les auteurs confirment que la factorisation par représentation améliore significativement la complexité d'échantillonnage lorsque $k \ll d$.

4. Résultats Expérimentaux

4.1 Études de Simulation

• Conditionnement Discret : RepG a été testé sur des jeux de données synthétiques (Two Moons, Concentric Circles, mélanges gaussiens 2D/3D). La méthode a réussi à apprendre des représentations suffisantes qui préservent la séparabilité des classes et reconstruisent des géométries complexes sans effondrement de mode (mode collapse).
• Conditionnement Continu : Dans des scénarios présentant de l'hétéroscédasticité, de l'asymétrie et des distributions croisées, RepG a surpassé la Régression par Processus Gaussien (GPR), les Réseaux de Densité de Mélange (MDN) et les Forêts Aléatoires de Quantiles (QRF) en termes de précision de la distribution jointe (Energy Score). Bien que les largeurs d'intervalles marginaux soient comparables, RepG capture mieux les structures de dépendance multivariées.

4.2 Application au Monde Réel (MNIST)

RepG a été appliqué à la génération de chiffres MNIST avec des ensembles étiquetés fixes ($n_\ell \in \{1000, 3000\}$) et des ensembles non étiquetés variables ($n_u$).

• Performance : RepG a systématiquement surpassé un modèle conditionnel direct de référence.
• Scalabilité : À mesure que le nombre d'échantillons non étiquetés augmentait, RepG montrait des gains d'exactitude monotones dans une tâche de classification en aval, se stabilisant près de 87-90 % de précision. En revanche, la performance de la référence est restée plate, car elle ne pouvait pas utiliser les données non étiquetées.
• Qualité Visuelle : Les images générées sont passées d'artefacts fragmentés à des structures cohérentes à mesure que la taille de l'échantillon non étiqueté augmentait.

5. Signification et Revendications

L'article affirme que RepG offre une solution fondée sur des principes au problème de la génération conditionnelle semi-supervisée en :

1. Découplant la Complexité : Séparant la génération difficile de haute dimension en une tâche supervisée de faible dimension et une tâche de reconstruction sans étiquette.
2. Fournissant des Garanties Théoriques : Présentant la première décomposition rigoureuse de l'erreur et les taux de convergence pour la génération conditionnelle basée sur la représentation, reliant explicitement le biais structurel (CMI) au risque statistique.
3. Efficacité d'Échantillonnage : Démontrant qu'en confinant la charge d'apprentissage supervisé à la dimension intrinsèque de l'espace latent, la méthode contourne le fléau de la dimension inhérent à la modélisation directe dans l'espace ambiant.
4. Utilité Pratique : Validant que même avec une suffisance approximative, le cadre reste efficace, comme le montrent les résultats empiriques sur des données synthétiques et réelles.

Les auteurs concluent que cette approche fournit une base théorique solide pour l'allocation de données étiquetées limitées dans les contextes semi-supervisés et exploite efficacement l'abondance des données non étiquetées pour apprendre les structures de données de haute dimension.