Résumé Technique : L'appariement marginal ne garantit pas l'échantillonnage factorisé

Énoncé du Problème

Les modèles génératifs factorisés visent à séparer les informations de contenu (sémantique) et de style en variables latentes distinctes, $z_c$ et $z_s$. Une pratique courante dans ces modèles consiste à régulariser la variable de style $z_s$ vers un a priori fixe (généralement une gaussienne standard, $N(0, I)$) en utilisant une statistique marginale, telle que la distance de Maximum Mean Discrepancy (MMD) entre la distribution a posteriori agrégée $q(z_s)$ et l'a priori. Les praticiens considèrent souvent une faible divergence marginale comme un certificat que $z_s$ ne contient aucune information de classe (c'est-à-dire $z_s \perp y$).

L'article soutient que cette certification est fondamentalement erronée. L'appariement de la distribution marginale $q(z_s)$ à un a priori ne contraint rien concernant les distributions conditionnelles par classe $q(z_s | y)$. Il est mathématiquement possible que $q(z_s)$ soit exactement gaussienne alors que chaque conditionnelle $q(z_s | y=k)$ occupe une région distincte et non chevauchante de l'espace latent. Par conséquent, $z_s$ peut rester maximalement informative de l'étiquette $y$, même lorsque les statistiques marginales globales semblent parfaites.

Ce fossé conduit à une fuite de style conditionnelle (conditional style leakage) : pendant l'entraînement, le décodeur apprend à associer des informations de classe spécifiques à $z_s$ car il ne voit que des paires $(z_c, z_s)$ dérivées de la même image. Lors de la génération, lorsqu'on échantillonne $z_c$ à partir d'un a priori conditionnel par classe et $z_s$ à partir de l'a priori marginal (moyennant sur toutes les classes), le décodeur reçoit une paire qu'il n'a jamais vue durant l'entraînement. Si $z_s$ encode des informations de classe, le décodeur peut échouer à générer la classe prévue, s'appuyant plutôt sur le code de style "fuité" pour déterminer l'identité.

Méthodologie

Décomposition Théorique

Les auteurs fournissent une décomposition exacte du décalage induit par un échantillonneur factorisé, noté $M_{fact}$. Ce décalage est la divergence KL attendue entre la véritable distribution a posteriori jointe et la distribution de l'échantillonneur factorisé :
$$M_{fact} = I_q(z_c; z_s | y) + E_y[KL(q(z_c | y) \parallel p(z_c | y))] + I_q(z_s; y) + KL(q(z_s) \parallel p(z_s))$$
Les quatre termes non négatifs sont :

1. Décalage avec l'a priori de style : $KL(q(z_s) \parallel p(z_s))$ (ajustement marginal global).
2. Fuite de style : $I_q(z_s; y)$ (information mutuelle entre le style et l'étiquette).
3. Décalage avec l'a priori sémantique : $E_y[KL(q(z_c | y) \parallel p(z_c | y))]$.
4. Dépendance intra-classe : $I_q(z_c; z_s | y)$.

Les auteurs prouvent qu'un échantillonnage factorisé valide nécessite que les quatre termes soient nuls. Par conséquent, éliminer la fuite de style (Terme 2) est nécessaire mais non suffisant pour un échantillonnage indépendant réussi ; les autres termes doivent également être traités.

Cadre d'Audit

Pour détecter la fuite, l'article propose un cadre de diagnostic utilisant des approximations par échantillons finis des termes théoriques :

• MMD Global : Approche le Terme 1.
• Séparation inter-classes ($\Delta_{inter}$) et Sondage Linéaire (LP) : Approchent le Terme 2. $\Delta_{inter}$ mesure la séparation moyenne entre les distributions de style conditionnelles par classe, tandis que le LP mesure la précision d'un classifieur linéaire prédisant $y$ à partir de $z_s$.
• JointMMD : Approche le Terme 4 en comparant les paires réelles $(z_c, z_s)$ au sein d'une même classe contre des paires recombinées où $z_s$ est permuté au sein de la même classe.

Étude de Cas et Remèdes

Les auteurs instancient ces concepts en utilisant le F-CS-WAE (Factorized Class-Structured Spherical Cauchy WAE), qui utilise un a priori sémantique hypersphérique et un a priori de style euclidien. Ils évaluent ce modèle et quatre modèles de référence (VAE, WAE-MMD, $\beta$-TCVAE, FactorVAE) sur MNIST et CIFAR-10.

Pour traiter la fuite, ils testent plusieurs remèdes :

1. MMD par classe : Au lieu de faire correspondre la marginale globale, cette perte fait correspondre la distribution de style de chaque classe $k$ à l'a priori $N(0, I)$ individuellement.
2. Inversion de Gradient : Une technique adversaire standard pour supprimer l'information de l'étiquette de $z_s$.
3. Pénalité HSIC : Pénalise la dépendance entre $z_s$ et $y$.
4. Intervention sur le Terme 4 Conjoint : Ciblant directement la dépendance intra-classe.

Ils évaluent également des stratégies d'échantillonnage post-hoc, telles que l'utilisation d'un a priori gaussien diagonal conditionnel par classe ou d'une banque de styles empirique, sans réentraîner le modèle.

Résultats Clés

Les métriques marginales masquent la fuite

Les résultats empiriques montrent que le MMD global peut être proche de zéro alors que la fuite est sévère.

• Sur MNIST, les modèles de base comme $\beta$-TCVAE et FactorVAE ont obtenu un MMD global proche de zéro, mais ont tout de même permis aux sondes linéaires de récupérer les étiquettes à partir de $z_s$ avec une précision de 74–76 % (le hasard étant de 10 %).
• L'étude de cas F-CS-WAE a montré un MMD global de 0,0013, pourtant le sondage linéaire a atteint 100 % de précision.
• Crucialement, le modèle F-CS-WAE a obtenu une précision de clustering de 99,15 % et une haute qualité de reconstruction (SSIM 0,983), pourtant sa précision de génération par classe (Gen-ACC) sous échantillonnage standard n'était que de 16 %. Cela démontre que les diagnostics standards (clustering, reconstruction, MMD global) ne détectent pas le mode de défaillance pertinent pour la génération factorisée.

Sensibilité du Décodeur

Les expériences impliquant l'échange de latents (prendre $z_c$ de la classe $A$ et $z_s$ de la classe $B$) ont révélé que le décodeur s'appuie fortement sur $z_s$ pour l'identité. Sur MNIST, le classifieur externe a assigné la sortie à la classe du donneur de style 96,5 % du temps, confirmant que le décodeur a appris à lire l'identité à partir du code de style "fuité".

Efficacité des Remèdes

• MMD par classe : A réduit la précision du sondage linéaire de 100 % à 42,6 % et $\Delta_{inter}$ de 81 %. Cependant, cela n'a pas éliminé la fuite, et le JointMMD (proxy du Terme 4) est resté statistiquement inchangé.
• Inversion de Gradient : A obtenu la plus forte réduction de la fuite parmi les remèdes du Terme 2, abaissant la précision du sondage à 21 %.
• Intervention Conjointe : Seule l'intervention ciblant le Terme 4 (dépendance intra-classe) a significativement réduit le proxy JointMMD (par 2,7×), confirmant que réduire l'information mutuelle $I(z_s; y)$ ne résout pas automatiquement les dépendances intra-classes.
• Robustesse : Six perturbations (capacité, curriculum, géométrie de l'a priori, supervision) ont échoué à éliminer totalement la fuite. Bien que la capacité module fortement l'ampleur de la fuite (particulièrement sur CIFAR-10), aucun choix de conception unique n'en est la cause isolée.

Transférabilité des Corrections

Le papier souligne un écart important entre les jeux de données :

• MNIST : Un a priori conditionnel par classe post-hoc a fait passer la Gen-ACC de 0,16 à 0,97.
• CIFAR-10 : Cette même correction paramétrique n'a atteint que 0,41. Une banque de styles empirique a atteint 0,88, suggérant qu'une simple hypothèse de gaussienne diagonale est insuffisante pour les jeux de données complexes.

Signification et Revendications

L'article affirme qu'aucune divergence calculée uniquement sur la marginale $q(z_s)$ ne peut certifier que $z_s \perp y$. Le recours aux statistiques marginales (comme le MMD global) procure un faux sentiment de sécurité concernant l'invariance de classe dans les modèles factorisés.

Les auteurs insistent sur le fait que :

1. Nécessité Structurelle : Éliminer la fuite de style est nécessaire mais non suffisant pour un échantillonnage factorisé valide ; les trois autres termes de la décomposition doivent également être traités.
2. Nécessité Diagnostique : Les praticiens doivent utiliser des diagnostics conditionnels (ex: sondes linéaires, séparation inter-classes) plutôt que des statistiques marginales pour vérifier l'invariance de classe.
3. Réalité au niveau du Décodeur : Même si un espace latent semble désenchevêtré, le décodeur peut encore exploiter les informations fuitées, entraînant des échecs de génération que les métriques standards ne détectent pas.
4. Dépendance au Jeu de Données : Les remèdes qui fonctionnent sur des jeux de données simples (MNIST) peuvent échouer sur des plus complexes (CIFAR-10), et la sévérité de la fuite est fortement dépendante de la complexité du jeu de données et de la capacité du modèle.

L'article conclut que rapporter des statistiques marginales est insuffisant pour vérifier les propriétés que les praticiens revendiquent pour les modèles génératifs factorisés, et qu'un cadre d'audit conditionnel plus rigoureux est requis pour garantir la validité de l'échantillonnage indépendant.