Résumé technique : Identification du contenu et du style par indépendance différentielle

Énoncé du problème

L'analyse générative multi-domaine modélise souvent les observations comme des mélanges non linéaires de variables de contenu invariantes par domaine et de variables de style spécifiques au domaine. Identifier ces facteurs latents à partir de données non appariées (où aucune correspondance inter-domaine n'existe) constitue un défi fondamental. Sans échantillons appariés, les représentations de contenu et de style peuvent s'entremêler de manière arbitraire, conduisant à des solutions correspondant aux distributions mais dépourvues de signification sémantique correcte.

Les travaux antérieurs ont tenté de résoudre cette ambiguïté d'identifiabilité via deux hypothèses principales :

1. Indépendance statistique : En supposant que le contenu et le style sont statistiquement indépendants (ou indépendants par blocs entre les domaines). Cependant, cela est souvent restrictif en pratique, car le style dépend naturellement du contenu dans de nombreuses applications (par exemple, l'éclairage dépend de la géométrie de l'objet).
2. Parcimonie du Jacobien : En supposant que le Jacobien de la fonction générative est parcimonieux, ce qui signifie que les variables de style affectent un sous-ensemble de caractéristiques plus petit et non chevauchant par rapport au contenu. Cette hypothèse peut ne pas tenir dans des scénarios d'influence dense, tels que les données de génomique à cellule unique.

La question centrale abordée est la suivante : Le contenu et le style peuvent-ils être identifiés à partir de données multi-domaines non appariées sans supposer l'indépendance statistique ni la parcimonie du Jacobien ?

Méthodologie

Les auteurs proposent l'Indépendance Différentielle Contenu-Style (CSDI), une condition structurelle basée sur la géométrie différentielle plutôt que sur l'indépendance probabiliste.

1. Cadre théorique : Indépendance différentielle

Au lieu d'imposer l'indépendance au niveau des distributions de probabilité, la méthode exploite la notion d'indépendance différentielle. L'hypothèse centrale (Hypothèse 3.1) postule que des variations infinitésimales du contenu et du style induisent des directions orthogonales sur la variété des données.

• Décomposition tangente : Pour un point de données $x^{(n)} = g(c, s^{(n)})$, l'espace tangent est décomposé en variations induites par le contenu ($\Delta x_c$) et variations induites par le style ($\Delta x_s$).
• Contrainte d'orthogonalité : La méthode exige que les espaces images des Jacobiens par rapport au contenu ($J_c g$) et au style ($J_{s^{(n)}} g$) soient orthogonaux :
  $$\mathcal{R}(J_c g(c, s^{(n)})) \perp \mathcal{R}(J_{s^{(n)}} g(c, s^{(n)}))$$
• Identifiabilité : Sous cette condition, combinée à une fonction de perte d'appariement de distribution entre les domaines et à une hypothèse de « Variabilité du domaine » (les styles doivent varier suffisamment entre les domaines), l'article démontre que le contenu et le style sont identifiables à des transformations inversibles près (Théorème 3.4).
• Robustesse : Les auteurs analysent également le cas d'une orthogonalité inexacte (Hypothèse 3.5), montrant que si l'identification du contenu reste robuste, l'extraction du style peut contenir des traces d'informations sur le contenu proportionnelles au degré de non-orthogonalité (Théorème 3.6).

2. Mise en œuvre : CSDI-GAN

Pour opérationnaliser cela pour des données de haute dimension (par exemple, des images haute résolution), les auteurs conçoivent une architecture CSDI-GAN basée sur un squelette de GAN, évitant ainsi les limitations des VAE pour la synthèse d'images.

• Architecture : Le générateur $g$ mappe les variables latentes vers les données. Crucialement, pour permettre une dépendance statistique entre le contenu et le style (cohérent avec les scénarios réels), les vecteurs latents sont construits en partageant un sous-ensemble du vecteur de bruit ($r_{C1}$) entre la mapping de contenu $e_C$ et le mapping de style $e_S^{(n)}$.
• Fonction de perte : L'objectif d'entraînement inclut :
  1. Perte GAN ($L_{GAN}$) : Assure l'appariement de distribution entre les données générées et réelles.
  2. Perte d'inversibilité ($L_{inv}$) : Garantit que les mappings latents sont bijectifs.
  3. Régulariseur d'orthogonalité ($L_{orth}$) : Impose la contrainte d'indépendance différentielle.
• Régularisation évolutive : Le calcul direct des Jacobiens pour des images de haute dimension est computationnellement prohibitif. Les auteurs proposent un régulariseur stochastique utilisant l'estimation de la trace de Hutchinson. Ils approximent le terme d'orthogonalité $\|J_{s}^\top J_c\|_F^2$ en utilisant un sondage par vecteurs aléatoires (Produits Vecteur-Jacobien, VJP), permettant un entraînement évolutif sans stocker de matrices Jacobiennes complètes.

Contributions clés

1. Nouvelle condition d'identifiabilité : L'article introduit l'Indépendance Différentielle Contenu-Style (CSDI) comme alternative à l'indépendance statistique et à la parcimonie du Jacobien. Il démontre que des sous-espaces tangents orthogonaux suffisent à l'identifiabilité, même lorsque le contenu et le style sont statistiquement dépendants.
2. Garanties théoriques : Les auteurs fournissent des preuves rigoureuses montrant que, sous CSDI et un appariement de distribution, le contenu et le style sont identifiables à des transformations inversibles près. Ils établissent également des bornes de robustesse pour les cas où l'orthogonalité n'est pas parfaite.
3. Mise en œuvre évolutive : Ils développent un régulariseur stochastique basé sur une approximation numérique du Jacobien (estimateur de Hutchinson) qui permet l'application de ces contraintes théoriques aux modèles génératifs de haute dimension (GAN) sans coûts de mémoire ou de calcul prohibitifs.

Résultats expérimentaux

La méthode a été validée sur des données synthétiques contrôlées et des ensembles de données d'images réelles haute résolution.

• MNIST à deux domaines : Un ensemble de données contrôlé a été créé où l'identité du chiffre est le contenu, et la couleur du chiffre/fond est le style, avec un échantillonnage dépendant des étiquettes pour induire une corrélation.
  • Génération contrefactuelle : CSDI-GAN a généré avec succès des images avec un style fixe et un contenu variable, tandis que les modèles de base (Block Independence GAN) ont produit des résultats entremêlés.
  • Traduction de domaine : Le modèle a traduit avec succès des images entre les domaines tout en préservant le contenu et le style, surpassant les modèles de base en termes de FID (qualité d'image) et de LPIPS (diversité du style).
• AFHQ et CelebA-HQ : Des expériences sur des visages d'animaux (chien/chat/sauvage) et des visages humains (mâle/femelle) ont confirmé les résultats.
  • Génération : CSDI-GAN a maintenu un style cohérent (par exemple, la race de l'animal) lors de la variation du contenu (pose), tandis que des modèles de base comme I-StyleGAN et Block Independence GAN ont échoué à démêler ces facteurs (par exemple, changer la pose modifiait involontairement la race de l'animal).
  • Traduction : Dans les tâches de traduction de domaine, CSDI-GAN a préservé le contenu source et le style cible plus précisément que des modèles de base comme StarGANv2 et I-StyleGAN.
  • Ablation : La suppression du régulariseur d'orthogonalité ($L_{orth}$) a considérablement dégradé les performances, confirmant la nécessité de la contrainte d'indépendance différentielle.

Importance et revendications

L'article revendique faire progresser la théorie de l'apprentissage de représentations identifiables en fournissant une condition moins restrictive pour séparer le contenu et le style dans des données multi-domaines non appariées.

• Assouplissement des hypothèses : En s'éloignant de l'indépendance statistique stricte ou des hypothèses de Jacobien parcimonieux, la méthode élargit les scénarios où une identification prouvable est possible, en particulier dans les domaines où le style dépend naturellement du contenu.
• Utilité pratique : Le cadre proposé permet une génération contrefactuelle efficace et une traduction de domaine dans des contextes de haute dimension, comme démontré par l'implémentation basée sur GAN.
• Perspectives futures : Les auteurs notent que, bien que leur implémentation actuelle utilise des GAN, étendre le cadre CSDI aux modèles de diffusion modernes et aux modèles d'appariement de flux est une direction prometteuse mais non triviale pour les travaux futurs, en raison des différences architecturales.

Ce travail est soutenu par la National Science Foundation (NSF) et vise à fournir une approche évolutive et théoriquement fondée pour l'apprentissage de modèles génératifs non supervisés.