Résumé technique : Couplage structuré pour l'appariement de flux (SCFM)

Énoncé du problème

L'appariement de flux (FM) standard est devenu un cadre très efficace pour entraîner des flux normalisants continus, offrant une optimisation évolutive et une haute fidélité des échantillons générés. Cependant, il repose généralement sur une distribution source fixe et non structurée (par exemple, une gaussienne isotrope). Par conséquent, la carte de transport apprise n'encourage pas explicitement l'émergence de structures latentes interprétables utiles pour le clustering, la disentanglement ou des tâches en aval.

À l'inverse, les modèles à variables latentes comme les Autoencodeurs Variationnels (VAE) excellent dans l'apprentissage de représentations structurées et souvent interprétables grâce à l'inférence amortie. Pourtant, leur qualité générative est fréquemment limitée par des familles de décodeurs restrictives ou des approximations de posterior, produisant souvent une fidélité d'échantillon inférieure à celle des modèles de diffusion ou basés sur les flux.

Il existe un fossé entre les méthodes qui apprennent une structure latente utile et celles qui produisent des échantillons de haute fidélité au sein d'un cadre unique et unifié.

Méthodologie : Couplage structuré pour l'appariement de flux (SCFM)

Les auteurs proposent le Couplage structuré pour l'appariement de flux (SCFM), un cadre coopératif qui enrichit l'appariement de flux par l'apprentissage d'une représentation latente structurée. Le SCFM opère dans une formulation d'interpolant stochastique, remplaçant la source fixe standard par une variable augmentée $x_0 = (z, \epsilon)$, où :

• $z$ est une variable latente structurelle suivant une prior structurée apprenable $p_\psi(z)$ (par exemple, un modèle de mélange gaussien).
• $\epsilon$ est un bruit exogène fournissant des degrés de liberté de transport, suivant une prior fixe $p(\epsilon)$.

Mécanismes principaux

1. Couplage induit par l'encodeur : Au lieu d'un couplage indépendant entre la source et les données, le SCFM utilise un encodeur $q_\phi(z|x_1)$ pour induire un couplage $\Gamma_{enc}(x_0, x_1) = p_{data}(x_1) q_\phi(z|x_1) p(\epsilon)$. Cela rend la représentation latente une partie intrinsèque du problème de transport plutôt qu'un composant auxiliaire.
2. Réseau de reconnaissance partagé : Un seul réseau dépendant du temps remplit une double fonction :
   • Temps intermédiaires ($t < 1$) : Il agit comme un estimateur de la moyenne du posterior pour l'appariement de flux variationnel, approxime le champ de vitesse marginal requis pour l'entraînement du flux.
   • Point final ($t = 1$) : Il fonctionne comme l'encodeur variationnel pour le modèle à variables latentes, paramétrisant le posterior approximatif $q_\phi(z|x_1)$.
3. Objectif conjoint : Le cadre optimise conjointement une perte d'appariement de flux (minimisant la distance entre le champ vectoriel induit et la vitesse marginale) et une perte de point final de type VAE (minimisant la borne inférieure de l'évidence, ELBO). La perte de point final aligne le posterior agrégé du couplage d'entraînement avec la prior apprenable $p_\psi(z)$, assurant que le flux est entraîné et échantillonné à partir de la même distribution structurée.

Modes d'échantillonnage

Le SCFM prend en charge deux stratégies d'échantillonnage :

• Intégration ODE complète : Génération inconditionnelle en échantillonnant $z \sim p_\psi(z)$ et $\epsilon \sim p(\epsilon)$, puis en intégrant l'ODE de $t=0$ à $t=1$.
• Raffinement initialisé par le décodeur : Pour améliorer le compromis qualité-calcul, le décodeur $p_\theta(x_1|z)$ peut générer une proposition initiale $\hat{x}_1$. Le flux est ensuite initialisé à un temps intermédiaire $t_0$ en utilisant cette proposition et n'est intégré que jusqu'à $t=1$, nécessitant moins d'évaluations d'ODE.

Contributions clés

1. Cadre unifié : Introduction du SCFM, qui apprend conjointement une prior latente et une carte de transport continue. L'innovation centrale réside dans l'utilisation d'une variable source augmentée $x_0 = (z, \epsilon)$ couplée via un encodeur, séparant la structure sémantique de la flexibilité de transport.
2. Entraînement coopératif : Démonstration qu'un réseau de reconnaissance dépendant du temps partagé et un objectif de point final de type VAE peuvent aligner le couplage d'entraînement avec la prior d'échantillonnage. Cela intègre l'appariement de flux et l'entraînement VAE sans nécessiter un entraînement en deux étapes ou indépendant des composants du réseau.
3. Validation empirique : Preuve que le SCFM apprend des représentations latentes structurelles efficaces pour le clustering, la disentanglement et la classification en aval, tout en maintenant une qualité de génération d'échantillons compétitive par rapport à l'appariement de flux standard.

Résultats expérimentaux

Les auteurs ont évalué le SCFM sur MNIST, CIFAR-10, Cars3D, Shapes3D et ImageNet-128.

• Représentations structurées :
  • Clustering MNIST : Le SCFM (avec une perte de point final $\beta$-VAE) a atteint une précision de clustering supérieure (90,4 %) et une information mutuelle normalisée (87,8 %) par rapport aux références VaDE et MFCVAE.
  • CIFAR-10 et ImageNet-128 : Les représentations latentes figées du SCFM ont produit une précision de sondage linéaire et non linéaire plus élevée que les VAE standards et des résultats compétitifs par rapport à d'autres références d'apprentissage de représentations (par exemple, DIM), indiquant la rétention d'informations pertinentes pour la classe sans supervision par étiquettes.
• Disentanglement : Sur Cars3D et Shapes3D, le SCFM a obtenu des scores FactorVAE et DCI compétitifs, démontrant la capacité d'apprendre des structures latentes sensibles aux facteurs dans un cadre non supervisé.
• Qualité des échantillons :
  • CIFAR-10 : Le SCFM a atteint une distance Fréchet Inception (FID) de 2,117, correspondant essentiellement à la référence d'appariement de flux standard (2,137).
  • ImageNet-128 : Le SCFM a atteint un FID de 17,180, surpassant légèrement une référence SiT-XL/2 conditionnée par la classe (17,243) et surpassant considérablement son équivalent inconditionnel (26,349).
• Efficacité : Le mode de raffinement initialisé par le décodeur a amélioré le compromis qualité-calcul, s'approchant du FID du flux complet avec significativement moins d'évaluations de fonctions (FLOPs).

Signification et affirmations

L'article affirme que le SCFM comble avec succès le fossé entre l'apprentissage de représentations et la modélisation générative de haute fidélité. En rendant la distribution source apprenable et structurée, le SCFM permet à l'appariement de flux d'apprendre des structures latentes significatives (pour le clustering et la disentanglement) sans sacrifier la fidélité générative.

Les auteurs soulignent que la variable latente $z$ acquiert un sens sémantique de manière non supervisée, fournissant un contrôle structurel implicite via la distribution source apprise plutôt que de nécessiter une conditionnement explicite (par exemple, des étiquettes ou des invites) au moment de l'échantillonnage. Tout en reconnaissant que le SCFM introduit une surcharge computationnelle supplémentaire (paramètres et FLOPs accrus) et dépend de la qualité du modèle latent de point final pour le raffinement, ce travail démontre qu'une source structurée peut être apprise pour améliorer l'utilité des modèles de flux en tant qu'apprenants de représentations tout en préservant leurs forces génératives principales.