Résumé Technique : Modèles Génératifs de Point Milieu (MGM)

Énoncé du Problème

Les modèles de diffusion et de flux sont devenus centraux dans l'IA générative, permettant des applications en synthèse d'images, de vidéos et d'audio. Cependant, un goulot d'étranglement majeur pour le déploiement pratique est la vitesse d'inférence ; les modèles de diffusion standards nécessitent des centaines ou des milliers d'évaluations de fonctions (NFE) pour générer des échantillons de haute qualité. Bien que plusieurs approches existent pour accélérer la génération — telles que le développement de meilleurs solveurs numériques, la distillation de modèles pré-entraînés en générateurs à une étape, ou l'entraînement de modèles à une étape à partir de zéro en utilisant les propriétés structurelles de la diffusion — il subsiste un besoin de méthodes fondées sur des principes et efficaces pour entraîner directement des générateurs à une étape à partir de données, sans dépendre d'un modèle « enseignant » pré-entraîné.

Méthodologie

L'article introduit les Modèles Génératifs de Point Milieu (MGM), un cadre pour l'entraînement de modèles génératifs à une étape basé sur une propriété de symétrie spécifique du Flow Matching avec interpolation linéaire.

Insight Central : Symétrie du Point Milieu

Les auteurs observent que dans le Flow Matching, lors de l'interpolation entre deux distributions d'extrémité identiques ($p_0 = p_1$) en utilisant un chemin linéaire $X_t = (1-t)X_0 + tX_1$, le champ de vitesse $v_t(x)$ s'annule exactement au temps du point milieu $t=1/2$. Plus précisément, $v_{1/2}(x) = \mathbb{E}[X_1 - X_0 | X_{1/2} = x] = 0$. Inversement, si $p_0 \neq p_1$, ce champ est généralement non nul. Cette propriété permet d'utiliser la norme du champ de vitesse au point milieu comme mesure de la divergence entre les distributions.

La Divergence du Point Milieu

Pour formaliser cela, les auteurs définissent la Divergence du Point Milieu :
$$D_{\text{mid}}(p_0, p_1) := \mathbb{E}_{X_{1/2}} \left[ \| \mathbb{E}_{X_0, X_1}[X_1 - X_0 | X_{1/2}] \|_2^2 \right]$$
Ils prouvent que cette divergence est définie : elle est non négative et égale à zéro si et seulement si $p_0 = p_1$.

Extension au-delà du Point Milieu

Une extension naïve de ce concept à tous les pas de temps $t \in [0, 1]$ échoue car le champ de vitesse est non nul aux instants autres que le point milieu, même lorsque $p_0 = p_1$, en raison d'un biais d'orientation inhérent (il est plus facile de reconstruire l'extrémité « passée » que l'extrémité « future »). Pour résoudre cela, les MGM introduisent des interpolations aléatoirement retournées :

1. Une variable de Bernoulli $B \sim \text{Bernoulli}(1/2)$ détermine si l'interpolation se déroule vers l'avant ($X_t$) ou vers l'arrière ($X_{1-t}$).
2. L'observation est la variable retournée $\tilde{X}_t$, mais le retournement $B$ n'est pas observé.
3. Cette symétrisation garantit que pour tout $t$, si $p_0 = p_1$, le champ de déplacement conditionnel $\tilde{v}_t(x) = \mathbb{E}[X_1 - X_0 | \tilde{X}_t = x]$ s'annule.

Cela conduit à la Divergence du Point Milieu Intégrée dans le Temps, définie en intégrant la norme au carré de ce champ de déplacement symétrisé sur $t \in [0, 1/2]$.

Généralisation aux Interpolants Stochastiques

Le cadre est davantage généralisé aux interpolants stochastiques symétriques de la forme $X_t = I_t(X_0, X_1) + \sigma_t \epsilon$, où la fonction d'interpolation $I_t$ et le calendrier de bruit $\sigma_t$ satisfont des conditions de symétrie ($I_t(x_0, x_1) = I_{1-t}(x_1, x_0)$ et $\sigma_t = \sigma_{1-t}$). Cela produit une Divergence Généralisée du Point Milieu qui reste une mesure de divergence valide.

Objectif Variationnel d'Entraînement

Minimiser directement la divergence est intraitable car le vrai champ de déplacement conditionnel est inconnu. Les auteurs dérivent une formulation variationnelle :
$$D(p_\theta, p_{\text{data}}) = \max_{f} \int_0^{1/2} \mathbb{E} \left[ 2\langle f(\tilde{X}_t), X_1 - X_0 \rangle - \|f(\tilde{X}_t)\|_2^2 \right] dt$$
où $f$ est une fonction vectorielle apprenable (un « champ de déplacement » ou critique). Cela résulte en un objectif minimax :

1. Mise à jour de $f_\psi$ (Critique) : Régression de $f_\psi$ pour approximer le champ de déplacement symétrisé $X_1 - X_0$.
2. Mise à jour de $G_\theta$ (Générateur) : Minimisation de l'objectif variationnel en utilisant $f_\psi$ fixe.

Le générateur $G_\theta$ mappe une prière latente $z$ vers $X_0$, qui est ensuite appariée aux données réelles $X_1$ pour calculer la perte.

Contributions Clés

1. Divergence du Point Milieu : L'introduction d'une nouvelle divergence distributionnelle dérivée de la symétrie du point milieu de l'interpolant linéaire du Flow Matching. Les auteurs prouvent sa définition (s'annulant si et seulement si les distributions sont égales).
2. Symétrisation par Retournement Temporel : L'extension de la divergence à tous les pas de temps via un retournement temporel aléatoire, éliminant le biais d'orientation et permettant des objectifs intégrés dans le temps.
3. Divergence Généralisée du Point Milieu : La généralisation du concept aux interpolants stochastiques symétriques, fournissant un cadre flexible pour divers calendriers de bruit.
4. Algorithme MGM : Un cadre d'entraînement pratique pour les générateurs à une étape qui :
   • S'entraîne directement à partir de données sans signal d'entraînement d'un enseignant diffusion/flux pré-entraîné.
   • Utilise un champ de déplacement appris pour approximer la divergence.
   • Atteint des performances compétitives par rapport aux méthodes existantes à une étape.

Résultats Expérimentaux

Les auteurs évaluent les MGM sur la génération non conditionnelle CIFAR-10 (32x32), rapportant la distance Fréchet Inception (FID) pour un échantillonnage à 1-NFE.

• Performance : Les MGM atteignent un FID de 2,27, ce qui est le meilleur résultat parmi les méthodes n'utilisant pas de signal d'entraînement par modèle enseignant (c'est-à-dire les méthodes entraînées à partir de zéro sans distiller un modèle pré-entraîné). Ils surpassent d'autres approches sans enseignant comme DiffRatio-DiJS (2,39) et iCT-deep (2,51).
• Études d'ablation :
  • Intégration Temporelle : L'utilisation uniquement du point milieu ($t=1/2$) produit des échantillons valides mais plus bruyants (FID ~13,55 avec bruit du critique), tandis que l'intégration dans le temps améliore considérablement la qualité (FID 2,27).
  • Retournement Aléatoire : L'objectif naïf intégré dans le temps sans retournement échoue (FID > 100) en raison du biais d'orientation, confirmant la nécessité du retournement aléatoire.
  • Stochasticité : Une petite quantité de bruit dans l'interpolant ($\sigma > 0$) est cruciale pour un entraînement stable ; les ponts déterministes performent mal.
  • Stochasticité du Critique : Le découplage des niveaux de bruit pour le générateur et le critique (n'utilisant du bruit que pour le critique) produit les meilleurs résultats.

Importance et Revendications

L'article revendique que les MGM offrent une approche efficace et théoriquement fondée pour la modélisation générative. Son importance réside dans :

• Fondement Théorique : Il reformule les interpolants stochastiques symétriques non seulement comme des chemins génératifs, mais comme une base pour comparer les distributions d'extrémité via une divergence définie.
• Paradigme d'Entraînement : Il fournit une manière fondée sur des principes d'entraîner des générateurs à une étape directement à partir de données, évitant la complexité et les limitations potentielles de la distillation de modèles pré-entraînés.
• Compétitivité : Il démontre qu'une méthode basée sur cette symétrie spécifique peut atteindre des résultats de l'état de l'art parmi les générateurs à une étape sans enseignant, remettant en question la notion que la distillation est strictement nécessaire pour une génération rapide et de haute qualité.

Les auteurs reconnaissent des limites, notant que l'entraînement minimax peut introduire une instabilité d'optimisation similaire aux GAN, et que la performance dépend des choix de conception tels que le calendrier de bruit et le type d'interpolant. Ils ne revendiquent pas surpasser toutes les méthodes de distillation basées sur un enseignant (par exemple, CTM atteint un FID de 1,87) mais positionnent les MGM comme l'alternative de premier plan pour l'entraînement à partir de zéro.