Résumé Technique : P-Guide : Pilotage Économe en Paramètres du Prior pour l'Inférence CFG en Passage Unique

1. Énoncé du Problème

Le Guidage Sans Classifieur (CFG) est devenu la norme de facto pour obtenir une génération conditionnelle de haute fidélité et sémantiquement alignée dans les modèles modernes basés sur les flots et la diffusion (par exemple, Stable Diffusion, FLUX, SDXL). Cependant, le CFG standard impose un goulot d'étranglement computationnel significatif : il nécessite des deux passages avant à chaque étape d'échantillonnage. Le modèle doit évaluer le champ de vitesse deux fois — une fois pour la branche conditionnelle ($v(x_t, t|y)$) et une fois pour la branche inconditionnelle ($v(x_t, t|\emptyset)$) — afin de calculer la vitesse de guidage extrapolée. Cela double effectivement la latence d'inférence, entravant le déploiement de flots génératifs de haute fidélité dans des environnements temps réel ou à ressources limitées. Bien que des stratégies d'atténuation existantes comme la distillation ou la troncature des étapes existent, elles nécessitent souvent un réentraînement intensif ou compromettent la cohérence géométrique du chemin de génération.

2. Méthodologie : Cadre P-Guide

Les auteurs proposent P-Guide (Prior-Guide), un cadre qui déplace le mécanisme de guidage de l'extrapolation itérative du champ de vitesse lors de l'échantillonnage vers une modulation structurée de l'état latent initial dans l'espace du prior. Cela permet une génération conditionnelle de haute qualité via un passage d'inférence unique.

2.1 Concept Central

Au lieu de corriger le champ de vitesse à chaque étape d'intégration, P-Guide injecte l'information conditionnelle au point de départ de la trajectoire ($z$). Le cadre repose sur une approximation au niveau de la trajectoire : sous une hypothèse du premier ordre, un décalage structuré dans l'espace du prior est équivalent à l'extrapolation du champ de vitesse utilisée dans le CFG standard. En ancrant le chemin global de l'Équation Différentielle Ordinaire (ODE) à $t=0$, le modèle peut suivre une trajectoire déterministe qui s'aligne naturellement avec la condition cible sans corrections ultérieures.

2.2 Paramétrisation du Prior

La méthode paramètre la distribution prior $p_0(z|y)$ pour qu'elle dépende des données, allant au-delà du prior gaussien standard non informé.

• P-Guide Homoscédastique : La condition $y$ module uniquement la moyenne du prior, $\mu_\phi(y)$, tandis que la variance reste fixe. L'état initial est $z = \epsilon + \mu_\phi(y)$.
• P-Guide Hétéroscédastique (Extension) : La condition module à la fois la moyenne $\mu_\phi(y)$ et l'échelle $\sigma_\phi(y)$. L'état initial est $z = \mu_\phi(y) + \sigma_\phi(y) \odot \epsilon$. Cela permet au modèle de capturer l'incertitude dépendante des données et d'implémenter une atténuation adaptative de la perte, en réduisant le poids des échantillons bruyants pendant l'entraînement.

2.3 Paradigme d'Entraînement

P-Guide emploie une stratégie d'entraînement séquentielle en deux étapes :

1. Étape 1 (Apprentissage du Prior) : Le module prior $F_\phi(y)$ est entraîné pour minimiser le négatif de la vraisemblance logarithmique (NLL) conditionnelle des données cibles. Cela apprend la moyenne et la variance conditionnelles, créant une « graine sémantique » qui encode le mode cible.
2. Étape 2 (Appariement de Flots) : Le champ de vitesse principal $v_\theta$ est entraîné en utilisant un objectif d'appariement de flots modifié. Les points de départ $z$ sont échantillonnés à partir du prior conditionnel appris et figé. Puisque $z$ est déjà géographiquement plus proche de la variété cible, le champ de vitesse apprend des trajectoires plus droites et plus efficaces.

2.4 Procédure d'Inférence

Pendant l'inférence, l'état initial guidé $z_{cfg}$ est calculé directement dans l'espace du prior en utilisant une combinaison linéaire des paramètres appris :
$$z_{cfg} = \mu_\phi(\emptyset) + w(\mu_\phi(y) - \mu_\phi(\emptyset)) + [\sigma_\phi(\emptyset) + w(\sigma_\phi(y) - \sigma_\phi(\emptyset))] \odot \epsilon$$
L'ODE est ensuite résolue une seule fois en partant de $x_0 = z_{cfg}$. Cela élimine le besoin d'évaluations doubles du champ de vitesse à chaque étape.

3. Contributions Clés

• Approximation au Niveau de la Trajectoire : Les auteurs fournissent une dérivation théorique (Théorème 1) montrant que, sous une hypothèse de réponse linéaire du premier ordre, le décalage de l'état latent initial induit la même perturbation de trajectoire que l'extrapolation du champ de vitesse. Cela établit l'équivalence théorique entre le pilotage dans l'espace du prior et le CFG standard.
• Inférence en Passage Unique Économe en Paramètres : P-Guide atteint un contrôle conditionnel en modulant l'état initial, réduisant le coût computationnel du CFG d'environ 50 % (accélération de 2x) tout en maintenant un passage d'inférence unique.
• Modélisation Hétéroscédastique : Le cadre introduit une formulation de prior hétéroscédastique qui modélise conjointement la moyenne et la variance. Cela permet une atténuation adaptative de la perte, améliorant la robustesse face à l'incertitude des données et aux conditions bruyantes.
• Surcharge Minimale : L'empreinte paramétrique supplémentaire pour le module de pilotage du prior est négligeable (environ 1,247 Mo), le rendant facilement intégrable dans les architectures existantes sans modifier le modèle principal.

4. Résultats Expérimentaux

Les auteurs ont évalué P-Guide sur MNIST, CIFAR-10 et ImageNet-1k (256x256) en utilisant à la fois des backbones U-Net et Diffusion Transformer (DiT).

• Efficacité : P-Guide atteint systématiquement une réduction de 2x des GFLOPs par génération d'image par rapport au CFG dual-pass standard, car il ne nécessite qu'un seul passage avant.
• Qualité :
  • Sur MNIST et CIFAR-10, P-Guide atteint un Fréchet Inception Distance (FID) et une précision de classification compétitifs par rapport au CFG standard. La variante hétéroscédastique surpasse généralement la version à variance fixe.
  • Sur ImageNet-1k, P-Guide démontre que l'augmentation de l'échelle de guidage $w$ (par exemple, de 1,0 à 1,1 ou 1,2) affine la structure sémantique et réduit le FID (par exemple, le FID U-Net passe de 27,78 à 22,33 à $w=1,1$).
• Robustesse : Bien que P-Guide soit plus sensible au choix de l'échelle de guidage $w$ (présentant une plage effective plus étroite que le CFG standard), il maintient une haute fidélité dans cette plage.
• Preuve Visuelle : Les visualisations de trajectoires confirment que le décalage initial agit comme une ancre directionnelle, provoquant une concentration des trajectoires sur les modes cibles immédiatement dès $t=0$, validant ainsi l'approximation au niveau de la trajectoire.

5. Signification et Revendications

L'article revendique que P-Guide offre une solution principielle et économe en paramètres au goulot d'étranglement du passage dual dans l'appariement de flots et les modèles de diffusion. En déplaçant le guidage vers l'origine de la trajectoire, la méthode découple le contrôle conditionnel du processus d'échantillonnage itératif.

Les auteurs soulignent que P-Guide :

1. Préserve la Fidélité : Il maintient une qualité d'échantillon et un alignement avec l'invite compétitifs par rapport aux bases de référence dual-pass standard.
2. Permet la Scalabilité : La réduction de 50 % de la latence d'inférence rend les flots génératifs de haute fidélité plus viables pour les applications temps réel et à grande échelle.
3. Complète les Systèmes Existants : Le cadre est pleinement compatible avec les dynamiques CFG standard et peut être considéré comme une amélioration complémentaire qui opère sur la distribution initiale plutôt que de perturber le flot ODE sous-jacent.

Ce travail suggère que le contrôle de l'espace source (le prior) est une alternative viable et efficace au contrôle du champ de vitesse tout au long du processus de génération, fournissant une base évolutive pour les futurs systèmes génératifs haute résolution.