Résumé Technique : Supervision Alignée Multi-échelle pour l'Entraînement des GAN

1. Énoncé du Problème

L'article adresse un défaut fondamental dans l'interprétation de la supervision adversaire échelle par échelle standard dans les Réseaux Antagonistes Génératifs (GAN) multi-étapes modernes. Bien que de telles architectures soient souvent décrites comme effectuant une génération hiérarchique « du grossier au fin », les auteurs soutiennent qu'elles échouent à construire une hiérarchie appropriée.

Le problème central est identifié comme un désalignement des trajectoires multi-échelles :

• Optimisation Indépendante : Dans la supervision échelle par échelle standard, chaque sortie intermédiaire du générateur ($x_k$) est évaluée indépendamment par un discriminateur à sa résolution spécifique. Le gradient adversaire pousse chaque étape vers un mode réaliste à cette résolution, mais il ne contraint pas la sortie à représenter la même trajectoire d'échantillon que la sortie finale.
• Manque de Raffinement : Parce que l'image intermédiaire $x_k$ est optimisée pour le réalisme mais n'est pas imposée comme la cible de raffinement explicite pour l'étape suivante (qui procède via les caractéristiques du générateur $f_k$), les étapes ultérieures peuvent dévier de la sortie précédente. Au lieu de raffiner progressivement l'image, les étapes ultérieures peuvent « réécrire » l'échantillon entièrement, convergeant vers un mode réaliste différent.
• Conséquence : Cela résulte en des images intermédiaires qui sont individuellement réalistes mais incohérentes entre elles, brisant le processus de génération du grossier au fin prévu. Les auteurs démontrent que sous une supervision standard, l'écart entre les sorties intermédiaires et finales reste important, et le réécriture inter-étapes est substantielle plutôt que progressive.

2. Méthodologie : CAT (Transformateur Aligné Multi-échelle)

Pour résoudre le désalignement des trajectoires, les auteurs proposent CAT, un cadre qui conserve les avantages de la rétroaction adversaire échelle par échelle tout en imposant une cohérence multi-échelle.

Composants Principaux

1. Discriminateur Échelle par Échelle :

   • Le discriminateur reste échelle par échelle, évaluant chaque sortie intermédiaire ($x_k$) à sa propre résolution.
   • Pour assurer une discrimination stricte échelle par échelle sans fuite d'information multi-échelle, les auteurs emploient un masque d'attention bloc-diagonal au sein d'un discriminateur transformateur partagé. Cela garantit que les jetons de l'échelle $k$ ne peuvent s'attarder que sur les jetons de la même échelle, empêchant le discriminateur de s'appuyer sur la compatibilité multi-échelle pour juger du réalisme.

2. Régularisation de Cohérence côté Générateur :

   • L'innovation principale est une fonction de perte de cohérence simple ajoutée à l'objectif du générateur.
   • Au lieu d'ajouter un autre objectif de réalisme, cette perte aligne les sorties des étapes intermédiaires ($h_k$) avec la sortie de l'étape finale ($h_K$).
   • La perte est définie comme :
     $$L_{cons} = \frac{1}{K} \sum_{k=0}^{K-1} w_k \|h_k - h_K\|_2^2$$
   • Stratégie de Pondération : Les poids $w_k$ sont mis à l'échelle de telle sorte que les étapes de plus basse résolution (plus grossières) aient des contraintes plus faibles. Cela reconnaît que les sorties grossières sont intrinsèquement ambiguës (de nombreux échantillons haute résolution peuvent partager la même structure basse résolution), empêchant la perte d'imposer des contraintes point-à-point trop rigides sur les premières étapes tout en s'assurant qu'elles restent sur la même trajectoire d'échantillon.

3. Objectif d'Entraînement :
   Le générateur est entraîné pour minimiser :
   $$L_G = L_{adv} + \lambda_{cons} L_{cons}$$
   où $L_{adv}$ est la perte adversaire standard échelle par échelle et $\lambda_{cons}$ est un hyperparamètre (fixé à 0,1 dans les expériences).

3. Contributions Clés

• Identification du Désalignement : L'article fournit une analyse rigoureuse démontrant que la supervision adversaire échelle par échelle standard ne crée pas intrinsèquement une hiérarchie du grossier au fin. Il introduit des métriques (écart $\delta_k$, magnitude de réécriture $R_k$, et alignement de direction $A_k$) pour quantifier l'échec des méthodes standards à maintenir une trajectoire d'échantillon cohérente.
• Architecture CAT : La proposition d'une méthode qui découple la rétroaction échelle par échelle du discriminateur de l'alignement de trajectoire du générateur. En maintenant le discriminateur échelle par échelle et en ajoutant une cohérence côté générateur, la méthode garantit que les sorties intermédiaires soutiennent l'échantillon final plutôt que d'optimiser des prédictions latérales déconnectées.
• Efficacité et Performance : La méthode atteint des résultats de l'état de l'art avec significativement moins d'époques d'entraînement et de ressources computationnelles par rapport aux bases de référence existantes en une étape.

4. Résultats Expérimentaux

Les expériences ont été menées sur ImageNet-256 (résolution 256×256) dans l'espace latent de SD-VAE.

• Performance : Le modèle CAT-H/2 atteint un FID-50K de 1,56 après seulement 60 époques d'entraînement.
  • Cela surpasse de fortes bases de référence GAN en une étape (par exemple, GAT-XL/2 à 2,18 FID) et des modèles de diffusion/flux en une étape compétitifs (par exemple, iMF-XL/2 à 1,72 FID).
  • Notamment, CAT-H/2 atteint cela avec environ 13 fois moins d'époques d'entraînement que la base de référence iMF-XL/2 (60 contre 800 époques).
• Efficacité Computationnelle :
  • CAT-H/2 nécessite 1 040,2 GFLOPs pour l'entraînement par échantillon par itération, contre 2 297,2 GFLOPs pour GAT-XL/2 et 1 306,3 GFLOPs pour iMF-XL/2.
  • Il atteint un meilleur FID avec un calcul total d'entraînement inférieur (environ 16,7 fois moins de GFLOPs d'entraînement que iMF-XL/2).
• Études d'Ablation :
  • Le retrait de la perte de cohérence ($L_{cons}$) entraîne une baisse significative des performances (par exemple, le FID passe de 1,93 à 3,00 pour le modèle Medium à 40 époques).
  • L'analyse confirme que l'ajout de $L_{cons}$ réduit l'écart ($\delta_k$) et la magnitude de réécriture ($R_k$) tout en augmentant l'alignement de direction ($A_k$), validant que la méthode impose avec succès l'alignement de trajectoire multi-échelle.
• Résultats Qualitatifs : Des échantillons non curés montrent des images diverses et haute fidélité à travers diverses catégories, avec une interpolation latente démontrant des transitions fluides.

5. Importance et Revendications

L'article revendique que l'alignement multi-échelle côté générateur est un principe critique, précédemment négligé, pour la mise à l'échelle des GAN basés sur des transformateurs.

• Réévaluation de la Supervision Hiérarchique : Le travail remet en question l'hypothèse selon laquelle la supervision adversaire échelle par échelle seule suffit pour la génération hiérarchique. Il postule que sans alignement explicite, les GAN multi-étapes souffrent d'un désalignement de trajectoire, conduisant à un raffinement incohérent.
• Génération en Une Étape Compétitive : Les résultats suggèrent que lorsque la supervision adversaire hiérarchique est correctement organisée (via une régularisation de cohérence), les GAN basés sur des transformateurs peuvent servir de modèles génératifs en une étape hautement compétitifs, rivalisant ou surpassant les modèles basés sur la diffusion et le flux, tant en qualité qu'en efficacité d'entraînement.
• Évolutivité : La méthode démontre qu'une génération de haute qualité peut être atteinte sans mettre à l'échelle la capacité du discriminateur proportionnellement au générateur, à condition que la cohérence multi-échelle soit imposée du côté du générateur.

Les auteurs concluent que leur approche offre une nouvelle direction pour la synthèse d'images efficace et de haute qualité, bien qu'ils reconnaissent des limitations telles que la dépendance à des hiérarchies d'échelles spécifiées manuellement et la nécessité d'une analyse systématique supplémentaire de l'équilibre des capacités générateur-discriminateur.