Representation Fréchet Loss for Visual Generation

1. Énoncé du problème

La Fréchet Inception Distance (FID) a été la norme de facto pour évaluer la qualité de la génération d'images pendant près d'une décennie. Cependant, la communauté a historiquement traité la FID uniquement comme une métrique d'évaluation, et non comme un objectif d'entraînement.

• La Barrière : L'optimisation directe de la FID en tant que fonction de perte est considérée comme peu pratique car elle nécessite une grande population d'échantillons (par exemple, 50 000) pour estimer de manière fiable les statistiques de distribution (moyenne et covariance). Les lots d'entraînement standards sont petits (par exemple, 1 024), et la rétropropagation à travers une population de 50 000 échantillons à chaque étape est prohibitivement coûteuse en calcul.
• La Conséquence : Cette limitation a contraint les chercheurs à s'appuyer sur une « descente de gradient » indirecte via des pertes au niveau des échantillons (comme la diffusion ou l'appariement de flux) et à n'utiliser la FID que pour une évaluation a posteriori.
• Le Paradoxe de la Métrique : Les modèles récents les plus avancés atteignent souvent des scores FID inférieurs à ceux des images de validation réelles (par exemple, FID < 1,68 sur ImageNet), pourtant l'évaluation humaine révèle que les images générées manquent toujours de qualité perceptuelle et sont distinguables des données réelles. Cela suggère que la FID, basée sur un espace de caractéristiques unique et daté (Inception-v3), a atteint un plateau et échoue à capturer la véritable fidélité visuelle.

2. Méthodologie : FD-loss

Les auteurs proposent FD-loss, une méthode pour optimiser directement la Distance Fréchet (FD) en tant qu'objectif d'entraînement en découplant la taille de la population (nécessaire pour des statistiques fiables) de la taille du lot (nécessaire pour le calcul du gradient).

Mécanisme central

Au lieu de calculer la FD sur le mini-lot actuel (ce qui est bruyant) ou sur l'ensemble du jeu de données (ce qui est irréalisable), FD-loss maintient une estimation dynamique et large de la distribution des caractéristiques générées tout en effectuant la rétropropagation uniquement à travers le lot actuel.

Le papier implémente cela via deux estimateurs :

1. Estimateur basé sur une file d'attente : Maintient une file d'attente en ligne de caractéristiques provenant d'échantillons récemment générés (par exemple, $N=50 000$). La FD est calculée sur l'ensemble de la file, mais lors de la rétropropagation, les gradients sont calculés uniquement pour les caractéristiques du lot actuel ; les caractéristiques mises en file d'attente des étapes précédentes sont détachées (traitées comme des constantes).
2. Estimateur basé sur la MME (Moyenne Mobile Exponentielle) : Maintient des Moyennes Mobiles Exponentielles (MME) des premier et second moments (moyenne et covariance) des caractéristiques. Les statistiques en cours sont mises à jour avec le lot actuel, mais les gradients ne circulent que via le lot actuel. Cette approche est plus économe en mémoire et plus évolutive.

Optimisation multi-représentation

Reconnaissant que différents espaces de caractéristiques capturent différents aspects de la qualité visuelle, les auteurs proposent de minimiser une somme pondérée de FD à travers plusieurs modèles de représentation ($\mathcal{L} = \sum w_i \cdot \text{FD}_{\phi_i}$).

• Normalisation : Puisque les valeurs FD varient d'ordres de grandeur selon les architectures sous-jacentes (par exemple, Inception vs SigLIP), la perte est normalisée par la FD des images de validation réelles dans cet espace spécifique pour assurer des contributions à l'échelle de l'unité.
• Configuration par défaut (FD-SIM) : Les auteurs combinent SigLIP2, Inception-v3 et MAE pour créer une perte robuste à plusieurs représentations.

Nouvelle métrique d'évaluation : $\text{FDr}_K$

Pour pallier le plateau de la FID, les auteurs introduisent $\text{FDr}_K$ (Rapport de Distance Fréchet Normalisé).

• Définition : $\text{FDr}_{\phi_i}(G) = \frac{\text{FD}_{\phi_i}(G, \text{Train})}{\text{FD}_{\phi_i}(\text{Val}, \text{Train})}$.
• Interprétation : Un score de 1,0 signifie que les images générées sont aussi proches de la distribution d'entraînement que les images de validation réelles. Un score > 1,0 indique un écart.
• Agrégation : $\text{FDr}_K$ moyenne ces rapports sur $K$ modèles de représentation divers (par exemple, Inception, ConvNeXt, DINOv2, MAE, SigLIP, CLIP) pour offrir une vue plus holistique de la qualité.

3. Contributions et résultats clés

A. FD-loss comme objectif post-entraînement

• Amélioration de la qualité visuelle : Le post-entraînement de générateurs existants avec FD-loss améliore systématiquement la qualité visuelle des modèles dans l'espace des pixels (pMF) et dans l'espace latent (iMF).
• FID de pointe : En utilisant des caractéristiques Inception, un générateur en une étape (pMF-H) atteint un FID de 0,72 sur ImageNet 256×256, surpassant la plupart des systèmes multi-étapes antérieurs.
• Qualité perceptuelle : Les modèles optimisés avec des représentations modernes (SigLIP, MAE) atteignent des scores $\text{FDr}_K$ nettement meilleurs et une meilleure structure des objets, même si leur FID Inception est légèrement supérieur à celui des modèles basés uniquement sur Inception.

B. Réaffectation des générateurs multi-étapes

• Conversion en une étape : FD-loss peut transformer des générateurs multi-étapes pré-entraînés (par exemple, JiT, qui nécessite généralement 50 étapes ou plus) en générateurs en une étape de haute qualité (1 NFE) sans distillation d'enseignant, entraînement adversarial ou cibles de régression par échantillon.
• Performance : Un modèle JiT multi-étapes, lorsqu'il est post-entraîné avec FD-loss, passe d'environ 290 FID (1 étape naïve) à 0,77 FID (1 étape), égalant ou dépassant la qualité de sa version multi-étapes originale.

C. Les limites de la FID

• Mauvais classement : Le papier démontre que l'optimisation de la FID Inception seule peut conduire à des modèles qui obtiennent de bons scores FID mais possèdent une mauvaise qualité perceptuelle (par exemple, artefacts, couleurs non naturelles).
• L'illusion du « résolu » : Alors que la FID suggère que la génération sur ImageNet est « résolue » (scores < 1,0), $\text{FDr}_6$ révèle que même les meilleurs modèles restent loin des images de validation réelles (scores > 1,0), indiquant que des écarts de qualité significatifs subsistent.

4. Résultats expérimentaux

• ImageNet 256×256 :
  • pMF-H (Une étape) : Atteint un FID de 0,72 et un $\text{FDr}_6$ de 1,89 (post-entraîné avec FD-SIM).
  • JiT-H (Multi-étapes réaffecté) : Atteint un FID de 0,75 et un $\text{FDr}_6$ de 2,65 avec seulement 1 NFE.
  • Comparaison : Ces résultats surpassent ou égalent des systèmes multi-étapes complexes (par exemple, RAE, SiT, MAR) qui nécessitent 50–250 NFE, tout en étant 50 à 250 fois plus rapides à l'inférence.
• Texte vers Image : La méthode a été appliquée avec succès à SD3.5 Medium (2,5 milliards de paramètres), le convertissant d'un processus de débruitage en 56 étapes en un générateur en une étape tout en préservant l'adhésion au prompt et en adoptant l'esthétique de la distribution de référence.
• Préférence humaine : Dans des comparaisons par paires, les modèles post-entraînés avec FD-loss sont préférés à leurs modèles de base. Cependant, ils perdent toujours face aux images de validation réelles, confirmant que le problème de génération n'est pas encore entièrement résolu.

5. Signification et impact

1. Changement de paradigme : Le papier repositionne fondamentalement la Distance Fréchet d'un outil d'évaluation passif à un objectif d'entraînement actif et évolutif. Il prouve que les distances au niveau de la distribution peuvent être optimisées directement si la taille de la population est découplée de la taille du lot de gradient.
2. Efficacité : Il fournit une recette simple et universelle pour convertir des modèles multi-étapes puissants en générateurs en une étape efficaces, sans la complexité de la distillation ou de l'entraînement adversarial.
3. Réforme de l'évaluation : En introduisant $\text{FDr}_K$ et en démontrant l'échec de la FID à métrique unique, ce travail encourage la communauté à adopter des métriques d'évaluation multi-représentations pour mieux aligner les scores automatisés avec la perception humaine.
4. Accessibilité : La méthode est agnostique au modèle et fonctionne dans les espaces de pixels et latents, avec différentes architectures (CNN, ViT) et résolutions, ce qui en fait un outil polyvalent pour l'amélioration des modèles génératifs.

En résumé, FD-loss comble le fossé entre l'évaluation distributionnelle et l'entraînement, permettant la création de générateurs d'images en une étape à haute fidélité tout en exposant les limites des métriques d'évaluation actuelles.