Résumé Technique : Distance d'Inception de Monge (MIND)

Énoncé du Problème

L'évaluation des modèles génératifs, en particulier des modèles de diffusion, repose largement sur la Distance d'Inception de Fréchet (FID) comme standard de facto. Cependant, la FID souffre de limitations statistiques et computationnelles significatives :

1. Complexité Échantillonnale : La FID repose sur l'estimation de matrices de moyenne et de covariance de haute dimension (dimension $d=2048$ pour Inception-v3). Pour garantir que la matrice de covariance soit de rang plein et que l'estimation soit stable, la FID nécessite généralement de grandes tailles d'échantillons (par exemple, 50 000 échantillons), créant un goulot d'étranglement pour l'itération rapide des modèles.
2. Robustesse de la Métrique : La FID n'est pas une véritable métrique de distance ; elle dépend uniquement des deux premiers moments (moyenne et covariance) des distributions. Par conséquent, elle est vulnérable au "piratage de métrique" via des attaques par appariement de moments, où des perturbations adverses peuvent artificiellement réduire le score FID sans améliorer la qualité visuelle.
3. Coût Computationnel : L'estimation de matrices de covariance de haute dimension et les opérations matricielles subséquentes sont coûteuses en calcul et gourmandes en mémoire, entravant l'évaluation en temps réel pendant l'entraînement.

Méthodologie : Distance d'Inception de Monge (MIND)

Les auteurs proposent la Distance d'Inception de Monge (MIND), une métrique qui remplace l'approximation gaussienne de la FID par la Distance de Wasserstein Tranchée.

• Concept Central : Au lieu d'estimer des statistiques de haute dimension, la MIND projette les distributions d'embeddings de haute dimension sur des directions aléatoires unidimensionnelles (1D). Elle calcule ensuite la distance de Wasserstein 2 au carré ($W_2^2$) entre ces projections 1D et moyenne les résultats sur $M$ directions unitaires aléatoires.
• Formulation Mathématique :
  Soit $X \sim p_\theta$ (embeddings générés) et $Y \sim p_{data}$ (embeddings réels). La MIND est définie comme suit :
  $$\text{MIND}(p_\theta, p_{data}) = \alpha \mathbb{E}_{u \sim U(S)} [W_2^2(u^\top p_\theta, u^\top p_{data})]$$
  où $u$ est un vecteur unitaire aléatoire, $U(S)$ est la distribution uniforme sur la sphère unité, et $\alpha = 3d$ est un facteur d'échelle pour aligner l'ampleur avec la FID.
• Calcul Efficace : Pour des échantillons finis, la distance de Wasserstein 1D possède une solution sous forme close basée sur le tri. Si $x$ et $y$ sont des vecteurs de taille $n$, $W_2^2(\hat{p}_n, \hat{q}_n) = \frac{1}{n} \sum_{j=1}^n |\text{sort}(x)_j - \text{sort}(y)_j|^2$. Cela réduit la complexité computationnelle du coût super-cubique du transport optimal général à $O(n \log n)$ par projection, ce qui est hautement parallélisable.
• Agnosticisme des Embeddings : Bien que l'article utilise les caractéristiques d'Inception-v3 pour une comparaison directe avec la FID, la formulation de la MIND est indépendante de l'extracteur de caractéristiques spécifique et peut être appliquée à n'importe quel espace de représentation (par exemple, CLIP, DINO).

Contributions Clés

1. Efficacité Échantillonnale : La MIND atteint une évaluation stable avec significativement moins d'échantillons. Les auteurs démontrent que la MIND avec 5 000 échantillons (MIND5k) corrèle fortement avec la FID avec 50 000 échantillons (FID50k), offrant une réduction de 10 fois des exigences en échantillons. Des tailles encore plus petites (1k–2k) restent informatives pour une itération rapide.
2. Vitesse Computationnelle et Mémoire : En raison de la dépendance au tri 1D plutôt qu'à l'inversion matricielle de haute dimension ou à l'estimation de covariance, la MIND est plus de 100 fois plus rapide à calculer et nécessite 10 fois moins de mémoire que la FID pour des tailles d'échantillons équivalentes. Cela facilite la surveillance en temps réel pendant l'entraînement.
3. Robustesse aux Attaques Adverses : En tant que véritable métrique de distance dérivée du transport optimal, la MIND n'est pas déterminée uniquement par les deux premiers moments. Les auteurs montrent que la MIND est significativement plus robuste aux attaques par "appariement de moments", où un adversaire construit une distribution avec une moyenne et une covariance identiques à celles de la cible mais une structure d'ordre supérieur différente. Dans ces tests, la MIND conserve un rapport signal/bruit plus élevé par rapport à la FID et à la FID Moyenne.
4. Puissance Discriminante : Des expériences sur ImageNet-64 montrent que la MIND distingue de manière fiable les points de contrôle de modèles et détecte des perturbations d'images subtiles (par exemple, flou gaussien, occlusion rectangulaire, mélanges de jeux de données) à des tailles d'échantillons plus faibles où la FID échoue à les ordonner correctement.

Résultats Expérimentaux

L'article valide la MIND grâce à des expériences extensives sur des modèles de diffusion entraînés sur ImageNet-64 :

• Corrélation : La MIND5k suit la progression de l'entraînement des modèles de diffusion de manière similaire à la FID50k, avec des coefficients de corrélation élevés (par exemple, >0,98 entre MIND5k et FID50k dans les étapes ultérieures de l'entraînement).
• Test d'Hypothèse : Dans des tâches de distinction entre images générées et données réelles, la MIND atteint une faible probabilité d'erreur avec $n=5\,000$, alors que la FID nécessite $n > 10\,000$ pour obtenir une séparation similaire.
• Détection de Perturbations : La MIND surpasse la FID dans la détection de la sévérité des perturbations (flou, occlusion, mélange de jeux de données) à travers diverses tailles d'échantillons, égalant la performance de la Discrépance Maximale des Moyennes (MMD) mais avec une surcharge computationnelle inférieure.
• Test de Robustesse : Dans une attaque par appariement de moments où les embeddings sont optimisés pour correspondre exactement à la moyenne et à la covariance de la cible, la FID chute à près de zéro (indiquant un faux positif de génération parfaite), tandis que la MIND reste significativement plus élevée, identifiant correctement le décalage distributionnel.

Signification et Revendications

Les auteurs affirment que la MIND adresse les principaux goulots d'étranglement de l'évaluation actuelle des modèles génératifs. En exploitant la distance de Wasserstein tranchée, la MIND fournit une alternative statistiquement rigoureuse, computationnellement efficace et robuste à la FID.

L'article souligne que la MIND ne vise pas à remplacer l'évaluation qualitative humaine ou les métriques de qualité esthétique ; elle sert plutôt de métrique statistique rigoureuse pour mesurer la distance distributionnelle entre les échantillons générés et un jeu de données de référence. Les auteurs positionnent la MIND comme une norme permettant des cycles de développement plus rapides (via des tailles d'échantillons réduites et un calcul plus rapide) et un benchmarking plus fiable (via la résistance au piratage de métrique), en particulier pour les modèles génératifs modernes à grande échelle comme les modèles de diffusion.