Résumé technique : La loterie du FID : quantifier l'aléa caché dans l'évaluation des modèles génératifs

Énoncé du problème

La distance de Fréchet Inception (FID) sert de standard de fait pour l'évaluation des modèles de génération d'images. Cependant, la communauté rapporte généralement un nombre FID unique dérivé d'un seul modèle entraîné utilisant une seule graine (seed) d'échantillonnage. Cet article soutient qu'un tel rapport d'un nombre unique occulte un « écart de reproductibilité » significatif causé par l'aléa inhérent aux pipelines d'entraînement et de génération.

Les auteurs identifient deux « loteries » distinctes qui introduisent de la variance dans les scores FID :

1. La loterie de l'entraînement : Se produit une seule fois par cycle d'entraînement, pilotée par l'initialisation aléatoire des poids, l'ordre des données (mélange des mini-lots), le bruit gaussien injecté par étape par la perte de flow-matching, et le non-déterminisme matériel (dérive bit à bit lors de l'exécution multi-GPU).
2. La loterie de la génération : Se produit lors de l'échantillonnage, pilotée par le bruit initial aléatoire ($x_T \sim \mathcal{N}(0, I)$) tiré pour chaque image générée.

La pratique conventionnelle atténue souvent la loterie de la génération en faisant la moyenne sur plusieurs graines d'échantillonnage, mais ignore la loterie de l'entraînement. L'article postule que la variance introduite par le réentraînement d'un modèle (même avec la même recette) est nettement plus grande que la variance introduite par un rééchantillonnage à partir d'un modèle fixe, rendant les affirmations de FID basées sur une seule graine potentiellement non concluantes.

Méthodologie

Les auteurs traitent le FID comme une variable aléatoire définie sur un panneau à deux axes de $N$ graines d'entraînement indépendantes et $K$ graines d'échantillonnage.

• Configuration expérimentale : L'étude utilise des Scalable Interpolant Transformers (SiT) entraînés sur ImageNet (256×256) conditionnel par classe en utilisant le flow-matching conditionnel.
• Échelle : Les expériences couvrent plusieurs centaines de réseaux SiT à travers quatre tailles de modèles (S, B, L, XL) et des budgets d'entraînement allant jusqu'à 2 millions d'étapes.
• Décomposition de la variance : Les auteurs isolent systématiquement les sources d'aléa en créant des conditions contrôlées où une seule source varie à la fois (par exemple, varier uniquement l'initialisation, uniquement l'ordre des données, ou uniquement le bruit d'entraînement par étape) tout en maintenant les autres constantes.
• Métriques :
  • $\sigma_{within}$ : Variance entre les graines d'échantillonnage pour un modèle entraîné fixe.
  • $\sigma_{between}$ : Variance entre les moyennes de différentes graines d'entraînement.
  • Coefficient de Variation (CoV) : $\sigma/\mu$, utilisé pour normaliser la variance à travers différentes magnitudes de FID (par exemple, guidé vs non-guidé).
  • Protocole GS-FID : Les auteurs introduisent un protocole « Golden-Section FID » où les échelles de Classifier-Free Guidance (CFG) sont ajustées individuellement pour chaque paire (graine d'entraînement, graine d'échantillonnage) en utilisant la recherche du nombre d'or pour minimiser le FID par cellule.

Résultats clés

1. La variabilité de l'entraînement domine la variabilité de l'évaluation

Le réentraînement d'un modèle avec une graine différente déplace le score FID 3,2 fois plus que le redessin d'échantillons à partir d'un réseau fixe.

• Dans une expérience SiT-B/2, l'écart-type entre les graines ($\sigma_{between} \approx 0,44$) était 3,2 fois plus grand que l'écart-type au sein d'une même graine ($\sigma_{within} \approx 0,14$).
• Le CoV pour les graines d'entraînement est d'environ 1,3 %, tandis que le CoV pour les graines d'échantillonnage n'est que d'environ 0,4 %.
• L'augmentation du budget d'échantillonnage (plus de $K$) réduit le tremblement au sein d'une graine mais laisse intact l'enveloppe dominante entre les graines.

2. Sources de variance de l'entraînement

La loterie de l'entraînement est pilotée par trois facteurs principaux, classés par contribution à la variance :

1. Bruit d'entraînement par étape : Le nouveau bruit gaussien injecté à chaque étape de gradient par le flow-matching est le principal contributeur (reproduisant 77 % de la variance de base).
2. Initialisation aléatoire : Contribue de manière significative (67 % de la base).
3. Ordre des données : Contribue le moins mais introduit une forme de distribution distincte (un noyau serré avec une longue queue supérieure), suggérant des « mauvaises exécutions » occasionnelles plutôt qu'une variance continue.

• Non-déterminisme matériel : La dérive bit à bit dans l'exécution multi-GPU s'est révélée négligeable, contribuant à moins de variance que la loterie d'échantillonnage elle-même.

3. Le plancher de CoV de 1–2 % est invariant à l'échelle

L'augmentation du calcul (étapes d'entraînement) ou de la taille du modèle (de S à XL) n'élimine pas la variance.

• Le CoV reste stable dans une bande de 1–2 % (médiane de 1,30 %) à travers toutes les tailles de modèles et tous les points de contrôle d'entraînement.
• Les modèles plus grands ne produisent pas des spreads de FID proportionnellement plus serrés ; le plancher de bruit relatif est une propriété de la métrique et de la fonction de perte, pas de l'échelle.
• La stabilité du rang (corrélation des classements des graines au fil du temps) est faible avant ~1M d'étapes, ce qui signifie que les classements des points de contrôle précoces sont de mauvais prédicteurs de la performance finale.

4. L'impact du Classifier-Free Guidance (CFG)

• GS-FID : L'ajustement du CFG individuellement pour chaque paire de graines (GS-FID) réduit de moitié l'étalement relatif (le CoV passe de 1,26 % à 0,67 %).
• Remaniement des rangs : Cependant, cet ajustement remanie les graines qui performent le mieux. La corrélation de Spearman entre les classements non-guidés et guidés n'est que de 0,73. Une graine sélectionnée comme « meilleure » via le FID non-guidé n'est pas de manière fiable la meilleure sous une guidance optimisée.
• Fenêtres de taux d'apprentissage (LR) : Sous GS-FID, le LR optimal n'est pas un point unique mais une « fenêtre » plate (environ 1,7× de large) où des LR adjacents produisent des scores FID indiscernables.

5. La « chance du tirage »

Le choix de la graine d'entraînement impacte significativement l'efficacité. Une graine « chanceuse » peut atteindre le même objectif de FID qu'une graine « malchanceuse » avec jusqu'à 2× moins de calcul (par exemple, atteindre à 1M d'étapes ce qu'une graine malchanceuse n'atteint qu'à 2M). Cela implique que les articles utilisant une seule graine pour revendiquer des accélérations peuvent simplement bénéficier d'une graine favorable plutôt que d'améliorations architecturales.

Signification et recommandations

L'article conclut que la pratique actuelle de rapporter un nombre FID unique est insuffisante pour une évaluation rigoureuse. Les auteurs proposent un nouveau protocole d'évaluation :

1. Rapporter des barres d'erreur : Au lieu d'un nombre unique, rapporter le FID sur plusieurs graines d'entraînement (par exemple, 5–10) pour capturer la loterie de l'entraînement.
2. Seuils d'inconclusivité : Traiter tout écart de FID inférieur au CoV de ~1,3 % mesuré empiriquement (ou ~2 % pour être prudent) comme étant inconcluant. Les affirmations d'amélioration doivent dépasser ce plancher de bruit pour être considérées comme réelles.
3. Optimisation par cellule : Lorsqu'on utilise le CFG, employer une guidance optimale par cellule (GS-FID) plutôt qu'une valeur globale fixe, en reconnaissant que cela modifie le classement des graines.
4. Éviter le cherry-picking : Reconnaître que la sélection de la seule meilleure graine parmi un grand ensemble peut fabriquer des améliorations sensationnelles qui ne sont que des artefacts statistiques de la loterie des graines.

Les auteurs soulignent que ces résultats sont spécifiques à la combinaison SiT/Flow-Matching/ImageNet/Inception-V3 mais suggèrent que le « plancher de 1–2 % » pourrait être une caractéristique générale des métriques de génération modernes, exhortant la communauté à adopter des normes de rapport statistique plus robustes.