Résumé technique : Comprendre les modèles de diffusion nécessite de repenser la généralisation

Énoncé du problème

L'article soutient que la compréhension de la généralisation dans les modèles de diffusion ne peut reposer sur la théorie classique de l'apprentissage statistique (par exemple, la dimension de VC, la complexité de Rademacher) ni sur le paradigme du « surapprentissage bénin » développé pour l'apprentissage supervisé. Dans l'apprentissage supervisé, l'interpolation (mémorisation) et la généralisation peuvent coexister. En revanche, pour les modèles de diffusion entraînés par l'appariement de scores de débruitage, atteindre le minimum global du risque empirique correspond à la fonction de score de la mesure empirique bruitée — un mélange de gaussiennes centrées sur les points d'entraînement. L'échantillonnage à partir de ce minimum produit des copies quasi exactes des données d'entraînement plutôt que des échantillons nouveaux.

Bien que les modèles de diffusion pratiques génèrent des données diverses et nouvelles, impliquant qu'une forme de régularisation empêche la mémorisation complète, les explications théoriques de ce phénomène restent fragmentées. La littérature existante attribue cela à trois facteurs distincts : (i) les limitations de capacité par rapport à la taille de l'ensemble de données, (ii) la régularisation implicite issue de la dynamique d'optimisation (par exemple, l'arrêt anticipé, le taux d'apprentissage), et (iii) les biais inductifs architecturaux. L'article postule que les interactions entre ces facteurs sont mal comprises et que le domaine s'est concentré trop lourdement sur pourquoi les modèles ne mémorisent pas, plutôt que sur ce qu'ils apprennent durant la phase pré-mémorisation.

Méthodologie

Pour combler ces lacunes, les auteurs mènent une étude empirique utilisant des architectures U-Net entraînées sur l'ensemble de données CIFAR-10. L'étude est conçue comme une investigation à échelle intermédiaire, comblant le fossé entre les analyses théoriques sur des données gaussiennes et les systèmes pratiques à grande échelle.

Configuration expérimentale :

• Données : Les $N$ premiers échantillons de l'ensemble d'entraînement CIFAR-10 sont utilisés, avec $N$ variant parmi $\{2048, 4096, 8192, 16384\}$. L'évaluation utilise un ensemble de test fixe de 5 120 échantillons.
• Architecture : U-Net avec des nombres de paramètres variables ($P \in \{3M, 8M, 26M, 93M, 201M\}$).
• Entraînement : Formulation de flux rectifié avec 250 étapes d'échantillonnage et une force de guidage sans classificateur de 0,0.
• Balayages d'hyperparamètres : Variation systématique de la taille de l'ensemble de données ($N$), de la taille du modèle ($P$), de la taille de lot ($B \in \{16, 32, 64, 128\}$) et du taux d'apprentissage ($\eta \in \{10^{-5}, 5\cdot10^{-5}, 10^{-4}, 4\cdot10^{-4}\}$).

Métriques :
Les auteurs suivent quatre grandeurs clés sur les divisions d'entraînement et de test :

1. Perte d'appariement de scores de débruitage : Calculée sur un seul lot (entraînement) et l'ensemble complet (test).
2. Score de mémorisation : Le ratio d'échantillons générés présentant une forte similarité cosinus (>0,6) avec les données d'entraînement dans un espace de caractéristiques auto-supervisé (SSCD).
3. Distance de Wasserstein tranchée : Calculée entre les échantillons générés et les divisions de référence dans l'espace de caractéristiques Inception.
4. FID (Distance Fréchet Inception) : Calculée entre les échantillons générés et les divisions de référence.

L'étude définit le temps de mémorisation ($\tau_{mem}$) comme le point où la perte de test commence à diverger de la perte d'entraînement. Elle distingue entre nouveauté (absence de mémorisation, $\tau < \tau_{mem}$) et fidélité (qualité/précision distributionnelle).

Contributions et résultats clés

1. Réévaluation du « pourquoi » de la non-mémorisation

Les auteurs confirment que la transition vers la mémorisation est systématique et observable. Ils valident que le temps nécessaire à la mémorisation ($\tau_{mem}$) évolue linéairement avec la taille de l'ensemble de données. Cela soutient la conclusion que la question du pourquoi les modèles pratiques à grande échelle ne mémorisent pas est largement résolue : le temps d'entraînement requis pour atteindre la phase de mémorisation dépasse simplement les budgets raisonnables. Les auteurs soutiennent que le domaine doit pivoter de l'explication de l'absence de mémorisation vers l'analyse de la phase pré-mémorisation.

2. Limites des métriques standard

Une découverte critique est que les métriques distributionnelles standard (Wasserstein tranchée, FID) échouent à dissocier la nouveauté de la fidélité.

• Écart entraînement-test : Contrairement à l'apprentissage supervisé, l'écart entraînement-test dans la distance distributionnelle est non informatif. Parce que les ensembles d'entraînement et de test sont tirés de la même distribution, la distance des échantillons générés vers l'un ou l'autre ensemble reste presque identique même lorsque le modèle passe de la génération d'images nouvelles à la copie des données d'entraînement.
• Double descente : Les auteurs observent un phénomène de « double descente » dans les distances distributionnelles (FID et Wasserstein tranchée) pour les deux ensembles d'entraînement et de test. Cela contredit les théories classiques de la double descente où les métriques d'entraînement et de test divergent. Au lieu de cela, le modèle atteint un état intermédiaire avec une faible perte d'entraînement mais une mauvaise alignement distributionnel, suggérant que le phénomène est piloté purement par la dynamique d'optimisation plutôt que par des arguments de capacité.

3. Rôles distincts de la taille de l'ensemble de données et de la taille du modèle

L'étude révèle que la taille de l'ensemble de données et la taille du modèle jouent des rôles opposés dans la dynamique d'entraînement :

• Taille de l'ensemble de données : Augmenter $N$ retarde le début de la mémorisation et améliore la fidélité maximale.
• Taille du modèle : Augmenter $P$ accélère le début de la mémorisation mais améliore également la fidélité maximale.
  Cela suggère que la généralisation dans les modèles de diffusion ne peut être expliquée uniquement par le ratio de la capacité du modèle à la taille de l'échantillon ; la trajectoire dans l'espace des paramètres façonnée par la dynamique d'optimisation est un facteur distinct.

4. Hyperparamètres d'optimisation et fidélité

Les auteurs constatent que les hyperparamètres d'optimisation influencent significativement la fidélité avant que la mémorisation ne se produise :

• Taille de lot : Des tailles de lot plus petites conduisent à une meilleure fidélité maximale (distance distributionnelle minimale plus faible) sans altérer significativement le taux de mémorisation ou le temps d'apparition. Cela s'aligne avec la littérature sur la « stabilité minimale » mais se manifeste le long de la trajectoire d'entraînement plutôt qu'à la convergence.
• Taux d'apprentissage : Des taux d'apprentissage plus élevés améliorent la fidélité maximale et retardent le début normalisé de la mémorisation. Cela soutient l'hypothèse du « bord de stabilité », mais encore une fois, l'effet est observé durant la trajectoire, et non seulement à la solution finale.

Importance et position

L'article affirme que le cadre théorique pour la généralisation dans les modèles de diffusion nécessite un changement fondamental. Les auteurs soutiennent que :

1. Le « pourquoi » est résolu : Le manque de mémorisation dans les applications à grande échelle s'explique par l'échelle linéaire du temps de mémorisation avec la taille de l'ensemble de données combinée à l'arrêt anticipé.
2. Le « quoi » est la question ouverte : Le défi théorique principal est de comprendre ce qui est appris durant la phase pré-mémorisation et comment la nouveauté et la fidélité émergent conjointement de l'interplay entre l'optimisation, l'architecture et la géométrie des données.
3. Nouveau cadre nécessaire : Les écarts de généralisation classiques (dans l'espace de la perte ou de la distribution) sont insuffisants pour les modèles génératifs. La perte d'entraînement (appariement de scores) est un proxy indirect de la qualité des échantillons, et les métriques standard échouent à distinguer un modèle qui généralise d'un modèle qui mémorise.

Les auteurs concluent que les recherches futures doivent se concentrer sur le développement de métriques capturant la distinction copie-vs-généralisation et la formulation d'une théorie de la régularisation implicite décrivant les propriétés des itérés intermédiaires dans l'appariement de scores, plutôt que simplement la solution finale convergée.