Diffusion Model's Generalization Can Be Characterized by Inductive Biases toward a Data-Dependent Ridge Manifold

Résumé technique : La généralisation des modèles de diffusion caractérisée par des biais inductifs vers une variété de crête dépendante des données

Énoncé du problème
Les modèles de diffusion ont atteint des performances de pointe dans les tâches génératives, mais une question scientifique critique demeure : lorsque ces modèles ne mémorisent pas simplement les données d'entraînement (c'est-à-dire lorsqu'ils généralisent), où se situent les échantillons générés par rapport à la géométrie de l'ensemble d'entraînement ? Alors que la théorie classique de la généralisation se concentre souvent sur l'écart entre la distribution générée et une distribution de population inconnue, cet article plaide en faveur d'une perspective entièrement dépendante des données. Les auteurs cherchent à décrire explicitement et quantitativement la structure géométrique qui organise les nouveaux échantillons produits par l'inférence en temps inverse, spécifiquement dans les régimes où la mémorisation ne se produit pas.

Méthodologie
L'article introduit un cadre géométrique centré sur des variétés de crête de densité logarithmique dépendantes du temps, construites à partir de la distribution empirique lissée des données d'entraînement.

1. Construction de la crête : Les auteurs définissent une famille d'ensembles de crête de densité logarithmique de dimension $d^*$, notés $R_t$, dérivés des distributions marginales forward $p_t$. Ces crêtes représentent des « maximums locaux directionnels » de la densité logarithmique, servant de géométrie de référence pour le processus de génération.
2. Mécanisme Atteindre-Aligner-Glisser : La contribution théorique centrale est la caractérisation de l'inférence en temps inverse comme un processus en trois étapes par rapport à ces crêtes :
   • Atteindre : Les échantillons générés entrent d'abord dans un voisinage tubulaire de la variété de crête.
   • Aligner : Les échantillons se contractent ensuite vers la crête dans les directions normales. L'article démontre que l'amplitude de cet alignement est contrôlée par la composante normale de l'erreur d'entraînement (la différence entre la moyenne a posteriori apprise et la vraie moyenne projetée sur l'espace normal).
   • Glisser : Enfin, les échantillons se déplacent le long de la crête dans les directions tangentes. Ce mouvement est contrôlé par la composante tangente de l'erreur d'entraînement.
3. Lien entraînement-géométrie : Pour relier la dynamique d'inférence à l'entraînement, les auteurs décomposent la perte d'entraînement en composantes directionnelles (normale vs tangente). Ils utilisent des Réseaux de Neurones à Fonctions Aléatoires (RFNN) entraînés par descente de gradient comme cadre traitable et non asymptotique pour séparer explicitement les effets de l'architecture (erreur d'approximation de largeur finie) et de l'optimisation (entraînement incomplet à partir de l'initialisation).

Contributions clés

• Caractérisation géométrique de la généralisation : L'article établit que la génération non mémorisante n'est pas aléatoire mais organisée par une géométrie de crête dépendante des données. Il fournit un mécanisme précis « atteindre–aligner–glisser » expliquant comment les échantillons se concentrent près de la crête puis s'étendent le long de celle-ci.
• Décomposition de l'erreur directionnelle : Les auteurs démontrent que la géométrie de la génération est directement contrôlée par les composantes directionnelles de l'erreur d'entraînement. Plus précisément, l'erreur d'entraînement normale dicte la proximité d'alignement des échantillons avec la crête, tandis que l'erreur d'entraînement tangente dicte l'ampleur de l'étalement (glissement) le long de la crête.
• Séparation architecture vs optimisation : Dans le cadre RFNN, l'article montre que les erreurs d'architecture de largeur finie se manifestent principalement comme un « plancher » pour l'étalement tangentiel (empêchant l'effondrement vers les points d'entraînement exacts), tandis que les erreurs d'optimisation (dépendantes de l'initialisation et des modes spectraux) peuvent retarder l'alignement normal.
• Validation empirique : Des expériences sur des données synthétiques multimodales (points 2D) et sur la diffusion latente MNIST confirment les prédictions théoriques. Les résultats montrent que les échantillons générés présentent systématiquement le motif atteindre–aligner–glisser, le degré d'étalement tangentiel étant contrôlable via des calendriers de pondération de la perte.

Résultats

• Bornes théoriques : L'article dérive des bornes non asymptotiques montrant que le déplacement hors-crête au carré (erreur normale) et la distance de glissement au carré (erreur tangente) sont bornés par les contributions cumulées des composantes normale et tangente respectives du résidu d'entraînement, mises à l'échelle par des facteurs dépendants du temps.
• Données synthétiques : Dans les expériences 2D avec deux, trois et quatre points, les échantillons générés ont été observés se concentrer le long de structures de crête courbes ou en forme de bord plutôt que de s'effondrer vers les points d'entraînement. La phase de « glissement » s'est révélée sensible au calendrier de poids de perte $w(t)$, différents calendriers produisant des degrés variables d'interpolation entre les points de données.
• Expériences MNIST : Dans les expériences d'espace latent de haute dimension, la distance moyenne à la crête a diminué rapidement (phase d'alignement), tandis que le mouvement tangentiel a diminué plus lentement et s'est stabilisé. Cela soutient l'affirmation selon laquelle l'inférence passe la majeure partie de son temps à s'aligner sur la géométrie de la crête, avec un temps limité pour un glissement substantiel vers des exemples d'entraînement spécifiques, expliquant ainsi les générations intermédiaires structurées.

Signification et affirmations
L'article revendique un changement de perspective, passant de l'écart distributionnel global à l'organisation spatiale des échantillons générés par rapport aux données observées. En reliant explicitement la géométrie de la génération aux erreurs d'entraînement directionnelles, ce travail fournit une explication mécaniste de la raison pour laquelle les modèles de diffusion génèrent des échantillons non mémorisants : les biais inductifs de la classe de modèles et le processus d'optimisation créent des erreurs normales et tangentielles spécifiques qui façonnent la trajectoire de génération.

Les auteurs positionnent leur travail comme complémentaire à la littérature existante sur la mémorisation et le biais induit par l'entraînement. Contrairement aux travaux qui supposent une variété de population sous-jacente ou se concentrent uniquement sur des métriques d'erreur agrégées, ce cadre construit un objet géométrique explicite et dépendant du temps à partir des données empiriques et analyse la dynamique d'inférence par rapport à celui-ci. L'article note modestement que sa décomposition explicite au niveau de l'entraînement est actuellement développée pour les RFNN comme exemple traitable, servant de preuve de concept pour la manière dont l'architecture et l'optimisation façonnent conjointement la génération de diffusion par des effets géométriques dépendants de la direction, plutôt que comme un modèle complet des architectures profondes modernes.