A theory of learning data statistics in diffusion models, from easy to hard

Titre : Une théorie de l'apprentissage des statistiques de données dans les modèles de diffusion, du simple au complexe

Auteurs : Lorenzo Bardone, Claudia Merger, Sebastian Goldt (SISSA, Trieste)
Date : 16 mars 2026

1. Problématique

Bien que les modèles de diffusion aient atteint des performances de pointe dans la génération d'images, leur dynamique d'apprentissage théorique reste mal comprise, surtout comparée à celle des réseaux de neurones en apprentissage supervisé "standard".
Une observation robuste en apprentissage supervisé est le biais de simplicité : les réseaux apprennent d'abord les caractéristiques simples (statistiques d'ordre inférieur) avant de se spécialiser sur des caractéristiques complexes (corrélations d'ordre supérieur).
La question centrale de cet article est de savoir si ce même principe régit la dynamique d'apprentissage des modèles de diffusion. Les auteurs cherchent à déterminer si ces modèles apprennent d'abord les statistiques de paire (moyenne, covariance) avant d'exploiter les corrélations d'ordre supérieur (cumulants d'ordre 4 et plus), et à quel coût en complexité d'échantillonnage (sample complexity).

2. Méthodologie

Les auteurs combinent une analyse empirique rigoureuse sur des données réelles et une analyse théorique exacte sur un modèle de données simplifié.

A. Approche Empirique

• Données : Entraînement de modèles U-Net sur CIFAR-10 et CelebA.
• Protocole de test : Évaluation de la perte de test non seulement sur les données réelles, mais aussi sur des "clones" de données. Ces clones sont des distributions gaussiennes qui correspondent soit à la moyenne, soit à la moyenne et la covariance des données réelles, mais qui ne possèdent pas les statistiques d'ordre supérieur.
• Hypothèse : Si le modèle a la même perte sur les données réelles et sur un clone (ex: "mean + cov"), cela signifie qu'il n'utilise que les statistiques d'ordre inférieur (moyenne/covariance) pour débruiter. Une divergence de perte indique l'apprentissage de statistiques d'ordre supérieur.

B. Approche Théorique

• Modèle de données : Utilisation du Modèle à Cumulants Mixtes (Mixed Cumulant Model - MCM). Ce modèle génère des données isotropes sauf selon deux directions "spikes" :
  1. Un spike de covariance ($u$) : statistique d'ordre 2 (gaussienne mais variance élevée).
  2. Un spike de cumulants ($v$) : statistique d'ordre supérieur (non-gaussienne, nécessitant des cumulants d'ordre 4 pour être détectée).
• Algorithme d'optimisation : Analyse de la dynamique de la Descente de Gradient Stochastique (SGD) projetée sur la sphère (pSGD) et non projetée.
• Outil mathématique : Décomposition de la fonction de perte et de la non-linéarité du débruiteur sur la base des polynômes d'Hermite.

3. Contributions Clés

A. Preuve du Biais de Simplicité Distributionnel

Les auteurs démontrent que les modèles de diffusion exhibent un biais de simplicité distributionnel. Ils apprennent les corrélations de paire (covariance) bien avant les corrélations d'ordre supérieur.

• Résultat empirique : Sur CIFAR-10, pendant les $\approx 10^3$ premières étapes, la perte du modèle sur les données réelles est identique à celle sur les clones gaussiens (moyenne + covariance). Ce n'est qu'après cette phase que la perte sur les données réelles diminue davantage, indiquant l'apprentissage des structures d'ordre supérieur.

B. Introduction de l'Exposant d'Information de Diffusion ($k^*$)

L'article définit un invariant scalaire, l'exposant d'information de diffusion ($k^*$), qui gouverne la complexité d'échantillonnage nécessaire pour apprendre une statistique donnée.

• $k^*$ est défini comme le plus petit entier $k$ tel que le $k$-ième coefficient d'Hermite du rapport de vraisemblance des données et le $(k-1)$-ième coefficient d'Hermite de la fonction effective de perte soient non nuls.
• Il détermine le seuil de complexité d'échantillonnage : le modèle nécessite de l'ordre de $d^{k^*-1}$ échantillons pour apprendre une structure d'ordre $k$.

C. Complexité d'Échantillonnage et Séparation des Échelles de Temps

• Cas des variables latentes indépendantes :
  • Apprendre le spike de covariance (ordre 2) : Complexité linéaire ($O(d)$).
  • Apprendre le spike de cumulants (ordre 4) : Complexité cubique ($O(d^3)$).
  • Cela prouve théoriquement une séparation d'échelles de temps : le modèle apprend les statistiques de paire avant les statistiques d'ordre supérieur.
• Cas des variables latentes corrélées :
  • Si les variables latentes sous-jacentes (liant les spikes de covariance et de cumulants) sont corrélées, la complexité pour apprendre le spike d'ordre supérieur chute à une complexité quasi-linéaire ($O(d \cdot \text{polylog}(d))$). L'apprentissage devient beaucoup plus rapide.

D. Importance Cruciale de la Contrainte Sphérique

L'étude révèle un résultat contre-intuitif concernant l'optimisation :

• SGD Projeté (sur la sphère) : Permet un apprentissage réussi en suivant la dynamique décrite ci-dessus.
• SGD Non Projeté (standard) : Pour de nombreuses fonctions d'activation courantes (ReLU, tanh, etc.) et dans le cadre de la tâche de débruitage, le SGD non contraint peut être piégé dans un minimum attractif trivial où la norme des poids $\|w\|$ converge vers 0. Le modèle échoue alors à apprendre toute structure.
• Solution par sur-paramétrisation : L'augmentation de la largeur (over-parametrization) et de la profondeur du réseau permet de contourner ce piège et de restaurer la capacité d'apprentissage, même sans ajustement fin de la fonction d'activation.

4. Résultats Principaux

1. Validation Expérimentale : Les modèles U-Net apprennent séquentiellement : d'abord la moyenne et la covariance (premières étapes), puis les structures complexes (étapes ultérieures), confirmant le biais de simplicité.
2. Théorème de Complexité : La récupération d'une structure d'ordre $k$ (avec exposant d'information $k^*$) nécessite un nombre d'échantillons $n \sim d^{k^*-1}$ en SGD en ligne. Pour un cumul d'ordre 4, cela implique $n \sim d^3$.
3. Effet de la Corrélation Latente : La présence de corrélations entre les facteurs latents d'ordre 2 et d'ordre supérieur accélère drastiquement l'apprentissage de ces derniers, réduisant la complexité de cubique à quasi-linéaire.
4. Piège de l'Optimisation Non Contrainte : Sans projection sur la sphère, le terme de régularisation radial (dû à la nature de la perte MSE et au bruit gaussien) peut dominer le signal, empêchant la sortie de la solution triviale $w=0$. La sur-paramétrisation (largeur du réseau) agit comme un mécanisme de sortie de ce piège.

5. Signification et Impact

Cet article fournit l'une des premières explications théoriques rigoureuses de comment et dans quel ordre les modèles de diffusion apprennent les distributions de données.

• Compréhension Mécanistique : Il identifie un mécanisme clé (l'exposant d'information $k^*$) qui explique pourquoi les modèles de diffusion peuvent apprendre des distributions complexes, mais seulement après avoir maîtrisé les structures simples.
• Implications pour l'Architecture : Il met en lumière l'importance critique de la contrainte de normalisation (ou de la sur-paramétrisation) pour éviter les minima locaux triviaux dans les tâches de débruitage, un aspect souvent négligé dans les analyses théoriques précédentes.
• Généralisation : Ces résultats suggèrent que la capacité d'un modèle à générer des échantillons réalistes dépend de la disponibilité de suffisamment de données pour surmonter les barrières de complexité d'échantillonnage imposées par l'exposant d'information, et que la corrélation entre les caractéristiques latentes est un accélérateur puissant d'apprentissage.

En résumé, l'article établit que l'apprentissage dans les modèles de diffusion n'est pas un processus uniforme, mais une progression hiérarchique dictée par la structure statistique des données et les propriétés de l'optimiseur.