Résumé technique : Quand deux scores valent-ils mieux qu'un ? Étude des ensembles de modèles de diffusion

Énoncé du problème

Bien que l'ensemble (ou l'agrégation) soit une technique bien établie en apprentissage supervisé pour améliorer la robustesse et la précision des modèles en agrégeant plusieurs prédicteurs, son application aux modèles de diffusion non conditionnels reste largement inexplorée. Les stratégies standard pour améliorer les modèles de diffusion impliquent généralement l'augmentation de la profondeur du modèle ou de la durée d'entraînement, ce qui engendre des coûts computationnels importants. Les auteurs étudient si l'utilisation d'ensembles de plusieurs modèles de diffusion — spécifiquement par l'agrégation de leurs fonctions de score estimées — apporte des bénéfices tangibles pour la modélisation générative, particulièrement en termes de qualité perceptuelle des échantillons.

Méthodologie

L'étude emploie un cadre d'ensemble « démocratique » où $K$ modèles entraînés indépendamment contribuent de manière égale au processus d'agrégation. La recherche couvre à la fois les approches basées sur l'apprentissage profond (réseaux de neurones) et les approches non profondes (arbres de décision).

1. Construction de l'ensemble

• Ensembles profonds (DE) : Les auteurs entraînent $K$ U-Nets (ou architectures ADM) indépendamment sur le même jeu de données en utilisant différentes graines aléatoires (seeds). Ils explorent également le Dropout de Monte Carlo (MC Dropout) comme une alternative plus légère à l'entraînement de réseaux séparés.
• Ensembles d'arbres de décision : Pour les données tabulaires, ils utilisent des forêts aléatoires (Random Forests), en entraînant des arbres distincts à différents niveaux de bruit pour approximer la fonction de score.

2. Stratégies d'agrégation

Le cœur de l'investigation réside dans la manière de combiner les $K$ prédicteurs de score $\{s^{(k)}_\theta(x, t)\}_{k=1}^K$ à chaque étape de temps $t$ durant le processus de diffusion inverse. Le papier évalue plusieurs règles d'agrégation :

• Moyenne arithmétique : L'approche standard, consistant à moyenner les scores par coordonnée.
• Moyenne géométrique et Médiane : Autres agrégations par coordonnée.
• Caractéristique dominante (Dominant Feature) : Sélection de la composante ayant la plus grande valeur absolue parmi tous les experts pour chaque coordonnée.
• Mélange d'experts (MoE) : Sélection aléatoire d'un seul modèle expert avant le processus d'échantillonnage.
• Échantillonnage alterné : Sélection aléatoire d'un expert différent à chaque niveau de bruit $t_n$.
• Somme des scores : Somme des scores (interprétée comme un produit d'experts non normalisé).

3. Analyse théorique

Les auteurs fournissent des perspectives théoriques sur la relation entre l'agrégation de scores et la composition de densités. Ils analysent si la moyenne des scores correspond à un échantillonnage à partir d'une distribution de type « Produit d'Experts » (PoE). Ils démontrent que la diffusion (ajout de bruit) et la composition de densité (PoE) ne commutent pas, ce qui signifie que la moyenne des scores aux étapes intermédiaires ne correspond pas strictement à un échantillonnage à partir de la moyenne géométrique des distributions de données initiales.

4. Configuration expérimentale

Les expériences ont été menées sur :

• Jeux de données d'images : CIFAR-10 (32x32) et FFHQ (256x256).
• Jeux de données tabulaires : Iris, Airfoil Self-Noise et Wine Quality.
• Métriques : Distance de Fréchet Inception (FID), Distance de Kernel Inception (KID), perte de Denoising Diffusion Score Matching (LDDSM) et distance de Wasserstein (pour les données tabulaires).

Résultats clés

1. Amélioration limitée de la qualité perceptuelle

Contrairement au succès de l'ensemble dans l'apprentissage supervisé, les auteurs constatent que l'utilisation d'ensembles de modèles de diffusion échoue à améliorer systématiquement les métriques de qualité perceptuelle (FID, KID).

• Sur CIFAR-10 et FFHQ, la moyenne arithmétique des scores produit généralement une amélioration marginale ou nulle par rapport à la moyenne des modèles individuels et ne surpasse jamais le meilleur modèle individuel.
• Dans certains cas (par exemple, CIFAR-10 avec des configurations spécifiques), l'ensemble a performé moins bien que le plus faible des modèles individuels.
• Cela est vrai pour diverses stratégies d'agrégation (moyenne géométrique, médiane, caractéristique dominante), à l'exception du Mélange d'Experts (MoE) dans des contextes spécifiques.

2. Amélioration de l'objectif d'entraînement

Bien que les métriques perceptuelles stagnent, la perte LDDSM diminue systématiquement à mesure que la taille de l'ensemble $K$ augmente. Cela concorde avec les attentes théoriques basées sur l'inégalité de Jensen, où la moyenne des estimateurs réduit la variance de l'objectif de score matching. Cependant, cette réduction de la perte d'entraînement ne se traduit pas par une meilleure qualité d'échantillonnage.

3. Cas de succès spécifiques

• Mélange d'experts (MoE) : Sur FFHQ, le MoE a surpassé même le meilleur modèle individuel. Cela suggère que l'exploitation de la variabilité inter-modèles en échantillonnant un seul expert par exécution peut être bénéfique, bien que cela ne constitue pas un véritable « ensemble » au sens de la combinaison de prédictions pour un seul échantillon.
• Données tabulaires (Caractéristique dominante) : Pour les forêts aléatoires sur des données tabulaires, la stratégie d'agrégation par Caractéristique dominante a nettement surpassé la moyenne arithmétique et les autres méthodes. Les auteurs attribuent cela à une sous-estimation systématique de l'amplitude du bruit par la simple moyenne, que la stratégie Dominant corrige.

4. Le décalage entre perte et qualité

L'étude met en évidence un décalage fondamental : la perte de score matching (ce que le modèle optimise) et les métriques de qualité perceptuelle (comment le modèle est évalué) évoluent différemment. La perturbation de la fonction de score a entraîné des variations chaotiques de la FID qui ne pouvaient être prédites par les changements de la perte, renforçant l'idée qu'une haute vraisemblance ou une faible erreur de score-matching ne garantit pas une haute qualité perceptuelle.

Signification et affirmations

La principale contribution du papier est une investigation empirique et théorique rigoureuse démontrant que les techniques d'ensemble standard n'apportent pas les mêmes bénéfices aux modèles de diffusion qu'aux modèles supervisés.

• Gains modestes : Les auteurs affirment que l'ensemble ne produit que des améliorations marginales, voire nulles, de la qualité des échantillons, malgré des réductions constantes de l'objectif d'entraînement.
• Perspective théorique : Ils précisent que la moyenne des scores par étape ne équivaut pas à un échantillonnage à partir d'une distribution de Produit d'Experts en raison de la non-commutativité de la diffusion et de la composition de densité.
• Analyse coût-bénéfice : Compte tenu de l'augmentation substantielle des coûts d'entraînement et d'échantillonnage, l'ensemble standard offre des rendements limités pour les modèles de diffusion non conditionnels.
• Exceptions : Le papier identifie des niches spécifiques où l'ensemble aide : (1) lorsque les modèles sont suffisamment complémentaires (MoE), et (2) lors de l'utilisation de règles d'agrégation spécifiques pour les données tabulaires (Caractéristique dominante) afin de corriger le biais.

Les auteurs concluent que si l'ensemble améliore l'estimation du score, le fossé entre le score matching et la qualité perceptuelle empêche ces améliorations de se manifester par de meilleures images générées, suggérant que les progrès futurs nécessiteront des stratégies allant au-delà de la simple agrégation de scores.