Résumé Technique : Apprentissage d'un modèle d'entropie maximale pour les textures visuelles via la diffusion

Énoncé du Problème

Les textures visuelles — des régions d'images spatialement homogènes contenant des éléments répétés comme de l'herbe ou de l'écorce d'arbre — sont omniprésentes et cruciales pour la reconnaissance des matériaux. Les modèles de texture existants reposent généralement sur un ensemble de statistiques locales pour définir un ensemble de textures. Selon la conjecture de Julesz et le principe d'entropie maximale, une classe de texture peut être modélisée comme la densité de probabilité la plus « aléatoire » cohérente avec un ensemble spécifique de statistiques. Cependant, les approches actuelles souffrent de deux limitations principales :

1. Statistiques conçues à la main ou par transfert d'apprentissage : Les statistiques existantes sont soit manuellement élaborées (ex. Heeger et Bergen, Portilla et Simoncelli), soit extraites de réseaux pré-entraînés pour des tâches non liées à la reconnaissance d'objets (ex. Gatys et al., utilisant VGG19).
2. Compromis entre scalabilité et qualité : Les modèles de pointe comme celui de Gatys et al. atteignent une haute qualité visuelle mais reposent sur des ensembles de paramètres massifs (~177k statistiques), tandis que les modèles plus petits, conçus à la main, manquent souvent de fidélité visuelle.

Les auteurs visent à développer la première méthode fondée sur des principes pour l'apprentissage non supervisé d'un ensemble de statistiques capables de paramétrer un modèle de probabilité d'entropie maximale pour les textures, tout en dérivant simultanément des procédures d'échantillonnage efficaces.

Méthodologie

1. Formulation de l'Entropie Maximale

Les auteurs formalisent l'ensemble de texture comme une densité de probabilité paramétrique $p_\lambda(x)$ sur une image $x$, définie par la distribution d'entropie maximale soumise à des contraintes sur un ensemble de $d$ statistiques $f(x)$ :
$$p_\lambda(x) = \frac{1}{Z(\lambda)} \exp\left( -\sum_{k=1}^d \lambda_k f_k(x) \right)$$
Ici, $\mu = E[f(x)]$ représente les statistiques cibles, et $\lambda$ sont les multiplicateurs de Lagrange (poids) déterminés de manière unique par $\mu$. L'objectif est d'apprendre la fonction $f$ (l'extracteur de statistiques) et la correspondance vers $\lambda$ directement à partir des données.

2. Entraînement via le Débruitage (Diffusion)

L'optimisation directe de $f$ et $\lambda$ via le maximum de vraisemblance est intraitable en raison de la fonction de partition $Z(\lambda)$. Au lieu de cela, les auteurs exploitent les modèles de diffusion générative :

• Score Matching : Un réseau de débruitage entraîné à prédire le bruit gaussien $\epsilon$ à partir d'une image bruitée $y$ approxime la fonction de score $\nabla_y \log p(y)$.
• Architecture : Le modèle emploie une structure à deux réseaux (Figure 1) :
  • Réseau de Statistiques ($f_\theta$) : Un encodeur de type UNet qui traite l'image bruitée $y$. Il utilise des encodeurs jumeaux avec des paramètres indépendants ; les statistiques de sortie $f_\theta(y)$ sont calculées comme des produits scalaires des canaux correspondants.
  • Réseau de Poids ($\lambda_\phi$) : Un modèle ConvNeXt-T qui prend l'image de référence propre $x$ et le niveau de bruit $\sigma$ en entrée pour produire les poids $\lambda_\phi(x, \sigma)$.
• Objectif : Les réseaux sont entraînés conjointement pour minimiser l'erreur quadratique moyenne entre le bruit prédit et le bruit réel, apprenant ainsi efficacement le score de la densité d'entropie maximale sans calculer explicitement $Z(\lambda)$.
• Jeu de données : Le modèle est entraîné sur 1 million de patchs homogènes de 128x128 extraits d'ImageNet21K, sélectionnés selon un critère d'« homogénéité » dérivé d'une décomposition en pyramide orientable.

3. Procédures d'Échantillonnage

L'article compare deux méthodes pour générer de nouvelles textures conditionnées par une image de référence $x_0$ :

1. Correspondance de Statistiques (Statistics Matching) : Une approche basée sur l'optimisation où une image $x$ est mise à jour de manière itérative pour minimiser $\|f(x) - f(x_0)\|^2$. C'est la méthode standard utilisée dans les modèles de texture précédents.
2. Échantillonnage par Diffusion : Une approche générative utilisant la fonction de score apprise pour effectuer un processus de diffusion inverse (DDPM), conditionné par les poids $\lambda(x_0, \sigma_t)$ à chaque étape temporelle.

4. Comparaison Adversaire Compétitive

Pour comparer directement les modèles, les auteurs emploient une stratégie de « compétition MAD ». Étant donné une référence $x_0$, ils synthétisent une image $x$ qui correspond à $x_0$ selon les statistiques d'un modèle mais est maximalement différente selon les statistiques de l'autre. Cela expose les angles morts spécifiques et les artefacts de chaque modèle.

Principales Contributions

1. Apprentissage Non Supervisé des Statistiques : La première méthode pour apprendre un ensemble de statistiques à partir de données afin de paramétrer un modèle de texture d'entropie maximale, plutôt que de s'appuyer sur une conception manuelle ou un transfert d'apprentissage.
2. Modèle Compact de Haute Qualité : Le modèle entraîné utilise seulement 512 statistiques (paramètres), mais génère des textures d'une qualité visuelle comparable ou supérieure au modèle de pointe de Gatys, qui utilise 176 640 statistiques.
3. Comparaison d'Échantillonnage : Une comparaison systématique montrant que si la correspondance de statistiques produit des échantillons de plus haute qualité pour le modèle proposé, l'échantillonnage par diffusion offre une voie générative distincte.
4. Analyse de l'Espace de Représentation : Démonstration que l'espace de représentation appris permet une interpolation fluide entre les textures. Contrairement au modèle de Gatys, qui produit des mélanges spatiaux par patch lors de l'interpolation, le modèle proposé génère des textures homogènes dont les caractéristiques transitent de manière fluide entre les points extrêmes.

Résultats

• Qualité Visuelle : Sur un ensemble de test de classes de textures (herbe, gravier, étoile, etc.), le modèle proposé avec correspondance de statistiques produit des images visuellement similaires ou supérieures au modèle de Gatys.
• Scores FID : Le modèle obtient de meilleurs scores Fréchet Inception Distance (FID) que le modèle de Gatys pour 8 des 9 classes de textures testées. Les auteurs notent toutefois que le FID n'est pas idéalement adapté à l'évaluation des textures car il repose sur des réseaux de reconnaissance d'objets entraînés sur des catégories ImageNet.
• Comparaison Adversaire :
  • Le modèle de Gatys (sans contraintes passe-haut) produit des artefacts de haute fréquence lorsqu'il est forcé de différer du modèle proposé.
  • Le modèle proposé, lorsqu'il est forcé de différer du modèle de Gatys, présente des artefacts spécifiques impliquant des structures orientées localisées.
• Interpolation : L'interpolation entre deux représentations de texture ($\mu$ ou $\lambda$) dans le modèle proposé produit des textures homogènes avec des caractéristiques qui transitent de manière fluide. En revanche, le modèle de Gatys produit des « doubles expositions » ou des mélanges par patch, indiquant un espace de représentation non convexe.

Signification et Revendications

L'article affirme fournir un cadre fondé sur des principes et piloté par les données pour la modélisation de textures, comblant le fossé entre la théorie statistique des textures et l'apprentissage profond génératif moderne.

• Efficacité : Il démontre qu'un ensemble compact de statistiques apprises (512) peut surpasser des ensembles massifs, conçus à la main ou par transfert d'apprentissage (~177k), suggérant que le choix spécifique des statistiques importe plus que leur quantité brute.
• Utilité Scientifique : Les auteurs soulignent le potentiel du modèle comme outil pour les neurosciences et la psychologie. Contrairement au modèle de Gatys, de haute dimension et difficilement interprétable, ou aux modèles conçus à la main de moindre qualité, ce modèle de 512 dimensions offre un équilibre entre fidélité visuelle et interprétabilité, permettant potentiellement aux chercheurs de caractériser les réponses neurales dans un espace de représentation bien défini.
• Généralité : La méthode est présentée comme généralisable à d'autres modalités de données (par exemple, segments sonores temporels, patchs vidéo, données de pics neuronaux) qui peuvent être décrites par des modèles d'entropie maximale, à condition d'utiliser les biais inductifs appropriés dans l'architecture du réseau.