🤖 machine learning

Evaluating the Representation Space of Diffusion Models via Self-Supervised Principles

Cet article introduit un cadre auto-supervisé utilisant le ratio de contamination invariant (ICR) pour évaluer conjointement les modèles de diffusion, révélant que l'invariance optimale de la représentation se produit à des niveaux de bruit intermédiaires et que l'augmentation de l'énergie résiduelle sert d'indicateur précoce de mémorisation pendant l'entraînement.

Auteurs originaux : Xiao Li, Yixuan Jia, Zekai Zhang, Xiang Li, Lianghe Shi, Jinxin Zhou, Zhihui Zhu, Liyue Shen, Qing Qu

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiao Li, Yixuan Jia, Zekai Zhang, Xiang Li, Lianghe Shi, Jinxin Zhou, Zhihui Zhu, Liyue Shen, Qing Qu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle de diffusion comme un chef cuisinier expert apprenant à cuisiner un plat spécifique (comme un steak parfait) en partant d'un bol de bruit aléatoire et en retirant progressivement le « bruit » jusqu'à ce que le steak apparaisse. Habituellement, nous jugeons ce chef en regardant le steak final : est-ce qu'il a l'air appétissant ? (C'est ce qu'on appelle la qualité générative).

Cependant, cet article pose une question différente : Le chef est-il réellement en train d'apprendre le concept d'un steak, ou est-il simplement en train de mémoriser les images exactes des steaks qui lui ont été présentées pendant l'entraînement ?

Les auteurs introduisent une nouvelle façon de jeter un coup d'œil à l'intérieur du cerveau du chef (l'espace de représentation interne du modèle) sans avoir besoin de goûter le plat final. Ils appellent ce nouvel outil l'ICR (Invariant Contamination Ratio - Ratio de Contamination Invariante).

Voici la décomposition de leur découverte en utilisant des analogies simples :

1. Les deux ingrédients : le « Noyau » et le « Statique »

Lorsque le modèle regarde une image, il la décompose en deux parties :

Le Noyau Invariant (L'« Essence ») : C'est la partie stable de l'image qui reste la même même si vous la faites pivoter, la recadrez ou y ajoutez un peu de bruit statique. C'est la « steak-ité » du steak.
Le Résiduel (Le « Statique ») : C'est la partie désordonnée qui change lorsque vous modifiez l'image. Cela inclut l'éclairage spécifique, le bruit de pixel exact, ou les particularités uniques d'une seule photo.

Le Problème : Un bon modèle doit avoir une « Essence » forte et très peu de « Statique ». Si le « Statique » devient trop fort, il étouffe l'« Essence ».

2. La nouvelle règle : l'ICR (Ratio de Contamination Invariante)

Les auteurs ont créé un score appelé ICR pour mesurer à quel point le « Statique » contamine l'« Essence ».

ICR Faible : L'« Essence » est forte et claire ; le « Statique » est discret. (Bien !)
ICR Élevé : Le « Statique » étouffe l'« Essence ». (Mauvais !)

Pensez à l'écoute d'une chanson à la radio. Si la musique est claire et que le grésillement est faible, le signal est bon. Si le grésillement est fort, on ne peut plus entendre la chanson. L'ICR mesure ce grésillement.

3. Découverte n°1 : Le « Point d'Équilibre » dans le bruit

Les modèles de diffusion fonctionnent en ajoutant différents niveaux de bruit aux images. Les auteurs ont découvert que le modèle n'apprend pas l'« Essence » de la même manière à tous les niveaux de bruit.

Trop peu de bruit : Le modèle est trop concentré sur des détails minuscules et spécifiques (comme une rayure particulière sur un steak).
Trop de bruit : L'image est tellement floue que le modèle ne peut plus rien voir.
Le Point d'Équilibre : Il existe une zone « Goldilocks » (ni trop chaud, ni trop froid) au milieu, où le niveau de bruit est juste ce qu'il faut. Ici, l'ICR est à son niveau le plus bas, ce qui signifie que le modèle a la vue la plus claire de l'« Essence ». Curieusement, c'est aussi l'endroit précis où le modèle est le plus performant sur d'autres tâches (comme identifier ce qu'est l'image).

4. Découverte n°2 : Débusquer le chef qui « mémorise »

C'est la partie la plus excitante. Habituellement, pour savoir si un modèle est en train de « mémoriser » (tricher en se souvenant des données d'entraînement plutôt qu'en apprenant les règles), il faut attendre la fin et vérifier s'il génère des copies exactes des images d'entraînement. C'est lent et coûteux.

Les auteurs ont découvert que l'ICR agit comme un système d'alerte précoce :

Dans une cuisine riche en données (beaucoup d'images d'entraînement) : À mesure que le chef s'améliore, le score ICR diminue régulièrement. L'« Essence » devient plus claire et le « Statique » devient plus discret.
Dans une cuisine pauvre en données (peu d'images d'entraînement) : Le score ICR descend d'abord (le chef apprend), puis il commence à remonter.
- La forme en « U » : Le score chute, atteint un minimum, puis remonte.
- L'Alerte : Quand le score recommence à monter, cela signifie que le chef a cessé d'apprendre les règles générales et a commencé à mémoriser les détails spécifiques des quelques images qui lui ont été montrées.

Pourquoi cela compte : Vous pouvez observer cette « forme en U » se produire pendant l'entraînement, avant même que le modèle ne commence à générer de mauvaises copies. Cela vous indique exactement quand arrêter l'entraînement pour éviter que le modèle ne fasse du « surapprentissage » (overfitting ou mémorisation).

Résumé

L'article soutient que nous n'avons pas besoin d'attendre le « steak » final pour savoir si le chef fait du bon travail. En écoutant le « statique » interne (en utilisant l'ICR), nous pouvons :

Trouver le niveau de bruit parfait pour extraire les meilleures caractéristiques.
Détecter exactement quand le modèle cesse d'apprendre et commence à mémoriser, permettant ainsi d'arrêter l'entraînement au moment idéal.

C'est comme avoir un micro dans la tête du chef qui vous dit : « Hé, tu es en train de simplement répéter la recette au lieu de cuisiner ! », avant même que le plat ne soit servi.

Résumé technique : Évaluation de l'espace de représentation des modèles de diffusion via les principes de l'apprentissage auto-supervisé

1. Problématique

Les modèles de diffusion se sont imposés comme des systèmes génératifs de pointe et, plus récemment, comme de puissants apprenants de représentations auto-supervisées. Cependant, le lien théorique et pratique entre leurs capacités génératives et leurs propriétés d'apprentissage de représentations reste sous-exploré. Contrairement aux méthodes traditionnelles d'apprentissage auto-supervisé (SSL) qui optimisent explicitement l'invariance aux augmentations de données, les modèles de diffusion sont entraînés via un objectif de débruitage pour récupérer des signaux propres à partir d'entrées corrompues par un bruit gaussien.

Cette distinction soulève des questions fondamentales : dans quelle mesure les représentations de diffusion capturent-elles implicitement les propriétés géométriques de « bonnes » représentations (telles que l'invariance et l'expansion) recherchées en SSL ? De plus, comment ces propriétés évoluent-elles à travers différents niveaux de bruit et tout au long de la dynamique d'entraînement, particulièrement dans les régimes limités en données où les modèles passent de la généralisation à la mémorisation ? Les métriques d'évaluation actuelles, telles que la distance de Fréchet Inception (FID), sont souvent insuffisantes pour détecter une mémorisation précoce ou pour fournir des signaux intrinsèques, sans étiquettes, pendant l'entraînement.

2. Méthodologie

2.1 Décomposition Invariance-Résidu

Les auteurs proposent un cadre ancré dans les principes du SSL pour analyser les caractéristiques (features) de diffusion. Pour une image d'entraînement donnée $\mathbf{x}_0$ , ils considèrent une perturbation aléatoire $a$ englobant à la fois les augmentations standards préservant la sémantique et le bruit gaussien additif inhérent au processus de diffusion. Soit $\mathbf{h}(a(\mathbf{x}_0))$ la représentation extraite d'une couche fixe du modèle de diffusion.

Les auteurs décomposent cette représentation en deux composantes :

Composante Invariante ( $\mathbf{s}$ ) : La moyenne conditionnelle de la représentation à travers les perturbations, $\mathbf{s}(\mathbf{x}_0) = \mathbb{E}_a[\mathbf{h}(a(\mathbf{x}_0)) \mid \mathbf{x}_0]$ . Elle capture les attributs sémantiques stables et résilients à la corruption.
Composante Résiduelle ( $\boldsymbol{\xi}$ ) : L'écart par rapport à la moyenne, $\boldsymbol{\xi}(a, \mathbf{x}_0) = \mathbf{h}(a(\mathbf{x}_0)) - \mathbf{s}(\mathbf{x}_0)$ . Elle capture les variations spécifiques à la vue et sensibles aux augmentations.

Cette décomposition conduit à une décomposition de covariance totale : $\boldsymbol{\Sigma}_h = \boldsymbol{\Sigma}_s + \boldsymbol{\Sigma}_\xi$ , où $\boldsymbol{\Sigma}_s$ représente l'étalement des identités invariantes et $\boldsymbol{\Sigma}_\xi$ représente la variation résiduelle agrégée.

2.2 Le Ratio de Contamination Invariante (ICR)

Pour quantifier la « santé » de l'espace de représentation, les auteurs introduisent le Ratio de Contamination Invariante (ICR). Ils formulent un problème de valeurs propres généralisé :
$\boldsymbol{\Sigma}_s \mathbf{v}_i = \lambda_i \boldsymbol{\Sigma}_\xi \mathbf{v}_i$
où $\lambda_i$ représente le rapport signal sur bruit (SNR) le long de la $i$ -ème direction de Fisher $\mathbf{v}_i$ . Un $\lambda_i$ élevé indique une direction dominée par une structure invariante stable, tandis qu'un $\lambda_i$ faible indique une dominance par le bruit résiduel.

L'ICR est défini comme :
$\text{ICR} = \frac{1}{1 + \frac{1}{d}\sum_{i=1}^d \lambda_i}$
où $d$ est la dimension des caractéristiques.

ICR Faible : Indique que le signal invariant domine la variation résiduelle (SNR élevé), suggérant une représentation robuste.
ICR Élevé : Indique que la variation résiduelle (contamination) occupe une partie significative de l'espace de représentation.

Crucialement, l'ICR est sans étiquette (label-free) et peut être calculé entièrement à partir des caractéristiques d'entraînement sans évaluateurs externes ou ensembles de test non vus.

3. Contributions Clés

Une métrique d'évaluation basée sur la représentation : L'article introduit l'ICR, une métrique scalaire unique dérivée d'une décomposition invariance-résidu. Elle mesure l'étendue avec laquelle la variation sensible à l'augmentation et au bruit contamine la structure stable de l'espace des caractéristiques.
Identification d'une fenêtre sémantique : Les auteurs démontrent que les programmes de bruit (noise schedules) de la diffusion admettent une « fenêtre sémantique » intermédiaire où l'ICR est minimisé. Ce minimum coïncide avec les niveaux de bruit qui produisent la plus haute précision de classification linéaire, fournissant une règle simple, basée sur le SSL, pour sélectionner les échelles de bruit optimales pour les tâches en aval.
Suivi de la Généralisation vs Mémorisation : L'article révèle des phases d'apprentissage distinctes dans l'espace de représentation :
- Régime Riche en Données : L'ICR diminue de manière monotone au fur et à mesure de l'avancement de l'entraînement, suivant de près l'amélioration de la qualité générative (FID).
- Régime Limité en Données : L'ICR présente une trajectoire en forme de U. Il diminue initialement alors que le modèle apprend à généraliser, atteint un minimum, puis augmente lorsque le modèle commence à mémoriser des échantillons d'entraînement spécifiques. Cela fait de l'ICR un signal d'arrêt précoce sensible pour la mémorisation, détectable avant que les métriques de génération standard ou les tests de plus proches voisins n'indiquent un surapprentissage (overfitting).

4. Résultats Expérimentaux

Le cadre a été évalué sur CIFAR-10, CIFAR-100 et ImageNet en utilisant diverses architectures de diffusion (EDM, SiT).

Analyse du niveau de bruit : Sur tous les jeux de données, la courbe de l'ICR est en forme de U par rapport aux niveaux de bruit. Le minimum de l'ICR s'aligne précisément avec le pic de la précision de classification linéaire. Cela confirme que les niveaux de bruit intermédiaires offrent le meilleur compromis entre la capture des détails fins et les structures sémantiques stables.
Entraînement Riche en Données : Dans les expériences avec des ensembles d'entraînement complets (ex: 50k images CIFAR-10, 1.28M images ImageNet), l'ICR et le FID ont tous deux diminué de manière monotone au cours des itérations d'entraînement. Cela suggère qu'à mesure que le modèle apprend la variété (manifold) des données, sa représentation interne devient de plus en plus invariante et « pure ».
Entraînement Limité en Données : Dans les expériences avec des données limitées (ex: 4k images CIFAR-10, 10k images ImageNet), l'ICR a suivi une courbe en forme de U. Le minimum de la courbe d'ICR s'est produit juste avant que le ratio de mémorisation ne commence à augmenter. Les visualisations des plus proches voisins ont confirmé que durant le minimum de l'ICR, les voisins étaient sémantiquement significatifs, tandis que lors de la phase de surapprentissage (hausse de l'ICR), les voisins devenaient visuellement sans rapport.
Dynamique d'Expansion des Caractéristiques : L'analyse des traces de $\boldsymbol{\Sigma}_s$ et $\boldsymbol{\Sigma}_\xi$ a montré que dans les régimes riches en données, l'expansion des caractéristiques est pilotée par la croissance de la structure invariante. Dans les régimes limités en données, une fois que la structure invariante sature, toute expansion supplémentaire est pilotée par la variation résiduelle, entraînant la hausse de l'ICR.

5. Signification et Revendications

L'article affirme que les modèles de diffusion peuvent être efficacement surveillés et évalués à travers la géométrie de leurs représentations apprises en utilisant des principes d'auto-apprentissage supervisé. La principale importance réside dans la fourniture de signaux intrinsèques, durant l'entraînement, qui ne dépendent pas de :

Réseaux pré-entraînés externes (comme DINOv2 ou Inception).
Échantillonnage et génération coûteux d'images de test.
Étiquettes de vérité terrain (ground-truth).

Les auteurs soutiennent que l'ICR sert d'outil de diagnostic unifié qui comble le fossé entre l'apprentissage de représentation et la modélisation générative. Il offre une méthode pratique pour identifier les échelles de bruit optimales pour l'extraction de caractéristiques et pour détecter l'apparition de la mémorisation dans les scénarios de rareté de données, répondant ainsi à une lacune critique des méthodologies d'évaluation actuelles où les métriques standard comme le FID peuvent échouer à détecter un surapprentissage précoce. Le travail suggère que la transition de la généralisation vers la mémorisation est fondamentalement un passage de l'espace de représentation de la structure invariante vers la variation résiduelle.