💻 computer science

Coevolving Representations in Joint Image-Feature Diffusion

Le papier présente CoReDi, un cadre de diffusion qui améliore la génération d'images en faisant évoluer conjointement les représentations sémantiques et le modèle de diffusion via une projection linéaire apprise, surpassant ainsi les approches existantes qui reposent sur des espaces de représentation fixes.

Auteurs originaux : Theodoros Kouzelis, Spyros Gidaris, Nikos Komodakis

Publié 2026-04-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Theodoros Kouzelis, Spyros Gidaris, Nikos Komodakis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous apprenez à un artiste à peindre un paysage.

Jusqu'à présent, la méthode consistait à lui donner deux outils :

Un pinceau très fin pour dessiner les détails (les feuilles, les textures de l'arbre). C'est ce qu'on appelle les "latents" (les détails de bas niveau).
Un livre de règles sur la nature, mais ce livre était figé. Il disait : "Un arbre a toujours 5 branches", "Le ciel est toujours bleu". Ce livre était écrit par un expert avant même que l'artiste ne commence à peindre, et on ne pouvait pas le modifier pendant le cours.

Le problème ? Parfois, les règles du livre ne correspondent pas parfaitement à ce que l'artiste essaie de peindre. L'artiste doit faire des compromis, et le résultat n'est pas toujours parfait.

La solution : CoReDi (Le Livre de Règles Vivant)

Les auteurs de cet article, Theodoros Kouzelis et son équipe, proposent une idée révolutionnaire : et si le livre de règles pouvait s'écrire tout seul en même temps que l'artiste peignait ?

C'est ce qu'ils appellent CoReDi (Coevolving Representation Diffusion). Au lieu d'avoir un livre de règles fixe, ils créent un "livre vivant" qui s'adapte et s'améliore à chaque coup de pinceau.

Voici comment cela fonctionne, expliqué avec des analogies simples :

1. Le duo qui apprend ensemble

Imaginez un binôme :

L'Artiste (le modèle de diffusion) : Il apprend à peindre l'image finale.
Le Traducteur (la projection apprenable) : C'est un petit assistant qui prend les connaissances brutes du "livre de règles" (venant d'une IA très intelligente mais figée) et les traduit en instructions simples pour l'artiste.

Dans les anciennes méthodes, le Traducteur était une machine à écrire fixe. Dans CoReDi, le Traducteur est un humain qui apprend. Il observe ce que l'Artiste fait, et s'il voit que l'Artiste a du mal à comprendre une règle, le Traducteur change sa façon d'expliquer cette règle pour la rendre plus claire.

2. Le piège du "Copinage" (et comment l'éviter)

Il y a un gros danger si on laisse ces deux apprendre ensemble sans garde-fous : ils pourraient tricher !

Scénario de triche : L'Artiste dit "Je ne comprends rien". Le Traducteur, pour faire plaisir, change les règles pour qu'elles soient trop simples (par exemple, il dit "Peint tout en gris"). L'Artiste est content car c'est facile, mais le résultat est nul. C'est ce qu'on appelle un "effondrement" (feature collapse).

Pour éviter cela, les auteurs ont mis en place trois règles de sécurité (comme des freins dans une voiture) :

Le "Stop-Gradient" (Le mur de verre) : C'est comme dire au Traducteur : "Tu peux changer tes explications pour aider l'Artiste, mais tu ne peux pas changer la vérité de base du livre de règles." Cela empêche le Traducteur de tricher en simplifiant trop les choses.
La "Normalisation par Lots" (Le thermostat) : Parfois, les explications du Traducteur deviennent trop fortes ou trop faibles (comme un volume sonore qui explose). La normalisation agit comme un thermostat pour garder le volume constant et stable, pour que l'Artiste ne soit ni assourdi ni incapable d'entendre.
La "Régularisation" (Le coach de diversité) : C'est la partie la plus importante. Sans elle, le Traducteur pourrait décider que toutes les règles sont identiques (ex: "Tout est vert"). Le coach intervient pour dire : "Non ! Chaque règle doit être différente et utile !" Cela force le Traducteur à créer des explications variées et riches, au lieu de répéter la même chose en boucle.

3. Le résultat : Une structure qui s'organise toute seule

Le plus beau dans cette histoire, c'est que le "livre de règles" ne se contente pas de changer les mots. Il développe une structure spatiale.

Imaginez que vous apprenez à quelqu'un à dessiner une ville. Au début, le livre dit juste "il y a des bâtiments". Mais au fil du temps, grâce à l'apprentissage conjoint, le livre commence à dire : "Les bâtiments hauts sont ici, les routes serpentent là-bas, les arbres suivent les rivières". Le Traducteur a appris à organiser l'information de manière logique pour aider l'Artiste à peindre une ville cohérente.

Pourquoi c'est important ?

Plus rapide : L'Artiste apprend beaucoup plus vite car le Traducteur s'adapte à ses besoins spécifiques.
Meilleure qualité : Les images générées sont plus belles et plus réalistes.
Polyvalent : Cela marche aussi bien si l'Artiste peint avec des pixels bruts (comme une photo réelle) qu'avec des formes compressées.

En résumé :
Au lieu d'essayer de forcer un modèle d'IA à utiliser des règles rigides et anciennes, CoReDi lui donne la liberté de réinventer ses propres règles en temps réel, tant qu'il reste honnête et diversifié. C'est comme passer d'un manuel scolaire poussiéreux à un tuteur personnel qui s'adapte à votre façon d'apprendre.

Titre : CoReDi : Représentations Évoluant Conjointement dans la Diffusion Image-Feature

1. Problématique

Les modèles de diffusion modernes pour la synthèse d'images opèrent souvent soit dans l'espace pixel, soit dans des espaces latents compressés (VAE). Bien que ces modèles capturent efficacement les statistiques de bas niveau, ils ne tirent pas pleinement parti de la structure sémantique riche fournie par les encodeurs visuels pré-entraînés (comme DINOv2 ou MAE).

Des approches récentes ont tenté de combiner des latents VAE (bas niveau) et des représentations sémantiques (haut niveau) dans un processus de diffusion conjoint. Cependant, une limitation fondamentale de ces méthodes réside dans l'utilisation d'un espace de représentation fixe. Dans les travaux existants (comme ReDi), la projection des features sémantiques de haute dimension vers un espace plus compact est effectuée via des méthodes statiques (ex: PCA) définies avant l'entraînement et qui ne changent pas pendant le processus de génération.

Question centrale : L'espace de représentation guidant la diffusion doit-il rester fixe, ou doit-il s'adapter conjointement avec le modèle génératif pour mieux servir la tâche de synthèse d'images ?

2. Méthodologie : CoReDi (Coevolving Representation Diffusion)

Les auteurs proposent CoReDi, un cadre où l'espace de représentation sémantique n'est pas imposé de l'extérieur, mais évolue conjointement avec le modèle de diffusion.

A. Projection Apprenable
Au lieu d'une projection PCA fixe, CoReDi utilise une projection linéaire apprenable $g_\phi(\cdot)$ (une couche linéaire simple) appliquée aux sorties d'un encodeur visuel figé. Cette projection est optimisée conjointement avec les paramètres du modèle de diffusion $\theta$ .

B. Défis et Solutions de Stabilisation
L'optimisation naïve de cette projection conjointe conduit à des solutions dégénérées (effondrement des features). Les auteurs identifient trois ingrédients essentiels pour une coévolution stable :

Arrêt du Gradient (Stop-Gradient) : Dans la fonction de perte de diffusion pour les représentations, le gradient est bloqué sur la cible propre (le target $\tilde{z}_0$ ). Cela empêche le modèle de simplement "tricher" en modifiant la cible pour minimiser la perte, forçant ainsi l'apprentissage d'une véritable représentation.
Normalisation par Lots (Batch Normalization) : Appliquée après la projection, elle stabilise l'échelle des features. Elle est cruciale pour préserver le calendrier de bruit (noise schedule) et éviter l'effondrement des échantillons par canal.
Régularisation Explicite contre l'Effondrement : Même avec les deux points précédents, les canaux de features peuvent devenir redondants. Les auteurs introduisent des termes de régularisation pour forcer la diversité :
- Régularisation de la Variance des Features : Encourage chaque canal à avoir une variance suffisante sur l'ensemble des échantillons.
- Régularisation d'Orthogonalité : Pénalise la déviation de la matrice de poids par rapport à une matrice identité (pour éviter la redondance directionnelle).
- Régularisation de Covariance : Minimise les corrélations hors-diagonale entre les canaux.

C. Extension à l'Espace Pixel
Le cadre CoReDi est étendu à la diffusion en espace pixel (sans VAE), en s'appuyant sur l'architecture DeCo. Cela permet d'éliminer le goulot d'étranglement de reconstruction du VAE tout en bénéficiant de la guidance sémantique adaptative.

3. Contributions Clés

Cadre CoReDi : Introduction d'un modèle de diffusion conjoint où l'espace de représentation sémantique est un composant apprenable qui évolue avec le générateur.
Analyse de Stabilité : Identification et validation empirique des trois piliers nécessaires (Stop-gradient, Batch Norm, Régularisation) pour éviter l'effondrement des représentations.
Amélioration de la Structure Spatiale : Démonstration que les représentations co-évoluant développent une structure spatiale plus riche et plus organisée au fil de l'entraînement, surpassant les projections statiques (PCA).
Universalité : Preuve que la méthode fonctionne aussi bien en espace latent (VAE) qu'en espace pixel, offrant des gains de performance dans les deux cas.

4. Résultats Expérimentaux

Les expériences ont été menées sur ImageNet (256x256) avec des architectures SiT (Diffusion Transformer) et DeCo.

Espace Latent (VAE) :
- Convergence Rapide : CoReDi converge environ 13 fois plus vite que la méthode REPA et plus vite que ReDi. Par exemple, avec un modèle XL/2, CoReDi atteint un FID de 3.3 en 2M d'itérations, là où ReDi en nécessite 4M.
- Qualité Supérieure : Sans guidance (CFG), CoReDi-B/2 atteint un FID de 16.4 (contre 21.4 pour ReDi) avec le même budget d'entraînement.
- Généralisation : Les gains sont constants quelle que soit l'architecture de l'encodeur visuel utilisé (DINOv2, MOCOv3, SigLIPv2, MAE).
Espace Pixel :
- CoReDi-L/16 surpasse le modèle DeCo de base, atteignant un FID de 21.5 à 200K itérations (contre 31.3 pour DeCo), démontrant une accélération de convergence d'un facteur 2.
Analyse des Composants :
- Sans Stop-Gradient, le FID chute drastiquement (de 24.7 à 50.8).
- Sans Batch Normalization, l'entraînement s'effondre complètement (FID > 200).
- Sans Régularisation, les features s'effondrent (FID 37.2, pire que la PCA statique). La régularisation par variance des features (VF) s'avère la plus performante.
Structure Spatiale :
- Les métriques de structure spatiale (LDS, CDS, RMSC) montrent une amélioration continue durant l'entraînement, indiquant que CoReDi apprend une organisation spatiale plus pertinente pour la synthèse d'images que les projections fixes.

5. Signification et Impact

Ce travail remet en question le paradigme des représentations fixes dans la génération d'images. Il démontre que l'adaptabilité de l'espace de représentation est un levier puissant pour améliorer la qualité de génération et la vitesse de convergence.

En permettant à l'espace sémantique de s'ajuster dynamiquement aux besoins spécifiques du modèle de diffusion, CoReDi comble le fossé entre les features sémantiques statiques et la tâche de synthèse. Cela ouvre la voie à de nouvelles recherches sur l'apprentissage conjoint d'espaces de représentation et de modèles génératifs, applicable aussi bien aux modèles latents qu'aux modèles en espace pixel, promettant des générations d'images de plus haute fidélité avec moins d'itérations d'entraînement.