💻 computer science

DiverseDiT++: Quantifying, Analyzing, and Promoting Representation Diversity in Diffusion Transformers

Cet article introduit le Weighted Diversity Score (WDS) pour quantifier la diversité des représentations par bloc dans les Diffusion Transformers, révélant sa forte corrélation avec la qualité de synthèse et proposant DiverseDiT++, un cadre qui améliore les performances en promouvant explicitement l'apprentissage de représentations diverses grâce à des connexions résiduelles longues et une perte de diversité.

Auteurs originaux : Binglei Li, Mengping Yang, Zhiyu Tan, Xiaomeng Yang, Zhizhong Huang, Junping Zhang, Hao Li

Publié 2026-08-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Binglei Li, Mengping Yang, Zhiyu Tan, Xiaomeng Yang, Zhizhong Huang, Junping Zhang, Hao Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à peindre un chef-d'œuvre. Vous ne voulez pas seulement qu'il copie une image ; vous voulez qu'il comprenne le monde si bien qu'il puisse inventer de nouvelles scènes magnifiques à partir de rien. C'est l'objectif de l'« IA générative », une branche de l'informatique où les machines apprennent à créer de l'art, de la musique et même des molécules. Pour ce faire, l'IA moderne utilise une astuce ingénieuse appelée « modèle de diffusion ». Voyez cela comme un sculpteur qui commence avec un bloc d'argile bruyant et rempli de statique, puis qui dégage lentement le bruit jusqu'à ce qu'une statue parfaite émerge. Mais pour que la statue paraisse réelle et détaillée, l'IA a besoin d'un cerveau capable d'organiser ses pensées. Récemment, les scientifiques ont remplacé les anciens cerveaux simples par des « Transformers » — le même type d'architecture puissante qui aide les ordinateurs à comprendre le langage humain. Ces nouveaux « Diffusion Transformers » sont incroyablement doués pour la peinture, mais les scientifiques cherchent encore à comprendre exactement comment leurs cerveaux fonctionnent à l'intérieur. La grande question est : qu'est-ce qui rend ces artistes IA si talentueux ? Est-ce seulement une question d'avoir un cerveau plus gros, ou y a-t-il un ingrédient secret dans leur façon de penser ?

Ce document, intitulé DiverseDiT++, plonge dans ce mystère en examinant comment ces modèles d'IA organisent leurs pensées internes. Les chercheurs ont découvert que la recette secrète n'est pas seulement d'avoir plus de données ou un modèle plus grand ; c'est la diversité. Imaginez une équipe d'artistes travaillant sur une fresque. Si chaque artiste se voit ordonner de peindre exactement la même chose de la même manière, l'image finale sera ennuyeuse et plate. Mais si chaque artiste est encouragé à se concentrer sur une partie différente de la scène — l'un sur le ciel, l'autre sur les arbres, un autre sur les ombres — le résultat est un chef-d'œuvre riche et complexe. Les auteurs ont trouvé que les Diffusion Transformers fonctionnent de la même manière. À mesure qu'ils apprennent, les différentes couches de leur « cerveau » commencent naturellement à se spécialiser, en assumant des rôaux uniques. Cependant, le document suggère que ce processus naturel n'est pas toujours assez fort.

Pour prouver cela, l'équipe a créé une nouvelle règle de mesure appelée Weighted Diversity Score (WDS). Voyez cela comme un « compteur de créativité » qui vérifie à quel point les pensées sont différentes entre les diverses couches de l'IA. Ils ont trouvé un lien étroit : chaque fois que ce compteur de créativité était élevé, l'IA produisait des images de meilleure qualité et plus réalistes. En fait, ils ont mesuré cela à travers 97 expériences différentes et ont trouvé une connexion très serrée (une corrélation de -0,869) entre des scores de diversité élevés et une meilleure qualité d'image. Cela suggère que si vous pouvez forcer les couches du cerveau de l'IA à être plus différentes les unes des autres, l'IA devient meilleure dans son travail.

Sur la base de cette découverte, les chercheurs ont construit un nouveau cadre appelé DiverseDiT++. Au lieu de s'appuyer sur des aides extérieures ou des modèles pré-entraînés coûteux pour enseigner à l'IA quoi faire, ils ont modifié la structure même de l'IA. Ils ont ajouté des « connexions résiduelles longues », qui sont comme des autoroutes surdimensionnées permettant aux premières couches du cerveau de parler directement aux couches ultérieures, garantissant que l'information ne devienne pas obsolète ou répétitive. Ils ont également ajouté une règle spéciale de « perte de diversité » (diversity loss). Cela agit comme un professeur d'art strict qui dit aux couches : « Hé, vous faites trop la même chose ! Allez essayer quelque chose de différent ! » Cela force chaque couche à apprendre des caractéristiques uniques.

Les résultats ont été impressionnants. Lorsqu'ils ont appliqué DiverseDiT++ à différentes tailles de modèles d'IA, les images sont devenues plus claires et les modèles ont appris plus rapidement. Ils ont testé cela sur des ensembles de données d'images standards comme ImageNet à des résolutions de 256 × 256 et 512 × 512, et la nouvelle méthode a systématiquement battu les anciennes. Même dans le cadre exigeant du « pas unique » (one-step), où l'IA doit générer une image en un seul bond plutôt qu'en de nombreuses étapes lentes, l'approche de la diversité a mieux fonctionné. Mais l'amusement ne s'est pas arrêté aux images. L'équipe a également testé cela sur des tâches scientifiques, comme la conception de nouvelles protéines (qui sont les briques élémentaires de la vie) et la création de molécules 3D. Dans ces domaines aussi, encourager l'IA à avoir des représentations internes diverses a conduit à de meilleurs résultats.

Le document soutient l'idée qu'il n'est pas nécessaire d'utiliser des modèles externes massifs pour guider l'apprentissage de l'IA. Alors que d'autres méthodes tentent d'aligner l'IA avec des modèles « experts » extérieurs, les auteurs ont découvert qu'il suffisait de rendre les parties internes de l'IA plus diverses pour obtenir des performances de haut niveau. Ils ont également montré que tenter d'aligner trop de parties du cerveau avec des experts extérieurs n'aidait pas et pouvait même nuire aux performances. La principale conclusion est que la diversité est un principe universel : que vous peigniez un chat ou que vous pliiez une protéine, un cerveau qui pense de plusieurs manières différentes à la fois est un cerveau qui crée de meilleures choses. Les auteurs suggèrent que cette approche pourrait être une clé pour débloquer des IA encore plus puissantes et efficaces à l'avenir, sans avoir besoin de compter sur une guidance externe lourde.

Résumé Technique : DiverseDiT++

Problématique

Les progrès récents des Diffusion Transformers (DiT) ont permis d'atteindre des avancées remarquables dans la synthèse visuelle grâce à leur scalabilité. Cependant, les mécanismes sous-jacents qui régissent l'apprentissage des représentations au sein des DiT restent mal compris. Bien que des travaux récents comme REPA tentent d'améliorer l'entraînement des DiT en alignant les représentations internes avec des encodeurs pré-entraînés externes, ces méthodes reposent sur des ressources externes massives et n'expliquent pas pleinement pourquoi elles fonctionnent. De plus, les approches existantes qui cherchent à améliorer les représentations sans guidage externe (par exemple, les pertes de dispersion) manquent souvent d'une compréhension fondamentale de l'évolution des représentations internes. Des questions clés subsistent : comment les modèles DiT apprennent-ils des représentations significatives, et pourquoi les techniques d'alignement externe sont-elles efficaces ? Ce manque de compréhension fondamentale entrave le développement de paradigmes d'entraînement plus efficaces et plus rigoureux.

Méthodologie

Le papier propose DiverseDiT++, un cadre conçu pour promouvoir explicitement l'apprentissage de représentations diverses au sein des DiT sans dépendre de modèles de guidage externes. La méthodologie repose sur une analyse systématique de la dynamique des représentations et se compose de deux composantes principales :

1. Analyse systématique et Score de Diversité Pondéré (WDS)

Avant de proposer la solution, les auteurs ont mené une analyse systématique de la dynamique des représentations des DiT en utilisant l'Alignement de Noyau Centré (CKA) pour mesurer les similitudes entre différents blocs de transformeurs. Les observations clés incluent :

La disparité de représentation entre les blocs augmente naturellement pendant l'entraînement.
L'alignement de blocs spécifiques avec des modèles pré-entraînés augmente leur dissimilarité par rapport aux autres blocs.
Un alignement excessif (plusieurs blocs ou encodeurs) n'améliore pas nécessairement les performances et peut nuire à la diversité globale.
Les motifs de diversité sont intrinsèques et cohérents à travers les étapes de débruitage (denoising timesteps).

Sur la base de ces résultats, les auteurs ont introduit le Score de Diversité Pondéré (WDS), un score scalaire défini comme le complément pondéré par la distance des similitudes CKA par paires à travers tous les blocs de transformeurs :
$WDS = 1 - \frac{\sum_{i<j} |j-i| \cdot CKA(H_i, H_j)}{\sum_{i<j} |j-i|}$
Les auteurs ont constaté une forte corrélation négative entre le WDS et le log(FID) (Pearson's $r = -0,869$ ), établissant le WDS comme un indicateur fiable de la performance du modèle et de la qualité de la génération.

2. Cadre DiverseDiT++

Pour promouvoir activement la diversité observée dans les modèles performants, DiverseDiT++ introduit deux mécanismes :

Connexions Résiduelles Longues (Long Residual Connections) : Pour éviter l'homogénéisation représentationnelle causée par des entrées homogènes, la méthode injecte les sorties des couches précoces ( $i$ ) dans les couches ultérieures ( $L-i$ ) via des connexions de saut (skip connections) longues. Cela diversifie les représentations d'entrée pour les blocs profonds, encourageant la réutilisation des caractéristiques et empêchant l'effondrement.
Perte de Diversité de Représentation : Une fonction de perte explicite est introduite pour pénaliser la similitude entre les caractéristiques de différents blocs. Elle comprend trois composantes :
1. Perte d'Orthogonalité : Pénalise la similitude cosinus élevée entre les représentations moyennes par bloc.
2. Perte d'Information Mutuelle : Approche et minimise l'information mutuelle entre les représentations de blocs pour assurer l'indépendance statistique.
3. Perte de Dispersion des Caractéristiques : Maximise la variance des activations de caractéristiques pour encourager une utilisation diversifiée des canaux.
La perte de diversité totale est pondérée par une stratégie de pondération adaptative dérivée de l'analyse des conflits de gradient. Ce poids est plafonné et décroît au cours de l'entraînement pour éviter les conflits de gradient lorsque la diversité sature et pour permettre au modèle de se concentrer sur les détails fins lors des phases ultérieures.

Principales Contributions

Insight Mécaniste : Le papier est le premier à élucider systématiquement que la diversité de représentation entre les blocs est un facteur critique pour un apprentissage efficace dans les DiT et fournit une explication mécaniste du succès des techniques d'alignement existantes (c'est-à-dire qu'elles fonctionnent en imposant une spécialisation).
Métrique WDS : Introduction du Score de Diversité Pondéré, une métrique rigoureuse qui capture quantitativement la diversité inter-blocs et présente une forte corrélation avec la qualité de génération (FID) à travers différentes échelles, méthodes et résolutions.
Cadre DiverseDiT++ : Un cadre pratique et agnostique à l'architecture qui améliore l'apprentissage des représentations via des connexions résiduelles longues et une perte de diversité adaptative, opérant sans encodeurs pré-entraînés externes.
Généralisation : Validation de la méthode à travers divers domaines, incluant la génération d'images (ImageNet), le repliement inverse de protéines et la génération de molécules 3D.

Résultats Expérimentaux

Les auteurs ont mené des expériences approfondies sur ImageNet (256×256 et 512×512), le repliement inverse de protéines et la génération de molécules 3D.

Génération d'Images : DiverseDiT++ a systématiquement amélioré les performances sur divers backbones (SiT, REPA) et échelles de modèles (B, L, XL).
- Sur ImageNet 256×256, l'application de DiverseDiT++ à REPA-B a réduit le FID de 22,99 à 17,22 (400k itérations), surpassant la ligne de base SiT-L (18,77) avec le même coût d'entraînement.
- La méthode a accéléré la convergence, atteignant un FID de 1,49 en 200 époques, surpassant SiT-XL/2 entraîné pendant 1400 époques (FID 2,06).
- Elle a atteint un nouvel état de l'art (SOTA) de 2,94 pour la génération en une étape sur ImageNet 256×256 en utilisant MeanFlow-XL/2.
Domaines Scientifiques :
- Repliement Inverse de Protéines : Amélioration du taux de récupération de séquence à 38,30 % et réduction du scRMSD à 1,81 sur le jeu de données PDB, surpassant des bases comme ProteinMPNN et REED.
- Génération de Molécules 3D : Amélioration de la stabilité et réduction de l'énergie/contrainte sur les jeux de données GEOM-Drug et QM9 par rapport à SemlaFlow et REED.
Études d'Ablation : Ont confirmé que les connexions résiduelles longues et la perte de diversité complète (orthogonalité, MI, dispersion) sont toutes deux nécessaires pour une performance optimale. La méthode s'est également révélée complémentaire aux techniques existantes telles que DispLoss et SRA.

Signification et Revendications

Le papier affirme que la diversité de représentation entre les blocs est un principe universel pour un entraînement efficace des modèles de diffusion, s'étendant au-delà de la synthèse visuelle vers les domaines scientifiques. En quantifiant cette diversité via le WDS, les auteurs fournissent un outil de diagnostic pour comprendre la dynamique d'entraînement des DiT. Le cadre proposé DiverseDiT++ offre une stratégie pratique pour booster les performances en encourageant explicitement les blocs à apprendre des caractéristiques distinctes et complémentaires sans le surcoût computationnel des modèles d'alignement externes. Le travail suggère que la promotion de la diversité interne est un biais inductif généralisable qui peut améliorer la modélisation générative à travers diverses modalités de données et architectures.

Les auteurs notent des limites, notamment une légère augmentation des paramètres due aux connexions résiduelles et la détermination empirique des seuils de pondération adaptative, qui pourraient nécessiter une exploration plus systématique pour de nouvelles tâches. Ils reconnaissent également que la généralisation au texte-vers-image (text-to-image) et à l'édition d'images reste à explorer.