🤖 AI

Variable-Length Tokenization via Learnable Global Merging for Diffusion Transformers

Cet article introduit un nouveau tokenizer à longueur variable pour les Diffusion Transformers qui atteint des compromis qualité-calcul supérieurs en employant une fusion globale apprenable afin de permettre un alignement de représentation indépendant des données et inter-longueurs, surmontant ainsi les problèmes de désalignement sémantique inhérents aux méthodes traditionnelles basées sur la troncature.

Auteurs originaux : Dong Hoon Lee, Seunghoon Hong

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dong Hoon Lee, Seunghoon Hong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'envoyer un film en haute définition à un ami. Si vous envoyez l'intégralité sans compression, le téléchargement prend un temps infini et consomme une quantité massive de données. Si vous compressez trop, l'image devient floue et pixélisée.

Pendant longtemps, les générateurs d'images par IA (comme ceux qui créent des images à partir de texte) ont été confrontés à ce problème exact. Ils utilisent un « tokenizer » — un traducteur qui décompose une image en petits morceaux appelés tokens.

Haute compression (peu de tokens) = Rapide et peu coûteux, mais l'image est de mauvaise qualité.
Basse compression (beaucoup de tokens) = Excellente qualité, mais lent et coûteux.

Auparavant, si vous vouliez un équilibre différent entre vitesse et qualité, vous deviez entraîner un modèle d'IA complètement différent pour chaque réglage. C'était comme avoir besoin d'un moteur de voiture différent pour rouler seulement 10 km/h moins vite.

Le problème de la « Coupe »

Certains chercheurs ont tenté de résoudre cela en créant des tokenizer à « longueur variable ». Leur idée était simple : « Découpons simplement la fin de la liste de tokens si nous voulons gagner de l'espace. »

Pensez à cela comme à un livre où les points les plus importants de l'intrigue se trouvent à la page 1, et les détails minuscules à la page 100. Si vous voulez une version plus courte, vous déchirez simplement les 50 dernières pages.

Le piège : Cela change l'histoire. La version « courte » se concentre uniquement sur la vue d'ensemble, tandis que la version « longue » inclut les détails infimes. Comme le contenu est si différent, l'IA est confuse. C'est comme essayer d'apprendre à un étudiant à lire une nouvelle courte et un roman long en utilisant le même manuel, mais où les chapitres sont complètement différents. L'IA peine à apprendre les deux à la fois, ce qui conduit à des images floues ou étranges.

La solution : « Fusionner » au lieu de couper

Les auteurs de cet article proposent une méthode plus intelligente : Fusionner au lieu de couper.

Imaginez que vous avez un groupe de 100 personnes (tokens) debout en ligne.

L'ancienne méthode (Couper) : Si vous avez besoin de moins de personnes, vous dites simplement aux 50 dernières de rentrer chez elles. Les 50 restantes sont toujours debout exactement aux mêmes endroits.
La nouvelle méthode (Fusionner) : Si vous avez besoin de moins de personnes, vous demandez à des personnes qui se ressemblent de se regrouper pour former une seule « super-personne ». Si deux personnes portent la même chemise rouge, elles fusionnent pour devenir un seul représentant de ce groupe.

Pourquoi est-ce meilleur ?

Cohérence : Que vous ayez 100 personnes ou 10 « super-personnes », les groupes représentent la même structure sous-jacente. Le « groupe à la chemise rouge » est toujours là, simplement condensé. Cela permet de garder l'« histoire » cohérente pour l'IA, quel que soit le nombre de tokens utilisés.
Alignement : Parce que les groupes sont formés sur la base de la similitude (et non de la position), l'IA peut apprendre un modèle unique qui fonctionne parfaitement pour les listes courtes et longues.

La recette secrète : « Le regroupement global apprenable » (Learnable Global Merging)

Il y avait un obstacle majeur. Habituellement, pour décider qui fusionne avec qui, on regarde l'image spécifique (par exemple, « Ces deux pixels ressemblent à l'oreille d'un chat, donc fusionnons-les »). Mais lorsqu'une IA crée une nouvelle image à partir de zéro, elle n'a pas encore l'image ! Elle ne peut pas regarder l'image pour décider comment fusionner.

Les auteurs ont résolu cela avec le Regroupement Global Apprenable.
Voyez cela comme un carnet de règles préétabli ou un « plan directeur » que l'IA apprend pendant l'entraînement. Au lieu de regarder l'image pour décider de la fusion, l'IA utilise un modèle fixe et appris (comme un manuel d'instructions universel) qui dit : « Le Token 1 fusionne toujours avec le Token 2, le Token 3 fusionne avec le Token 4 », quel que soit le résultat final de l'image.

Même si ce carnet de règles est fixe (il ne change pas selon l'image), l'IA l'entraîne si bien qu'elle regroupe naturellement les éléments similaires. Cela permet à l'IA de savoir exactement comment gérer les tokens « fusionnés » avant même de générer l'image.

Les résultats

Les chercheurs ont testé leur méthode sur ImageNet (une immense base de données d'images). Ils ont constaté que :

Leur méthode permet à un seul modèle d'IA de générer des images à différentes vitesses et qualités sans nécessiter de réentraînement pour chaque réglage.
Leurs images sont de meilleure qualité et les calculs sont plus efficaces que les méthodes précédentes qui se contentaient de « couper » les tokens.
Ils ont même ajouté une petite étape de « fine-tuning » (en utilisant une technique appelée LoRA) qui rend l'IA encore meilleure pour des nombres de tokens spécifiques, avec un coût supplémentaire quasi nul.

En bref : Ils ont trouvé comment rendre les générateurs d'images par IA flexibles. Au lieu de forcer l'IA à choisir entre un modèle « rapide » et un modèle « de qualité », ils ont construit un traducteur unique et intelligent capable de réduire ou d'étendre les données de l'image en regroupant intelligemment les parties similaires, préservant ainsi la qualité tout en minimant les coûts.

Résumé Technique : Tokenisation à Longueur Variable via la Fusion Globale Apprenable pour les Transformers de Diffusion

1. Énoncé du Problème

Les modèles de diffusion latente (LDM) reposent sur des tokeniseurs pour compresser les images dans des espaces latents, créant un compromis entre la qualité de la génération et le coût computationnel. Les tokeniseurs conventionnels utilisent un ratio de compression fixe, nécessitant plusieurs variantes de modèles pour s'adapter à différents budgets de calcul ou exigences de qualité.

Des Tokeniseurs à Longueur Variable (VLT) ont été proposés pour y remédier en ajustant de manière adaptative le nombre de tokens en fonction de conditions spécifiques (par exemple, le budget de calcul). La méthode prédominante, le dropout imbriqué (nested dropout), entraîne des modèles à supprimer les tokens de queue d'une séquence ordonnée, plaçant la sémantique de haut niveau dans les premiers tokens et les détails de bas niveau dans les suivants.

Cependant, les auteurs identent une faille critique du dropout imbriqué lorsqu'il est appliqué aux Transformers de Diffusion (DiT) :

Décalage de Longueur Transversal (Cross-Length Shift) : Tronquer une séquence ordonnée altère la structure de similitude par paires (alignement représentationnel) de l'espace latent. Les séquences plus courtes se concentrent sur la sémantique centrale, tandis que les séquences plus longues incluent des détails résiduels.
Inadéquation Distributionnelle : Ce décalage provoque une variation significative de la distribution latente et de la fonction de score correspondante selon la longueur des tokens. Par conséquent, un modèle de diffusion unique entraîné conjointement sur différentes longueurs échoue à généraliser efficacement, performant souvent moins bien que des modèles entraînés sur des longueurs spécifiques.
Limitation des Solutions Existantes : Les pertes d'alignement de représentation standard nécessitent de faire correspondre les dimensions de tokens (N = M), ce qui est impossible dans les contextes à longueur variable où la cardinalité diffère.

2. Méthodologie

Le papier propose un nouveau tokeniseur à longueur variable basé sur la fusion (merging-based) qui module la longueur en combinant les tokens plutôt qu'en les tronquant. L'innovation centrale est la Fusion Globale Apprenable (LGM - Learnable Global Merging), conçue pour assurer l'alignement représentationnel à travers différents nombres de tokens tout en restant compatible avec les modèles génératifs.

A. Modulation de Longueur par Fusion
Au lieu de supprimer des tokens, la méthode fusionne les tokens en se basant sur une matrice d'assignation $\Gamma$ .

Attention Proportionnelle : Pour gérer les tokens fusionnés, le décodeur et le transformer de diffusion utilisent une attention proportionnelle, où le score d'attention est ajusté par la taille effective du cluster ( $m_j$ ) de chaque token fusionné.
Représentation Équivalente à Pleine Longueur : Les auteurs démontrent que le traitement des latents modulés avec une attention proportionnelle est mathématiquement équivalent au traitement de latents projetés à pleine longueur ($Wz$) avec une attention standard. Cette équivalence permet de mesurer et de minimiser directement la différence entre les latents originaux ( $z$ ) et les latents fusionnés ($Wz$), minimisant ainsi le décalage de représentation en encourageant la fusion de tokens similaires.

B. Fusion Globale Apprenable (LGM)
Un défi surgit car la fusion standard (par exemple, le clustering agglomératif) est dépendante des données, dérivant les motifs de fusion à partir de l'image d'entrée. Cela est incompatible avec la génération par diffusion, où l'image cible n'est pas disponible.

Indépendance vis-à-vis des Données : Les auteurs introduisent des Embeddings Globaux Apprenables ( $e$ ) qui sont indépendants des données d'entrée. Ces embeddings déterminent le motif de fusion pour un objectif de réduction donné.
Optimisation : Le motif de fusion est dérivé via un clustering agglomératif sur les embeddings globaux apprenables. Puisque le clustering implique des opérations discrètes, une astuce "straight-through" est appliquée pour permettre l'optimisation des embeddings par descente de gradient.
Perte d'Alignement : Une perte d'alignement ( $L_{align}$ ) est introduite pour garantir que la structure de similitude des embeddings globaux apprenables ( $e$ ) correspond à la structure de similitude des tokens latents réels ( $z$ ). Cela guide le motif de fusion globale pour regrouper les tokens similaires, minimisant ainsi le décalage de représentation défini dans l'objectif de fusion.

C. Intégration au Transformer de Diffusion

Embeddings Positionnels : La méthode utilise des embeddings positionnels fusionnés, calculés de la même manière que les latents, pour gérer l'information positionnelle des tokens agrégés.
Post-Entraînement : Une étape de post-entraînement légère via LoRA (Low-Rank Adaptation) est introduite. Après l'entraînement conjoint sur plusieurs longueurs, des paramètres LoRA spécifiques à la longueur sont entraînés pendant quelques époques pour adapter davantage le modèle à des nombres de tokens spécifiques avec un surcoût négligeable.

3. Principales Contributions

Tokenisation par Fusion : Une nouvelle architecture VLT qui module la longueur via la fusion de tokens, permettant un alignement de représentation direct à travers différents nombres de tokens en minimisant le décalage entre les latents originaux et fusionnés.
Fusion Globale Apprenable : Un mécanisme de fusion indépendant des données qui résout l'incompatibilité entre la fusion dépendante des données et la génération par diffusion, garantissant que le motif de fusion est accessible lors de l'inférence.
Amélioration du Compromis Qualité-Calcul : L'intégration de ce tokeniseur avec un Transformer de Diffusion permet d'atteindre une performance supérieure dans l'équilibre entre la qualité de génération (gFID) et le coût computationnel par rapport aux méthodes VLT existantes.

4. Résultats Expérimentaux

Les expériences ont été menées sur la génération conditionnelle de classe ImageNet 256×256.

Alignement de la Représentation : La méthode proposée atteint des scores CKNNA (Centered Kernel Nearest-Neighbor Alignment) nettement plus élevés à travers différentes longueurs de tokens par rapport au dropout imbriqué. Notamment, l'alignement est souvent supérieur à celui des tokeniseurs à longueur fixe entraînés indépendamment.
Performance de l'Entraînement Conjoint :
- Dropout Imbriqué : Présente un écart important (0,8–1,7 gFID) entre les modèles entraînés conjointement sur plusieurs longueurs et ceux entraînés séparément.
- Méthode Proposée : Réduit cet écart à moins de 0,3 gFID. Avec le post-entraînement LoRA, le modèle conjoint atteint une performance proche de 0,05 gFID de celle des modèles entraînés séparément.
Comparaison au Niveau Système :
- La méthode surpasse les VLT existants (Semanticist, FlexTok) et les bases à longueur fixe (SoftVQ, MAETok) en termes de compromis gFID–calcul.
- Elle atteint une qualité de génération compétitive à des ratios de compression élevés (par exemple, 32 tokens) sans nécessiter de décodeur de tokeniseur basé sur la diffusion, contrairement à certains modèles de référence.
Qualité de Reconstruction : Le tokeniseur maintient de solides métriques de reconstruction (rFID, PSNR, SSIM) à travers différentes longueurs de tokens, particulièrement à des ratios de compression élevés.

5. Signification et Revendications

Le papier affirme que la barrière principale à un modèle de diffusion à longueur variable efficace est le décalage de distribution latente transversale causé par les méthodes de troncature conventionnelles. En passant à une approche basée sur la fusion avec des motifs apprenables et indépendants des données, les auteurs parviennent à maintenir l'alignement de la représentation.

La portée de ce travail réside dans la capacité à permettre à un modèle de diffusion unique d'opérer efficacement à travers divers nombres de tokens, permettant un contrôle flexible de la qualité et du calcul sans nécessiter de multiples variantes de modèles. Les auteurs présentent cela comme une étape vers un déploiement plus efficace des modèles génératifs dans des scénarios aux contraintes de calcul variables, notant que bien qu'un écart subsiste entre les tokeniseurs 1D et 2D, leur approche offre une direction prometteuse pour les architectures hybrides. Le travail est présenté comme une amélioration de l'efficacité plutôt que comme une nouvelle capacité générative, sans aucune revendication concernant des enjeux éthiques.