💻 computer science

Keep The Essentials: Efficient Reference Conditioned Generation via Token Dropping

L'article introduit Sparse Context, une méthode qui accélère considérablement les modèles de diffusion basés sur la référence en les affinant pour qu'ils soient robustes face à la suppression aléatoire de jetons, puis en appliquant une sélection de jetons sensible à la tâche lors de l'inférence afin de réduire les coûts de calcul jusqu'à 4 fois sans compromettre la qualité visuelle.

Auteurs originaux : Rishubh Parihar, Ayush Raina, R. Venkatesh Babu, Or Patashnik

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rishubh Parihar, Ayush Raina, R. Venkatesh Babu, Or Patashnik

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef étoilé tentant de recréer un plat complexe à partir de la photo du repas original et d'une liste d'instructions.

Dans l'état actuel de la génération d'images par IA, le « chef » (le modèle d'IA) regarde la photo de référence et tente d'étudier chaque pixel de celle-ci, un par un, avant de commencer à cuisiner. Si vous lui donnez une photo haute résolution, c'est comme si vous lui tendiez une bibliothèque de millions de petites notes décrivant chaque miette, ombre ou texture. Même si le chef n'a besoin de connaître que la forme générale de l'assiette ou la couleur de la sauce, il est contraint de lire chaque petite note. Cela rend le processus de cuisine incroyablement lent et nécessite une cuisine immense (mémoire informatique), surtout si vous lui demandez de regarder cinq ou six photos différentes à la fois.

Le document « Keep The Essentials » propose une manière plus intelligente de procéder. Voici la décomposition de leur idée :

1. Le Problème : Trop de Bruit

Les auteurs ont remarqué que les photos de référence sont pleines de redondance.

L'Analogie : Imaginez que vous décriviez un chat assis sur un tapis à un ami. Vous n'avez pas besoin de décrire la texture de chaque fibre du tapis ou les grains de poussière dans l'air. Il vous suffit de dire : « Il y a un chat au milieu, et un tapis en dessous. »
La Réalité : Les modèles d'IA actuels traitent l'image de référence comme une grille dense de millions de « tokens » (petits morceaux de données). Les auteurs ont découvert que si l'on jette aléatoirement 80 % de ces tokens sans modifier le modèle, l'IA est toujours capable de deviner la disposition générale de la scène. C'est comme essayer de lire un livre où 80 % des lettres sont manquantes, mais où l'on peut quand même comprendre l'histoire.

2. La Solution : Le « Contexte Sparse » (Épars)

L'équipe a créé une méthode appelée Sparse Context. Voyez cela comme l'apprentissage de la technique du « survol » plutôt que de la « lecture approfondie ».

Étape 1 : Entraîner le Survoleur (Le Fine-Tuning)
Si vous commencez simplement à jeter des tokens pendant la phase de cuisine réelle (l'inférence), l'IA sera confuse car elle a été entraînée pour lire chaque petite note. C'est comme demander à un étudiant qui a étudié chaque page d'un manuel de passer un examen avec 80 % des pages arrachées — il risque d'échouer.
- La Correction : Les auteurs ont réentraîné le modèle d'IA en arrachant intentionnellement des pages au hasard (en supprimant des tokens) durant ses sessions d'entraînement. Ils ont appris au modèle à être robuste, ce qui signifie qu'il a appris à comprendre l'« essence » de l'image même lorsque des parties de la référence étaient manquantes.
Étape 2 : Sélection Intelligente (L'Intuition du Chef)
Une fois que le modèle est capable de gérer les pièces manquantes, l'équipe n'a pas simplement jeté des morceaux au hasard. Ils ont appris à l'IA à être intelligente sur ce qu'elle doit garder, selon la tâche :
- Pour l'édition d'image : Si vous voulez changer la couleur d'une voiture mais garder sa forme, l'IA se concentre sur les contours (le contour de la voiture). Elle ignore les parties lisses et vides du ciel ou de l'arrière-plan. C'est comme tracer un dessin avec un surligneur uniquement sur les lignes.
- Pour la Personnalisation (Placer une personne ou un objet spécifique dans une nouvelle scène) : Si vous voulez placer un chien spécifique dans un nouveau parc, l'IA se concentre sur les parties saillantes (les plus importantes) — le chien lui-même — et ignore l'arrière-plan de la photo originale. C'est comme découper un chien dans un magazine et ignorer le reste de la page.

3. Les Résultats : La Vitesse sans le Sacrifice

En utilisant cette méthode, l'IA n'a pas besoin de traiter des millions de points de données. Elle ne traite que les éléments « essentiels ».

Le Gain de Vitesse :
- Pour une seule image de référence, l'IA est 2 fois plus rapide.
- Pour plusieurs images de référence (comme 5 ou 6 photos), elle est 4 fois plus rapide.
La Qualité : Malgré l'élimination de la majeure partie des données, l'image finale est tout aussi bonne que si l'IA avait lu chaque petite note. Les détails, le style et l'identité des objets sont préservés.

4. Cela s'adapte aux autres

Le document note également que cette méthode est comme un « adaptateur universel ». Elle peut être combinée avec d'autres astuces de rapidité existantes (comme le « KV-caching » ou le « token merging ») pour rendre l'IA encore plus rapide, comme l'empilement de deux types de carburants différents pour faire rouler une voiture encore plus vite.

Résumé

En bref, le document dit : « Arrêtez de lire tout le livre pour comprendre l'intrigue. »

Les modèles d'IA basés sur des références perdent actuellement du temps et de l'énergie à lire chaque détail d'une image de référence. Cette nouvelle méthode apprend à l'IA à ignorer les parties ennuyeuses et répétitives pour se concentrer uniquement sur les détails critiques nécessaires pour accomplir la tâche. Le résultat est une IA beaucoup plus rapide et moins coûteuse à exploiter, sans perdre aucune de sa capacité à créer des images magnifiques et précises.

Résumé Technique : Sparse Context – Génération par Conditionnement de Référence Efficace via la Suppression de Tokens

Énoncé du Problème

Les modèles de diffusion basés sur des références sont devenus essentiels pour la génération d'images contrôlable, permettant des tâches telles que l'édition d'images et la synthèse pilotée par un sujet en conditionnant la génération sur des images d'entrée. Cependant, ces modèles font face à des goulots d'étranglement computationnels importants. Dans les modèles de diffusion modernes basés sur les Transformers (DiTs), les images de référence sont généralement encodées en grilles spatiales de tokens denses via un VAE et concaténées avec les tokens d'entrée bruités. Comme les opérations d'auto-attention (self-attention) évoluent de manière quadratique avec le nombre de tokens, l'inclusion d'une ou plusieurs images de référence à haute résolution augmente considérablement le temps d'inférence et l'utilisation de la mémoire. Ce coût devient prohibitif dans les applications réelles impliquant plusieurs références. Bien que des techniques d'efficacité existent pour la génération pilotée par des prompts, elles restent peu explorées pour les modèles conditionnés par référence, qui présentent des défis uniques dus à la représentation dense des entrées visuelles.

Méthodologie

Le document présente Sparse Context, un cadre conçu pour construire des représentations de référence éparses en ne conservant qu'un sous-ensemble réduit de tokens de référence. La méthodologie aborde le problème à travers trois composantes centrales :

1. Observation de la Redondance

Les auteurs démontrent d'abord que les tokens de référence contiennent une redondance significative. À travers une expérience de « Pruning de Contexte Naïf » sur un modèle pré-entraîné FLUX.2-Klien, ils montrent que la suppression aléatoire jusqu'à 80 % des tokens de référence lors de l'inférence préserve largement la structure globale de la scène, malgré une perte de détails fins. Cela suggère que les modèles conditionnés par référence sont intrinsèquement robustes aux entrées éparses, mais que l'écart de performance entre les références complètes et partielles est exacerbé par un décalage de distribution entre l'entraînement et le test.

2. Stratégie d'Entraînement : Suppression Aléatoire de Tokens

Pour combler le décalage de distribution et permettre une génération éparse robuste, les auteurs affinent un générateur conditionné par référence de pointe en utilisant la suppression aléatoire de tokens pendant l'entraînement.

Processus : Pendant l'entraînement, une fraction aléatoire de tokens de référence est supprimée (en conservant une fraction $f \in [0.05, 0.25]$ ) avant la concaténation avec les tokens cibles bruités.
Objectif : Cela encourage le modèle à apprendre des représentations robustes qui fonctionnent efficacement avec des informations de référence partielles, en découplant le modèle de toute règle spécifique de sélection de tokens.
Implémentation : Un LoRA (Low-Rank Adaptation) léger est appliqué au modèle de base FLUX-2-Klein-9B sur un ensemble de données organisé couvrant l'édition pilotée par instruction et la personnalisation.

3. Stratégie d'Inférence : Sélection de Tokens Sensible à la Tâche

Alors que l'entraînement utilise la suppression aléatoire pour assurer la robustesse, l'inférence emploie des stratégies de sélection de tokens sensibles à la tâche pour maximiser la qualité dans un budget de calcul fixe :

Édition d'Images Pilotée par Instruction : Pour préserver la structure spatiale, la méthode utilise une stratégie d'échantillonnage sensible aux contours. Une carte de contours Canny est extraite de l'image de référence, et les tokens sont échantillonnés selon cette distribution de probabilité, privilégiant les limites structurelles par rapport aux régions uniformes.
Personnalisation : Pour préserver l'identité du sujet, la méthode utilise un échantillonnage basé sur la saillance. Une carte de saillance approxime le masque du sujet, permettant au modèle de concentrer les tokens sur les régions les plus informatives de l'image de référence.

Principales Contributions

Cadre Sparse Context : Une approche novatrice qui construit des représentations de référence éparses en supprimant des tokens, réduisant considérablement le coût quadratique de l'auto-attention sans modifier l'architecture du modèle sous-jacent.
Stratégie de Fine-Tuning Robuste : Un régime d'entraînement utilisant la suppression aléatoire de tokens qui permet au modèle de se généraliser à travers différents niveaux de parcimonie, offrant un contrôle flexible sur le budget de calcul à l'inférence.
Inférence Sensible à la Tâche : La proposition d'heuristiques spécifiques de sélection de tokens (basées sur les contours pour l'édition, sur la saillance pour la personnalisation) qui surpassent la suppression aléatoire en priorisant les informations critiques pour la tâche.
Orthogonalité avec les Méthodes Existantes : Démonstration que Sparse Context est compatible et complémentaire avec d'autres techniques d'efficacité, telles que le Token Merging (ToMe) et le KV-caching, permettant des gains de vitesse cumulés.

Résultats Expérimentaux

La méthode a été évaluée sur l'édition d'images pilotée par instruction (PIE-Bench) et la personnalisation basée sur la référence (Subject-200K, CustomDiffusion-105) en utilisant le modèle FLUX-2-Klein-9B.

Efficacité :
- Référence Unique : Atteint jusqu'à 2× de vitesse d'inférence supplémentaire (ex: 1,83× avec 10 % de rétention de tokens).
- Multi-Référence : Atteint jusqu'à 4× de vitesse d'inférence supplémentaire pour les scénarios avec plusieurs références (ex: 6 références), car les tokens de référence dominent le calcul de l'attention.
- Efficacité Combinée : Lorsqu'il est intégré au KV-caching pour la génération multi-référence, la méthode atteint des accélérations allant jusqu'à 6,72×.
Qualité :
- Édition d'Images : La méthode préserve la structure de la scène et l'identité bien mieux que la ligne de base du Pruning de Contexte Naïf. Les métriques quantitatives (LPIPS, DINO, CLIP-I) montrent que Sparse Context maintient une haute fidélité même à de faibles fractions de tokens (ex: $f=0,1$ ), tandis que la ligne de base souffre de corruption de l'identité.
- Personnalisation : L'échantillonnage basé sur la saillance préserve avec succès les détails fins du sujet (ex: couleurs spécifiques, motifs) qui sont perdus avec la suppression aléatoire.
Intégration : La combinaison de Sparse Context avec le Token Merging améliore davantage les performances, démontant que le modèle affiné exploite efficacement les autres techniques de réduction de tokens.

Signification et Revendications

L'article affirme que Sparse Context débloque le potentiel d'efficacité inexploité inhérent aux modèles de diffusion basés sur la référence. En reconnaissant que les grilles de tokens denses sont souvent inutiles, les auteurs démontrent que la génération basée sur la référence peut être rendue nettement plus efficace sans compromettre la contrôlabilité ou la fidélité visuelle.

Les auteurs soulignent que leur approche est simple et modulaire, ne nécessissant qu'un fine-tuning léger et offrant un contrôle flexible du calcul à l'inférence. Ils affirment que cette méthode répond à un goulot d'étranglement critique pour le déploiement de modèles génératifs haute résolution et multi-références, les rendant plus pratiques pour les applications réelles. Ce travail met en évidence que la redondance dans les représentations de référence est une propriété fondamentale qui peut être exploitée pour réduire les coûts de calcul, une découverte qui s'étend au-delà des modèles spécifiques testés pour la classe plus large des systèmes de génération d'images et de vidéos basés sur les DiT.