💻 computer science

MOSAIK: Multi-Patch Content-Aware Spatial Allocation of Image Tokens for Efficient Generation

MOSAIK est un cadre guidé par les dommages pour les modèles de diffusion dans l'espace des pixels qui alloue dynamiquement des tailles de patchs hétérogènes à travers les régions d'images en fonction de la perte de fidélité estimée, atteignant une efficacité computationnelle significative (réduction de 70 % des FLOPs) tout en maintenant une qualité de génération compétitive par rapport aux bases de référence à calcul complet.

Auteurs originaux : Mohammadreza Hami, Mohammadreza Samadi, Chao Gao, Negar Hassanpour

Publié 2026-08-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Mohammadreza Hami, Mohammadreza Samadi, Chao Gao, Negar Hassanpour

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de peindre un chef-d'œuvre sur une toile géante, mais que vous ne disposez que d'une réserve limitée de peinture et d'un délai très strict. Dans le monde de l'intelligence artificielle, la création d'images ressemble un peu à cela. Pendant longtemps, les ordinateurs ont utilisé une méthode « compressée » pour dessiner des images, un peu comme si l'on esquissait une scène dans un minuscule carnet avant de tenter d'en remplir les détails. C'était rapide, mais il y avait un plafond : une fois que vous aviez esquissé la scène en petit, vous ne pouviez pas magiquement récupérer les détails minuscules et nets, comme la texture de la fourrure ou les pétales individuels d'une fleur.

Pour contourner cela, une nouvelle génération d'IA a commencé à peindre directement sur la toile géante, pixel par pixel. C'est comme passer d'un petit carnet à une immense fresque. Le résultat ? Des images d'un réalisme époustouflant. Mais il y a un piège : peindre chaque pixel individuellement demande à l'ordinateur de traiter une quantité massive d'informations, ce qui est lent et coûteux. Pour accélérer les choses, les scientifiques ont essayé d'utiliser des « gros pinceaux » pour couvrir de larges zones de la toile d'un seul trait. Cependant, utiliser un gros pinceau partout, c'est un peu comme essayer de peindre le portrait d'un tigre avec un rouleau de peintre en bâtiment ; vous obtiendrez peut-être la forme générale, mais vous perdrez les rayures et les moustaches. La grande question était la suivante : comment utiliser de gros pinceaux pour l'arrière-plan ennuyeux (comme le ciel) mais des pinceaux minuscules et précis pour les parties importantes (comme le visage du tigre) sans que l'ordinateur ne s'embrouille ?

C'est là qu'intervient une nouvelle méthode appelée MOSAIK. Considérez MOSAIK comme un directeur artistique super intelligent pour le peintre IA. Au lieu de forcer l'ordinateur à utiliser la même taille de pinceau pour toute l'image, MOSAIK observe l'image pendant sa création et décide : « Hé, cette partie n'est qu'un ciel flou, utilisons un pinceau géant ici pour gagner du temps. Mais cette partie est l'œil du tigre, passons à un pinceau minuscule et ultra-précis dès maintenant. »

Le document présente MOSAIK (qui signifie Multi-Patch Content-Aware Spatial Allocation of Image Tokens) comme un moyen de rendre ces générateurs d'images de haute qualité, fonctionnant pixel par pixel, beaucoup plus rapides sans gâcher l'image. Les chercheurs ont découvert qu'en changeant dynamiquement la taille des « coups de pinceau » (ou patchs) à travers différentes parties de l'image, ils pouvaient réduire considérablement la charge de travail de l'ordinateur. Plus précisément, ils ont réussi à réduire le nombre de calculs (appelés FLOPs) de 70 % et le nombre de blocs de données (tokens) de 83 %.

Voici le tour de magie : MOSAIK ne se contente pas de deviner où utiliser les gros pinceaux. Il utilise un « prédicteur de dommages ». Imaginez que l'IA possède un capteur spécial qui demande : « Si j'utilise un gros pinceau sur cet endroit précis, combien de détails vais-je perdre ? » Si la réponse est « beaucoup » (comme sur la fourrure d'un tigre), elle garde le pinceau petit. Si la réponse est « rien » (comme sur un ciel bleu lisse), elle passe à un gros pinceau. L'article montre que cette approche inégale et intelligente fonctionne bien mieux que les anciennes méthodes qui tentaient d'accélérer les choses en utilisant simplement de gros pinceaux pour toute l'image à certains moments ou en sautant des étapes.

Dans leurs tests, MOSAIK a été capable de générer des images qui ressemblaient presque exactement à la version lente et pleine puissance, même en faisant 70 % de travail en moins. Lorsqu'ils ont comparé MOSIAK aux autres astuces de rapidité, MOSAIK a conservé les détails nets alors que les autres commençaient à paraître flous ou perdaient des caractéristiques importantes. Les chercheurs suggèrent que cette approche « guidée par les dommages » est un moyen puissant de rendre la génération d'images par IA de haute qualité plus rapide et plus efficace, prouvant qu'on n'a pas à choisir entre vitesse et qualité si l'on sait où être efficace et où être précis.

Résumé Technique : MOSAIK

Problématique

Les modèles de diffusion en espace pixels (PDM) offrent un avantage significatif par rapport aux modèles de diffusion latente (LDM) en évitant le plafond de reconstruction imposé par les auto-encodeurs variationnels (VAE), préservant ainsi les détails spatiaux fins et à haute fréquence. Cependant, la génération directe dans l'espace pixel entraîne un nombre de jetons (tokens) considérablement plus élevé. Comme les mécanismes d'auto-attention des transformeurs présentent une complexité quadratique par rapport au nombre de jetons, les PDM engendrent des coûts de calcul prohibitifs.

Les méthodes d'efficacité existantes tentent d'atténuer ce problème en faisant varier la taille des patchs (la zone spatiale représentée par un seul jeton) à travers les étapes de débruitage ou la profondeur du réseau. Bien que ces approches réduisent le nombre total de jetons, elles appliquent une disposition de patchs spatialement uniforme sur l'ensemble de l'image à n'importe quelle étape donnée. Cette uniformité crée une inefficacité fondamentale : elle soit gaspille trop de calcul sur des régions simples et à faible information, soit, à l'inverse, limite la capacité de représentation dans les régions sensibles où les détails fins sont critiques. L'article soutient que la densité de l'information visuelle est intrinsèquement hétérogène, nécessitant une stratégie d'allocation dynamique par région que les méthodes actuelles ne possèdent pas.

Méthodologie : MOSAIK

MOSAIK (Multi-patch cOntent-aware Spatial Allocation of Image toKens) est un cadre conçu pour faire varier la taille des patchs à travers différentes régions de l'image et différentes étapes de débruitage en fonction de "l'endommagement" (perte de fidélité) prédit causé par le grossissement. L'approche repose sur l'architecture PixelDiT et utilise un pipeline d'entraînement en trois étapes :

Étape 1 : Fluidité multi-patch

L'objectif est de permettre au modèle de fonctionner à plusieurs tailles de patch uniformes ( $P \in \{16, 32, 64\}$ ) sans oubli catastrophique du prior génératif original.

Architecture : Les poids de l'architecture de base sont gelés. Des modules d'adaptation de bas rang (LoRA) sont injectés dans les blocs DiT. Des tokeniseurs distincts sont introduits pour $p32$ et $p64$ , initialisés par la composition de la projection $p16$ pré-entraînée avec un sous-échantillonnage bilinéaire.
Entraînement : Le modèle subit une auto-distillation, optimisant la correspondance avec les prédictions de vélocité du modèle enseignant $p16$ gelé à travers toutes les tailles de patch uniformes.

Étape 2 : Adaptation de patchs mixtes

Cette étape permet au modèle de traiter des dispositions de patchs arbitraires et hétérogènes (où différentes régions utilisent différentes tailles de patch) au sein d'une seule passe avant (forward pass).

Embeddings de position : Les Rotary Positional Embeddings (RoPE) standards supposent une grille uniforme. MOSAIK traite le décalage spatial des patchs mixtes en ancrant chaque jeton au centre géométrique de son patch au sein d'un référentiel de coordonnées $p16$ normalisé.
Entraînement : Le générateur est entraîné sur des dispositions hétérogènes échantillonnées aléatoirement, découplant délibérément l'arrangement spatial des tailles de patch du contenu de l'image. Cela force le modèle à apprendre à exécuter n'importe quelle disposition, indépendamment de son alignement avec les caractéristiques visuelles.

Étape 3 : Prédicteur de disposition guidé par l'endommagement

Cette étape introduit un prédicteur léger qui alloue dynamiquement les jetons en fonction de la dégradation estimée causée par le grossissement de régions spécifiques.

Définition de l'endommagement : L'« endommagement » est défini comme la différence au carré entre la prédiction d'une disposition uniforme $p64$ et l'enseignant haute fidélité $p16$ , moyennée sur des régions non chevauchantes de $64 \times 64$ .
Entraînement du prédicteur : Un réseau convolutionnel léger avec conditionnement FiLM est entraîné pour régresser cette carte d'endommagement directement à partir des caractéristiques intermédiaires de l'architecture (spécifiquement les activations du bloc-6 du DiT) et des embeddings de texte. Cela évite la nécessité d'une seconde passe avant pendant l'inférence.
Stratégie d'inférence : À chaque étape de débruitage, le prédicteur estime la carte d'endommagement. Les régions présentant un endommagement prédit élevé se voient assigner des patchs plus fins ( $p16$ ), tandis que les régions à faible endommagement reçoivent des patchs plus grossiers ( $p32$ ou $p64$ ). L'allocation est contrainte par un budget de jetons spécifié par l'utilisateur, privilégiant les raffinements offrant la réduction d'endommagement la plus élevée par jeton ajouté.

Contributions Clés

Patchification spatialement adaptative : MOSAIK est le premier cadre appliquant des dispositions de patchs hétérogènes au sein d'un modèle de diffusion en espace pixels, dépassant les contraintes d'uniformité spatiale des méthodes précédentes.
Allocation guidée par l'endommagement : Les auteurs formulent l'allocation de patchs comme un problème de prédiction d'endommagement, utilisant un prédicteur léger pour identifier les régions où le grossissement causerait la perte de fidélité la plus importante.
Pipeline d'entraînement en trois étapes : Une stratégie d'entraînement novatrice qui établit d'abord la fluidité multi-patch, puis s'adapte aux dispositions mixtes, et enfin entraîne un prédicteur séparé pour guider le routage des jetons sans réentraîner le générateur.
Capacité d'intégration : Le cadre est conçu pour être orthogonal aux méthodes d'efficacité temporelle (comme le cache de caractéristiques), permettant une optimisation combinée.

Résultats

Des expériences ont été menées sur la génération d'images 1024x1024 en utilisant les benchmarks GenEval et DPG-Bench, comparant MOSAIK à des bases de référence incluant la réduction de patch uniforme, le séquençage de patch temporel (DDiT) et le cache de caractéristiques (TeaCache, TaylorSeer).

Efficacité vs Qualité : MOSAIK réalise une réduction de 70 % des FLOPs et une réduction de 83 % du nombre de jetons tout en égalant le PixelDiT à calcul complet sur GenEval (score de 0,74) et en ne perdant que 1,0 point sur DPG-Bench (82,5 contre 83,5).
Comparaison avec le séquençage temporel : Dans les régimes de calcul agressifs (ex: réduction de 60-70 % des FLOPs), MOSAIK surpasse systématiquement DDiT. Alors que DDiT applique une taille de patch unique globalement, MOSAIK redirige dynamiquement le calcul vers les régions sensibles (ex: les contours des sujets), préservant l'intégrité structurelle et les détails fins comme les textures et les bords.
Comparaison avec le cache : MOSAIK surpasse les bases de référence basées sur le cache (TeaCache, TaylorSeer) à budgets équivalents, particulièrement dans les régimes très contraints.
Complémentarité : Combiné aux méthodes de cache, MOSAIK maintient ses performances à des niveaux de compression encore plus élevés (jusqu'à 80 % de réduction de FLOPs), là où le cache seul provoque un effondrement qualitatif significatif.
Ablation : Remplacer le prédicteur guidé par l'endommagement par un allocateur aléatoire ou aveugle au contenu entraîne une dégradation significative des performances, validant que le classement de l'endommagement prédit porte une information réelle sur la sensibilité spatiale.

Signification et Revendications

L'article affirme que MOSAIK démontre que l'hétérogénéité spatiale de l'information visuelle est un facteur critique pour l'efficacité de la génération, un aspect négligé par les méthodes se concentrant uniquement sur l'adaptation temporelle ou de profondeur.

Allocation optimale des ressources : Les auteurs soutiennent que le raffinement de patch uniforme gaspille du calcul sur des régions simples, tandis que le grossissement uniforme détruit les détails dans les régions complexes. MOSAIK comble ce fossé en allouant les ressources là où elles sont le plus nécessaires.
Avantage de l'espace pixels : Le cadre tire parti de la redondance spatiale inhérente aux modèles en espace pixels (contrairement aux modèles latents où la compression VAE a déjà consommé la redondance) pour utiliser dynamiquement le grossissement sans nécessiter d'optimisation conjointe de bout en bout entre un routeur et un générateur.
Scalabilité : L'approche permet une performance stable sur une large gamme de budgets de calcul, allant de réductions modérées à des contraintes agressives, sans nécessendre de réentraînement pour différents niveaux de budget.

L'article conclut que MOSAIK définit un nouveau standard pour l'efficacité dans la diffusion en espace pixels, offrant une alternative hautement compétitive au séquençage temporel et au cache, et suggère que les travaux futurs pourraient étendre ces principes à la diffusion vidéo, exploitant la redondance à la fois spatiale et temporelle.