🤖 AI

RaPD: Resolution-Agnostic Pixel Diffusion via Semantics-Enriched Implicit Representations

RaPD introduit un cadre de diffusion de pixels agnostique à la résolution qui opère dans un espace latent continu de champ d'image neuronal, en utilisant une guidance sémantique et une attention interrogée par coordonnées pour permettre une génération d'images de haute qualité à des résolutions arbitraires avec un coût computationnel fixe.

Auteurs originaux : Yanhao Ge, Shanyan Guan, Weihao Wang, Ying Tai, Mingyu You

Publié 2026-05-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yanhao Ge, Shanyan Guan, Weihao Wang, Ying Tai, Mingyu You

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous voulez peindre un tableau. La plupart des générateurs d'art par IA modernes fonctionnent comme une grille de pixels. Ils décident de peindre sur une toile déjà divisée en de minuscules carrés (pixels). Si vous demandez une petite image, ils remplissent une petite grille. Si vous demandez une image énorme, en 8K, ils doivent construire une grille massive, ce qui prend beaucoup de temps et de puissance de calcul. C'est comme essayer de peindre une fresque en assemblant des millions de minuscules carreaux carrés préfabriqués ; plus la fresque est grande, plus il faut de carreaux à fabriquer.

Certaines méthodes plus anciennes ont tenté de résoudre ce problème en utilisant des Champs d'Images Neuronaux (NIF). Imaginez-les non pas comme une grille de carreaux, mais comme un liquide continu et lisse. Vous pouvez plonger un pinceau dans ce liquide à n'importe quel point, et il vous indique exactement quelle couleur peindre là. C'est formidable car vous pouvez peindre un minuscule point ou un mur immense sans modifier le liquide lui-même.

Le Problème :
L'article souligne une faille majeure dans la façon dont ces méthodes « liquides » ont été utilisées jusqu'ici. Elles ont été entraînées pour être des photocopieurs, pas des créateurs.

Le Problème du Photocopieur : Si vous prenez une photo basse résolution et demandez à l'IA d'« imaginer » les détails manquants pour la rendre haute résolution, le liquide fonctionne bien. Il est bon en interpolation (combler les lacunes).
Le Problème du Créateur : Mais si vous demandez à l'IA d'inventer une nouvelle image à partir de zéro à partir d'une invite textuelle (comme « un renard duveteux qui fait du ski »), le liquide échoue. Il ne comprend pas assez bien l'histoire ou la sémantique de l'image pour créer quelque chose de cohérent. C'est comme avoir un seau de peinture qui sait parfaitement assortir les couleurs mais n'a aucune idée à quoi ressemble un renard.

La Solution : RaPD
Les auteurs proposent RaPD (Diffusion de Pixels Agnostique à la Résolution). Ils ont construit un nouveau système qui transforme ce « liquide photocopieur » en un « liquide créateur ». Voici comment ils ont procédé, en utilisant des analogies simples :

1. Le « Liquide Intelligent » (Guidage par Représentation Sémantique)

Imaginez que le « liquide » de l'IA (l'espace latent) est comme un carnet de notes vierge.

L'Ancienne Méthode : Le carnet n'avait été enseigné que pour copier du texte parfaitement.
La Méthode de RaPD : Avant que l'IA ne commence à créer, ils enseignent au carnet en utilisant un enseignant intelligent (un puissant modèle de vision appelé DINOv2). Ils montrent des images au carnet et disent : « Ne copie pas juste les pixels ; comprends que cette forme est un « renard » et que cette couleur est un « vêtement vintage ». »
Le Résultat : L'IA apprend à stocker le sens de l'image à l'intérieur du liquide continu, et non pas seulement la texture visuelle. Cela comble le fossé entre « reconstruction » et « génération ».

2. Le « Pinceau Universel » (Rendu par Attention Interrogée par Coordonnées)

Une fois que l'IA a créé son « liquide intelligent » (le latent débruité), elle doit le transformer en image.

L'Ancienne Méthode : Le pinceau était un outil simple et local. Il regardait une minuscule goutte de liquide et décidait de la couleur d'un seul pixel. Il ne pouvait pas parler à ses voisins.
La Méthode de RaPD : Ils ont construit un super-pinceau appelé le Rendu par Attention Interrogée par Coordonnées (CQAR). Ce pinceau est spécial car :
- Il sait exactement où il peint (les coordonnées).
- Il peut regarder l'image entière tout en peignant un seul point. Il se demande : « Je peins ici l'oreille d'un renard ; le reste du liquide indique-t-il que le corps est par là-bas ? »
- Cela lui permet de raisonner sur l'image entière, garantissant que le renard n'aura pas une queue au mauvais endroit, même si l'image est énorme.

3. La « Toile Magique » (Agnostique à la Résolution)

C'est la partie la plus cool.

L'Ancienne Grille : Pour créer une image 4K, l'IA devait exécuter un processus lourd et lent pour générer l'équivalent de données 4K. Pour créer une image 8K, elle devait exécuter ce processus à nouveau pour encore plus de données.
La Magie de RaPD : L'IA génère le « liquide intelligent » une seule fois. Cela prend un temps fixe, peu importe la taille de l'image finale.
- Voulez-vous une image de 512x512 ? Vous plongez votre pinceau dans le liquide à 512 endroits.
- Voulez-vous une image de 4096x4096 ? Vous plongez votre pinceau dans le même liquide à 4096 endroits.
- Le Coût : La partie coûteuse (fabriquer le liquide) reste la même. La seule chose qui change est le nombre de fois où vous plongez le pinceau. Cela signifie que RaPD peut générer des images massives et haute résolution presque aussi vite que les petites, alors que les autres méthodes deviennent exponentiellement plus lentes.

Résumé des Résultats

L'article montre que RaPD peut :

Générer des images à partir d'invites textuelles qui ressemblent mieux et comportent moins d'erreurs (comme des formes brisées) que les méthodes précédentes basées sur les pixels.
S'étendre à des résolutions arbitraires (des petites vignettes aux murs massifs de 4K+) sans réentraîner le modèle.
Faire cela tout en maintenant le coût de calcul pour la partie « création » fixe, ne payant qu'un petit coût supplémentaire pour la partie « peinture » à mesure que l'image grossit.

En bref, RaPD enseigne à une IA à comprendre le sens d'une image continue et lui donne un pinceau capable de peindre ce sens à n'importe quelle taille, instantanément, sans avoir besoin de reconstruire toute l'usine à chaque fois que la toile grossit.

Résumé technique : RaPD (Diffusion de Pixels Résolution-Agnostique)

1. Énoncé du problème

Les images naturelles sont intrinsèquement continues, pourtant les modèles génératifs modernes opèrent principalement sur des grilles spatiales discrètes (soit dans des espaces latents de VAE, soit dans des espaces de pixels). Cette discrétisation impose une limitation fondamentale : générer des images à des résolutions arbitraires et inédites nécessite d'augmenter le nombre de tokens et le coût computationnel, rendant la génération native en haute résolution difficile.

Les approches existantes pour la génération à résolution arbitraire introduisent généralement la continuité uniquement au stade du décodage.

Les GAN utilisent des MLP interrogés par coordonnées mais souffrent d'une capacité de génération limitée.
Les Modèles de Diffusion Latente (LDM) emploient des décodeurs flexibles, mais le processus de diffusion lui-même reste confiné à un espace latent discret et compressé, héritant du goulot d'étranglement du VAE et liant la sémantique à un contenu discret.
Les Modèles de Diffusion de Pixels opèrent directement sur les pixels mais génèrent toujours sur des grilles discrètes fixes.
Les Champs d'Images Neuronaux (NIF) comme LIIF et CLIF permettent un rendu sans résolution mais sont principalement entraînés pour l'interpolation et la reconstruction. Leurs latents sont optimisés pour des indices d'apparence locale et manquent de la structure sémantique requise pour une modélisation générative de haute qualité.

Le problème central abordé est l'écart reconstruction–génération : les représentations continues existantes sont excellentes pour la reconstruction par super-résolution mais échouent lorsqu'elles sont utilisées directement pour la génération d'images à partir de texte. L'article se demande si la génération d'images peut être formulée sur des « pixels continus » plutôt que sur des grilles discrètes ou des proxies compressés.

2. Méthodologie

Les auteurs proposent RaPD (Diffusion de Pixels Résolution-Agnostique), un cadre qui effectue la diffusion directement au sein d'un espace latent continu de Champ d'Image Neuronal (NIF). Le cadre se compose de deux étapes principales et de trois composants techniques clés.

2.1 Cadre de base

RaPD adopte une conception en deux étapes :

Étape 1 (Apprentissage NIF) : Un encodeur $E_\phi$ mappe une image d'entrée vers un latent NIF dense et haute résolution $z$ sans sous-échantillonnage spatial. Un Rendu par Attention Interrogé par Coordonnées (CQAR) rend ce latent à des coordonnées cibles arbitraires.
Étape 2 (Entraînement de la Diffusion) : L'encodeur et le rendu sont figés. Un débruiteur de style DiT est entraîné pour prédire la vitesse d'appariement de flux sur des latents NIF normalisés, conditionné par des embeddings de texte.

À l'inférence, un seul latent débruité est rendu à n'importe quelle résolution cible en modifiant uniquement la grille de coordonnées interrogées, maintenant le coût de diffusion fixe quelle que soit la taille de sortie.

2.2 Guidance de Représentation Sémantique (SRG)

Pour combler l'écart entre les NIF orientés reconstruction et la modélisation générative, RaPD introduit la SRG, qui opère à la fois au niveau de la représentation et de l'entraînement de la diffusion :

Distillation Sémantique : Puisque les latents NIF standards manquent de structure sémantique, RaPD injecte des sémantiques issues d'un modèle de fondation visuelle figé (DINOv2 ViT-B/14) dans le latent NIF dense durant l'Étape 1.
- Le latent NIF $z$ est projeté pour correspondre à la grille de patches DINOv2.
- Une perte d'alignement comprenant une perte cosinus (imposant un accord sémantique par position) et une perte de similarité de matrice de distance (préservant la géométrie relationnelle par paires) est optimisée.
- Cela agit comme une supervision formatrice, façonnant le latent en une représentation consciente de la génération sans sacrifier les capacités de rendu par coordonnées.
Décalage d'Échelon Temporal Sensible à la Densité Latente : Les schémas d'appariement de flux standards sont conçus pour des latents VAE compressés. Les latents NIF de RaPD sont denses et haute résolution. Pour compenser cette densité d'information accrue, les auteurs introduisent un facteur de décalage d'échelon temporel plus important ( $s=32$ ) dans le schéma d'appariement de flux. Cela priorise les étapes de bruit élevé (petit $t$ ), qui sont critiques pour générer un contenu cohérent dans des espaces latents denses.

2.3 Rendu par Attention Interrogé par Coordonnées (CQAR)

Les décodeurs implicites existants (par exemple LIIF, CLIF) utilisent des MLP ponctuels ou des CNN peu profonds qui traitent les caractéristiques locales indépendamment. Ceux-ci échouent à exploiter la structure sémantique globale injectée par la SRG.

RaPD remplace ces derniers par le CQAR, qui effectue une attention sur les coordonnées de sortie interrogées plutôt que sur la grille de latent d'entrée.

Construction de Tokens : Pour chaque coordonnée cible, un token est construit à partir de la caractéristique latente du plus proche voisin, de la coordonnée absolue, du décalage relatif et de la taille de la cellule.
Attention Fenêtrée : Ces tokens sont traités par des blocs d'attention auto-fenêtrée de style Swin. Cela permet un raisonnement sémantique inter-pixel, permettant au rendu de raisonner globalement à travers les pixels interrogés tout en maintenant un coût computationnel évolutif.

3. Contributions Clés

Cadre RaPD : Un cadre de diffusion de pixels résolution-agnostique qui génère des signaux d'image continus directement dans un espace latent NIF, découplant le coût de diffusion de la résolution de sortie.
Guidage de Représentation Sémantique (SRG) : Une stratégie pour transformer des latents continus orientés reconstruction en représentations conscientes de la génération via une distillation sémantique et des schémas d'appariement de flux adaptés.
Rendu par Attention Interrogé par Coordonnées (CQAR) : Un décodeur novateur qui remplace les opérateurs implicites locaux par une attention conditionnée aux coordonnées et sensible à l'échelle, permettant un rendu arbitraire de résolution spatialement cohérent.

4. Résultats Expérimentaux

L'article évalue RaPD par rapport aux modèles de diffusion latente de l'état de l'art (par exemple SD3, FLUX.1-dev) et aux modèles de diffusion de pixels (par exemple PixelGen, DeCo, PixNerd).

Qualité de Génération : Sur GenEval, RaPD atteint un score global de 0,85, surpassant PixelGen (0,79) et DeCo (0,83), avec des améliorations significatives dans les catégories compositionnelles (deux objets, comptage, couleur). Sur DPG-Bench, RaPD obtient 81,6, dépassant les bases de diffusion de pixels.
Génération à Résolution Arbitraire : RaPD démontre une forte généralisation aux résolutions hors distribution (jusqu'à $4096^2$ ) malgré un entraînement avec supervision jusqu'à $512^2$ . Les images générées maintiennent une structure globale cohérente et des détails fins à haute résolution.
Efficacité : Un avantage critique est l'évolutivité computationnelle. Alors que les modèles de diffusion de pixels à grille fixe (PixelGen, DeCo) présentent une croissance quadratique du temps d'inférence avec la résolution, RaPD maintient le coût de débruitage presque fixe.
- À $4096^2$ , PixelGen et DeCo prennent >61 secondes.
- RaPD prend seulement 2,13 secondes pour la même résolution, car le coût de diffusion est indépendant de la taille de sortie.

5. Importance et Limites

Importance :
L'article affirme que RaPD déplace fondamentalement le paradigme de la génération d'images en formulant le processus sur des « pixels continus ». Il démontre avec succès qu'une génération de haute qualité et résolution-agnostique est possible sans le goulot d'étranglement d'information des VAE ni l'échelle de coût quadratique de la diffusion de pixels discrète. En traitant l'espace latent comme un signal continu plutôt qu'une grille discrète, RaPD atteint une combinaison unique de qualité de génération et d'efficacité d'inférence à haute résolution.

Limites :
Les auteurs reconnaissent plusieurs contraintes :

Échelle des Données : Le modèle est entraîné sur environ 36 millions d'images (BLIP3o), ce qui est substantiellement moins que les modèles à échelle commerciale (par exemple SD3, FLUX), limitant potentiellement la qualité absolue de génération.
Encodeur de Texte : L'utilisation d'un encodeur de texte Qwen3-1.7B figé et relativement compact peut contraindre la compréhension de prompts complexes par rapport aux systèmes utilisant de plus grands modèles de langage.
Optimisation de l'Inférence : L'implémentation actuelle n'utilise pas encore d'optimisations avancées comme FlashAttention, des noyaux fusionnés ou la quantification FP8, ce qui signifie que les latences rapportées sont des bornes supérieures conservatrices.

L'article conclut que les travaux futurs pourraient se concentrer sur l'augmentation de l'échelle des jeux de données/modèles, l'extension du cadre à la génération/editing contrôlable, et la mise en œuvre d'une accélération d'inférence adaptée au matériel.