🤖 AI

Tiled Prompts: Overcoming Prompt Misguidance in Image and Video Super-Resolution

Le papier propose « Tiled Prompts », un cadre unifié pour la super-résolution d'images et de vidéos qui génère des prompts spécifiques à chaque tuile latente afin de corriger les erreurs de guidage des prompts globaux et d'améliorer la qualité perceptuelle tout en réduisant les artefacts et les hallucinations.

Auteurs originaux : Bryan Sangwoo Kim, Jonghyun Park, Jong Chul Ye

Publié 2026-04-13

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Bryan Sangwoo Kim, Jonghyun Park, Jong Chul Ye

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎨 Le Problème : Le Chef d'Orchestre qui ne voit que la grande vue

Imaginez que vous essayez de restaurer une vieille photo ou une vidéo floue pour la rendre ultra-nette (en 4K ou 8K). Pour cela, vous utilisez une intelligence artificielle très puissante, un peu comme un chef d'orchestre génial qui sait dessiner des détails incroyables.

Dans les méthodes actuelles, on donne au chef d'orchestre une seule instruction globale pour toute l'image. Par exemple : "C'est une rue animée avec des voitures, des arbres et un panneau publicitaire."

Le problème ?
L'image est si grande qu'on doit la découper en centaines de petits morceaux (des "tuiles") pour pouvoir la traiter. Le chef d'orchestre reçoit la même instruction pour chaque petit morceau.

Sur un morceau qui montre juste un panneau, le chef pense : "Ah, une rue animée !" et commence à dessiner des voitures ou des arbres qui n'ont rien à voir. C'est comme si on lui demandait de peindre un ciel bleu alors qu'il regarde le sol.
Sur un morceau qui montre un texte flou, le chef ne sait pas quoi écrire car l'instruction globale est trop vague. Il invente des mots au hasard (des "hallucinations").

En résumé : Une seule instruction pour tout l'image crée de la confusion. C'est ce que les auteurs appellent le "prompt misguidance" (un mauvais guidage par le texte).

💡 La Solution : Des "Post-it" pour chaque coin de l'image

L'équipe de KAIST propose une idée brillante appelée "Tiled Prompts" (Invites en Tuiles).

Au lieu de donner une seule longue description à tout le monde, ils utilisent un assistant intelligent (un modèle de langage visuel) qui regarde chaque petit morceau de l'image individuellement et écrit une note spécifique pour ce morceau précis.

L'analogie du chantier de rénovation :

Méthode ancienne : Le directeur donne un seul plan général à tous les ouvriers : "Rénovez la maison". L'ouvrier qui travaille dans la cuisine essaie de peindre la chambre, et celui qui est dans la chambre essaie de poser du carrelage. Résultat : le chaos.
Méthode "Tiled Prompts" : Le directeur donne à chaque ouvrier un post-it collé sur son mur de travail :
- Ouvrier Cuisine : "Peins les murs en blanc, pose du carrelage bleu et écris 'Café' sur la porte."
- Ouvrier Chambre : "Peins les murs en beige, pose du parquet et écris 'Dodo' sur l'armoire."

Chaque morceau de l'image reçoit sa propre description précise. Le chef d'orchestre (l'IA) sait exactement quoi faire pour chaque zone.

🚀 Pourquoi ça marche si bien ?

Plus d'erreurs d'omission : Si un panneau indique "Pizzeria", l'instruction globale pourrait oublier ce détail. Mais l'assistant qui regarde le petit morceau dira : "Attention, il y a un mot ici : Pizzeria". L'IA recréera le mot parfaitement.
Moins d'erreurs de commission : L'IA ne va plus dessiner des nuages sur un morceau qui montre du bitume, car l'instruction spécifique dira : "C'est du bitume, pas de ciel".
Pour les vidéos : C'est encore plus important ! Dans une vidéo, les choses bougent. Une instruction globale ne peut pas dire "la roue tourne" pour un cadre et "la roue est arrêtée" pour le suivant. Avec les "Tiled Prompts", l'IA comprend le mouvement local de chaque petit bout de vidéo.

🏆 Le Résultat

Grâce à cette méthode, les images et vidéos restaurées sont :

Plus nettes (les détails sont précis).
Plus réalistes (pas de mots bizarres ou d'objets qui n'existent pas).
Rapides : L'ajout de cette étape de "lecture des post-it" prend très peu de temps supplémentaire.

En résumé : Au lieu de crier une seule consigne générale à toute la classe, l'enseignant s'approche de chaque élève pour lui donner une consigne personnalisée. Résultat : tout le monde travaille mieux et l'image finale est magnifique !

1. Problématique : Le "Prompt Misguidance" (Désorientation de l'invite)

L'article identifie une limitation critique dans les pipelines modernes de super-résolution (SR) basés sur des modèles de diffusion textuels, en particulier lorsqu'ils sont appliqués à des images et vidéos de très haute résolution.

Contexte : Pour gérer les contraintes de mémoire (VRAM) lors de la génération de hautes résolutions (ex: 4K), les méthodes actuelles utilisent une stratégie de tesselation latente (latent tiling). L'image est divisée en plusieurs tuiles (tiles) qui sont traitées individuellement puis fusionnées.
Le problème : Traditionnellement, une seule invite globale (global prompt) est générée à partir de l'image basse résolution complète et réutilisée pour toutes les tuiles.
Conséquences : Cette approche entraîne un phénomène de "prompt misguidance" (désorientation de l'invite) qui se manifeste sous deux formes :
1. Erreurs d'omission (Errors of Omission) : L'invite globale est trop coarse et manque de détails localisés spécifiques à une tuile donnée (ex: le texte sur un panneau spécifique, une texture fine).
2. Erreurs de commission (Errors of Commission) : L'invite globale contient des sémantiques pertinentes pour d'autres zones de l'image mais totalement hors sujet pour la tuile en cours de traitement (ex: mentionner le "ciel" pour une tuile montrant un "sol").
Résultat : Cela conduit à des reconstructions sous-optimales, des hallucinations sémantiques et des artefacts aux limites des tuiles, car le modèle de diffusion reçoit un guidage sémantique incohérent avec le contenu local.

2. Méthodologie : Tiled Prompts

Les auteurs proposent un cadre unifié nommé Tiled Prompts pour résoudre ce problème en remplaçant l'invite globale unique par des invites spécifiques à chaque tuile.

Principe de base : Au lieu d'utiliser $c_{global}$ pour toutes les tuiles, le système génère une invite locale dense ( $c^{(i)}_{local}$ ) pour chaque tuile $i$ du réseau de tesselation.
Rôle des VLM (Vision-Language Models) :
- Pour l'Image (SISR) : Un modèle VLM (Qwen2.5-VL) analyse chaque tuile basse résolution individuellement pour générer une description textuelle précise et contextuelle.
- Pour la Vidéo (VSR) : Le défi est plus complexe car il faut gérer la cohérence temporelle et les mouvements. Le VLM reçoit à la fois la tuile locale (pour les détails) et la séquence vidéo complète (pour le contexte global), afin de générer des invites qui capturent la dynamique locale (ex: "roues qui tournent" au lieu de juste "voiture").
Fondement Théorique :
- Les auteurs formalisent le problème via la théorie de l'information. Ils définissent un écart d'information mutuelle ( $\Delta I$ ) entre l'invite idéale locale et l'invite utilisée.
- Ils démontrent que le "prompt misguidance" est borné inférieurement par cet écart d'information.
- En utilisant des invites locales précises, le cadre réduit cet écart ( $\Delta I_{local} \leq \Delta I_{global}$ ), minimisant ainsi la divergence de trajectoire générative et permettant au modèle de converger vers des détails haute fréquence plus fidèles.

3. Contributions Clés

Définition et Analyse du "Prompt Misguidance" : Identification formelle des erreurs d'omission et de commission dans le contexte de la super-résolution par tesselation, et analyse de leur impact négatif sur la qualité de reconstruction.
Cadre Unifié (Tiled Prompts) : Proposition d'une méthode qui génère dynamiquement des invites textuelles spécifiques à chaque tuile via des VLM, applicable aussi bien à la super-résolution d'images (SISR) qu'à celle de vidéos (VSR).
Preuve Théorique : Démonstration mathématique que l'utilisation d'invites locales réduit la borne inférieure de l'erreur de guidage en minimisant l'écart d'information mutuelle.
Performance et Efficacité : Validation expérimentale montrant que cette approche améliore la qualité perceptuelle et la fidélité sans surcharge computationnelle significative.

4. Résultats Expérimentaux

Les expériences ont été menées sur des datasets réels (Urban100, OST300, LSDIR pour les images ; VideoLQ, RealVSR, MVSR pour la vidéo) en utilisant divers modèles de base (DiT4SR, STAR, OSEDiff, etc.).

Qualité d'Image/Vidéo :
- Les méthodes utilisant des invites locales (Local) surpassent systématiquement les baselines à invite globale (Global) sur toutes les métriques de qualité d'image (NIQE, MUSIQ, MANIQA, CLIPIQA) et de qualité vidéo (FasterVQA, DOVER).
- L'approche "Local" s'est révélée supérieure même à la combinaison "Global + Local", suggérant que la pertinence contextuelle est plus importante que la simple quantité de tokens textuels.
Alignement Texte-Image :
- Les métriques d'alignement (CLIP Score, ImageReward, HPSv2, VQAScore) montrent une amélioration significative, prouvant que les invites générées correspondent beaucoup mieux au contenu visuel local que les invites globales.
Réduction des Artéfacts :
- Les résultats qualitatifs (Figures 4 et 5) illustrent une reconstruction précise de détails fins (texte, textures, mouvements) et une élimination des hallucinations sémantiques présentes dans les méthodes globales.
Coût Computationnel :
- L'ajout de l'étape d'extraction des invites par VLM n'augmente le temps d'inférence que de manière négligeable (ex: +3,5 secondes pour 25 tuiles sur une image), rendant la méthode très efficace.
Robustesse au CFG :
- L'analyse par ablation sur l'échelle de guidage (CFG) montre que les invites locales deviennent de plus en plus avantageuses à mesure que le guidage textuel s'intensifie, là où les invites globales échouent à cause de la désorientation accrue.

5. Signification et Impact

Ce travail est significatif car il adresse un goulot d'étranglement fondamental dans l'application des modèles de diffusion génératifs à la haute résolution.

Changement de Paradigme : Il démontre que pour les tâches de restauration d'images à très haute résolution, le guidage sémantique ne peut pas être global ; il doit être spatialement et temporellement dense.
Universalité : La méthode est agnostique au modèle de base (fonctionne avec DiT, Diffusion Transformers, etc.) et applicable aussi bien aux images statiques qu'aux séquences vidéo.
Praticité : En résolvant le problème de désorientation avec un coût computationnel minime, "Tiled Prompts" offre une solution pratique et immédiate pour améliorer la qualité des systèmes de super-résolution réels, en particulier pour des applications nécessitant une grande fidélité des détails (médical, archivistique, surveillance).

En résumé, Tiled Prompts transforme la super-résolution textuelle d'un processus global et approximatif en un processus local et précis, éliminant les ambiguïtés sémantiques qui limitaient jusqu'alors la qualité des reconstructions à haute résolution.