Disentangled Textual Priors for Diffusion-based Image Super-Resolution

Ce papier présente DTPSR, un cadre de super-résolution d'images basé sur la diffusion qui améliore la qualité et le contrôle sémantique en introduisant des priors textuels désengagés selon les dimensions hiérarchique spatiale et sémantique fréquentielle, soutenus par un nouveau jeu de données nommé DisText-SR.

L'essentiel

Imaginez que vous essayez de restaurer une vieille photo de famille très abîmée, floue et pixélisée. C'est le défi de la Super-Résolution d'Image : transformer une image de mauvaise qualité en une photo haute définition.

Les méthodes actuelles utilisent souvent des "intelligences artificielles" qui devinent les détails manquants. Mais parfois, ces IA font des erreurs étranges : elles remplacent un visage par une texture de peau de poisson, ou transforment un mur en océan. Pourquoi ? Parce qu'elles essaient de tout comprendre d'un seul coup, comme si elles devaient deviner à la fois la forme d'une maison et la texture de ses briques en même temps, sans faire la différence.

Voici comment DTPSR (le nouveau système présenté dans l'article) change la donne, expliqué simplement :

1. Le Problème : Le "Smoothie" vs Le "Plateau Repas"

Les anciennes méthodes fonctionnent comme un smoothie. Elles prennent toutes les informations (la forme globale, les couleurs, les détails fins) et les mélangent dans un seul bol. Résultat ? C'est difficile de savoir ce qui est quoi, et l'IA peut se tromper en mélangeant les ingrédients.

DTPSR, lui, fonctionne comme un plateau repas bien organisé. Il sépare les informations en deux dimensions clés :

• L'espace (Global vs Local) : D'abord, on regarde la photo entière (c'est la "maison"). Ensuite, on regarde les détails spécifiques (c'est la "porte" ou la "fenêtre").
• La fréquence (Basse vs Haute) : C'est le concept le plus intéressant.
  • Basse fréquence = Les grandes formes, les couleurs, les contours (comme le dessin au crayon d'un visage).
  • Haute fréquence = Les textures, les poils, les rides, les détails fins (comme la peau réelle du visage).

2. La Solution : Un Chef Cuisinier Organisé

Imaginez que l'IA est un chef cuisinier qui doit recréer un plat complexe à partir d'une description vague.

• L'approche ancienne : Le chef reçoit une seule phrase : "Fais un gâteau avec des fraises et du chocolat". Il risque de mettre les fraises partout ou de confondre le chocolat avec de la terre.
• L'approche DTPSR : Le chef reçoit un menu détaillé et séparé :
  1. Le Chef de la Structure (Global) : "C'est un gâteau rond, avec deux étages." (Il pose la forme de base).
  2. Le Chef des Formes (Basse Fréquence) : "Le premier étage est rouge, le second est blanc." (Il ajoute les couleurs et les contours).
  3. Le Chef des Détails (Haute Fréquence) : "Le rouge a une texture de velours, le blanc a des copeaux de chocolat." (Il ajoute la texture réaliste).

En séparant ces tâches, le chef (l'IA) ne se trompe plus. Il sait exactement où mettre les textures et où placer les formes.

3. L'Outil Secret : Le "DisText-SR"

Pour apprendre à ce chef à cuisiner ainsi, les chercheurs ont créé une nouvelle recette de cuisine (une base de données appelée DisText-SR).
Au lieu de donner une simple photo et un titre, ils ont pris 95 000 images et ont écrit pour chacune :

• Une description de la scène globale.
• Une description des formes de chaque objet (sans les détails).
• Une description des textures de chaque objet (sans les formes).

C'est comme si on entraînait l'IA avec des milliers de livres de cuisine où chaque ingrédient est décrit séparément, pour qu'elle apprenne la différence entre "une pomme" (forme) et "la peau lisse de la pomme" (texture).

4. Le Résultat : Moins d'Hallucinations

Grâce à cette séparation, DTPSR évite les "hallucinations" (ces erreurs bizarres où l'IA invente des choses).

• Si l'image est très abîmée, l'IA sait : "Ah, je dois d'abord reconstruire la forme du visage (basse fréquence), puis ajouter la peau (haute fréquence)".
• Elle utilise aussi un système de "filtre négatif" (comme un garde du corps) qui dit : "Non, ne mets pas d'océan sur ce mur, c'est un mur !" pour chaque type de détail séparément.

En Résumé

DTPSR, c'est comme passer d'un dessin au feutre brouillon à une peinture à l'huile précise. Au lieu de tout mélanger, l'IA apprend à démêler les informations : d'abord le squelette de l'image, puis sa chair, et enfin sa peau. Le résultat est une image plus nette, plus réaliste et qui respecte vraiment ce qui est censé être là, même si l'image de départ était très abîmée.

Résumé technique

1. Problématique

La Super-Résolution d'Image (SR) vise à reconstruire des images haute résolution (HR) à partir d'entrées basse résolution (LR). Bien que les méthodes basées sur les modèles de diffusion aient démontré des capacités génératives supérieures aux GANs pour restaurer les textures et les détails, elles souffrent de limitations majeures lorsqu'elles sont guidées par du texte :

• Priors entremêlés (Entangled Priors) : Les approches existantes utilisent souvent des descriptions textuelles globales ou locales qui mélangent la structure de la scène et les détails locaux, ou confondent les informations de basse fréquence (forme, couleur) et de haute fréquence (textures, bords).
• Manque de contrôle sémantique : Cette confusion limite la capacité du modèle à contrôler précisément la génération, entraînant des hallucinations (ajout d'éléments inexistants), des incohérences spatiales ou une interprétation erronée des régions lisses comme des textures complexes.
• Absence de dataset structuré : Il n'existait pas de jeu de données à grande échelle fournissant des annotations textuelles désagrégées selon la hiérarchie spatiale et la fréquence sémantique.

2. Méthodologie : DTPSR

Les auteurs proposent DTPSR, un cadre de super-résolution basé sur la diffusion qui introduit des priors textuels désagrégés le long de deux axes complémentaires : la hiérarchie spatiale (Global vs Local) et la sémantique fréquentielle (Basse vs Haute fréquence).

Architecture du Modèle

Le processus de génération suit un pipeline progressif où différents types de priors sont injectés via des modules d'attention croisée (Cross-Attention) spécialisés :

1. Encodage des Priors :
   • Prior Global ($c_g$) : Décrit la scène entière (disposition, arrière-plan). Encodé via un encodeur CLIP et injecté via le module GTCA (Global Text Cross-Attention) pour établir la structure globale.
   • Priors Locaux Basse Fréquence ($c_{lf}$) : Décrit la forme, la taille et la disposition spatiale des objets. Injectés via LFCA pour raffiner l'intégrité structurelle.
   • Priors Locaux Haute Fréquence ($c_{hf}$) : Décrit les textures, les bords et les détails de surface. Injectés via HFCA pour améliorer le réalisme perceptuel.
2. Cohérence Visuelle (LRCA) : Un module d'attention croisée sur les caractéristiques de l'image LR (extraites par un encodeur DAPE) est utilisé pour ancrer la génération à l'identité de l'image d'entrée et éviter la dérive sémantique.
3. Flux de génération : Le latent bruité $z_t$ est mis à jour séquentiellement : $z_t \xrightarrow{GTCA} z^g_t \xrightarrow{LFCA} z^{lf}_t \xrightarrow{HFCA} z^{hf}_t \xrightarrow{LRCA} z_{t-1}$.

Stratégie de Guidance (Multi-branch CFG)

Pour supprimer les hallucinations, les auteurs étendent la Classifier-Free Guidance (CFG) classique en une stratégie multi-branches. Au lieu d'une seule invite négative, le modèle utilise trois invites négatives distinctes ($c_{neg}^g, c_{neg}^{lf}, c_{neg}^{hf}$) pour supprimer spécifiquement les erreurs de disposition globale, les erreurs structurelles et les artefacts de texture.

3. Contributions Clés

1. Framework DTPSR : Une nouvelle architecture de diffusion qui sépare explicitement les priors textuels en dimensions spatiales et fréquentielles, permettant une restauration interprétable et contrôlable de la structure globale aux détails fins.
2. Dataset DisText-SR : Construction d'un nouveau jeu de données à grande échelle contenant environ 95 000 paires image-texte. Chaque image est annotée avec :
   • Une description globale.
   • Des descriptions locales basse fréquence (forme, couleur).
   • Des descriptions locales haute fréquence (textures, bords).
     Ces annotations sont générées automatiquement via un pipeline combinant segmentation panoptique (Mask2Former) et un modèle de langage multimodal (LLaVA).
3. Mécanisme d'injection désagrégé : Introduction de canaux d'attention séparés pour chaque type de prior, couplés à une guidance négative multi-branches pour améliorer la fidélité sémantique.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks synthétiques (DIV2K-Val) et réels (RealSR, DRealSR).

• Qualité Perceptuelle : DTPSR obtient les scores les plus élevés sur toutes les métriques sans référence (No-Reference) :
  • MUSIQ : 71.24 (DIV2K), 71.84 (RealSR).
  • MANIQA : 0.5866 (DIV2K), 0.6021 (RealSR).
  • CLIP-IQA : 0.7549 (DIV2K), 0.7278 (RealSR).
    Ces résultats surpassent nettement les méthodes de l'état de l'art comme StableSR, DiffBIR, SUPIR et FaithDiff.
• Fidélité : Bien que les méthodes basées sur la distorsion (GANs) obtiennent des scores PSNR/SSIM légèrement supérieurs, DTPSR maintient une fidélité compétitive tout en offrant une qualité visuelle bien supérieure, évitant le lissage excessif et les artefacts.
• Robustesse : L'ablation study montre que DTPSR reste robuste même en présence d'erreurs dans les modules amont (segmentation ou génération de texte), prouvant la solidité des priors désagrégés.
• Efficacité : Malgré l'ajout de modules amont, le temps d'inférence reste raisonnable (~15s par image) grâce à un modèle de légende léger et un traitement sélectif des segments.

5. Signification et Impact

Ce travail représente une avancée significative dans le domaine de la super-résolution générative en adressant le problème fondamental du contrôle sémantique.

• Interprétabilité : En séparant la structure (basse fréquence) de la texture (haute fréquence), le modèle permet aux utilisateurs de comprendre et de contrôler quelles parties de l'image sont restaurées et comment.
• Réduction des Hallucinations : La stratégie de guidance négative multi-branches permet de supprimer spécifiquement les erreurs de génération à différentes échelles, un problème majeur des modèles de diffusion actuels.
• Ressource pour la Communauté : La publication du dataset DisText-SR ouvre la voie à de futures recherches sur la super-résolution contrôlée et sémantiquement fondée, comblant le vide entre les descriptions textuelles globales et les détails locaux.

En résumé, DTPSR démontre que la désagrégation fine des priors textuels est la clé pour obtenir une super-résolution qui est à la fois réaliste, fidèle à l'entrée et sémantiquement cohérente.