Résumé technique : RASR : Super-résolution augmentée par la recherche pour la restauration d'images pratique basée sur une référence

1. Énoncé du problème

La Super-résolution d'image unique (SISR) vise à reconstruire des images haute résolution (HR) à partir d'entrées basse résolution (LR). Bien que les récentes avancées des CNN, des Transformers et des modèles de diffusion aient amélioré la qualité perceptive, la SISR reste un problème mal posé. Elle éprouve souvent des difficultés à halluciner des textures fines, en particulier dans les régions à contenu complexe ou ambigu.

La Super-résolution basée sur une référence (RefSR) répond à ce problème en exploitant des images de référence auxiliaires de haute qualité partageant une similarité sémantique ou structurelle avec l'entrée LR pour transférer des textures réalistes. Cependant, les approches RefSR existantes souffrent d'une limitation critique : elles reposent sur des paires d'images cible-référence soigneusement sélectionnées manuellement. Cette hypothèse contraint sévèrement l'évolutivité et l'applicabilité dans le monde réel, car les utilisateurs possèdent rarement des références parfaitement appariées au moment de l'inférence. Le défi consistant à acquérir efficacement des images de référence adaptées dans des scénarios de monde ouvert reste sous-exploré.

2. Méthodologie : RASR et RASRNet

Pour combler le fossé entre la recherche académique et le déploiement pratique, les auteurs proposent la Super-résolution augmentée par la recherche (RASR), un paradigme qui récupère automatiquement des images HR sémantiquement pertinentes à partir d'une base de données de référence, étant donné uniquement une entrée LR.

A. Formulation de la tâche

La tâche RASR est définie comme $RASR(I_{LR}) = G(I_{LR}, I_{REF}) = G(I_{LR}, R(DB, I_{LR}))$, où :

• $DB$ est une base de données pré-sélectionnée d'images de référence de haute qualité.
• $R$ est un récupérateur sélectionnant l'$I_{REF}$ la plus sémantiquement pertinente basée sur $I_{LR}$.
• $G$ est une fonction de génération reconstruisant la sortie HR conditionnée par les deux entrées.

B. Architecture du réseau (RASRNet)

La base de référence proposée, RASRNet, intègre deux modules principaux :

1. Récupérateur d'images de référence du monde réel (RIRR) :

   • Contrairement aux méthodes basées sur la texture qui échouent sur les images LR dégradées, RIRR utilise une recherche basée sur la sémantique.
   • Il emploie des encodeurs de vision DINOv2 pour extraire des embeddings à partir des images de référence.
   • La recherche est effectuée via un appariement de similarité cosinus pour identifier la référence la plus similaire pour une entrée LR donnée.

2. Super-résolution par diffusion basée sur référence (RefDSR) :

   • Il s'agit d'un générateur plug-and-play ($G_\theta$) construit sur une colonne vertébrale de diffusion SISR pré-entraînée (par exemple, StableSR).
   • Stratégie de gel : Les paramètres de l'encodeur VAE original ($E$), du décodeur ($D$) et de l'UNet ($F$) sont gelés pour préserver les capacités génératives.
   • Intégration ControlNet : Une branche ControlNet entraînable ($F^{REF}_\theta$) est introduite. Elle utilise des modules LoRA et des couches de convolution zéro dans les DownBlocks.
   • Injection de caractéristiques : L'image de référence $I_{REF}$ est encodée par un encodeur VAE gelé ($E^{REF}$) en une représentation latente $z_{REF}$. Celle-ci est injectée dans la branche ControlNet.
   • Fusion conditionnelle : Les caractéristiques de référence sont injectées uniquement dans les trois premiers blocs de décodeur de l'UNet. L'attention croisée basée sur le texte est appliquée exclusivement dans le dernier bloc de décodeur. Cette conception assure que les étapes initiales se concentrent sur la reconstruction structurelle sous guidance sémantique, tandis que l'étape finale affine la fidélité globale et le style via la condition textuelle.
   • Objectifs d'entraînement : Le modèle est entraîné en utilisant une somme pondérée de la perte MSE, de la perte perceptuelle LPIPS, de la perte GAN (avec un discriminateur à base de DINO fixe) et d'une perte Gram ($L_{Gram}$) pour améliorer le réalisme des textures.

C. Jeu de données : RASR-Flickr30

Les auteurs introduisent RASR-Flickr30, le premier benchmark conçu pour RASR.

• Source : Images collectées sur Flickr.com.
• Focus : 30 espèces animales, choisies pour leur diversité et leur cohérence intra-espèce.
• Structure : Pour chaque espèce, le jeu de données fournit 40 images d'entraînement, 5 images de test et environ 100 images de référence pour soutenir une recherche dynamique en monde ouvert. Cela contraste avec les jeux de données précédents qui reposent sur des paires cible-référence fixes.

3. Résultats expérimentaux

Des expériences ont été menées sur le jeu de données de test RASR-Flickr30 et le jeu de données WR-SR, comparant RASRNet aux méthodes SISR basées sur GAN, RefSR et à diffusion les plus avancées.

Performance quantitative

RASRNet surpasse constamment les bases de référence SISR et les autres méthodes RefSR sur le jeu de données de test RASR-Flickr30 :

• Fidélité : Une amélioration de +0,38 dB PSNR et de +0,0063 SSIM par rapport à la base de référence OSEDiff.
• Qualité perceptive : Des réductions significatives des métriques d'erreur perceptive : -0,0131 LPIPS, -0,0172 DISTS et -8,76 FID.
• Métriques sans référence : Amélioration de NIQE de -0,0870 et gains obtenus sur MUSIQ (+0,98) et CLIPIQA (+0,0134).
• Comparaison avec RefSR : Les méthodes RefSR précédentes (par exemple, C2-Matching, DATSR) ont montré des performances inférieures sur les images présentant des dégradations réalistes par rapport aux modèles SISR basés sur GAN. RASRNet, s'appuyant sur une architecture de diffusion, s'est avéré plus robuste face aux dégradations complexes où les réseaux de correspondance par appariement de patches échouent généralement.

Observations qualitatives

Les comparaisons visuelles (par exemple, les exemples de loutre et de paon) indiquent que tandis que d'autres méthodes basées sur la diffusion (StableSR, DiffBIR, PASD) éprouvent des difficultés avec la suppression du bruit, la précision structurelle ou la régularité des textures, RASRNet reconstruit avec succès des textures plus riches (par exemple, fourrure, plumes) et des traits du visage plus réalistes, aboutissant à des restaurations fidèles et visuellement convaincantes.

4. Importance et contributions

L'article revendique trois contributions principales qui font avancer le domaine de la restauration d'images :

1. Nouveau paradigme (RASR) : La proposition de la Super-résolution augmentée par la recherche, qui élimine le besoin d'un appariement manuel de références. Cela permet un déploiement flexible dans des scénarios réels (par exemple, musées, zoos) où des données de référence spécifiques à une catégorie peuvent être pré-sélectionnées.
2. Jeu de données de référence (RASR-Flickr30) : La création du premier jeu de données SR augmenté par la recherche comportant des galeries de référence par catégorie, facilitant la recherche sur la recherche dynamique en monde ouvert.
3. Base de référence efficace (RASRNet) : L'introduction d'une base de référence solide combinant la recherche sémantique avec un générateur basé sur la diffusion. Les résultats démontrent que l'augmentation par la recherche peut efficacement combler le fossé entre la recherche académique en RefSR et l'applicabilité dans le monde réel, offrant une direction prometteuse pour les travaux futurs.

Les auteurs maintiennent un ton modeste, positionnant RASRNet comme une base de référence qui valide le potentiel du paradigme augmenté par la recherche plutôt que de le présenter comme une solution finale à tous les défis de la super-résolution.