💻 computer science

GramSR: Visual Feature Conditioning for Diffusion-Based Super-Resolution

GramSR est un cadre de super-résolution basé sur la diffusion en une seule étape qui remplace la conditionnement textuel par des caractéristiques visuelles denses issues d'un encodeur DINOv3 et utilise une architecture LoRA en trois étapes pour atteindre une fidélité structurelle supérieure et un réalisme texturé dans des scénarios réels.

Auteurs originaux : Fabio D'Oronzio, Federico Putamorsi, Leonardo Zini, Marcella Cornia, Lorenzo Baraldi

Publié 2026-04-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fabio D'Oronzio, Federico Putamorsi, Leonardo Zini, Marcella Cornia, Lorenzo Baraldi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une photo floue et de mauvaise qualité d'un chat. Vous souhaitez la transformer en un chef-d'œuvre net et haute définition. C'est là le rôle de la Super-Résolution d'Image Unique (SR).

Pendant longtemps, les ordinateurs ont tenté de faire cela en devinant à quoi devraient ressembler les pixels manquants sur la base de mathématiques simples. Plus tard, ils ont commencé à utiliser l'« IA Générative » (comme les outils qui créent de l'art à partir de texte) pour combler les lacunes. Mais voici le problème : la plupart de ces outils d'IA sont instruits de dessiner en utilisant des descriptions textuelles.

Le Problème : Le fossé de la « Description Floue »

Imaginez-le ainsi : vous êtes un artiste essayant de peindre un chat spécifique à partir d'une description fournie par un ami qui se trouve dans la pièce voisine.

L'Ancienne Méthode (Conditionnement Textuel) : Votre ami crie : « C'est un chat duveteux avec de grands yeux ! »
- Le Problème : L'artiste connaît l'idée d'un chat, mais il ne sait pas exactement où se trouvent les moustaches, comment les motifs de fourrure s'enroulent, ou la forme précise des oreilles sur votre photo. L'artiste pourrait peindre un chat duveteux générique qui ne ressemble en rien au chat spécifique de votre photo floue. La description est trop vague et manque de la « carte spatiale » nécessaire pour corriger les détails exacts.

La Solution : GramSR

Les auteurs de cet article, GramSR, ont décidé d'arrêter de crier des descriptions et ont commencé à remettre à l'artiste un plan détaillé et agrandi de la photo floue elle-même.

Voici comment ils ont procédé, décomposé en étapes simples :

1. Les « Yeux » (Conditionnement Visuel)

Au lieu d'utiliser une description textuelle, GramSR utilise un « œil » IA spécial appelé DINOv3 pour examiner la photo floue.

L'Analogie : Imaginez que DINOv3 est un détective super observateur qui ne se contente pas de dire « c'est un chat », mais qui remet à l'artiste une pile de post-it. Chaque note indique : « Voici un patch de fourrure ici », « Voici une courbe de moustache là », et « Voici la texture du nez. »
Pourquoi cela aide : Cela donne à l'IA une carte précise, pixel par pixel, de la structure de l'image originale, garantissant que la nouvelle version haute définition reste fidèle à la forme originale, et non pas seulement à l'idée générale.

2. La « Formation en Trois Étapes » (L'Équipe LoRA)

Pour apprendre à corriger la photo parfaitement, l'IA est entraînée en trois phases distinctes utilisant une technique appelée LoRA (qui est comme ajouter de petites roues d'entraînement spécialisées à un vélo).

Étape 1 : Le Nettoyeur (Niveau Pixel)
- Objectif : Éliminer la saleté et le flou.
- Analogie : Pensez à cela comme à un concierge. Il frotte l'image pour éliminer le bruit, le flou et les artefacts de compression. Il se concentre sur le fait de rendre l'image propre et nette, en faisant correspondre parfaitement les couleurs et les formes de base.
Étape 2 : Le Conteur (Niveau Sémantique)
- Objectif : Rendre l'image réaliste et naturelle.
- Analogie : Maintenant, un directeur artistique intervient. Il s'assure que le chat ressemble à un vrai chat, et non à un jouet en plastique. Il ajoute l'« ambiance » et les détails perceptifs pour que l'image semble vivante et plausible.
Étape 3 : L'Artiste de Texture (Niveau Texture)
- Objectif : Corriger les petits motifs répétitifs (comme la fourrure ou le tissu).
- L'Ingrédient Secret : C'est la plus grande innovation de l'article. Les étapes précédentes pourraient rendre le chat joli, mais la fourrure pourrait ressembler à du plastique lisse. Cette étape utilise quelque chose appelé une Matrice de Gram.
- L'Analogie : Imaginez que la texture de la fourrure est comme un motif spécifique de carreaux sur un sol. La Matrice de Gram est un outil qui vérifie si la relation entre les carreaux est correcte. Elle demande : « Est-ce que ces brins de fourrure sont corrélés entre eux de la même manière qu'ils l'étaient sur la photo réelle ? » Elle force l'IA à correspondre au « rythme » statistique des textures, garantissant que la fourrure semble duveteuse et détaillée, et non lisse.

3. La « Télécommande » (Inférence)

Une fois l'IA entraînée, vous obtenez une télécommande avec trois curseurs :

Curseur 1 (Nettoyer) : À quel point voulez-vous éliminer le flou ?
Curseur 2 (Réalisme) : À quel point voulez-vous améliorer l'« ambiance » ?
Curseur 3 (Texture) : À quel point voulez-vous affiner les petits détails ?
Cela permet aux utilisateurs d'ajuster le résultat exactement comme ils le souhaitent sans réentraîner tout le système.

Les Résultats

Les auteurs ont testé cela sur de nombreux types de photos différents, y compris des images floues du monde réel (pas seulement celles générées par ordinateur).

Le Résultat : GramSR a constamment battu d'autres méthodes de premier plan.
Pourquoi : Parce qu'il ne s'est pas appuyé sur des descriptions textuelles vagues. En utilisant le « plan » (caractéristiques visuelles) et la « vérification du rythme de texture » (Matrice de Gram), il a restauré des images qui étaient non seulement nettes, mais qui possédaient également des textures réalistes et détaillées correspondant parfaitement à la scène originale.

En bref : GramSR a cessé de demander à l'IA de « deviner » à partir de mots et a commencé à lui permettre de « voir » les détails directement, en utilisant un processus d'entraînement spécialisé en trois étapes pour nettoyer, animer et texturer l'image avec une précision chirurgicale.

1. Énoncé du problème

La super-résolution (SR) d'une seule image vise à reconstruire des images haute résolution (HR) à partir d'entrées basse résolution (LR). Bien que l'apprentissage profond ait fait progresser ce domaine, les méthodes existantes font face à des défis majeurs dans des scénarios réels impliquant des dégradations complexes et inconnues.

Limites des méthodes de diffusion actuelles : Les récentes méthodes de SR basées sur la diffusion (par exemple, StableSR, SeeSR) exploitent de puissants priors génératifs issus de modèles texte-vers-image à grande échelle (comme Stable Diffusion). Cependant, elles reposent sur un conditionnement textuel dérivé du légendage ou du marquage d'images.
- Le fossé sémantique : Les descriptions textuelles ne fournissent que des concepts sémantiques de haut niveau (par exemple, "un chat", "une rue") mais manquent d'informations visuelles alignées spatialement, de géométrie fine et de motifs de texture locaux nécessaires à une restauration fidèle.
- Perte de texture : Les objectifs d'entraînement existants privilégient souvent la fidélité au niveau des pixels ou la cohérence sémantique, mais échouent à modéliser explicitement les statistiques de texture (motifs répétés et corrélations de caractéristiques), ce qui conduit à des résultats trop lissés ou à des artefacts.
Efficacité : L'échantillonnage par diffusion multi-étapes est coûteux en calcul. Des méthodes en une seule étape existent, mais souffrent souvent d'un lissage excessif ou d'une récupération limitée des détails en raison de leur dépendance aux invites textuelles et à des fonctions de perte simplifiées.

2. Méthodologie : GramSR

Les auteurs proposent GramSR, un cadre de SR basé sur la diffusion en une seule étape qui répond aux limitations susmentionnées grâce à deux innovations principales : le remplacement du conditionnement textuel par des caractéristiques visuelles denses et l'introduction d'une stratégie d'entraînement consciente de la texture.

A. Conditionnement par caractéristiques visuelles

Au lieu d'utiliser des invites textuelles, GramSR conditionne le modèle de diffusion sur des caractéristiques visuelles denses extraites directement de l'entrée LR.

Encodeur : Un encodeur DINOv3 pré-entraîné est utilisé pour extraire des caractéristiques visuelles au niveau des patches ( $F_{ViT}$ ) de l'image LR. Ces caractéristiques capturent des informations hiérarchiques allant des textures locales au contexte global tout en maintenant un alignement spatial avec l'entrée.
Intégration : Un adaptateur MLP léger projette ces caractéristiques visuelles dans l'espace de conditionnement du U-Net de diffusion. L'encodeur DINOv3 reste figé pendant l'entraînement.

B. Stratégie d'entraînement LoRA en trois étapes

Pour dissocier les objectifs conflictuels de la SR (suppression des dégradations, amélioration sémantique et préservation de la texture), GramSR emploie une stratégie d'entraînement séquentielle utilisant trois modules LoRA (Low-Rank Adaptation) distincts attachés au U-Net :

LoRA au niveau des pixels ( $\Delta\theta_{pix}$ ) :
- Objectif : Supprimer les dégradations (bruit, flou, artefacts de sous-échantillonnage).
- Perte : Optimisée à l'aide de la perte $\ell_2$ ( $L_{MSE}$ ) pour assurer une reconstruction précise au niveau des pixels et une convergence stable.
LoRA au niveau sémantique ( $\Delta\theta_{sem}$ ) :
- Objectif : Améliorer le réalisme perceptif et générer des détails riches sémantiquement.
- Perte : Optimisée à l'aide d'une combinaison de LPIPS (perte perceptuelle) et de pertes par Distillation de Score de Classificateur (CSD), en plus de $L_{MSE}$ . Le LoRA au niveau des pixels est figé durant cette étape.
LoRA au niveau de la texture ( $\Delta\theta_{gram}$ ) :
- Objectif : Imposer une cohérence de texture et préserver les statistiques de caractéristiques d'ordre deux.
- Mécanisme : Calcule la Matrice de Gram des caractéristiques DINOv3. La matrice de Gram capture les corrélations entre les emplacements spatiaux, encodant des statistiques de texture globales invariantes aux arrangements spatiaux locaux.
- Perte : Minimise la différence de norme de Frobenius entre les matrices de Gram de la sortie SR et de la vérité terrain ( $L_{gram}$ ).
- Entraînement : Les deux LoRAs précédents sont figés ; seul le module de texture est entraîné à l'aide d'une fonction de perte conjointe équilibrant les pertes pixel, perceptuelle et de Gram.

C. Inférence avec triple guidage

Lors de l'inférence, le modèle permet un contrôle flexible du processus de restauration en ajustant des échelles de guidage indépendantes ( $\lambda_{pix}, \lambda_{sem}, \lambda_{gram}$ ). La prédiction finale est une somme pondérée du modèle de base et des trois contributions LoRA, permettant aux utilisateurs de faire des compromis entre la fidélité structurelle et le réalisme de la texture.

3. Contributions clés

Conditionnement visuel plutôt que textuel : Le papier démontre que le remplacement des invites textuelles abstraites par des caractéristiques visuelles denses basées sur DINOv3 améliore considérablement l'alignement spatial et la récupération des détails, comblant le fossé entre les priors sémantiques et la restauration au niveau des pixels.
Alignement par matrice de Gram pour la texture : L'introduction d'un LoRA dédié au niveau de la texture optimisé via une perte de matrice de Gram modélise explicitement les statistiques de texture, un composant souvent négligé dans la SR basée sur la diffusion.
Dissociation séquentielle : La stratégie d'entraînement en trois étapes sépare efficacement la suppression des dégradations, l'amélioration sémantique et l'alignement de texture, empêchant les interférences entre les objectifs.
Efficacité : Le cadre fonctionne comme un modèle de diffusion en une seule étape, offrant des performances en temps réel tout en atteignant une qualité supérieure par rapport aux méthodes multi-étapes.

4. Résultats expérimentaux

La méthode a été évaluée sur des benchmarks standards (DIV2K, RealSR, DRealSR) et comparée à des méthodes de diffusion en une seule étape de l'état de l'art (SinSR, OSEDiff, PiSA-SR, AdcSR).

Performance quantitative :
- GramSR a constamment surpassé les concurrents sur tous les jeux de données.
- Sur RealSR, il a obtenu le PSNR (26,81) et le SSIM (76,68) les plus élevés, tout en réduisant significativement les erreurs perceptuelles (LPIPS : 23,05, DISTS : 17,91, FID : 100,71).
- Il a montré une force particulière sur RealSR et DRealSR (jeux de données du monde réel), où des dégradations complexes sont présentes, surpassant le concurrent le plus proche (PiSA-SR) avec une marge significative tant sur les métriques de fidélité que sur les métriques perceptuelles.
Analyse qualitative :
- Les comparaisons visuelles ont montré que GramSR produit des textures plus cohérentes et moins d'artefacts que SinSR (qui présente souvent des textures incohérentes) ou OSEDiff (qui tend à être trop lissé).
- Il a réussi à préserver des structures fines et des motifs répétitifs que d'autres méthodes n'ont pas pu reconstruire.
Études d'ablation :
- Conditionnement visuel : Le remplacement du texte par des caractéristiques DINOv3 a amélioré le PSNR/SSIM et réduit les erreurs perceptuelles.
- LoRA de texture : L'ajout du LoRA basé sur Gram a réduit davantage le LPIPS, le DISTS et le FID, confirmant son rôle dans l'amélioration du réalisme de la texture.
- Stratégie d'entraînement : L'approche séquentielle à trois LoRAs a surpassé l'entraînement conjoint ou les stratégies de LoRA fusionnés, prouvant la nécessité de dissocier les objectifs.
- Généralisation : La méthode fonctionne de manière robuste avec divers encodeurs visuels (CLIP, SigLIP, DINOv2/v3), DINOv3-B offrant le meilleur compromis entre capacité de représentation et précision spatiale.

5. Importance

GramSR représente un changement significatif dans la restauration d'images basée sur la diffusion, en s'éloignant des priors sémantiques basés sur le texte pour se tourner vers des priors visuels alignés spatialement. En modélisant explicitement les statistiques de texture par l'alignement de la matrice de Gram, il adresse un angle mort critique des méthodes de SR génératives actuelles. Le cadre offre un nouveau paradigme pour les modèles de diffusion en une seule étape, prouvant qu'une SR efficace et en temps réel peut atteindre simultanément une récupération structurelle de haute fidélité et une génération de texture réaliste. Cette approche est particulièrement précieuse pour les applications réelles où les images d'entrée souffrent de dégradations complexes et inconnues et où la préservation fine de la texture est cruciale.