BIR-Adapter: A parameter-efficient diffusion adapter for blind image restoration

1. Énoncé du problème

La restauration d'images aveugle vise à récupérer une image propre ($I_0$) à partir d'une observation dégradée ($\tilde{I}$) où le processus de dégradation spécifique (par exemple, bruit, flou, sous-échantillonnage, artefacts de compression, ou des cascades complexes de ceux-ci) est inconnu.

• Limitations actuelles :
  • Les méthodes basées sur la régression (CNN/Transformers) peinent souvent avec l'ambiguïté sévère et échouent à récupérer des détails perceptuellement réalistes.
  • Les méthodes génératives (modèles de diffusion) offrent une qualité perceptuelle supérieure mais nécessitent généralement :
    1. Extracteurs de caractéristiques auxiliaires : Des modèles comme ControlNet ou SwinIR sont utilisés pour extraire des caractéristiques conscientes de la dégradation afin de conditionner le modèle de diffusion.
    2. Un ajustement fin extensif : L'entraînement de ces réseaux auxiliaires ou de copies complètes du modèle nécessite des ressources de calcul massives et de grands ensembles de données.
  • Inefficacité des paramètres : Les méthodes de restauration par diffusion actuelles de l'état de l'art (SOTA) (par exemple, SUPIR, DiffBIR) introduisent des centaines de millions de paramètres supplémentaires entraînables, ce qui les rend difficiles à déployer.

2. Insight central et motivation

Les auteurs ont observé que les modèles de diffusion latents pré-entraînés à grande échelle (LDM) conservent intrinsèquement des représentations informatives même lorsque les entrées sont dégradées.

• Preuve empirique : En mesurant la similarité cosinus entre les caractéristiques latentes d'images propres et leurs contreparties dégradées à travers différentes couches du U-Net, les auteurs ont constaté que la similarité des caractéristiques est préservée dans une mesure significative.
• Hypothèse : Puisque l'épine dorsale pré-entraînée encode déjà des informations utiles sur l'entrée dégradée, les extracteurs de caractéristiques auxiliaires (comme ControlNet) sont inutiles. Les caractéristiques internes du modèle peuvent être réutilisées pour guider le processus de restauration.

3. Méthodologie : BIR-Adapter

La solution proposée est BIR-Adapter, un adaptateur économe en paramètres, plug-and-play, conçu pour les modèles de diffusion latents (LDM).

A. Mécanisme d'attention de restauration

Au lieu d'entraîner un réseau séparé pour extraire des caractéristiques, BIR-Adapter réutilise les caractéristiques extraites par l'épine dorsale de diffusion figée elle-même.

• Entrée : Le modèle traite deux entrées en parallèle au sein du même lot :
  1. Le latent diffusé ($x_t$) à l'instant $t$.
  2. Le latent dégradé ($\tilde{x} = E(\tilde{I})$) passé à travers l'encodeur figé.
• Mécanisme : Dans chaque bloc d'attention du U-Net, un module Restoring Attention (Attention de restauration) est ajouté.
  • Requête ($Q$) : Dérivée des caractéristiques diffusées courantes ($z_t$).
  • Clé ($K'$) et Valeur ($V'$) : Dérivées des caractéristiques dégradées ($\tilde{z}$) extraites de la même couche.
  • Formulation : La sortie combine l'attention self-standard avec un terme d'attention croisée où les caractéristiques dégradées agissent comme source d'information :
    $$\text{Sortie} = \text{Attention}(Q, K, V)W_O + \text{Attention}(\tilde{Q}, K', V')W'_O$$
  • Efficacité des paramètres : Seuls les poids $\{W'_K, W'_V, W'_O\}$ sont entraînables (initialisés à partir des poids d'attention self). Les poids de requête restent figés pour préserver les caractéristiques de l'image dégradée.

B. Échantillonnage guidé (Atténuation des hallucinations)

Pour prévenir les "hallucinations" (génération de détails irréalistes), en particulier dans les régions de basse fréquence, les auteurs introduisent une stratégie de guidage d'échantillonnage.

• Restauration initiale : Une méthode légère hors de la boîte (Real-ESRGAN) fournit une estimation initiale ($I_{init}$).
• Guidage basé sur la fréquence : La méthode utilise des filtres de Sobel pour estimer les gradients et identifier les régions de basse fréquence (zones lisses).
• Mise à jour adaptative : Pendant le processus de diffusion inverse, pour les instants $t/T > \xi$ (où $\xi$ est un hyperparamètre), le latent propre estimé ($x_{t \to 0}$) est mis à jour pour incorporer les informations de basse fréquence de $I_{init}$ :
  $$x_{t \to 0} \leftarrow x_{t \to 0} + W \odot (E(I_{init}) - x_{t \to 0})$$
  où $W$ est une carte de poids dérivée de la magnitude du gradient (poids plus élevé pour les zones lisses/de basse fréquence).

4. Contributions clés

1. Efficacité des paramètres : BIR-Adapter n'introduit que 37 millions de paramètres supplémentaires entraînables, atteignant des performances compétitives avec 36 fois moins de paramètres que SUPIR et 10 fois moins que DiffBIR.
2. Élimination des extracteurs auxiliaires : Il prouve que des extracteurs de caractéristiques externes ne sont pas requis pour la restauration aveugle basée sur la diffusion, en tirant parti de la robustesse interne du modèle pré-entraîné.
3. Conception Plug-and-Play : L'adaptateur peut être intégré dans des modèles de diffusion existants (par exemple, étendre un modèle dédié uniquement à la super-résolution pour gérer des dégradations inconnues) sans réentraîner l'épine dorsale.
4. Guidage robuste : La stratégie d'échantillonnage proposée équilibre efficacement la qualité perceptuelle et la fidélité, réduisant les hallucinations dans les régions lisses.

5. Résultats expérimentaux

La méthode a été évaluée sur des benchmarks synthétiques (DIV2K) et réels (RealSR, RealPhoto60).

• Performance :
  • Qualité perceptuelle : Atteint des résultats de l'état de l'art (SOTA) ou compétitifs sur des métriques sans référence (CLIP-IQA, ManIQA, MUSIQ), surpassant souvent des méthodes comme StableSR et DiffBIR.
  • Fidélité : Bien que les métriques basées sur la référence (PSNR) soient compétitives, les auteurs notent que pour la restauration générative, un PSNR plus élevé ne correspond pas toujours à une meilleure qualité perceptuelle (les modèles de régression SOTA produisent souvent des résultats trop lisses).
  • Monde réel : Démontre des performances supérieures sur les ensembles de données RealSR et RealPhoto60 contenant des dégradations inconnues et complexes.
• Efficacité :
  • Entraînement : Nécessite considérablement moins de données d'entraînement (25k images contre 15k–200k pour les autres) et de temps.
  • Inférence : Bien que le temps d'exécution soit comparable à SUPIR en raison du traitement parallèle, les auteurs notent que la mise en cache des caractéristiques dégradées pourrait réduire davantage le temps d'inférence à environ 2 secondes.
• Études d'ablation : Ont confirmé que tant la formulation spécifique de l'attention que l'ajustement fin des poids sont nécessaires ; les variantes sans ajustement fin ou avec une simple attention croisée ont échoué.

6. Importance et conclusion

BIR-Adapter représente un changement de paradigme dans la restauration d'images basée sur la diffusion en démontrant que les priors de diffusion pré-entraînés sont suffisamment robustes pour gérer directement les entrées dégradées.

• Impact : Il abaisse considérablement la barrière à l'entrée pour la restauration d'images aveugle de haute qualité en éliminant le besoin de réseaux auxiliaires massifs et d'un ajustement fin extensif.
• Travaux futurs : Les auteurs suggèrent d'optimiser la vitesse d'inférence via la mise en cache des caractéristiques, d'adapter automatiquement la force du guidage en fonction du contenu de l'image, et d'étendre l'approche à de nouvelles architectures comme les Transformers de diffusion (DiT).

En résumé, BIR-Adapter offre une solution hautement efficace, généralisable et performante pour la restauration d'images aveugle, prouvant que "moins c'est plus" lorsqu'on exploite les capacités inhérentes des modèles de fondation.