Provably Contractive and High-Quality Denoisers for Convergent Restoration

Titre : Débruiteurs contractifs prouvés et de haute qualité pour une restauration convergente

1. Problématique

La restauration d'images vise à récupérer une image propre à partir de mesures dégradées (bruit, flou, suréchantillonnage, etc.). Bien que les réseaux de neurones convolutifs (CNN) et les architectures basées sur l'attention (comme Restormer) atteignent des performances de pointe (SOTA) en termes de qualité de reconstruction, ils souffrent d'un manque de garanties de stabilité.

• Manque de robustesse : Ces modèles sont souvent sensibles à de légères perturbations des entrées (bruit de capteur, compression JPEG, sous-échantillonnage chromatique), ce qui peut entraîner une dégradation significative de la qualité ou des artefacts.
• Problème de convergence : Dans les algorithmes de restauration itératifs comme Plug-and-Play (PnP) ou Regularization by Denoising (RED), l'utilisation de débruiteurs non contractifs peut conduire à la divergence de l'algorithme, rendant la restauration instable.
• Compromis actuel : Les méthodes garantissant théoriquement la convergence (en imposant une contrainte de Lipschitz $\le 1$ ou de contractivité) sacrifient généralement la qualité de reconstruction par rapport aux modèles non contraints.

2. Méthodologie

Les auteurs proposent une architecture de débruiteur prouvée contractive (Lipschitz global $< 1$) qui maintient une haute qualité de reconstruction. L'approche repose sur la composition de couches spécifiques conçues pour respecter strictement les contraintes de Lipschitz.

Architecture proposée :
L'architecture est construite par empilement de $M$ couches contractives $T$. Chaque couche $T$ combine trois blocs principaux :

1. Bloc Gradient et Prox-Wavelet (Mise à jour FBS) :

   • Inspiré de l'algorithme Forward-Backward Splitting (FBS) appliqué à un régularisateur basé sur les ondelettes.
   • Il effectue une étape de gradient suivie d'une opération de seuillage doux (soft-thresholding) sur les coefficients de haute fréquence d'une transformée en ondelettes orthonormée.
   • Théorème : Cette opération est prouvée contractive avec un facteur $(1-\alpha)$, où $\alpha \in (0, 1)$ est le pas d'apprentissage.

2. Couche de convolution à échelle contrôlée :

   • Pour garantir que la convolution ne dépasse pas une norme Lipschitz de 1, les auteurs normalisent le noyau de convolution $K$ par sa norme spectrale (norme opérateur) exacte $s(K) = \|V_K\|_{op}$.
   • La convolution est définie comme $\overline{V}_K = V_K / s(K)$.
   • Une échelle supplémentaire $\varepsilon > 0$ est ajoutée pour garantir une contractivité stricte ($< 1$) même après composition.

3. Composition globale :

   • La couche complète est définie comme $T(x) = \frac{1}{(1-\alpha) + \varepsilon} \overline{V}_K(U(x))$, où $U$ est le bloc FBS.
   • Grâce au lemme de composition des fonctions Lipschitz, la composition de $M$ telles couches garantit que le réseau entier est contractif.

Entraînement :

• Les contraintes sont appliquées dynamiquement : le pas $\alpha$ est clipé dans $(0, 1)$, les seuils d'ondelettes sont contraints à être positifs via une fonction softplus, et la normalisation spectrale exacte est calculée dans le domaine fréquentiel (FFT) à chaque étape.
• Le modèle est entraîné sur des patches d'images (BSD500) avec augmentation de données.

3. Contributions Clés

1. Première démonstration de performance compétitive : C'est la première méthode à montrer qu'un débruiteur prouvée contractif peut rivaliser en précision avec les modèles SOTA non contraints (comme DnCNN et Restormer), réduisant considérablement l'écart de performance habituellement observé avec les modèles 1-Lipschitz.
2. Robustesse certifiée : Le modèle garantit que toute perturbation d'entrée de norme $\|\delta\| \le \varepsilon$ induit une variation de sortie d'au plus $\varepsilon$ (en fait, strictement inférieure grâce à la contractivité). Les expériences montrent une stabilité supérieure face à la compression JPEG et au sous-échantillonnage chromatique par rapport aux modèles non contraints.
3. Convergence garantie pour Plug-and-Play (PnP) : L'utilisation de ce débruiteur dans des algorithmes PnP (comme PnP-FBS) garantit théoriquement et empiriquement la convergence de l'algorithme de restauration, là où les débruiteurs non contraints divergent souvent.

4. Résultats Expérimentaux

Les expériences ont été menées sur des tâches de débruitage, de défloutage et de super-résolution.

• Débruitage (Image Denoising) :

  • Sur des ensembles de données standards (CBSD68, Kodak24, Urban100) avec différents niveaux de bruit ($\sigma=15, 25, 50$), le modèle proposé obtient les meilleurs résultats parmi tous les modèles 1-Lipschitz.
  • Il réduit l'écart avec les modèles non contraints (Restormer) à seulement 0.8 - 1.5 dB en PSNR et 0.02 - 0.06 en SSIM, un écart minime comparé aux méthodes précédentes.
  • Visuellement, le modèle préserve les textures fines et les détails, contrairement aux modèles 1-Lipschitz précédents (D-FBS, D-DRS) qui ont tendance à lisser excessivement.

• Restauration via Plug-and-Play (PnP) :

  • Défloutage et Super-résolution : Le modèle est intégré dans un schéma PnP-FBS. Les résultats montrent que le modèle contractif converge toujours, tandis que les modèles non contraints (DnCNN, Restormer) divergent dans certains scénarios.
  • Qualité : Dans les tâches de défloutage et de super-résolution (2x et 4x), le modèle proposé surpasse souvent les baselines non contraintes et les méthodes 1-Lipschitz existantes, produisant des images plus nettes avec moins d'artefacts.

• Robustesse aux perturbations :

  • Des tests de robustesse (compression JPEG, sous-échantillonnage chromatique) montrent que le modèle contractif maintient une performance stable, tandis que Restormer et DnCNN subissent une chute drastique de qualité et génèrent des artefacts.

5. Signification et Impact

Ce travail remet en question l'hypothèse courante selon laquelle l'imposition de contraintes de stabilité rigoureuses (contractivité) dégrade inévitablement la qualité de sortie des réseaux de neurones.

• Théorique : Il établit un pont solide entre la théorie de l'optimisation convexe (opérateurs proximaux, contractivité) et l'apprentissage profond moderne.
• Pratique : Il offre une voie vers des modèles de vision par ordinateur vérifiables et stables, essentiels pour des applications critiques (médical, défense, surveillance) où la fiabilité face aux perturbations inconnues est aussi importante que la précision nominale.
• Futur : Cela ouvre la voie au développement de réseaux de restauration complets (end-to-end) qui allient garanties de convergence et performances de pointe.

En résumé, les auteurs ont réussi à concevoir un débruiteur qui ne sacrifie pas la qualité pour la stabilité, comblant ainsi le fossé entre les approches théoriquement sûres et les modèles empiriquement performants.