Beware of Aliases -- Signal Preservation is Crucial for Robust Image Restoration

Résumé Technique : Attention aux Alias – La Préservation du Signal est Cruciale pour une Restauration d'Image Robuste

Énoncé du Problème
Les réseaux de neurones profonds (DNN) utilisés pour les tâches de prédiction pixel par pixel, telles que la restauration d'image, négligent souvent les principes fondamentaux du traitement du signal, plus précisément en ce qui concerne l'échantillonnage et l'aliasing (repliement de spectre). Bien que les méthodes anti-aliasing aient amélioré la robustesse dans la classification d'images, leur application à la restauration d'image est complexe. Les techniques de sous-échantillonnage standard (par exemple, les convolutions à foulée ou le Pixel Unshuffle) rejettent souvent les informations de haute fréquence ou introduisent des artefacts spectraux (par exemple, des effets de grille, de damier ou d'oscillation) en raison d'un échantillonnage inférieur au taux de Nyquist.

Dans les tâches de restauration d'image comme le débruitage ou la déconvolution (deblurring), l'information de haute fréquence (bords, formes) est essentielle pour la reconstruction. À l'inverse, des tâches comme le débruitage nécessitent la suppression du bruit de haute fréquence. Les approches existantes qui appliquent strictement un filtrage passe-bas pour prévenir l'aliasing dégradent souvent les performances de restauration en supprimant des détails de signal nécessaires. De plus, bien que ces modèles puissent être performants sur des données propres et conformes à la distribution (in-domain), ils apprennent fréquemment des « raccourcis » qui entraînent des artefacts spectraux cachés. Ces artefacts restent souvent invisibles à l'œil humain dans des conditions normales, mais deviennent apparents et dégradent les performances de manière significative sous des attaques adverses (par exemple, PGD), révélant la dépendance du modèle à des représentations de caractéristiques sous-optimales.

Méthodologie
Les auteurs proposent les BoA-Networks (Beware of Aliases), une modification des architectures de restauration d'image de pointe (SotA) (qu'elles soient basées sur les CNN comme NAFNet ou sur les Transformers comme Restormer). L'innovation centrale réside dans le remplacement des opérations de sous-échantillonnage et de suréchantillonnage standard par des méthodes conscientes du domaine fréquentiel qui garantissent des chemins sans alias tout en préservant les informations de signal pertinentes.

L'architecture proposée se compose de deux modules principaux :

1. FrequencyPreservedPooling (FP) pour le Sous-échantillonnage :

   • Au lieu d'un simple filtrage passe-bas (qui supprime les hautes fréquences) ou d'un sous-échantillonnage standard (qui provoque de l'aliasing), le FP opère dans le domaine fréquentiel.
   • Il applique une Transformée de Fourier Discrète (DFT) aux cartes de caractéristiques d'entrée.
   • Le spectre de fréquence est divisé en composantes de basse et de haute fréquence.
   • La composante basse fréquence est soumise à une transformée inverse et suréchantillonnée dans la dimension des canaux (imitant le Pixel Unshuffle).
   • La composante haute fréquence est isolée (via la soustraction de la version filtrée passe-bas) et sous-échantillonnée à l'aide d'un Pixel Unshuffle standard, lequel est noté comme parfaitement inversible pour les hautes fréquences.
   • Ces deux chemins sont combinés à l'aide d'un paramètre apprenable $\alpha$ (initialisé à 0,3, favorisant les basses fréquences), permettant au réseau de doser l'équilibre entre stabilité et préservation des détails.

2. FreqAvgUp pour le Suréchantillonnage :

   • Ce module reflète la logique de sous-échantillonnage pour assurer la symétrie entre l'encodeur et le décodeur.
   • Il sépare les cartes de caractéristiques d'entrée en composantes de basse et de haute fréquence dans le domaine fréquentiel.
   • Le chemin basse fréquence implique la moyenne de groupes de quatre canaux (pour inverser la concaténation du sous-échantillonnage) et un remplissage par zéro (zero-padding) dans le domaine fréquentiel avant la transformée inverse.
   • Le chemin haute fréquence sépare les composantes de haute fréquence, applique une opération de Pixel Shuffle, et effectue la transformée inverse.
   • Un paramètre apprenable $\beta$ (initialisé à 0,3) mélange ces deux chemins pour reconstruire la carte de caractéristiques.

Les auteurs introduisent également un mécanisme de symétrie où, pour les couches alternées, les dimensions spatiales sont transposées avant les opérations FFT afin d'assurer un traitement fréquentiel isotrope.

Contributions Clés

• Nouvelles Méthodes d'Échantillonnage : L'introduction de FrequencyPreservedPooling et FreqAvgUp, qui fournissent des chemins sans alias tant pour le sous-échantillonnage que pour le suréchantillonnage, sans rejeter les détails de signal critiques de haute fréquence requis pour la restauration.
• Intégration Architecturale : La modification réussie de modèles SotA basés sur les CNN (NAFNet) et les Vision Transformers (Restormer) avec ces modifications BoA.
• Robustesse via la Préservation du Signal : Démontrer que fournir des chemins sans alias améliore la robustesse du modèle contre les attaques adverses (spécifiquement PGD et CosPGD) avec un coût minimal sur les performances sur les données propres.
• Analyse Spécifique aux Tâches : Une analyse détaillée dans le domaine fréquentiel montrant que la déconvolution (deblurring) nécessite la préservation des hautes fréquences, tandis que le dénuage de pluie (deraining) occupe un terrain intermédiaire, nécessitant l'approche équilibrée fournie par BoA.

Résultats Expérimentaux
Les auteurs ont évalué leur méthode sur la déconvolution d'image (jeu de données GoPro) et le dénuage de pluie (jeux de données Rain100H/L, Test100/1200).

• Robustesse Adversaire : Sous les attaques PGD et CosPGD, les modèles standards (Restormer, NAFNet) et les modèles avec un anti-aliasing simple (FLC Pooling) présentent des artefacts spectraux sévères et des chutes significatives de PSNR/SSIM. En revanche, les modèles modifiés par BoA maintiennent des scores PSNR et SSIM plus élevés et produisent des images visuellement plus propres avec une réduction significative des artefacts (par exemple, les motifs de damier).
• Performance sur Données Propres : Il y a un léger compromis dans la performance sur les données propres et non adverses par rapport au modèle de base Restormer, mais les modèles BoA surpassent les modèles utilisant des filtres passe-bas stricts (FLC Pooling) qui souffrent d'un flou excessif.
• Études d'Ablation : Les expériences ont montré que supprimer aveuglément les hautes fréquences (simulant un filtrage passe-bas strict) dégrade les performances de déconvolution. Les paramètres de mélange apprenables ($\alpha, \beta$) étaient cruciaux pour équilibrer la rétention des détails de haute fréquence avec la stabilité des caractéristiques de basse fréquence.
• Preuves Visuelles : Les résultats qualitatifs (Fig. 1, Fig. 7) ont démontré que, tandis que d'autres méthodes produisaient des images restaurées avec des artefacts de grille visibles sous attaque, les modèles BoA-Restormer et BoA-NAFNet produisaient des reconstructions sans artefacts.

Signification et Revendications
L'article soutient que la fiabilité des modèles de restauration d'image dans des contextes réels est compromise par les artefacts spectraux résultant d'un échantillonnage inadéquat. Les auteurs affirment que :

1. Les attaques adverses servent d'outil de diagnostic pour révéler les artefacts spectraux sous-jacents qui sont autrement invisibles à l'œil humain sur des données propres.
2. La préservation du signal est critique : Simplement supprimer les hautes fréquences pour prévenir l'aliasing est préjudiciable aux tâches de restauration qui nécessitent la récupération des bords.
3. La motivation théorique génère de la robustesse : En utilisant des opérations d'échantillonnage motivées par la théorie (BoA) qui préservent l'intégrité du signal, les modèles peuvent apprendre des représentations de caractéristiques plus significatives sans le coût de l'entraînement adverse.
4. Limites : Les auteurs notent modestement que bien que BoA réduise les artefacts, la performance sur les images floues propres n'est pas encore idéale, et que les métriques d'évaluation actuelles (PSм/SSIM) peuvent ne pas capturer pleinement l'amélioration de la qualité visuelle concernant les artefacts spectraux. Ils suggèrent que les métriques actuelles négligent souvent les artefacts perceptibles par l'humain que leur méthode traite.