Beware of Aliases -- Signal Preservation is Crucial for Robust Image Restoration

Technische Samenvatting: Pas op voor Aliasing – Signaalbehoud is Cruciaal voor Robuuste Beeldreconstructie

Probleemstelling
Diepe neurale netwerken (DNN's) die worden gebruikt voor taken met pixelvoorspelling, zoals beeldreconstructie, negeren vaak fundamentele signaalverwerkingsprincipes, specifiek met betrekking tot sampling en aliasing. Hoewel anti-aliasingmethoden de robuustheid bij beeldclassificatie hebben verbeterd, is hun toepassing op beeldreconstructie complex. Standaard downsamplingtechnieken (bijv. strided convoluties, Pixel Unshuffle) gooien vaak hoogfrequente informatie weg of introduceren spectrale artefacten (bijv. grid-, checkerboard- of ringing-artefacten) door te samplen onder de Nyquist-frequentie.

In beeldreconstructietaken zoals deblurring is hoogfrequente informatie (randen, vormen) essentieel voor reconstructie. Daartegenover staat dat taken zoals denoising hoogfrequente ruis moeten verwijderen. Bestaande benaderingen die strikt lage-doorlaatfilters (low-pass filtering) toepassen om aliasing te voorkomen, verslechteren vaak de prestaties van de reconstructie door noodzakelijke signaaldetails te verwijderen. Bovendien kunnen deze modellen goed presteren op schone, in-domain data, maar leren ze vaak "shortcuts" die resulteren in verborgen spectrale artefacten. Deze artefacten blijven vaak onzichtbaar voor het menselijk oog onder normale omstandigheden, maar worden duidelijk en verslechteren de prestaties aanzienlijk onder adversariële aanvallen (bijv. PGD), wat de afhankelijkheid van het model van suboptimale feature-representaties onthult.

Methodologie
De auteurs stellen Beware of Aliases (BoA)-Networks voor, een modificatie van state-of-the-art (SotA) beeldreconstructiearchitecturen (zowel CNN-gebaseerd zoals NAFNet als Transformer-gebaseerd zoals Restormer). De kerninnovatie ligt in het vervangen van standaard downsampling- en upsampling-operaties door frequentiedomein-bewuste methoden die alias-vrije paden waarborgen terwijl relevante signaalinformatie behouden blijft.

De voorgestelde architectuur bestaat uit twee primaire modules:

1. FrequencyPreservedPooling (FP) voor Downsampling:

   • In plaats van eenvoudige low-pass filtering (die hoge frequenties verwijdert) of standaard subsampling (die aliasing veroorzaakt), werkt FP in het frequentiedomein.
   • Het past een Discrete Fourier Transform (DFT) toe op de input feature maps.
   • Het frequentiespectrum wordt gesplitst in laagfrequente en hoogfrequente componenten.
   • De laagfrequente component wordt via inverse transformatie en upsampling in de kanaaldimensie verwerkt (vergelijkbaar met Pixel Unshuffle).
   • De hoogfrequente component wordt geïsoleerd (via aftrek van de low-pass gefilterde versie) en gedownsampled met standaard Pixel Unshuffle, wat wordt opgemerkt als perfect omkeerbaar voor hoge frequenties.
   • Deze twee paden worden gecombineerd met behulp van een leerbare parameter $\alpha$ (geïnitialiseerd op 0,3, waarbij de voorkeur naar lage frequenties uitgaat), waardoor het netwerk een balans kan vinden tussen stabiliteit en detailbehoud.

2. FreqAvgUp voor Upsampling:

   • Deze module spiegelt de downsampling-logica om symmetrie tussen de encoder en decoder te garanderen.
   • Het scheidt de input feature maps in laagfrequente en hoogfrequente componenten in het frequentiedomein.
   • Het laagfrequente pad omvat het middelen van sets van vier kanalen (om de concatenatie in downsampling te reverseren) en zero-padding in het frequentiedomein voordat de inverse transformatie plaatsvindt.
   • Het hoogfrequente pad scheidt de hoogfrequente componenten, past een Pixel Shuffle-operatie toe en voert de inverse transformatie uit.
   • Een leerbare parameter $\beta$ (geïnitialiseerd op 0,3) mengt deze twee paden om de feature map te reconstrueren.

De auteurs introduceren ook een symmetriemechanisme waarbij, voor alternerende lagen, de ruimtelijke dimensies worden getransponeerd vóór de FFT-operaties om isotrope frequentie-afhandeling te garanderen.

Belangrijkste Bijdragen

• Nieuwe Samplingmethoden: De introductie van FrequencyPreservedPooling en FreqAvgUp, die alias-vrije paden bieden voor zowel downsampling als upsampling zonder de kritieke hoogfrequente signaaldetails die nodig zijn voor reconstructie weg te gooien.
• Architecturale Integratie: De succesvolle modificatie van zowel CNN-gebaseerde (NAFNet) als Vision Transformer-gebaseerde (Restormer) SotA-modellen met deze BoA-modificaties.
• Robuustheid via Signaalbehoud: Het aantonen dat het bieden van alias-vrije paden de robuustheid van het model tegen adversariële aanvallen verbetert (specifiek PGD en CosPGD) met minimale kosten voor de prestaties op schone data.
• Taakspecifieke Analyse: Een gedetailleerde analyse in het frequentiedomein die laat zien dat deblurring hoogfrequente preservatie vereist, terwijl deraining een middenweg inneemt, wat een gebalanceerde aanpak vereist die BoA biedt.

Experimentele Resultaten
De auteurs evalueerden hun methode op debra deblurring (GoPro dataset) en deraining (Rain100H/L, Test100/1200 datasets).

• Adversariële Robuustheid: Onder PGD- en CosPGD-aanvallen vertoonden standaardmodellen (Restormer, NAFNet) en modellen met eenvoudige anti-aliasing (FLC Pooling) ernstige spectrale artefacten en significante dalingen in PSNR/SSIM. In contrast hiermee behielden BoA-gemodificeerde modellen hogere PSNR- en SSIM-scores en produceerden ze visueel schonere beelden met aanzienlijk verminderde artefacten (bijv. checkerboard-patronen).
• Prestaties op Schone Data: Er was een lichte trade-off in prestaties op schone, niet-adversariële data vergeleken met de baseline Restormer, maar de BoA-modellen presteerden beter dan modellen die strikte low-pass filters gebruiken (FLC Pooling), welke leden onder excessieve vervaging.
• Ablatieonderzoeken: Experimenten toonden aan dat het blindelings weggooien van hoge frequenties (simulatie van strikte low-pass filtering) de deblurring-prestaties verslechterde. De leerbare mengparameters ($\alpha, \beta$) waren cruciaal voor het balanceren van het behoud van hoogfrequente details met de stabiliteit van laagfrequente kenmerken.
• Visueel Bewijs: Kwalitatieve resultaten (Fig. 1, Fig. 7) toonden aan dat terwijl andere methoden gereconstrueerde beelden met zichtbare grid-artefacten produceerden onder aanval, BoA-Restormer en BoA-NAFNet artefact-vrije reconstructies produceerden.

Betekenis en Claims
Het artikel stelt dat de betrouwbaarheid van beeldreconstructiemodellen in de echte wereld wordt aangetast door spectrale artefacten die voortkomen uit inadequate sampling. De auteurs claimen dat:

1. Adversariële aanvallen dienen als een diagnostisch hulpmiddel om onderliggende spectrale artefacten te onthullen die anders onzichtbaar zijn voor het menselijk oog op schone data.
2. Signaalbehoud is cruciaal: Het simpelweg verwijderen van hoge frequenties om aliasing te voorkomen, is nadelig voor reconstructietaken die edge-recovery vereisen.
3. Theoretische motivatie levert robuustheid op: Door theoretisch gemotiveerde sampling-operaties (BoA) te gebruiken die de integriteit van het signaal bewaren, kunnen modellen meer betekenisvolle feature-representaties leren zonder de computationele kosten van adversariële training.
4. Beperkingen: De auteurs merken bescheiden op dat hoewel BoA artefacten vermindert, de prestaties op schone wazige beelden nog niet ideaal zijn, en dat huidige evaluatiemetrieken (PSNR/SSIM) de visuele kwaliteitsverbeteringen met betrekking tot spectrale artefacten mogelijk niet volledig vastleggen. Ze suggereren dat huidige metrieken vaak de menselijk waarneembare artefacten over het hoofd zien die hun methode aanpakt.