SWST-Net: Semantic-aware Wavelet-drivenStructure and Texture Interaction Network forImage Inpainting

Technische Samenvatting: SWST-Net voor Image Inpainting

Probleemstelling
Image inpainting beoogt ontbrekende regio's in een afbeelding te reconstrueren, terwijl de structurele, texturele en semantische consistentie met de omliggende inhoud behouden blijft. Hoewel traditionele exemplar-gebaseerde methoden moeite hebben met grote ontbrekende gebieden en complexe achtergronden door een gebrek aan semantisch begrip, hebben deep learning-gebaseerde benaderingen (bijv. GANs) de prestaties verbeterd, maar zij kampen met specifieke beperkingen. Vanille-convoluties resulteren vaak in overmatig gladgestreken randen of texturele artefacten. Bovendien lijden bestaande methoden die proberen structuur en textuur gezamenlijk te modelleren vaak aan verstrengelde representaties waarbij de twee soorten informatie elkaar verstoren. Daarentegen falen twee-fasen strategieën die eerst structuur en daarna textuur genereren vaak, omdat het voorspellen van nauwkeurige structurele lay-outs vanuit zwaar gecorrumpeerde afbeeldingen inherent moeilijk is, wat leidt tot foutieve priors die de uiteindelijke textuursynthese verslechteren. De kernuitdaging blijft het effectief ontkoppelen van structuur- en textuurrepresentaties, terwijl hun interactie onder semantische sturing wordt bevorderd om een hoogwaardige reconstructie te bereiken.

Methodologie: SWST-Net
De auteurs stellen het Semantic-aware Wavelet-driven Structure and Texture Interaction Network (SWST-Net) voor. De architectuur is ontworpen om structuur- en textuurinformatie expliciet te scheiden en vervolgens gezamenlijk te reconstrueren.

1. Frequentiedomein-decompositie (DWT):
   De invoerafbeelding wordt gedecomponeerd met behulp van de Discrete Wavelet Transform (DWT) met Haar-wavelets. Dit scheidt de afbeelding in een laagfrequent subband (LL), die de globale structuur vertegenwoordigt, en hoogfrequente subbands (LH, HL, HH), die fijne texturele details vertegenwoordigen. Deze componenten worden naar afzonderlijke encoders gevoed.

2. Dual-Encoder en Shared-Decoder Framework:

   • Structuur-tak (Structure Branch): Verwerkt de laagfrequente subband. Het maakt gebruik van een Multi-Scale Enhancement Residual Block (MSEB) die Multi-Scale Attention Enhancement (MSAE) modules bevat om globale structurele kenmerken te vangen.
   • Textuur-tak (Texture Branch): Verwerkt de geconcateneerde hoogfrequente subbands. Het maakt gebruik van Fast Fourier Convolution Residual Blocks (FFCB) om zowel lokale details als langetermijncontextuele informatie te vangen.
   • Gedeelde Decoder (Shared Decoder): Reconstrueert de uiteindelijke afbeelding uit de gefuseerde kenmerken met behulp van een inverse wavelet transform (IDWT) en upsampling.

3. Semantic-Guided Alignment Module (SGAM):
   Om semantische consistentie tussen de twee takken te waarborgen, integreert het netwerk hoogwaardige semantische priors die zijn geëxtraheerd uit een pre-trained Masked Autoencoder (MAE). Via een cross-attention mechanisme worden deze semantische kenmerken uitgelijnd met de structuur- en textuurkenmerken in de encoders, waardoor het inpainting-proces wordt gestuurd om semantische coherentie te behouden.

4. Bi-directionele Cross-Domain Feature Fusion Module (BCFFM):
   Gelegen bij de bottleneck van beide takken, faciliteert deze module de interactie tussen de structuur- en textuurstromen. Geïnspireerd door ruimtelijk adaptieve de-normalisatie, leert deze module dynamische affiene parameters om instance normalisatie lagen te moduleren. Dit stelt textuurkenmerken in staat om structuurkenmerken te verfijnen en vice versa, wat een dynamische integratie mogelijk maakt zonder domeinspecifieke informatie te verliezen.

5. Trainingsdoel (Training Objective):
   Het model wordt getraind met een multi-task loss functie bestaande uit L1 loss (op niet-gemaskeerde regio's), adversarial loss (met behulp van WGAN-GP), feature matching loss, en een High Receptive Field (HRF) perceptuele loss gebaseerd op een pre-trained ResNet-50 met gedilateerde convoluties.

Belangrijkste Bijdragen

1. Ontkoppelde Architectuur: Het artikel introduceert een dual-branch framework dat wavelet-transformaties gebruikt om structuur en textuur expliciet te ontkoppelen, waarmee de interferentieproblemen van gedeelde generator-modellen worden aangepakt.
2. Semantische Integratie: De SGAM injecteert effectief hoogwaardige semantische priors van een pre-trained MAE in het dual-branch proces, wat zorgt voor semantische consistentie zonder te vertrouwen op potentieel foutieve structurele voorspellingen van gecorrumpeerde inputs.
3. Cross-Domain Interactie: De BCFFM is ontworpen om effectieve, bidirectionele sturing tussen de structuur- en texturtakken mogelijk te maken, wat de collaboratieve optimalisatie versterkt.
4. Prestaties: De methode behaalt state-of-the-art resultaten op standaard benchmarks, waarbij een balans wordt gevonden tussen computationele efficiëntie en reconstructiekwaliteit.

Experimentele Resultaten
De auteurs hebben SWST-Net geëvalueerd op drie datasets: Paris StreetView, CelebA-HQ en Places.

• Kwantitatieve Prestaties: De methode presteert consistent beter dan recente state-of-the-art benaderingen (inclusief CTSDG, WSA-GAN, W-Net, CoordFill, HINT en SEM-Net) over verschillende maskeringratio's (10%–50%). Het behaalt superieure scores in pixel-niveau metrieken (PSNR, SSIM) en perceptuele metrieken (FID, LPIPS). Met name op de Places-dataset behaalde het de laagste FID (10.891) en concurrerende no-reference kwaliteitsscores (NIQE en BRISQUE).
• Kwalitatieve Prestaties: Visuele vergelijkingen laten zien dat SWST-Net scherpere structurele lijnen produceert (bijv. bakstenen muren, raamkozijnen) en realistischere texturen (bijv. gezichtskenmerken, plantfilamenten) vergeleken met concurrenten, die vaak vervaging, vervorming of kleurovergangen vertonen.
• Ablatie-studies: Experimenten bevestigden de noodzaak van elk component. Het verwijderen van de DWT (w/o DWT) of de MAE-sturing (w/o MAE) leidde tot significante dalingen in prestaties. Ook het vervangen van de BCFFM door eenvoudige concatenatie of het verwijderen van de MSEB resulteerde in een verslechterde structurele coherentie en textuurgetrouwheid.
• Efficiëntie: Met 113 miljoen parameters en een inferentietijd van 70 ms per afbeelding, biedt SWST-Net een gunstige afweging tussen computationele kosten en prestaties, waarbij het aanzienlijk sneller is dan HINT en SEM-Net, terwijl het een hogere kwaliteit biedt dan CTSDG en WSA-GAN.

Betekenis en Beperkingen
Het artikel beweert dat SWST-Net een veelbelovende oplossing biedt voor hoogwaardige image inpainting door succesvol het "kip-en-ei"-dilemma van de structuur-textuur afhankelijkheid aan te pakken via wavelet-gestuurde ontkoppeling en semantische sturing. De methode behoudt effectief zowel de structurele integriteit als de texturele details.

De auteurs erkennen echter bescheiden de beperkingen. Het model heeft nog steeds moeite met zeer grote ontbrekende regio's waarbij de contextuele informatie onvoldoende is om de generatie te beperken, wat leidt tot gladde maar potentieel onnauwkeurige inhoud. Daarnaast faalt het model bij het reconstrueren van specifieke semantische elementen zoals tekst of logo's die kennis vereisen die niet aanwezig is in de omliggende context of de pre-trained semantische priors. Deze gebieden worden geïdentificeerd als richtingen voor toekomstig werk.