Thinking inside the Convolution for Image Inpainting: Reconstructing Texture via Structure under Global and Local Side

Technische Samenvatting: Denken binnen de convolutie voor beeld-inpainting: Textuur reconstrueren via structuur onder globale en lokale zijden

Probleemstelling
Beeld-inpainting is grotendeels geavanceerd door middel van encoder-decoder-pipelines die gebruikmaken van Convolutional Neural Networks (CNN's). Hoewel recente studies identificeren dat hoogfrequente structuren en laagfrequente texturen cruciale informatie zijn om te coderen, lijden bestaande methoden onvermijdelijk aan informatieverlies tijdens het convolutionele downsampling-proces. Specifiek negeren huidige benaderingen vaak hoe structuur- en textuurfeaturemaps interageren om dit verlies te beperken. Eerdere werken, zoals CTSDG, proberen wederzijdse begeleiding tussen structuur en textuur, maar falen omdat het direct fuseren van ijle (sparse) structuurkaarten met dichte textuurkaarten de ijle structuur kan afbreken. Verder proberen methoden zoals ZITS de textuur te behouden door hoogfrequente structuren te fuseren, maar falen ze in het adresseren van het verlies van de structuur-featuremap zelf of het specifieke mechanisme van hoe de ene modaliteit de reconstructie van de andere het beste kan begeleiden tijdens downsampling. Gevolgelijk worstelen deze methoden met het vastleggen van semantische informatie in diepere lagen, met name voor hogeresolutiebeelden (bijv. 512×512), wat vaak resulteert in niet-ideale upsampling-outputs.

Methodologie
Het voorgestelde framework, ConvInpaint-TSGL, adresseert deze beperkingen door systematisch textuur-featuremaps te reconstrueren via structuur-featuremaps tijdens het convolutionele downsampling-proces, in plaats van eenvoudige fusie. De methodologie is gebouwd op drie kernzuilen:

1. Directionele Reconstructie (Structuur $\to$ Textuur):
   De auteurs stellen vast dat structuur-featuremaps inherent ijle (sparse) zijn, terwijl textuurkaarten dicht zijn. Experimentele validatie (via FID en KL-divergentie) demonstreert dat ijle structuurkaarten effectief dichte textuurkaarten kunnen reconstrueren, terwijl het omgekeerde (het reconstrueren van ijle structuur uit dichte textuur) leidt tot de afbraak van structurele informatie. Daarom hanteert de pipeline een strategie waarbij de structuur-featuremap de reconstructie van de textuur-featuremap begeleidt.

2. Globale en Lokale Normalisatiestrategieën:
   Om het nut van de structuurkaart te maximaliseren, gebruiken de auteurs statistische normalisatie en denormalisatie:

   • Globale Normalisatie: Berekent de statistische gemiddelden en varianties over de gehele featuremap-kanaal, waardoor globale statistische eigenschappen worden vastgelegd.
   • Lokale Normalisatie: Berekent statistieken over kanalen op specifieke ruimtelijke posities, waardoor lokale statistische eigenschappen worden vastgelegd.
     Het artikel stelt vast dat globale structuur-featuremaps het best geschikt zijn om lokaal genormaliseerde textuurkaarten te reconstrueren (Global $\to$ Local), terwijl lokale residuele structuur-featuremaps (afgeleid van het verschil tussen upsampled textuur en voorgaande lagen) het best geschikt zijn om globaal genormaliseerde textuurkaarten te reconstrueren (Local $\to$ Global).

3. Cross-Layer Balance Module:
   In het besef dat globale structuurinformatie in de beginfasen langzamer afneemt dan lokale residuele structuurinformatie, maar deze later overtreft, stellen de auteurs een Cross-Layer Balance Module voor. Deze module:

   • Augmenteert de reconstructie vanuit globale structuur-featuremaps tweemaal om de balans met lokale residuele structuurkaarten te handhaven.
   • Groepeert featuremaps in stromen op basis van globale en lokale residuele structuren.
   • Maakt gebruik van feature-equalisatie (ruimtelijk en kanaalsgewijs) om deze stromen te balanceren voordat ze naar de decoder worden gevoerd voor upsampling.

Belangrijkste Bijdragen

• Reconstructieparadigma: Het artikel geeft systematisch antwoord op de vraag dat structuur-featuremaps de textuurreconstructie moeten begeleiden, en niet andersom, om informatieverlies tijdens downsampling te verzwakken.
• Dual-Stream Normalisatie: Het introduceert een nieuwe strategie voor het reconstrueren van textuur onder globale normalisatie via globale structuur, en onder lokale normalisatie via lokale residuele structuur, waarbij deze via elementgewijze optelling worden gefuseerd.
• Cross-Layer Balance: Een nieuwe module wordt voorgesteld om de bijdragen van globale en lokale residuele structuren dynamisch te balanceren over verschillende stadia van de encoder, waardoor optimale feature-preservatie voor de decoder wordt gegarandeerd.
• Architectuur-agnostisch: De voorgestelde encoder-strategie is ontworpen als een 'drop-in replacement' voor bestaande state-of-the-art (SOTA) encoders, wat veelzijdigheid aantoont.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op de Paris StreetView (PSV), CelebA en Places2 datasets met onregelmatige maskers op resoluties van 256×256 en 512×512.

• Kwantitatieve Prestaties: De methode presteert beter dan SOTA-benaderingen (inclusen PENNet, HiFill, CTSDG, ZITS en LaMa) op het gebied van PSNR, SSIM en FID-metrieken. Merkwaardig genoeg levert het vervangen van de encoders van andere SOTA-methoden door de voorgestelde module (bijv. "Ours (PENNet)") consequent superieure resultaten op, wat de effectiviteit van de downsampling-strategie valideert.
• Kwalitatieve Prestaties: Visuele resultaten tonen aan dat de methode de semantische consistentie en fijne details (bijv. gelaatstrekken, architecturale patronen) beter behoudt dan concurrenten, die vaak last hebben van artefacten of wazige texturen, vooral bij hoge maskeringratio's.
• Ablatie-studies: Experimenten bevestigen dat de specifieke combinatie van "Global $\to$ Local" en "Local $\to$ Global" reconstructie, gevolgd door de cross-layer balance, de beste prestaties bereikt vergeleken met het gebruik van single-stream strategieën of inverse reconstructierichtingen.

Betekenis en Claims
Het artikel claimt dat de primaire betekenis ligt in het aanpakken van het fundamentele probleem van informatieverlies tijdens convolutionele downsampling in beeld-inpainting. Door de paradigma te verschuiven van "wederzijdse fusie" naar "structuur-gestuurde reconstructie" onder globale en lokale statistische restricties, slaagt de methode er effectief in zowel de structurele integriteit als de texturele rijkdom te behouden. De auteurs stellen dat deze aanpak bijzonder kritiek is voor hoogresolutie inpainting, waar conventionele methoden falen in het vastleggen van semantische informatie in diepere lagen vanwege het verlies van textuur-featuremaps. Het werk biedt een robuuste, modulaire oplossing die bestaande encoder-decoder-pipelines verbetert zonder een volledige architecturale herziening te vereisen.