Cross-Scenario Deraining Adaptation with Unpaired Data: Superpixel Structural Priors and Multi-Stage Pseudo-Rain Synthesis

Probleemstelling

Het paper adresseert een fundamenteel probleem in de beeldhersteltechniek: beeldontregening (image deraining). Hoewel diepe leermodellen uitstekende resultaten behalen op synthetische, perfect uitgelijnde datasets (de bron-domeinen), presteren ze aanzienlijk slechter wanneer ze worden toegepast op onbekende, realistische scenario's (Out-of-Distribution of OOD-domeinen).

De kern van het probleem is de domeinverschil (domain discrepancy):

1. Gebrek aan gepaarde data: Het verzamelen van grote datasets met echte regenachtige beelden en de bijbehorende "schone" grondwahrheid (ground-truth) is onmogelijk door onvoorspelbaar weer en hoge annotatiekosten.
2. Fysieke complexiteit: Synthetische regen (vaak gemaakt door regenstrepen over te leggen op schone beelden) nabootst niet de complexe fysica van echte regen, zoals variërende belichting, perspectiefvervuiling en nevel.
3. Prestatiedaling: Bestaande state-of-the-art modellen (zoals NeRD-Rain, DRSformer, FADformer) lijden onder een drastische prestatiedaling (tot wel 60% daling in PSNR) wanneer ze worden getest op OOD-domeinen zoals Rain200H of DID-Data, wat leidt tot artefacten en resterende regenstrepen.

Methodologie

Het paper stelt een cross-scenario adaptatieframework voor dat werkt zonder gepaarde regen/schone data in het doeldomein. Het vereist alleen schone achtergrondbeelden uit het doeldomein. Het framework bestaat uit drie kernmodules die samenwerken om hoogwaardige pseudo-gepaarde trainingsdata te genereren:

1. Superpixel Generatie (Sup-Gen)

• Doel: Het extraheren van stabiele structurele prioren uit de bron-domein (schone) beelden.
• Techniek: Het gebruikt het Simple Linear Iterative Clustering (SLIC) algoritme.
• Proces:
  • Het inputbeeld wordt omgezet naar de CIELAB kleurruimte.
  • Er wordt een 5D feature-vector per pixel gemaakt: kleurcoördinaten $(l, a, b)$ en ruimtelijke positie $(x, y)$.
  • Door een genormaliseerde afstandsmetriek te gebruiken, worden het beeld opgesplitst in superpixels die structureel compact en textuur-consistent zijn.
  • Dit levert een verzameling superpixel-patches op die rijk zijn aan structurele informatie.

2. Resolutie-adaptieve Fusie (Resolution-adaptive Fusion)

• Doel: Het aanpassen van de bron-structuren aan de achtergrond van het doeldomein.
• Techniek: Lokale matching gebaseerd op textuurgelijksoortigheid en Mean Squared Error (MSE).
• Proces:
  • De superpixel-patches uit de bron worden gelokaliseerd in het doeldomein (schone pseudo-afbeelding) via een schuifvenster-mechanisme om het gebied met de hoogste textuurgelijksoortigheid te vinden.
  • Een random mask matrix wordt gebruikt om superpixel-blokken proportioneel te extraheren.
  • Een $\alpha$-blending strategie fuseert deze bron-structuren met de doel-achtergrond. Dit zorgt ervoor dat de synthetische data divers en realistisch is, terwijl de intrinsieke verdeling van het doeldomein behouden blijft.

3. Pseudo-label Her-synthese (Pseudo-label Re-Synthesis)

• Doel: Het genereren van realistische regenstrepen voor de trainingsdata.
• Techniek: Een multi-stadia degradatieproces in de YUV kleurruimte.
• Proces:
  1. Initiatie: De luminantie-kanaal ($I_Y$) wordt geëxtraheerd.
  2. Stap 1 (Salt-and-Pepper): Een regenmasker wordt gegenereerd en er wordt zout-en-peper ruis toegevoegd om punt-achtige ruis ($X_s$) te creëren.
  3. Stap 2 (Gaussian Blur): Toepassing van een Gaussische kernel om vlek-achtige ruis met optische gradiënten ($X_g$) te vormen.
  4. Stap 3 (Motion Blur): Conversie naar lineaire regenstrepen ($X_m$) via bewegingsonscherpte.
  5. Fusie: De gegenereerde regenstrepen worden met een gewogen strategie ($\beta$) teruggevoegd naar het luminantie-kanaal en omgezet naar RGB.
• Resultaat: Een set van pseudo-gepaarde samples $(I_{fuse}^{input}, I_{fuse}^{target})$ die dienen als trainingsdata voor het aanpassen van het model aan het doeldomein.

Belangrijkste Bijdragen

1. Eerste framework zonder gepaarde doel-data: Het is het eerste systeem dat cross-scenario adaptatie mogelijk maakt door uitsluitend schone achtergrondbeelden van het doeldomein te gebruiken, wat de haalbaarheid voor praktische implementatie sterk vergroot.
2. Nieuwe augmentatiestrategie: Combinatie van superpixel structurele prioren (via SLIC) met textuurmatching en een multi-stadia ruisgeneratie voor fysiek realistische regen-synthese.
3. Plug-and-play flexibiliteit: De methode kan zonder modificatie worden geïntegreerd in bestaande deraining-architecturen (zoals CNN's en Transformers).
4. Significante prestatieverbetering: De aanpak versnelt de trainingsconvergentie en verbetert de generalisatie naar OOD-domeinen aanzienlijk.

Resultaten

De methode is getest op state-of-the-art modellen (NeRD-Rain, DRSformer, FADformer, DFSSM) met Rain200L als bron en diverse datasets (Rain200H, DID, DDN) als OOD-testset.

• PSNR Winst: Er werd een PSNR-stijging van 32% tot 59% behaald in OOD-domeinen vergeleken met modellen die zonder deze adaptatiemethode werden getraind.
• Convergentie: De trainingsconvergentie werd aanzienlijk versneld. Bijvoorbeeld, NeRD-Rain bereikte de beste prestatie in slechts 15 epochs (5.6x sneller) vergeleken met willekeurige pseudo-regen methoden.
• Kwaliteitsmetrieken: Er waren significante verbeteringen in SSIM (structuur), LPIPS (perceptuele kwaliteit), en NIQE (natuurlijkheid). Visueel tonen de resultaten minder resterende regenstrepen en betere behoud van achtergronddetails dan bestaande methoden.
• Ablatie-studies: De studie bevestigde dat het gebruik van SLIC superieur is aan andere segmentatie-algoritmen (zoals NC05) en dat een lage fusiecoëfficiënt ($\alpha = 0.2$) de beste prestaties oplevert.

Betekenis

Deze paper biedt een cruciale oplossing voor de "real-world gap" in beeldherstel. Door de afhankelijkheid van onhaalbare, gepaarde real-world datasets te doorbreken en in te zetten op slimme, fysiek geïnspireerde data-synthese, maakt het framework robuuste beeldontregening mogelijk voor kritieke toepassingen zoals autonoom rijden en intelligente beveiligingssystemen. Het bewijst dat domeinadaptatie succesvol kan worden uitgevoerd met slechts schone referentiebeelden, wat de weg vrijmaakt voor schaalbare en betrouwbare computer-vision systemen in wisselende weersomstandigheden.