Real-World Scene Recovery for Scattering-Degraded Images Using Spatial and Frequency Priors

Technische Samenvatting: Herstel van Realistische Scènes voor Verstrooiingsgedegradeerde Afbeeldingen met Ruimtelijke en Frequentie-Priors

Probleemstelling
Het herstellen van scènes uit afbeeldingen die zijn aangetast door verstrooiingseffecten—zoals nevel, stofstormen, onderwateromstandigheden en omgevingen voor aardobservatie—blijft een fundamentele uitdaging in computer vision. Deze degradaties introduceren additieve sluiercomponenten en verminderen de directe transmissie, wat leidt tot verminderd contrast, kleurstoring en verlies van structurele details. Dit belemmert aanzienlijk de visuele waarneming en de prestaties van downstreamtaken zoals objectdetectie en segmentatie. Bestaande oplossingen vallen over het algemeen in twee categorieën: priorgestuurde methoden en leergestuurde methoden. Priorgestuurde benaderingen vertrouwen vaak op een enkele prior die is ontworpen voor specifieke scenario's (bijvoorbeeld dagelijkse nevel), waardoor ze niet generaliseren over diverse, heterogene verstrooiingsdegradaties. Omgekeerd vereisen leergestuurde methoden, hoewel krachtig, doorgaans grote synthetische trainingsdatasets, lijden ze onder domeinkloven wanneer ze worden toegepast op realistische scenario's, en vragen ze aanzienlijke rekenkracht.

Methodologie: Ruimtelijke en Frequentie-Priors (SFP)
De auteurs stellen een nieuw raamwerk voor, Ruimtelijke en Frequentie-Priors (SFP), dat is ontworpen om scènes te herstellen uit realistische verstrooiingsgedegradeerde afbeeldingen zonder te vertrouwen op grote synthetische trainingsdatasets. Het raamwerk werkt via drie hoofdfasen:

1. Ruimtelijk-domein Prior (SDP):

   • Observatie: De auteurs observeren dat de inverse van een verstrooiingsgedegradeerde afbeelding ($1 - I(x)$) een projectie onthult langs zijn spectrale richting die correleert met de onderliggende scenes-transmissie.
   • Mechanisme: De spectrale richting $S(x)$ wordt gemodelleerd als de gradiënten van de drie kleurkanalen. De methode projecteert de geïnverteerde gedegradeerde afbeelding op deze spectrale richting om de scenes-transmissiekaart $t(x)$ te schatten.
   • Herstel: Zodra $t(x)$ en het globale atmosferische licht $A$ zijn geschat, wordt de scenes-straling $J(x)$ hersteld door het Atmosferische Verstrooiingsmodel (ASM) te inverteren.

2. Frequentiedomein-Priors (FDP):

   • Observatie 1 (DC-componenten): In heldere afbeeldingen benadert de gemiddelde intensiteit van de Directe Stroom (DC)-componenten over de kanalen de gemiddelde DC-waarde van de overeenkomstige gedegradeerde afbeelding.
   • Observatie 2 (Lage radiale frequenties): In heldere afbeeldingen dragen lage radiale frequenties (binnen een smalle band, $\rho(x) < 0.001$) slechts een klein deel (ongeveer 1%) bij aan het totale spectrum. Hogere proportions wijzen op ernstige degradatie.
   • Mechanisme: Gebaseerd op deze observaties wordt een adaptief masker $M_C(x)$ geconstrueerd om frequentiedomeinversterking uit te voeren. De maskerp parameters worden adaptief bepaald om de DC-componenten uit te lijnen en het laagfrequente percentage te herstellen naar de verwachte basislijn van 1%, wat effectief compensatie biedt voor verstrooiingsgeïnduceerde attenuatie.

3. Gewogen Fusiestrategie:

   • Het uiteindelijke herstelde beeld wordt verkregen door de ruimtelijk herstelde afbeelding, de frequentie-versterkte afbeelding en de originele invoer te fuseren.
   • De fusie wordt uitgevoerd in de Lab-kleurruimte. Voor de $a$- en $b$-kanalen worden gewichten toegewezen op basis van kleurneutraliteit (gemiddelde waarden dicht bij nul). Voor de $L$-kanaal (luminantie) wordt een discrete golflettransformatie (DWT) gebruikt, waarbij laagfrequente componenten uit het ruimtelijke resultaat worden behouden en hoogfrequente componenten worden gefuseerd met een maximumwaarde-strategie.
   • Naschot (gamma-correctie en HDR-compressie) wordt toegepast om visuele consistentie te verbeteren.

Belangrijkste Bijdragen

• Nieuw Raamwerk: De introductie van SFP, dat complementaire priors in zowel ruimtelijke als frequentiedomeinen gezamenlijk benut, verdergaand dan de beperkingen van enkel-domein of enkel-prior benaderingen.
• Nieuwe Priors:
  • Een ruimtelijke prior die spectrale eigenschappen benut om de geïnverteerde gedegradeerde afbeelding op de spectrale richting te projecteren, waarmee de scenes-transmissie wordt benaderd.
  • Twee frequentie-priors die gebruikmaken van de statistische kenmerken van DC-componenten en lage radiale frequenties om een adaptief masker te construeren voor degradatie-bewuste versterking.
• Generalisatie: De methode bereikt superieure prestaties over diverse realistische scenario's (nevel, stofstorm, onderwater, aardobservatie) zonder grote synthetische trainingsdatasets te vereisen.
• Plug-and-Play Capaciteit: De frequentiedomein-prior kan worden geïntegreerd met bestaande ruimtelijke priors om hun prestaties te verbeteren, wat flexibiliteit demonstreert.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op diverse realistische datasets, waaronder FTD, DHQ, HSTS, Fattal (nevel); DID, DAWN (stofstorm); UIEB, U45, UCCS, UHTS (onderwater); en UAV, RRSHID, RRSD (aardobservatie). Bovendien werd de methode getest op gemengde degradatiedatasets (RUSH) en complexe nachtelijke nevelscènes (NHRW, RealNightHaze).

• Kwantitatieve Prestaties: SFP presteerde consequent beter dan meer dan 50 state-of-the-art methoden (zowel priorgestuurde als leergestuurde) over meerdere metrieken (NIMA, FADE, NIQE, UCIQE). Bijvoorbeeld, op realistische neveldatasets verbeterde het de gemiddelde NIMA-scores met ongeveer 0,66% en verlaagde het FADE met 17,64%. Op onderwaterdatasets verbeterde het de UCIQE-scores met 6,70%.
• Visuele Kwaliteit: Visuele vergelijkingen toonden aan dat SFP nevel en kleurbias effectief verwijdert terwijl fijne structurele details worden behouden en een natuurlijke kleurausstraling wordt gehandhaafd, waardoor halo-artefacten of overversterking die bij andere methoden voorkomen, worden vermeden.
• Downstreamtaken: Het raamwerk verbeterde de prestaties significant in hogere visietaken. Wanneer het werd gebruikt als een voorverwerkingsstap voor objectdetectie (YOLOv8), behaalde SFP de hoogste gemiddelde precisie over categorieën (Persoon, Fiets, Auto, Motorfiets, Bus) in vergelijking met andere nevelverwijdende methoden. Het verbeterde ook de resultaten in sleutelpuntdetectie en afbeeldingsegmentatie.

Betekenis en Claims
Het artikel beweert dat SFP de kritieke beperkingen van bestaande methoden aanpakt: het gebrek aan aanpasbaarheid in enkel-domein priors en de slechte generalisatie van datagedreven methoden naar realistische scenario's. Door degradatiekenmerken gezamenlijk te modelleren in zowel ruimtelijke als frequentiedomeinen, biedt SFP een robuuste, parameterloze oplossing die niet afhankelijk is van zware rekenkracht of synthetische data. De auteurs benadrukken dat de methode bijzonder effectief is in complexe, gekoppelde degradatiescenario's, zoals nachtelijke nevel, en dient als een betrouwbare voorverwerkingsstap om de betrouwbaarheid van op visie gebaseerde systemen in realistische toepassingen te verbeteren.