Technische Samenvatting: Backbone-Agnostisch Door Perturbatie Geïnduceerd Onzekerheidsleren voor End-to-End Real-World Image Dehazing

Probleemstelling

Real-world beeldontmisting (dehazing) blijft een uitdagend slecht gestelbaar probleem vanwege de ruimtelijk niet-uniforme, illuminatie-afhankelijke en fysiek ambigue aard van de neveldegradatie. Hoewel bestaande end-to-end restauratienetwerken typisch de ontmisting formuleren als een deterministische mapping van een nevelige observatie naar een schoon doelwit, falen ze vaak in het expliciet verkennen van de onzekerheid die verborgen ligt in gedegradeerde kenmerken, nevel-priors en cross-domein negatieve samples. Zelfs met gepaarde real-world datasets (bijv. I-HAZE, O-HAZE, Dense-Haze) kan pixel-gewijze reconstructie alleen resulteren in overmatig gladgestreken structuren of kleurafwijkingen, omdat standaard supervised learning geen rekening houdt met de variërende gevoeligheid van verschillende feature-kanalen en ruimtelijke locaties voor nevel. Bovendien missen bestaande methoden vaak mechanismen om te verifiëren of een gerestaureerd beeld fysiek consistent is met het geobserveerde nevelvormingsproces of om schoon doelwitten effectief te scheiden van echte en synthetische degradatiedomeinen in de feature-ruimte.

Methodologie: BPUL Framework

De auteurs stellen Backbone-Agnostic Perturbation-Induced Uncertainty Learning (BPUL) voor, een plug-and-play framework ontworpen om degradatie-gevoelige feature-onzekerheid te modelleren zonder dat een herontwerp van de onderliggende restauratie-backbone vereist is. BPUL bestaat uit drie complementaire componenten:

1. Learnable Perturbation-induced Uncertainty Modulator (LPUM)

LPUM is de kernmodule voor inferentie die in de tussenliggende lagen van een restauratie-backbone (CNN, Transformer of hybride) wordt ingevoegd. Het werkt door:

• Stochastische Perturbatie: Het injecteren van leerbare stochastische perturbaties in tussenliggende feature maps. Het schat kanaal-gewijze en ruimtelijke-gewijze perturbatieverdelingen in met behulp van herparameteriseerde sampling (het voorspellen van gemiddelde en log-standaarddeviatie).
• Onzekerheidsrespons: Het vergelijken van de oorspronkelijke feature-respons met de invers-uitgelijnde geperturbeerde respons om een discrepantierapport te berekenen. Deze discrepantie meet de gevoeligheid van specifieke kanalen en ruimtelijke locaties voor nevel-gerelateerde perturbaties.
• Feature Modulatie: Het omzetten van deze discrepanties naar modulatiegewichten (via sigmoid-gated mappings) die de features adaptief schalen. Stabiele responsen duiden op betrouwbare inhoud, terwijl scherpe veranderingen na perturbatie degradatie-gevoelige regio's benadrukken die modulatie vereisen.

2. Prior-informed Uncertainty-guided Reconstruction Module (PURM)

PURM fungeert als een constraint tijdens de training om fysieke consistentie af te dwingen. Het reconstrueert de oorspronkelijke nevelige observatie ($\hat{I}$) vanuit het gerestaureerde beeld ($\hat{J}$) met behulp van het atmosferische verstrooiingsmodel:
$$\hat{I}(x) = \hat{T}(x)\hat{J}(x) + (1 - \hat{T}(x))\hat{A}(x)$$

• Prior Injectie: Het maakt gebruik van Dark Channel Prior (DCP) schattingen voor transmissie ($T_d$) en atmosferisch licht ($A_d$), die worden geïnjecteerd via concatenatie en latente affine modulatie.
• Onzekerheid Koppeling: Cruciaal is dat PURM de perturbatie-aanwijzingen ($N_c, N_s$) overneemt die door de LPUM van de backbone zijn gegenereerd (via een geërfde I-LPUM block) in plaats van nieuwe perturbaties te leren. Dit zorgt ervoor dat regio's die als gevoelig zijn geïdentificeerd tijdens de voorwaartse ontmisting, ook de achterwaartse nevelreconstructie beïnvloeden.
• Loss: Een reconstructieverlies ($L_{rec}$) minimaliseert het verschil tussen het gereconstrueerde nevelige beeld en de originele input.

3. Dual-space Domain-diversified Distribution-aware Contrastive Loss (D3CL)

D3CL reguleert de feature-verdelingen in zowel de schone restauratieruimte als de nevelige reconstructieruimte.

• Dual-space: Het past contrastief leren toe op zowel het gedestilleerde beeld ($\hat{J}$) als het gereconstrueerde nevelige beeld ($\hat{I}$).
• Gediversifieerde Negatieven: In plaats van alleen de gepaarde nevelige input als negatief te gebruiken, hanteert het:
  • Real-world negatieven: Niet-overeenkomende nevelige beelden uit andere trainingsparen om het bredere real-world degradatiedomein te modelleren.
  • Synthetische negatieven: Om synthetische nevelverdelingen te dekken.
• Stochastische Features: Om distributie-bewuste representaties efficiënt te benaderen, worden perceptuele features (geëxtraheerd via een bevroren VGG-19) geperturbeerd op basis van hun activatiemagnitude, waardoor dure Monte Carlo-inferenties worden vermeden.
• Objectief: De loss trekt de anchor naar de positieve (schoon of origineel nevelig) en duwt deze weg van real-world en synthetische negatieven in een perturbatie-bewuste perceptuele ruimte.

Training vs. Inferentie: Het volledige framework (LPUM + PURM + D3CL) wordt gebruikt tijdens de training. Tijdens de inferentie wordt alleen de backbone versterkt met de lichtgewicht LPUM behouden; PURM en D3CL worden weggegooid, wat zorgt voor minimale extra computationele overhead.

Belangrijkste Bijdragen

1. BPUL Framework: Introductie van een backbone-agnostisch onzekerheidsleerframework dat degradatie-gevoelige feature-onzekerheid expliciet modelleert door middel van leerbare stochastische perturbaties.
2. LPUM: Een module die kanaal-gewijze en ruimtelijke-gewijze onzekerheidsresponsen schat uit perturbatie-geïnduceerde discrepanties, wat adaptieve feature-modulatie mogelijk maakt zonder de architectuur van de backbone te wijzigen.
3. PURM: Een reconstructiemodule die een bidirectionele fysieke-consistentie constraint oplegt door de nevelige observatie te reconstrueren vanuit het gerestaureerde resultaat, geleid door transmissie/atmosferische priors en gedeelde onzekerheidscues.
4. D3CL: Een dual-space contrastieve loss die zowel de schone als de nevelige ruimte reguleert met behulp van real-world en synthetische negatieven binnen een perturbatie-bewuste feature-ruimte.
5. Empirische Validatie: Uitgebreide experimenten die aantonen dat BPUL meerdere representatieve backbones (MIMOUNet, IRNeXt, HOGformer-S, VIVNet) consistent verbetert over vijf real-world gepaarde benchmarks.

Experimentele Resultaten

De auteurs hebben BPUL geëvalueerd op vijf real-world gepaarde benchmarks: Dense-Haze, I-HAZE, O-HAZE, NH-HAZE, en LMHaze.

• Prestaties: BPUL verbeterde alle vier de geteste backbones consistent. Gemiddeld verbeterde het MIMOUNet met 1.13 dB / 0.031 SSIM, IRNeXt met 0.96 dB / 0.021 SSIM, HOGformer-S met 1.48 dB / 0.061 SSIM, en VIVNet met 1.09 dB / 0.038 SSIM.
• Generaliteit: De methode toonde robuustheid aan over verschillende degradatietypes (indoor/outdoor, homogeen/niet-homogeen, variërende intensiteiten) en verschillende backbone-architecturen (CNN, Transformer, hybride).
• Efficiëntie: Omdat PURM en D3CL enkel tijdens de training gebruikte constraints zijn, is de inferentiekosten marginaal en beperkt tot de lichtgewicht LPUM-operaties.
• Ablatieonderzoeken:
  • Het verwijderen van ofwel de kanaal-gewijze of de ruimtelijke-gewijze tak in LPUM verslechterde de prestaties, wat de noodzaak voor gezamenlijke modellering bevestigt.
  • Het verwijderen van leerbare perturbatiegeneratie verminderde de PSNR, wat het belang van geleerde verdelingen benadrukt.
  • In PURM zorgde het verwijderen van prior-inputs of onzekerheidsmodulatie voor een aanzienlijk lagere prestatie, en het delen van perturbaties tussen voorwaartse en achterwaartse modules bleek superieur aan onafhankelijke schatting.
  • D3CL-ablatie toonde aan dat het gebruik van niet-overeenkomende real-world negatieven, synthetische negatieven en stochastische VGG-features progressief de resultaten verbeterde, waarbij de volledige dual-space formulering de beste winst opleverde.

Betekenis en Claims

Het artikel claimt dat BPUL een algemene en efficiënte benadering biedt om real-world beeldontmistingsnetwerken te versterken. Door expliciet degradatie-gevoelige onzekerheid te leren en bidirectionele degradatie-consistentie af te dwingen, adresseert het framework de ambiguïteit die inherent is aan real-world nevel, wat deterministische mappings vaak missen. De auteurs benadrukken dat BPUL backbone-agnostisch is, wat betekent dat het met minimale architecturale interventie in bestaande state-of-the-art restauratienetwerken kan worden geïntegreerd terwijl het substantiële restauratiewinsten levert. De aanpak verschuift het paradigma van puur deterministische restauratie naar onzekerheidsbewuste verwerking, en biedt een principiële manier om de fysieke ambiguïteiten van real-world nevel aan te pakken zonder significante inferentie-overhead te veroorzaken.