Preventing Overfitting in Deep Image Prior for Hyperspectral Image Denoising

Probleemstelling

Hyperspectrale beelden (HSI) zijn essentieel voor toepassingen zoals milieu-monitoring en precisielandbouw, maar worden vaak aangetast door ruis (Gaussisch, spaarzaam/verspreid, en strepen). Een veelbelovende aanpak voor het verwijderen van deze ruis zonder gesuperviseerde training is het Deep Image Prior (DIP) framework. DIP gebruikt een willekeurig geïnitieerd convolutioneel neuraal netwerk (CNN) dat op één vervuild beeld wordt getraind om de onderliggende structuur van het beeld te leren.

Het fundamentele probleem met DIP-methoden is hun inherente neiging tot overfitting. Omdat het netwerk overgeparameteriseerd is, begint het na een bepaalde trainingsfase niet alleen het signaal te leren, maar ook de ruis te "onthouden". Dit leidt tot een degradatie van de beeldkwaliteit en vereist zorgvuldige early stopping (vroegtijdig stoppen van de training), wat een onbekend en inconsistent tijdstip is dat moeilijk te bepalen is. Bestaande oplossingen hebben beperkingen:

• Methoden gebaseerd op SURE (Stein's Unbiased Risk Estimator) en divergentie-regularisatie werken goed bij Gaussische ruis, maar zijn kwetsbaar voor niet-Gaussische of spaarzame ruis (vaak voorkomend in HSI).
• Methoden met robuste data-fidelity (zoals $\ell_1$-normen) zijn bestand tegen verschillende ruissoorten, maar voorkomen overfitting niet op zichzelf en vereisen nog steeds early stopping.

Methodologie

De auteurs stellen een geünificeerde aanpak voor die drie componenten combineert om overfitting effectief te mitigeren:

1. Robuste Data-Fidelity (Smooth $\ell_1$ Loss):
   In plaats van de gebruikelijke kwadratische ($\ell_2$) foutterm, gebruiken de auteurs de Smooth $\ell_1$ loss (ook bekend als de Moreau-hulling van de $\ell_1$-norm). Deze functie is kwadratisch voor kleine fouten (voor stabiele optimalisatie) en lineair voor grote fouten. Dit maakt de methode robuust tegen spaarzame ruis en zware staartverdelingen, zonder de stabiliteit van de optimalisatie te verliezen.

2. Expliciete Sensitiviteitsregularisatie (Divergentie):
   De auteurs integreren een divergentie-term, geïnspireerd op SURE, die de gevoeligheid van de schatter voor perturbaties in de invoer straft. Dit fungeert als een regularisatie op de effectieve vrijheidsgraden van de schatter. Hoewel dit vaak wordt gebruikt met $\ell_2$-loss, tonen de auteurs aan dat dit in combinatie met andere loss-functies werkt.

3. Gecombineerde Optimalisatie (Joint Input Optimization):
   Een cruciale innovatie is dat het netwerk niet alleen de parameters ($\theta$) optimaliseert, maar ook de invoer ($z$) van het netwerk.

   • De totale loss-functie wordt:
     $$L(\theta, z) = L_{Smooth-\ell_1}(f_\theta(z), y) + \frac{2\sigma^2}{n} \text{div}_z(f_\theta(z))$$
   • De auteurs tonen aan dat de divergentie-regularisatie alleen effectief is in combinatie met input-optimalisatie. Zonder input-optimalisatie kan het netwerk ruis opslaan in zowel de parameters als de invoerrepresentatie. De divergentie-term stabiliseert de uitgebreide optimalisatieruimte en voorkomt dat ruis wordt gememoriseerd.

Belangrijkste Bijdragen

• Unificatie van Robuustheid en Regularisatie: Het paper lost het probleem op dat robuuste loss-functies en divergentie-regularisatie niet triviaal compatibel zijn in DIP. De auteurs tonen aan dat hun gecombineerde loss-functie de geometrie van het optimalisatieprobleem zodanig beïnvloedt dat beide voordelen behouden blijven.
• Eliminatie van Early Stopping: Door de gevoeligheid expliciet te regulariseren tijdens de training, stopt de prestatieverbetering niet abrupt door overfitting. Dit maakt het mogelijk om de training veilig te laten doorgaan zonder het risico op degradatie van het resultaat.
• Unsupervised Framework voor Gemengde Ruis: De methode is ontworpen om effectief te zijn onder een breed scala aan ruiscondities (Gaussisch, spaarzaam, strepen en mengsels daarvan) zonder gesuperviseerde trainingsdata.

Resultaten

De methode werd getest op echte hyperspectrale datasets (Washington DC Mall en Salinas) met verschillende ruisconfiguraties:

• Kwantitatieve Resultaten: De voorgestelde methode behaalde consistent hogere MPSNR (Mean Peak Signal-to-Noise Ratio) en MSSIM (Mean Structural Similarity Index) waarden dan de state-of-the-art methoden SURE-DHIP en HLF-DHIP.
• Stabiliteit: Terwijl de concurrenten (vooral HLF-DHIP) duidelijk overfitting vertoonden na een bepaalde iteratie (daling in MPSNR), behield de voorgestelde methode een stabiele convergentie en hoge prestaties tot het einde van de training (4000 iteraties).
• Kwalitatieve Resultaten: Visuele vergelijkingen toonden aan dat de voorgestelde methode schoner reconstructies oplevert met minder residu-ruis en minder artefacten, vooral in scenario's met strepenruis en gemengde ruis.
• Efficiëntie: De rekentijd was vergelijkbaar met bestaande methoden, maar de mogelijkheid om zonder early stopping te werken maakt de methode praktischer en betrouwbaarder.

Betekenis

Dit werk is significant omdat het een fundamentele beperking van het Deep Image Prior framework voor hyperspectrale beeldverwerking oplost. Door te bewijzen dat sensitivity regularization en robuste data-fidelity succesvol kunnen worden gecombineerd via joint input optimization, bieden de auteurs een robuuste, unsupervised oplossing voor een van de meest uitdagende problemen in de beeldherstelwereld: het balanceren van ruisverwijdering en het behoud van signaalkwaliteit zonder afhankelijkheid van onbekende stopcriteria. Dit opent de deur voor betrouwbaardere toepassing van deep learning in real-world sensoren waar ruispatronen complex en variabel zijn.