A Principled Self-Referenced Early Stopping Approach for Deep Image Prior

Technische Samenvatting: Een Principiële Zelf-Referentiële Vroege Stopbenadering voor Deep Image Prior

Probleemstelling
Deep Image Prior (DIP) is naar voren gekomen als een krachtige methode zonder trainingsdata voor het oplossen van Inverse Afbeeldingsproblemen (IIP's), zoals ruisreductie, super-resolutie en reconstructie van medische beelden. Door een willekeurig geïnitieerd convolutioneel neuronaal netwerk (CNN) te optimaliseren om aan ruisbehoude metingen te passen, vangt DIP effectief lage-frequentie afbeeldingsstatistieken. Echter, vanwege netwerk-overparametrisatie is DIP vatbaar voor overfitting van meetruis of artefacten in de nulruimte. Bijgevolg is het bepalen van het optimale stoppunt (Vroeg Stoppen, ES) van cruciaal belang.

Bestaande ES-methoden ondervinden aanzienlijke beperkingen:

1. Variantie-gebaseerde methoden (bijv. WMV-ES): Deze volgen fluctuaties in de lopende variantie van de netwerkoutput. Hoewel ze in sommige situaties effectief zijn, detecteren ze overfitting vaak te vroeg voor hoog-resolutie afbeeldingen of die met fijne structuren (bijv. getextureerde natuurlijke afbeeldingen of medische scans), wat leidt tot instabiele reconstructies die ver verwijderd zijn van het optimale "orakel"-stoppunt.
2. Risico-gebaseerde methoden (bijv. SURE): Stein's Unbiased Risk Estimator biedt een principiële risicoschatting, maar vereist nauwkeurige kennis van het ruisniveau. In per-instantie DIP-situaties kunnen deze schattingen een hoge variantie vertonen, wat leidt tot onbetrouwbare beslissingen.
3. Gebrek aan Validatiedata: Standaard validatie vereist een schone ground-truth afbeelding, die niet beschikbaar is bij IIP's. Hoewel het verkrijgen van twee volledig onafhankelijke ruisbehoude kopieën van de gedegradeerde afbeelding theoretisch een bijna-optimale detectie van overfitting zou toelaten, is dit in de praktijk over het algemeen niet haalbaar.

Methodologie
De auteurs stellen een raamwerk voor dat DIP vroege stopzetting reduceert tot een validatieprobleem met behulp van pseudo zelf-referentiële afbeeldingen. Het kerntheoretische inzicht is dat een pseudo-referentie niet perfect onafhankelijk hoeft te zijn van de fitdata; het is voldoende als het component dat gedeeld wordt tussen de fit- en validatiesignalen klein is of niet bij voorkeur wordt gefit voordat de resterende ruis wordt behandeld.

Het artikel introduceert drie specifieke algoritmen gebaseerd op dit principe, toegesneden op verschillende afbeeldingstypen en ruismodellen:

1. Channel-Similarity Reference ES (CSR-ES) voor RGB-afbeeldingen:

   • Mechanisme: Maakt gebruik van het feit dat RGB-kanaal structurele informatie delen maar gedeeltelijk gedecorreleerde ruis bevatten.
   • Procedure: De methode identificeert het paar ruisbehoude kanalen $(i, j)$ met de kleinste afstand (hoogste gelijkenis). Het traint de DIP op het volledige RGB-afbeelding, maar gebruikt de cross-kanaal consistentie (kanaal $i$ fit tegen referentiekanaal $j$) als stopcriterium.
   • Redenering: Dit vermindert schone cross-kanaal bias terwijl ervoor wordt gezorgd dat de kanaalspecifieke ruis minder gecorreleerd blijft met het gefitte kanaal.

2. Mask-Reference ES (MR-ES) voor grijswaardenafbeeldingen:

   • Mechanisme: Construeert een pseudo-referentie door een kleine subset van pixels (bijv. 2% van de pixels) vast te houden via een masker met hoge retentie $M$.
   • Procedure: De DIP wordt getraind met een gemaskerde loss $\|M \odot (f_\theta(z) - y)\|^2$, waarbij vastgehouden pixels expliciet worden uitgesloten van de optimalisatie. Het stopcriterium is de fout op de vastgehouden pixels: $\|H \odot (\hat{x}_t - y)\|^2$, waarbij $H = 1-M$.
   • Redenering: Omdat de vastgehouden pixels worden uitgesloten van de trainingsloss, is de ruis op deze locaties onafhankelijk van de gefitte trajectorie, wat een geldig validatiesignaal biedt.

3. Augmented-Channel Reference ES (ACR-ES) voor Flexibele/Uitdagende Ruis:

   • Mechanisme: Breidt de outputruimte van het DIP-netwerk uit om gevallen te behandelen waarbij eenvoudige maskers of kanaalsplitsingen onbetrouwbaar zijn (bijv. signaalafhankelijke Poisson-ruis).
   • Procedure: Twee pseudo-kopieën van de ruisbehoude afbeelding worden gegenereerd: $y^{(1)} = y + \zeta_1$ en $y^{(2)} = y + \zeta_2$, waarbij $\zeta_1, \zeta_2$ onafhankelijke hulp-perturbaties zijn. Een 2C-kanaal DIP-netwerk wordt getraind om $Y = \text{concat}(y, y^{(1)})$ te fiten. De primaire kanalen reconstrueren de afbeelding, terwijl de hulpkanalen worden gemonitord tegen de onafhankelijke pseudo-kopie $y^{(2)}$.
   • Stopmetriek: In plaats van ruwe MSE, gebruikt ACR-ES een frequentie-bias score (het tweede moment van het residuspectrum). Deze score piekt wanneer het netwerk overgaat van het herstellen van structurele details naar het fiten van ruis, waardoor het gevoeliger is voor de spectrale bias van DIP.

Theoretische Bijdragen
Het artikel biedt theoretische rechtvaardiging voor deze benaderingen:

• Single-Reference Validatie: Bewijst dat als een onafhankelijke ruisbehoude referentie beschikbaar zou zijn, de validatieloss zou concentreren rond de Mean Squared Error (MSE) van de schone afbeelding plus een constante, wat bijna-orakel stopzetting toelaat.
• Pseudo-Validatie Analyse: Demonstreert dat zelfs met een gedeeld component $s$ tussen fitting en validatie, als de gedeelde energie een klein fractie is van de niet-gedeelde variantie, de excessieve MSE ten opzichte van het orakel kwadratisch strakker is dan de worst-case bound.
• Generalisatie: Breidt de validatietheorie uit naar algemene lineaire inverse problemen ($y = A(x) + \eta$) en vestigt voorwaarden waaronder validatie in het meetdomein overgaat naar risico in het afbeeldingsdomein.

Experimentele Resultaten
De auteurs evalueerden hun methoden tegenover baselines (WMV-ES en SURE-ES) voor herstel van natuurlijke afbeeldingen (Set14, CBSD68, Urban100, enz.) en reconstructie van medische beelden (MRI, CT, PD, T2) onder Gaussische, Poisson- en Impulsruis.

• Prestaties: De voorgestelde methoden (CSR-ES, MR-ES, ACR-ES) bereikten consistent stoppunten die veel dichter bij het orakel lagen (de iteratie die de maximale PSNR oplevert) dan bestaande methoden.
  • Voor natuurlijke afbeeldingen verkleinden CSR-ES en ACR-ES de PSNR-gap tot het orakel aanzienlijk (bijv. van ~1,0 dB naar ~0,1–0,2 dB in veel gevallen).
  • Voor medische beelden presteerden MR-ES en ACR-ES beter dan WMV-ES en SURE-ES, vooral in uitdagende Poisson-ruisscenario's waar WMV-ES vaak te vroeg stopte.
• Robuustheid: De methoden vereisten geen nauwkeurige ruisniveauschattingen. ACR-ES toonde robuustheid tegen variaties in de grootte van de hulp-ruis en niet-overeenkomende ruissoorten.
• Generalisatie: Het stopprincipe werd succesvol uitgebreid naar super-resolutie en inpainting taken, waarbij variantie-gebaseerde methoden faalden om uit te lijnen met het orakel-stopgebied.

Betekenis en Claims
Het artikel claimt dat vroege stopzetting voor DIP effectief kan worden gereduceerd tot een validatieprobleem dat oplosbaar is zonder schone ground truth of nauwkeurige ruisinschattingen. Door pseudo zelf-referentiële afbeeldingen te construeren die het validatiesignaal voldoende decorreleren van het fitproces, bieden de auteurs een principiële alternatief voor heuristische variantievolging.

De betekenis ligt in:

1. Principiële Benadering: Het overstijgen van heuristische variantiebewaking naar een validatie-gebaseerd raamwerk ondersteund door concentratie-ongelijkheden.
2. Praktische Toepasbaarheid: Het bieden van specifieke, taak-aangepaste algoritmen (CSR, MR, ACR) die werken over diverse IIP's (ruisreductie, super-resolutie, inpainting) en ruissoorten zonder externe trainingsdata of afstemming van ruisniveaus te vereisen.
3. Betrouwbaarheid: Het aantonen dat deze methoden consistent iteraties selecteren die dichter liggen bij de optimale reconstructiekwaliteit dan huidige state-of-the-art ES-technieken, waarmee het overfitting-probleem inherent aan overparametriserde DIP-netwerken wordt verzacht.