Oracle Supervision Transfers for Hyperparameter Prediction in Model-Based Image Denoising

Technische Samenvatting: Overdracht van Orakeltoezicht voor Hyperparameterpredictie in Modelgebaseerde Beeldontruising

Probleemstelling
Modelgebaseerde beeldontruisers, variërend van klassieke variatieoplossers (bijv. TV, TGV) tot moderne op diffusie gebaseerde modellen (bijv. DiffPIR), vereisen zorgvuldige selectie van hyperparameters om de reconstructiekwaliteit (bijv. PSNR) te maximaliseren voor specifieke beeld- en ruisconfiguraties. Hoewel geleerde predictoren voor een vaste configuratie bijna-orakelprestaties kunnen behalen, lijdt deze aanpak onder slechte schaalbaarheid. Het genereren van de nodige "orakel"-labels—hyperparameters die de PSNR maximaliseren ten opzichte van schoon grondwaarheid—vereist een computergewijs kostbare hiërarchische rasterzoek voor elk trainingsbeeld. Deze kosten schalen mee met het aantal ontruisers, ruissoorten en hun mengsels. Bijgevolg is het creëren van een specifieke predictor voor elke nieuwe configuratie (nieuwe ontruimer, nieuwe ruismengsel of nieuwe resolutie) onbetaalbaar duur, aangezien elk zijn eigen met orakel gelabelde trainingsset vereist.

Methodologie: HyperDn
De auteurs stellen HyperDn voor, een enkele, configuratie-geconditioneerde predictor die is ontworpen om orakeltoezicht over diverse onruisconfiguraties over te dragen. In plaats van aparte predictoren te trainen voor elke configuratie, poolt HyperDn orakellabels van meerdere bronconfiguraties om één geünificeerd model te trainen.

• Architectuur: Het model bestaat uit een gedeelde beeldencoder en een configuratie-geconditioneerde outputkop.
  • Beeldencoder: Gebaseerd op een afgeknotte, op ImageNet voorgetrainde ConvNeXtV2 (stam en fasen 0–1), extraheren deze kenmerken uit het gedegradeerde beeld. Deze integreert ook beeldafmetingen ($H, W$) via logaritmische embedding.
  • Condition Encoder: Codeert de onruisconfiguratie, inclusief identificatoren voor de dataterm ($d$) en priorterm ($r$), evenals optionele metadata voor ruisattributen (bijv. mengsels van ruissoorten) en observatieparameters (bijv. fotonentelling).
  • Denoiser-gekalibreerde Slot Readout: Dit is de kerninnovatie voor het hanteren van heterogeniteit. De output is een opgevulde vector waarbij elke coördinaat (slot) overeenkomt met een specifieke hyperparameterrol (bijv. $\lambda$ voor priorgewicht, $\delta$ voor drempel, $\gamma$ voor TGV-ratio). De readout gebruikt gedeelde slot-embeddings voor terugkerende rollen over verschillende ontruimers, maar past een geleerde affiene transformatie (schaal en offset) toe die specifiek is voor de doelonruisconfiguratie. Dit stelt het model in staat de semantiek van een hyperparameterrol (bijv. het in evenwicht brengen van datafideliteit en prior) te leren uit goedkope bronnen, terwijl het zich aanpast aan de specifieke numerieke bereiken van dure doelen.
• Trainingsstrategie: HyperDn wordt getraind via regressie op gepoolde orakellabels van bronconfiguraties. De verliesfunctie straalt alleen de "actieve" slots die relevant zijn voor de specifieke configuratie van het invoermonster af, en negeert opgevulde slots. Voor de DiffPIR-overdrachtsexperimenten wordt het model eerst voorge traind op een pool van 13 niet-DiffPIR bronconfiguraties (met TV/TGV-oplossers) en vervolgens fijn afgestemd met few-shot doellabels.

Belangrijkste Bijdragen

1. Overdraagbaar Orakeltoezicht: Het artikel postuleert en demonstreert dat orakelhyperparameterlabels niet configuratiespecifiek zijn, maar overdraagbare kennis bevatten over beeld eigenschappen (ruis, textuur, randen) en hyperparameterrollen.
2. Gepoolde Multi-Configuratie Training: HyperDn maakt gebruik van een enkele predictor die is getraind op gepoolde data van 13 bronconfiguraties, waarbij een gedeelde encoder en een gespecialiseerde readoutkop worden gebruikt om variërende aantallen en semantiek van hyperparameters te hanteren.
3. Kostenasymmetrische Overdracht: De methode slaagt erin toezicht over te dragen van configuraties met goedkope orakellabels (snelle TV/TGV-oplossers, kleine afbeeldingen) naar die met dure labels (trage DiffPIR-diffusie-sampling, hoge-resolutie afbeeldingen).

Experimentele Resultaten
De auteurs evalueren HyperDn over drie overdrachtsassen:

1. Few-Shot Overdracht naar DiffPIR: Overdracht van TV/TGV-bronnen naar het dure DiffPIR-model op 256×256 afbeeldingen.

   • Met slechts 2 doelorakellabels bereikt HyperDn 30,23 dB, binnen 0,90 dB van het orakel (31,13 dB).
   • Deze prestatie overtreft een per-configuratie CNN die vanaf nul is getraind met 64 labels (29,92 dB), en gebruikt effectief 1/32 van de doellabels die door de baseline worden vereist.
   • Zonder bronvoortraining (alleen ImageNet-initiatie) daalt de prestatie aanzienlijk, wat de waarde van het gepoolde toezicht benadrukt.

2. Zero-Shot Overdracht naar Gemengde Ruis: Het voorspellen van hyperparameters voor ruismengsels (bijv. impuls + Gaussisch) die niet tijdens de training zijn gezien, met behulp van alleen single-noise-brongegevens.

   • Met nul doellabels bereikt HyperDn bijna-orakelprestaties (binnen 0,21 dB en 0,09 dB van het orakel op twee verschillende gemengde-ruisdoelen).
   • Baselines die simpelweg voorspellingen of optima van single-noise-modellen middelen, falen aanzienlijk (5–7 dB gat), wat aantoont dat HyperDn een niet-triviale representatie van ruismengsels leert.

3. Zero-Shot Cross-Resolutie Overdracht: Overdracht van kleine bronafbeeldingen (96×96) naar grote doelfoto's (512×768), waarbij de generatie van orakellabels ongeveer 40× duurder is.

   • Met nul doellabels behoudt HyperDn bijna-orakelprestaties (gat < 0,27 dB) over verschillende datasets (Kodak24, CBSD68, Urban100) en configuraties.

Betekenis en Beweringen
Het artikel beweert dat dure orakeltoezicht voor hyperparameterpredictie effectief kan worden overgedragen van bron naar nieuwe doelconfiguraties. Dit vermindert de noodzaak om orakellabels voor elke nieuwe onruisopstelling opnieuw te bouwen. De betekenis ligt in:

• Verlaging van Implementatiekosten: Door few-shot of zero-shot aanpassing mogelijk te maken, drukt de methode de computerkosten voor het genereren van orakellabels voor nieuwe, dure configuraties (zoals diffusiemodellen of hoge-resolutie afbeeldingen) drastisch.
• Generalisatie: Het demonstreert dat een enkele predictor kan generaliseren over verschillende onruisparadigma's (variërend versus diffusie), ruissoorten en beeldresoluties.
• Praktijktoepasbaarheid: De inferentiekosten zijn verwaarloosbaar (een enkele forward pass) in vergelijking met de downstream onruisoplosser, waardoor het een levensvatbaar onderdeel wordt voor praktische beeldherstelpipelines.

De auteurs blijven bescheiden, en merken op dat de overdracht naar nieuwe ontruimers few-shot is in plaats van volledig zero-shot (waarbij een klein aantal doellabels voor fijnafstemming nodig is) en dat zero-shot resultaten voor gemengde ruis beperkt zijn tot mengsels van ruissoorten die individueel tijdens de training zijn gezien. Ze claimen geen formele garanties buiten de geteste settings, maar leveren empirisch bewijs van de overdraagbaarheid van orakeltoezicht.