Oracle Supervision Transfers for Hyperparameter Prediction in Model-Based Image Denoising

Sintesi Tecnica: Trasferimenti di Supervisione Oracolo per la Previsione di Iperparametri nella Denoising di Immagini Basata su Modelli

Enunciato del Problema
I denoiser di immagini basati su modelli, che spaziano da solver variazionali classici (ad es. TV, TGV) a modelli moderni basati su diffusione (ad es. DiffPIR), richiedono una selezione accurata degli iperparametri per massimizzare la qualità di ricostruzione (ad es. PSNR) per specifiche configurazioni di immagine e rumore. Sebbene i predictor appresi possano raggiungere prestazioni vicine all'oracolo per una configurazione fissa, questo approccio soffre di scarsa scalabilità. La generazione delle etichette "oracolo" necessarie — iperparametri che massimizzano il PSNR rispetto alla verità fondamentale pulita — richiede una ricerca gerarchica su griglia computazionalmente costosa per ogni immagine di addestramento. Questo costo scala con il numero di denoiser, tipi di rumore e le loro miscele. Di conseguenza, creare un predictor dedicato per ogni nuova configurazione (nuovo denoiser, nuova miscela di rumore o nuova risoluzione) è proibitivamente costoso, poiché ciascuno richiede il proprio set di addestramento etichettato dall'oracolo.

Metodologia: HyperDn
Gli autori propongono HyperDn, un singolo predictor condizionato alla configurazione progettato per trasferire la supervisione oracolo attraverso diverse configurazioni di denoising. Invece di addestrare predictor separati per ogni configurazione, HyperDn raccoglie etichette oracolo da più configurazioni sorgente per addestrare un unico modello unificato.

• Architettura: Il modello è composto da un codificatore di immagini condiviso e una testata di output condizionata alla configurazione.
  • Codificatore di Immagini: Costruito su un ConvNeXtV2 pre-addestrato su ImageNet troncato (stelo e stadi 0–1), estrae caratteristiche dall'immagine degradata. Incorpora anche le dimensioni dell'immagine ($H, W$) tramite embedding logaritmico.
  • Codificatore di Condizione: Codifica la configurazione di denoising, inclusi identificatori per il termine dati ($d$) e il termine a priori ($r$), nonché metadati opzionali per gli attributi del rumore (ad es. miscele di tipi di rumore) e parametri di osservazione (ad es. conteggio di fotoni).
  • Lettura di Slot Calibrata sul Denoiser: Questa è l'innovazione principale per la gestione dell'eterogeneità. L'output è un vettore riempito (padded) in cui ogni coordinata (slot) corrisponde a un ruolo specifico di iperparametro (ad es. $\lambda$ per il peso a priori, $\delta$ per la soglia, $\gamma$ per il rapporto TGV). La lettura utilizza embedding di slot condivisi per ruoli ricorrenti tra diversi denoiser, ma applica una trasformazione affine appresa (scala e offset) specifica per la configurazione del denoiser target. Ciò permette al modello di apprendere la semantica di un ruolo di iperparametro (ad es. bilanciare la fedeltà ai dati e il termine a priori) da fonti economiche adattandosi ai specifici intervalli numerici dei target costosi.
• Strategia di Addestramento: HyperDn è addestrato tramite regressione su etichette oracolo raggruppate da configurazioni sorgente. La funzione di perdita penalizza solo gli slot "attivi" rilevanti per la specifica configurazione del campione di input, ignorando gli slot di riempimento. Per gli esperimenti di trasferimento su DiffPIR, il modello viene prima pre-addestrato su un pool di 13 configurazioni sorgente non-DiffPIR (utilizzando solver TV/TGV) e successivamente fine-tunato con poche etichette target.

Contributi Chiave

1. Supervisione Oracolo Trasferibile: Il lavoro postula e dimostra che le etichette degli iperparametri oracolo non sono specifiche della configurazione, ma contengono conoscenza trasferibile sulle proprietà dell'immagine (rumore, texture, bordi) e sui ruoli degli iperparametri.
2. Addestramento Multi-Configurazione Raggruppato: HyperDn utilizza un singolo predictor addestrato su dati raggruppati provenienti da 13 configurazioni sorgente, impiegando un codificatore condiviso e una testata di lettura specializzata per gestire numeri e semantica variabili degli iperparametri.
3. Trasferimento Asimmetrico per Costo: Il metodo trasferisce con successo la supervisione da configurazioni con etichette oracolo economiche (solver TV/TGV veloci, immagini piccole) a quelle con etichette costose (campionamento diffusivo DiffPIR lento, immagini ad alta risoluzione).

Risultati Sperimentali
Gli autori valutano HyperDn su tre assi di trasferimento:

1. Trasferimento Few-Shot su DiffPIR: Trasferimento da sorgenti TV/TGV al costoso modello DiffPIR su immagini 256×256.

   • Con sole 2 etichette oracolo target, HyperDn raggiunge 30,23 dB, entro 0,90 dB dall'oracolo (31,13 dB).
   • Questa prestazione supera un CNN per configurazione addestrato da zero utilizzando 64 etichette (29,92 dB), utilizzando efficacemente 1/32 delle etichette target richieste dalla baseline.
   • Senza pre-addestramento sorgente (solo inizializzazione ImageNet), le prestazioni calano significativamente, evidenziando il valore della supervisione raggruppata.

2. Trasferimento Zero-Shot su Rumore Misto: Previsione di iperparametri per miscele di rumore (ad es. impulso + Gaussiano) non viste durante l'addestramento, utilizzando solo dati sorgente a rumore singolo.

   • Con zero etichette target, HyperDn raggiunge prestazioni vicine all'oracolo (entro 0,21 dB e 0,09 dB dall'oracolo su due diversi target a rumore misto).
   • Le baseline che semplicemente mediano le previsioni o gli ottimi da modelli a rumore singolo falliscono significativamente (gap di 5–7 dB), dimostrando che HyperDn apprende una rappresentazione non banale delle miscele di rumore.

3. Trasferimento Zero-Shot Cross-Risoluzione: Trasferimento da immagini sorgenti piccole (96×96) a immagini target grandi (512×768), dove la generazione di etichette oracolo è circa 40 volte più costosa.

   • Con zero etichette target, HyperDn mantiene prestazioni vicine all'oracolo (gap < 0,27 dB) su vari dataset (Kodak24, CBSD68, Urban100) e configurazioni.

Significato e Affermazioni
Il lavoro afferma che la supervisione oracolo costosa per la previsione degli iperparametri può essere trasferita efficacemente da sorgenti a nuove configurazioni target. Ciò riduce la necessità di ricostruire etichette oracolo per ogni nuovo setup di denoising. Il significato risiede in:

• Riduzione dei Costi di Deployment: Abilitando l'adattamento few-shot o zero-shot, il metodo riduce drasticamente il costo computazionale della generazione di etichette oracolo per nuove configurazioni costose (come modelli diffusivi o immagini ad alta risoluzione).
• Generalizzazione: Dimostra che un singolo predictor può generalizzare attraverso diversi paradigmi di denoising (variazionale vs. diffusione), tipi di rumore e risoluzioni di immagine.
• Praticità: Il costo di inferenza è trascurabile (un singolo passaggio in avanti) rispetto al solver di denoising a valle, rendendolo un componente vitale per pipeline pratiche di restauro delle immagini.

Gli autori rimangono modesti, notando che il trasferimento su nuovi denoiser è few-shot e non completamente zero-shot (richiedendo un piccolo numero di etichette target per il fine-tuning) e che i risultati zero-shot per il rumore misto sono limitati a miscele di tipi di rumore visti individualmente durante l'addestramento. Non affermano garanzie formali al di fuori delle impostazioni testate, ma forniscono prove empiriche della trasferibilità della supervisione oracolo.