Beyond Model Design: Data-Centric Training and Self-Ensemble for Gaussian Color Image Denoising

1. Definizione del Problema

Il lavoro si concentra sulla sfida di denoising (rimozione del rumore) di immagini a colori gaussiane a un livello di rumore fisso di $\sigma = 50$, nell'ambito della sfida NTIRE 2026 Image Denoising Challenge.
L'obiettivo è recuperare un'immagine pulita $y$ da un'immagine osservata rumorosa $x$, dove il degrado è modellato come $x = y + n$ (con $n$ rumore gaussiano).
La premessa fondamentale del paper è che, per questo compito specifico, l'architettura di base (il "backbone") è già matura e performante. Pertanto, il limite delle prestazioni non risiede più nella progettazione del modello, ma in due fattori complementari:

1. La quantità e la diversità dei dati di training (approccio data-centric).
2. L'efficienza con cui la strategia di inferenza sfrutta le capacità del modello già addestrato.

2. Metodologia

Il team non ha proposto una nuova architettura di rete, ma ha ottimizzato l'uso dell'architettura Restormer, uno stato dell'arte consolidato per la restaurazione di immagini ad alta risoluzione. La metodologia si articola in tre componenti principali:

A. Addestramento Data-Centric a Due Stadi

Invece di modificare il backbone, i ricercatori hanno espanso drasticamente il corpus di addestramento e organizzato l'ottimizzazione in due fasi successive:

• Corpus Esteso: Oltre ai dataset standard (DIV2K, Flickr2K, BSD500, WED), sono stati integrati sette dataset pubblici ad alta risoluzione, inclusi OST, LSDIR, LIU4K-v2, NKUSR8K (dal progetto DiT4SR) e DIV8K. Il pool totale comprende 143.679 immagini.
• Strategia a Due Stadi:
  • Fase I: Addestramento su un corpus base espanso (DIV2K, Flickr2K, OST, LSDIR) per stabilire un prior di restaurazione solido e stabile.
  • Fase II: Introduzione di dataset aggiuntivi (LIU4K-v2, NKUSR8K, DIV8K) per aumentare la diversità visiva e favorire una generalizzazione più ampia.
• Configurazione: Utilizzo di AdamW e funzione di perdita MSE. Il tasso di apprendimento (Learning Rate) scende da $1 \times 10^{-4}$ nella Fase I a $1 \times 10^{-5}$ nella Fase II.

B. Inference: Self-Ensemble Geometrico

Per massimizzare le prestazioni durante la fase di test, è stata applicata una strategia di Self-Ensemble Geometrico $\times 8$.

• Il modello esegue 8 inferenze diverse sull'immagine di input, applicando tutte le simmetrie del gruppo diedrale (rotazioni e riflessioni).
• Le previsioni vengono poi trasformate indietro e mediate per ottenere l'output finale.
• Questo approccio non richiede ri-addestramento ma aumenta il tempo di inferenza di un fattore 8, rappresentando un classico compromesso tra accuratezza e costo computazionale.

C. Wrapper TLC (Local Inference)

Il sistema mantiene un wrapper di inferenza locale in stile TLC (Trained Local Conversion) per coerenza implementativa con pratiche precedenti. Tuttavia, lo studio dimostra che questo componente contribuisce in modo trascurabile al guadagno finale di prestazioni in questo specifico setting.

3. Contributi Chiave

1. Miglioramento senza modifiche architetturali: Dimostrazione che un denoiser basato su Restormer può essere significativamente potenziato (fino a +3.366 dB PSNR) esclusivamente attraverso l'espansione del corpus di dati e un piano di ottimizzazione a due stadi, senza toccare la struttura del modello.
2. Quantificazione sistematica dei guadagni: Fornitura di una misurazione precisa del contributo del self-ensemble geometrico rispetto al wrapper TLC, isolando le fonti reali di miglioramento.
3. Validazione Esterna: I risultati ottenuti sono stati validati competitivamente nella sfida NTIRE 2026, dove il team "wedream" ha ottenuto il 2° posto con un punteggio di 29.89 dB PSNR e 0.87 SSIM (sulla leaderboard finale), confermando l'efficacia del metodo proposto.

4. Risultati Sperimentali

Sul set di validazione unificato di 100 immagini:

• Prestazioni Finali: Il sistema proposto ha raggiunto 30.762 dB PSNR e 0.861 SSIM.
• Miglioramento rispetto alla Baseline: Rispetto al modello Restormer pre-addestrato pubblico ($\sigma=50$), si è ottenuto un miglioramento di 3.366 dB PSNR.
• Analisi di Ablazione:
  • Il guadagno dominante proviene dai checkpoint più forti derivanti dal corpus di addestramento espanso (+3.352 dB nel caso single-pass).
  • Il self-ensemble fornisce un guadagno aggiuntivo piccolo ma consistente (+0.027 dB PSNR).
  • Il wrapper TLC non mostra un contributo quantitativo misurabile significativo in questo contesto.
• Efficienza: L'uso del self-ensemble $\times 8$ aumenta il tempo di inferenza da ~1053 ms a ~8815 ms e la memoria di picco da ~36 GB a ~37 GB.

5. Significato e Conclusioni

Il paper offre un messaggio importante per la comunità della visione artificiale: quando si lavora su compiti di restaurazione con architetture mature (come Restormer), il "prossimo passo" per migliorare le prestazioni non è necessariamente inventare nuovi layer o meccanismi di attenzione complessi.
Invece, l'attenzione dovrebbe spostarsi verso:

1. Data-Centric AI: L'uso di corpora di addestramento più vasti, diversificati e di alta qualità.
2. Strategie di Inferenza: Sfruttare tecniche come il self-ensemble per estrarre il massimo potenziale dai checkpoint già addestrati.

Il lavoro dimostra che un approccio rigoroso alla gestione dei dati e all'ottimizzazione del processo di inferenza può superare i limiti percepiti delle architetture attuali, ottenendo risultati di punta senza la necessità di un redesign completo del modello.