Beyond Model Design: Data-Centric Training and Self-Ensemble for Gaussian Color Image Denoising

Titel en Context

Titel: Beyond Model Design: Data-Centric Training and Self-Ensemble for Gaussian Color Image Denoising
Context: Dit paper presenteert de oplossing van het team wedream voor de NTIRE 2026 Image Denoising Challenge, specifiek voor het verwijderen van Gaussisch ruis uit kleurafbeeldingen bij een vast ruisniveau van $\sigma = 50$.

1. Het Probleem

Het doel is om een verstoord beeld $x$ (waarbij $x = y + n$, met $n$ als Gaussisch ruis) te herstellen tot het schone beeld $y$. Hoewel deep learning-methoden, en specifiek Transformer-architecturen zoals Restormer, al een zeer sterke basis vormen voor beeldherstel, blijft er vaak een prestatiekloof bestaan. De auteurs stellen dat wanneer de backbone-architectuur al geoptimaliseerd is, de beperkende factor niet langer het modelontwerp is, maar eerder:

1. Hoeveel statistische priorinformatie het trainingscorpus in het model kan injecteren.
2. In hoeverre de inferentiestrategie volledig gebruik maakt van wat een goed getraind checkpoint al bevat.

2. Methodologie

In plaats van een nieuwe restauratie-architectuur te ontwerpen, bouwen de auteurs voort op de bestaande, gevestigde Restormer-architectuur. Ze focussen op twee complementaire richtingen: data-centric training en test-tijd (inference) optimalisatie.

A. Data-Centric Training (Twee-staps optimalisatie)

De auteurs gebruiken geen willekeurige initialisatie, maar starten vanuit een publiek voorgetraind Restormer-model ($\sigma=50$). Ze implementeren een uitgebreid trainingsplan in twee fasen:

• Corpus Uitbreiding: Het standaard corpus (DIV2K, Flickr2K, BSD500, WED) wordt uitgebreid met zeven bronnen, waaronder grote, hoogresolutie datasets zoals OST, LSDIR, LIU4K-v2, NKUSR8K en DIV8K. Dit resulteert in een totaal van 143.679 afbeeldingen.
• Fase I: Training op een basis-uitgebreid corpus (DIV2K, Flickr2K, OST, LSDIR) om een sterkere en stabielere herstellingsprior te vestigen.
• Fase II: Introductie van de overige datasets (LIU4K-v2, NKUSR8K, DIV8K) om de visuele diversiteit verder te vergroten en generalisatie te stimuleren.
• Hyperparameters: Training vindt plaats op 4x NVIDIA H200 GPU's met AdamW en MSE-verlies. Het leerverloop daalt van $1 \times 10^{-4}$ in Fase I naar $1 \times 10^{-5}$ in Fase II.

B. Test-Tijd Versterking (Inference)

Tijdens de inferentie worden twee technieken toegepast:

1. Geometrisch Self-Ensemble ($\times8$): Omdat neurale denoisers niet strikt invariant zijn voor spiegelingen en transposities, worden voorspellingen gegenereerd voor alle 8 symmetrieën van de dihedrale groep (rotaties en spiegelingen). De uiteindelijke voorspelling is het gemiddelde van deze 8 transformaties. Dit verhoogt de rekenkosten met een factor 8, maar vermindert de voorspellingsvariantie.
2. TLC-style Wrapper: Een lokaal inferentie-wrapper (gebaseerd op TLC) wordt behouden voor implementatieconsistentie. Echter, zoals later blijkt uit ablatiestudies, levert deze wrapper in deze specifieke setting geen meetbare prestatiewinst op.

3. Belangrijkste Bijdragen

1. Architectuur-onafhankelijke verbetering: Het bewijs dat een Restormer-based denoiser aanzienlijk kan worden verbeterd (zonder architecturale wijzigingen) puur door corpusuitbreiding en een tweestaps trainingschema.
2. Systematische kwantificering: Een gedetailleerde analyse van de winst die attributable is aan $\times8$ geometrisch self-ensemble versus de TLC-wrapper.
3. Validatie van de "Stronger Checkpoint": Het aantonen dat de dominante prestatiewinst voortkomt uit het sterkere getrainde checkpoint (door betere data), en niet uit de inferentie-wrappers.

4. Resultaten

Op de validatieset van 100 afbeeldingen (unified protocol) bereikte het systeem de volgende resultaten:

• PSNR: 30.762 dB
• SSIM: 0.861
• Verbetering: Dit is een verbetering van maximaal 3.366 dB PSNR ten opzichte van de publieke Restormer $\sigma=50$ pretrained baseline.

Ablatie Studies (Belangrijke inzichten):

• Self-Ensemble: Levert een kleine maar consistente winst van ongeveer 0.027 dB PSNR en 0.0004 SSIM.
• TLC-Wrapper: De kwantitatieve bijdrage is verwaarloosbaar (nagenoeg 0 dB winst). De wrapper is slechts behouden voor consistentie met eerdere praktijken.
• Training vs. Inference: De grootste winst (ruim 3.3 dB) komt voort uit het uitgebreide trainingscorpus en de tweestaps optimalisatie, niet uit de inferencetechnieken.
• Efficiëntie: De $\times8$ self-ensemble verhoogt de inferentietijd van ~1053 ms naar ~8815 ms en het geheugengebruik lichtelijk.

In de NTIRE 2026 challenge behaalde het team de 2e plaats met 29.89 dB PSNR (op de officiële leaderboard, mogelijk met een iets ander protocol dan de interne validatie), wat de effectiviteit van de methode bevestigt onder competitieve omstandigheden.

5. Significatie en Conclusie

Dit paper benadrukt een verschuiving in de beeldherstelgemeenschap: na het bereiken van een mature architectuur (zoals Restormer), ligt de weg naar verdere prestatieverbetering niet noodzakelijkerwijs in het ontwerpen van complexere netwerken, maar in data-strategieën en slimme inferentie.

De kernboodschap is dat een "data-centric" aanpak (grotere, diversere datasets en gefaseerde training) de primaire drijvende kracht is voor prestatiewinst. Test-tijd technieken zoals self-ensemble bieden een waardevolle, zij het kleinere, extra boost, terwijl andere inferentie-wrappers (zoals TLC) in bepaalde contexten overbodig kunnen blijken. De resultaten tonen aan dat bestaande SOTA-modellen nog aanzienlijke potentie hebben als ze worden getraind op de juiste manier.