Structural Guidance for Unified Joint Demosaicing and Denoising

Technische Samenvatting: Structurele Begeleiding voor Unified Joint Demosaicing en Denoising

Probleemstelling
Joint demosaicing en denoising (JDD) is een cruciale stap in de beeldverwerking van camera's, gericht op het herstellen van een schoon RGB-beeld uit ruisgevoelige Color Filter Array (CFA) observaties. Dit proces is inherent uitdagend omdat het gelijktijdig ontbrekende kleurinformatie moet interpoleren en sensornuis moet onderdrukken. Bestaande unified restauratie-netwerken, hoewel in staat om diverse CFA-lay-outs (bijv. Single-, Quad-, en Nona-Bayer) te verwerken, vertrouwen primair op pixelniveau-reconstructie-supervisie. De auteurs identificeren een belangrijke beperking in deze benaderingen: ze missen expliciete structurele begeleiding buiten de beperkingen op pixelniveau. Gevolgdelijk worstelen deze modellen in regio's waar lokale CFA-bewijsvoering onbetrouwbaar is, zoals rond schuine randen, repetitieve texturen en moiré-gevoelige patronen, wat vaak resulteert in valse kleuren, zippering-artefacten en verstoorde periodieke structuren.

Methodologie
Het artikel stelt een Structurally Guided Unified Restoration Framework voor dat vooraf getrainde structurele kennis injecteert in CFA-bewuste beeldrestauratie. De architectuur bestaat uit twee complementaire paden en een gedeelde decoder:

1. Pattern- en Noise-Aware Restoration Branch:

   • De auteurs hebben SwinIR herontworpen om te dienen als een unified backbone die in staat is heterogene sensordata te verwerken.
   • Input Representatie: Het model accepteert een unified vijf-kanaals observatie ($X$) bestaande uit de ruwe ruisgevoelige mosaic, drie CFA-maskers (one-hot encoding van de bemonsteringsgeometrie) en een ruisniveau-kaart.
   • Architectuur: Afzonderlijke ondiepe encoders verwerken de ruwe intensiteit, ijle kleurplaatsing en sensorgegevens. Deze worden gefuseerd en gemoduleerd in opeenvolgende Residual Swin Transformer Blocks (RSTB) via diepe scale-and-shift modulatie. Dit stelt het netwerk in staat om zijn intermediaire responsen aan te passen aan verschillende CFA-families, ruimtelijke fasen en ruisniveaus, terwijl de native $H \times W$ sensorresolutie behouden blijft.

2. Structural Reasoning Branch:

   • Om structurele ambiguïteit aan te pakken, extraheert een bevroren vooraf getrainde structurele encoder (geïnstantieerd met DINOv3 ViT-S/16) dichte structurele kenmerken.
   • Input: Deze tak verwerkt een ijle pseudo-RGB projectie ($P$) van dezelfde ruisgevoelige observatie, waarbij geobserveerde metingen in hun overeenkomstige kleurkanalen worden geplaatst en niet-geobserveerde kanalen op nul worden gezet.
   • Adaptatie: Een lichtgewicht, trainbare adapter brengt de vooraf getrainde patch-tokens (oorspronkelijk getraind op dichte natuurlijke afbeeldingen) in kaart naar de ruimtelijke resolutie en kanaalruimte van de restauratiekenmerken.
   • Fusie: De aangepaste structurele kenmerken worden geïntegreerd in het restauratiepad via een restauratie-afhankelijk residual fusiemodule. Dit injecteert de structurele context als een geleerde correctie in plaats van de sensor-uitgelijnde kenmerken te vervangen.

3. Gedeelde Decoder en Leermdoel:

   • Een gedeelde decoder-trunk voorspelt zowel het gerestaureerde RGB-beeld als een auxiliaire schone mosaic.
   • De hulpkop voor de auxilaire mosaic biedt supervisie in het sensordomein, wat het gefuseerde representatie aanmoedigt om informatie over de oorspronkelijke sensormetingen te behouden.
   • Het leerdoel combineert volledige beeld-RGB-loss, een loss die de behouden sensor-kleurlocaties benadrukt, en de auxilaire mosaic loss.

Belangrijkste Bijdragen

• Identificatie van Structurele Beperking: De auteurs wijzen op de afwezigheid van expliciete structurele begeleiding buiten pixelniveau-supervisie als een primaire oorzaak van degradatie in unified JDD, met name voor ambigue patronen.
• Structurally-Guided Framework: Ze introduceren een nieuw framework dat een pattern- en noise-geconditioneerde restauratie-backbone combineert met een bevroren vooraf getrainde structurele encoder. Deze aanpak injecteert dichte representaties (via DINOv3) in het restauratieproces zonder dat tijdens de training supervisie van schone doel-kenmerken nodig is.
• Unified SwinIR Backbone: Het artikel presenteert een herontworpen SwinIR die gebruikmaakt van heterogene sensor-encoding en diepe conditie-modulatie, waardoor één enkel model kan adapteren aan diverse CFA-families en ruisniveaus terwijl de native grid-kenmerken behouden blijven.
• Prestatiewinst: De methode vertoont consistente verbeteringen ten opzichte van state-of-the-art unified en CFA-specifieke baselines, met opvallende winsten in structureel uitdagende regio's zoals randen en repetitieve texturen.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd over meerdere datasets (BSD100, Urban100, Kodak24, MIT-Hard) en CFA-patronen (Single-, Quad-, Nona-Bayer) onder zowel zero-noise als ruisgevoelige condities (Gaussische ruis $\sigma \in \{5, 15, 25\}/255$).

• Zero-Noise Prestaties: De voorgestelde methode behaalde de hoogste PSNR- en SSIM-scores over alle datasets. Op de MIT-Hard dataset verbeterde het de ESUM-baseline met 2,19 dB en de All-in-One SwinIR-baseline met 3,60 dB.
• Ruisgevoelige Prestaties: Onder synthetische sensornuis presteerde de methode gemiddeld 3,84 dB beter dan ESUM en 4,13 dB beter dan All-in-One SwinIR.
• Kwalitatieve Analyse: Visuele vergelijkingen geven aan dat de structurele begeleiding effectief valse kleur-moiré, zippering en diagonale aliasing onderdrukt. Het model lost ambigue fijne patronen beter op en herstelt gebogen en periodieke structuren dichter bij de grondwaarheid vergeleken met de baselines.
• Ablatie/Ontwikkeling: Analyse toont aan dat hoewel de structurele encoder incrementele winsten biedt, de grootste prestatiesprong voortkomt uit de volledige systeemarchitectuur en het trainingsrecept, waarbij de structurele tak fungeert als een complementair onderdeel.

Betekenis en Claims
Het artikel claimt dat het voorgestelde framework effectief de domeingap overbrugt tussen ijle, ruisgevoelige sensordata en het natuurlijke beeld-pretraining domein van structurele encoders. Door gebruik te maken van aangepaste structurele priors, verbetert het model de robuustheid in camera-beeldrestauratie, specif으로 gericht op de structurele ambiguïteit die zelfs na bekende bemonsteringsconfiguraties aanwezig blijft. De auteurs stellen dat deze aanpak een unified oplossing biedt die de implementatiekosten vermindert (door meerdere CFA-lay-outs met één model te verwerken) terwijl de reconstructiekwaliteit in moeilijke scenario's waar lokale bewijsvoering onvoldoende is, aanzienlijk wordt verbeterd.

Beperkingen
De auteurs erkennen huidige beperkingen, waaronder de afhankelijkheid van synthetische Gaussische ruis en sRGB-afgeleide mosaics, het gebrek aan gekalibreerde echte multi-CFA RAW-data, en de inferentiekosten die gepaard gaan met het structurele pad. Toekomstig werk suggereert het verkennen van andere structurele encoders, realistische signaalafhankelijke ruis en efficiëntere begeleidingsmechanismen.