Structural Guidance for Unified Joint Demosaicing and Denoising

Sintesi Tecnica: Guida Strutturale per il Demosaicizzazione e Denoising Unificato

Definizione del Problema
La demosaicizzazione e il denoising congiunti (JDD - Joint Demosaicing and Denoising) rappresentano una fase critica nell'elaborazione delle immagini delle fotocamere, con il compito di recuperare un'immagine RGB pulita da osservazioni di Color Filter Array (CFA) rumorose. Questo processo è intrinsecamente complesso perché deve simultaneamente interpolare le informazioni di colore mancanti e sopprimere il rumore del sensore. Le reti di restauro unificate esistenti, pur essendo in grado di gestire diversi layout CFA (ad esempio, Single-, Quad- e Nona-Bayer), si affidano principalmente alla supervisione della ricostruzione a livello di pixel. Gli autori identificano un limite chiave in questi approcci: la mancanza di una guida strutturale esplicita oltre ai vincoli a livello di pixel. Di conseguenza, questi modelli faticano nelle regioni in cui l'evidenza locale del CFA è inaffidabile, come intorno a bordi obliqui, texture ripetitive e pattern soggetti a moiré, causando spesso colori falsi, artefatti di zippering e distorsioni di strutture periodiche.

Metodologia
Il documento propone un Framework di Restauro Unificato Guidato Strutturalmente che inietta conoscenza strutturale pre-addestrata nella restauro di immagini consapevole del CFA. L'architettura consiste in due percorsi complementari e un decoder condiviso:

1. Ramo di Restauro Consapevole del Pattern e del Rumore:

   • Gli autori hanno riprogettato SwinIR affinché funga da backbone unificato capace di elaborare osservazioni di sensori eterogenee.
   • Rappresentazione dell'Input: Il modello accetta un'osservazione unificata a cinque canali ($X$) composta dal mosaico rumoroso grezzo, tre maschere CFA (codifica one-hot della geometria di campionamento) e una mappa del livello di rumore.
   • Architettura: Encoder superficiali separati elaborano l'intensità grezza, il posizionamento sparso del colore e le condizioni del sensore. Questi vengono fusi e modulati in successivi blocchi Residual Swin Transformer (RSTB) tramite una modulazione profonda di scala e spostamento (scale-and-shift). Ciò consente alla rete di adattare le proprie risposte intermedie a diverse famiglie CFA, fasi spaziali e livelli di rumore, mantenendo la risoluzione nativa del sensore $H \times W$.

2. Ramo di Ragionamento Strutturale:

   • Per affrontare l'ambiguità strutturale, un encoder strutturale pre-addestrato e congelato (istanziato con DINOv3 ViT-S/16) estrae indizi strutturali densi.
   • Input: Questo ramo elabora una proiezione pseudo-RGB sparsa ($P$) della stessa osservazione rumorosa, dove le misurazioni osservate sono collocate nei rispettivi canali di colore e i canali non osservati sono impostati a zero.
   • Adattamento: Un adapter leggero e addestrabile mappa i token di patch pre-addestrati (originariamente addestrati su immagini naturali dense) allo spazio di risoluzione spaziale e di canale delle caratteristiche di restauro.
   • Fusione: Le caratteristiche strutturali adattate vengono integrate nel percorso di restauro tramite un modulo di fusione residua dipendente dal restauro. Questo inietta il contesto strutturale come una correzione appresa piuttosto che sostituire le caratteristiche allineate al sensore.

3. Decoder Condiviso e Obiettivo di Apprendimento:

   • Un tronco di decoder condiviso predice sia l'immagine RGB restaurata che un mosaico ausiliario pulito.
   • La testa del mosaico ausiliario fornisce supervisione nel dominio del sensore, incoraggiando la rappresentazione fusa a mantenere informazioni sulle misurazioni originali del sensore.
   • L'obiettivo di addestramento combina la perdita RGB a immagine intera, una perdita che enfatizza le posizioni del colore del sensore conservate e la perdita del mosaico ausiliario.

Contributi Chiave

• Identificazione del Limite Strutturale: Gli autori individuano l'assenza di una guida strutturale esplicita oltre alla supervisione a livello di pixel come causa primaria del degrado nel JDD unificato, particolarmente per i pattern ambigui.
• Framework Guidato dalla Struttura: Introducono un nuovo framework che combina un backbone di restauro condizionato dal pattern e dal rumore con un encoder strutturale pre-addestrato e congelato. Questo approccio inietta rappresentazioni dense (tramite DINOv3) nel processo di restauro senza richiedere la supervisione delle caratteristiche target pulite durante l'addestramento.
• Backbone SwirIR Unificato: Il documento presenta un SwinIR riprogettato che utilizza l'encoding eterogeneo del sensore e la modulazione della condizione profonda, consentendo a un singolo modello di adattarsi a varie famiglie CFA e livelli di rumore preservando le caratteristiche della griglia nativa.
• Guadagni di Prestazione: Il metodo dimostra miglioramenti costanti rispetto ai baseline unificati e specifici per CFA dello stato dell'arte, con guadagni notevoli nelle regioni strutturalmente impegnative come bordi e texture ripetitive.

Risultati Sperimentali
Esperimenti estesi sono stati condotti su molteplici dataset (BSD100, Urban100, Kodak24, MIT-Hard) e pattern CFA (Single-, Quad- e Nona-Bayer) sia in condizioni di assenza di rumore che di rumore (rumore Gaussiano $\sigma \in \{5, 15, 25\}/255$).

• Prestazioni a Rumore Zero: Il metodo proposto ha ottenuto i punteggi PSNR e SSIM più elevati in tutti i dataset. Sul dataset MIT-Hard, ha migliorato l'ESUM baseline di 2.19 dB e l'All-in-One SwirIR baseline di 3.60 dB.
• Prestazioni con Rumore: Sotto rumore del sensore sintetico, il metodo ha superato l'ESUM di 3.84 dB e l'All-in-One Swir-IR di 4.13 dB in media.
• Analisi Qualitativa: I confronti visivi indicano che la guida strutturale sopprime efficacementamente il moiré a colori falsi, lo zippering e l'aliasing diagonale. Il modello risolve meglio i pattern fini ambigui e recupera strutture curve e periodiche più vicine alla verità fondamentale (ground truth) rispetto ai baseline.
• Ablation/Sviluppo: L'analisi mostra che, sebbene l'encoder strutturale fornisca guadagni incrementali, il salto di prestazione maggiore deriva dall'intera architettura del sistema e dalla ricetta di addestramento, con il ramo strutturale che agisce come componente complementare.

Significatività e Rivendicazioni
Il documento sostiene che il framework proposto colma efficacementmente il divario di dominio tra i dati del sensore sparsi e rumorosi e il dominio di pre-addestramento delle immagini naturali degli encoder strutturali. Utilizzando prior strutturali adattati, il modello migliora la robustezza nel restauro delle immagini delle fotocamere, affrontando specificamente l'ambiguità strutturale che rimane anche dopo la conoscenza della configurazione di campionamento. Gli autori affermano che questo approccio offre una soluzione unificata che riduce i costi di implementazione (gestendo molteplici layout CFA con un unico modello) migliorando significativamente la qualità della ricostruzione in scenari difficili dove l'evidenza locale è insufficiente.

Limitazioni
Gli autori riconoscono gli attuali limiti, tra cui la dipendenza da rumore Gaussiano sintetico e mosaici derivati da sRGB, la mancanza di dati RAW reali multi-CFA calibrati e il costo di inferenza associato al percorso strutturale. Il lavoro futuro suggerisce di esplorare altri encoder strutturali, rumore dipendente dal segnale realistico e meccanismi di guida più efficienti.