Structural Guidance for Unified Joint Demosaicing and Denoising

Resumen Técnico: Guía Estructural para el Desmosaicado y la Reducción de Ruido Unificados

Planteamiento del Problema
El desmosaicado y la reducción de ruido conjuntos (JDD, por sus siglas en inglés) es un paso crítico en el procesamiento de la señal de imagen de las cámaras, cuya tarea es recuperar una imagen RGB limpia a partir de observaciones de matriz de filtro de color (CFA) con ruido. Este proceso es inherentmente desafiante porque debe interpolar simultáneamente la información de color faltante y suprimir el ruido del sensor. Las redes de restauración unificadas existentes, aunque capaces de manejar diversos diseños de CFA (por ejemplo, Single-, Quad- y Nona-Bayer), dependen principalmente de la supervisión de reconstrucción a nivel de píxel. Los autores identifican una limitación clave en estos enfoques: carecen de una guía estructural explícita más allá de las restricciones a nivel de píxel. En consecuencia, estos modelos tienen dificultades en regiones donde la evidencia local de la CFA no es confiable, como alrededor de bordes oblicuos, texturas repetitivas y patrones propensos al efecto moiré, lo que a menudo resulta en colores falsos, artefactos de zippering y estructuras periódicas distorsionadas.

Metodología
El artículo propone un Marco de Restauración Unificada Guiado Estructuralmente que inyecta conocimiento estructural preentrenado en la restauración de imágenes sensible a la CFA. La arquitectura consta de dos vías complementarias y un decodificador compartido:

1. Rama de Restauración Sensible al Patrón y al Ruido:

   • Los autores rediseñan SwinIR para que sirva como un backbone unificado capaz de procesar observaciones de sensores heterogéneos.
   • Representación de Entrada: El modelo acepta una observación unificada de cinco canales ($X$) que comprende la matriz ruidosa bruta, tres máscaras CFA (codificación one-hot de la geometría de muestreo) y un mapa de nivel de ruido.
   • Arquitectura: Codificadores superficiales separados procesan la intensidad bruta, la colocación dispersa del color y las condiciones del sensor. Estos se fusionan y modulan en bloques de Transformer Swin Residuales (RSTB) sucesivos mediante una modulación profunda de escala y desplazamiento (scale-and-shift). Esto permite que la red adapte sus respuestas intermedias a diferentes familias de CFA, fases espaciales y niveles de ruido mientras mantiene la resolución nativa del sensor de $H \times W$.

2. Rama de Razonamiento Estructural:

   • Para abordar la ambigüedad estructural, un codificador estructural preentrenado y congelado (instanciado con DINOv3 ViT-S/16) extrae claves estructurales densas.
   • Entrada: Esta rama procesa una proyección pseudo-RGB dispersa ($P$) de la misma observación ruidosa, donde las mediciones observadas se colocan en sus canales de color correspondientes y los canales no observados se establecen en cero.
   • Adaptación: Un adaptador ligero y entrenable mapea los tokens de parches preentrenados (originalmente entrenados en imágenes naturales densas) al espacio de resolución espacial y de canales de las características de restauración.
   • Fusión: Las características estructurales adaptadas se integran en la vía de restauración mediante un módulo de fusión residual dependiente de la restauración. Esto inyecta el contexto estructural como una corrección aprendida en lugar de reemplazar las características alineadas con el sensor.

3. Decodificador Compartido y Objetivo de Aprendizaje:

   • Un tronco de decodificador compartido predice tanto la imagen RGB restaurada como una matriz limpia auxiliar.
   • La cabeza de la matriz auxiliar proporciona supervisión en el dominio del sensor, fomentando que la representación fusionada retenga información sobre las mediciones originales del sensor.
   • El objetivo de entrenamiento combina la pérdida RGB de imagen completa, una pérdida que enfatiza las ubicaciones de color del sensor retenidas y la pérdida de la matriz auxiliar.

Contribuciones Clave

• Identificación de la Limitación Estructural: Los autores señalan la ausencia de guía estructural explícita más allá de la supervisión a nivel de píxel como una causa primaria de degradación en el JDD unificado, particularmente para patrones ambiguos.
• Marco Guiado Estructuralmente: Introducen un nuevo marco que combina un backbone de restauración condicionado por el patrón y el ruido con un codificador estructural preentrenado y congelado. Este enfoque inyecta representaciones densas (vía DINOv3) en el proceso de restauración sin requerir supervisión de características de objetivo limpio durante el entrenamiento.
• Backbone SwinIR Unificado: El artículo presenta un SwinIR rediseñado que utiliza codificación de sensor heterogénea y modulación de condición profunda, permitiendo que un solo modelo se adapte a diversas familias de CFA y niveles de ruido mientras preserva las características de la rejilla nativa.
• Ganancias de Rendimiento: El método demuestra mejoras consistentes sobre los baselines unificados y específicos de CFA de última generación, con ganancias notables en regiones estructuralmente desafiantes como bordes y texturas repetitivas.

Resultados Experimentales
Se realizaron experimentos extensos en múltiples conjuntos de datos (BSD100, Urban100, Kodak24, MIT-Hard) y patrones CFA (Single-, Quad- y Nona-Bayer) bajo condiciones tanto de ruido cero como con ruido (ruido gaussiano $\sigma \in \{5, 15, 25\}/255$).

• Rendimiento con Ruido Cero: El método propuesto alcanzó las puntuaciones de PSNR y SSIM más altas en todos los conjuntos de datos. En el conjunto de datos MIT-Hard, superó al baseline ESUM por 2.19 dB y al baseline All-in-One SwinIR por 3.60 dB.
• Rendimiento con Ruido: Bajo ruido de sensor sintético, el método superó a ESUM por 3.84 dB y a All-in-One SwinIR por 4.13 dB en promedio.
• Análisis Cualitativo: Las comparaciones visuales indican que la guía estructural suprime eficazmente el moiré de falso color, el zippering y el aliasing diagonal. El modelo resuelve mejor los patrones finos ambiguos y recupera estructuras curvas y periódicas más cerca de la verdad de campo en comparación con los baselines.
• Ablación/Desarrollo: El análisis muestra que, si bien el codificador estructural proporciona ganancias incrementales, el mayor salto de rendimiento proviene de la arquitectura completa del sistema y la receta de entrenamiento, actuando la rama estructural como un componente complementario.

Significancia y Reivindicaciones
El artículo afirma que el marco propuesto cierra eficazmente la brecha de dominio entre los datos dispersos y ruidosos del sensor y el dominio de preentrenamiento de imágenes naturales del codificador estructural. Al utilizar priors estructurales adaptados, el modelo mejora la robustez en la restauración de imágenes de cámara, abordando específicamente la ambigüedad estructural que persiste incluso cuando se conoce la configuración de muestreo. Los autores aseguran que este enfoque ofrece una solución unificada que reduce los costos de despliegue (al manejar múltiples diseños de CFA con un solo modelo) mientras mejora significamente la calidad de la reconstrucción en escenarios difíciles donde la evidencia local es insuficiente.

Limitaciones
Los autores reconocen las limitaciones actuales, incluyendo la dependencia de ruido gaussiano sintético y matrices derivadas de sRGB, la falta de datos RAW reales multivariantes de CFA calibrados, y el costo de inferencia asociado con la vía estructural. Se sugiere como trabajo futuro explorar otros codificadores estructurales, ruido dependiente de la señal realista y mecanismos de guía más eficientes.