Frequency-Decomposed INR for NIR-Assisted Low-Light RGB Image Denoising

1. Problema Abordado

El trabajo se centra en la restauración de imágenes RGB en condiciones de muy baja iluminación, un escenario crítico para aplicaciones como la percepción autónoma de drones (UAVs). Los desafíos principales identificados son:

• Degradación severa de la señal: En condiciones de poca luz, las imágenes RGB capturan una cantidad insuficiente de fotones, lo que resulta en una alta relación señal-ruido (SNR) baja. Esto enmascara las texturas de alta frecuencia (detalles finos) y causa ruido cuántico y electrónico.
• Compromiso en la restauración: Los métodos existentes (basados en Retinex o redes neuronales profundas) a menudo enfrentan un dilema entre la supresión de ruido y la preservación de detalles, generando resultados sobre-suavizados o con "artefactos alucinados".
• Inconsistencia Modal en la Fusión RGB-NIR: Aunque la luz cercana al infrarrojo (NIR) ofrece una mejor penetración y una SNR superior en la oscuridad, fusionarla con RGB es difícil debido a diferencias físicas en los mecanismos de imagen (reflectancia de materiales, distribuciones de luminancia). Los métodos de fusión tradicionales en el dominio espacial suelen causar desplazamientos de color y artefactos al intentar alinear estas modalidades.
• Limitaciones de Representación Discreta: La mayoría de los enfoques actuales utilizan representaciones basadas en cuadrículas discretas, lo que limita la capacidad de adaptación a diferentes niveles de ruido y la reconstrucción a resoluciones arbitrarias.

2. Metodología Propuesta: FD-INR

Los autores proponen FD-INR (Frequency-Decomposed Implicit Neural Representation), un marco de representación neuronal implícita que descompone explícitamente la imagen en componentes de frecuencia.

Conceptos Clave:

• Representación Implícita Continua: En lugar de una cuadrícula discreta, la imagen se modela como una función continua que mapea coordenadas espaciales a atributos de píxeles. Esto permite la reconstrucción a cualquier resolución.
• Desacoplamiento de Frecuencias: Se basa en la premisa estadística de que en condiciones de baja luz:
  • Las señales de baja frecuencia en RGB son más confiables para la luminancia global y el color.
  • Las señales de alta frecuencia en NIR son más confiables para la estructura y los detalles texturales (menos ruidosas que las de RGB).

Arquitectura del Modelo:

El sistema utiliza una arquitectura de doble rama asimétrica:

1. Rama de Baja Frecuencia ($F_{LF}$):
   • Utiliza cuadrículas de características dispersas (sparse feature grids). Según la teoría de muestreo, esto actúa como un filtro paso bajo natural.
   • Supervisada principalmente por la imagen RGB de baja luz para garantizar la consistencia del color y la luminancia global.
2. Rama de Alta Frecuencia ($G_{HF}$):
   • Utiliza cuadrículas de características densas para capturar gradientes sub-píxel.
   • Guiada por la señal NIR de alta SNR para reconstruir detalles texturales y bordes nítidos que el RGB ha perdido.
   • Incluye una restricción de centrado de media cero para asegurar que esta rama solo aporte detalles residuales y no contamine la luminancia global.

Mecanismos de Supervisión y Optimización:

• Transformada Wavelet Discreta (DWT): Se emplea como operador de restricción espectral. Descompone las salidas de ambas ramas en sub-bandas (LL, LH, HL, HH) para aplicar regularización espectral.
  • Se penaliza la energía de alta frecuencia en la rama de baja frecuencia y viceversa, evitando el "fuga espectral" (spectral leakage).
• Función de Pérdida Adaptativa:
  • Se introduce una ponderación basada en incertidumbre homoscedástica. Esto permite que el modelo aprenda automáticamente los pesos de las diferentes tareas (pérdida de color, pérdida de estructura, pérdida de gradiente) según el nivel de ruido, equilibrando dinámicamente las contribuciones de RGB y NIR.
  • Se utiliza el optimizador Muon (basado en gradientes ortogonales) para mejorar la eficiencia de convergencia en el mapeo de coordenadas de alta dimensión.

3. Contribuciones Clave

1. FD-INR: Un nuevo marco de representación neuronal implícita que integra el prior físico de "RGB restringe bajas frecuencias y NIR mejora altas frecuencias" en un espacio de funciones continuas. Resuelve conflictos modales y aliasing de características mediante la partición explícita de frecuencias.
2. Mecanismo de Ponderación Adaptativa: Un sistema basado en incertidumbre que equilibra automáticamente las contribuciones de las diferentes ramas de frecuencia, junto con el uso del optimizador Muon para una mayor eficiencia en la recuperación de detalles sin sacrificar la fidelidad del color.
3. Reconstrucción a Resolución Arbitraria: Aprovechando la naturaleza continua de las INR, el método supera a los métodos existentes en tareas de reconstrucción a resoluciones arbitrarias, algo difícil para los enfoques basados en cuadrículas discretas.

4. Resultados Experimentales

• Dataset: Evaluación realizada en el Dark Vision Dataset (DVD), utilizando pares sincronizados RGB-NIR capturados en el mundo real.
• Comparación: FD-INR superó a métodos basados en fusión directa (Naive DWT) y métodos de aprendizaje profundo existentes (como DVN).
  • Cualitativamente: Los resultados muestran bordes más nítidos, colores más puros y una eliminación efectiva del ruido sin el efecto de "pintura al óleo" común en otros métodos.
  • Cuantitativamente: Logró el mejor rendimiento en métricas de naturalidad perceptual (NIQE más bajo) y fidelidad estructural (NCC más alto) en comparación con las variantes sin sus componentes clave.
• Estudios de Ablación: Demostraron que cada componente es vital:
  • Sin la restricción de centrado cero, se producen sobreexposiciones y distorsiones de color.
  • Sin la regularización de desacoplamiento, los detalles de alta frecuencia se difuminan.
  • Sin la ponderación de incertidumbre, el modelo lucha para equilibrar las restricciones en zonas de ruido extremo.

5. Significado e Impacto

El trabajo es significativo porque:

• Cambia el paradigma de fusión: Mueve la fusión multimodal del dominio espacial (donde las inconsistencias físicas causan artefactos) al dominio de la frecuencia dentro de un espacio de representación continua.
• Robustez en Escenarios Extremos: Proporciona una solución robusta para la percepción de baja luz, crucial para aplicaciones de seguridad, vigilancia y navegación autónoma en entornos hostiles (noche, sombras de bosque).
• Eficiencia y Flexibilidad: Al no requerir entrenamiento previo masivo (funciona como ajuste "zero-shot" por instancia) y permitir reconstrucción a cualquier resolución, ofrece una solución práctica y adaptable para hardware con restricciones de carga útil (como drones).

En resumen, FD-INR representa un avance técnico al combinar la teoría de muestreo, la descomposición wavelet y las representaciones neuronales implícitas para resolver uno de los problemas más difíciles en la visión por computadora: recuperar detalles finos y colores precisos en condiciones de oscuridad extrema utilizando información complementaria del infrarrojo cercano.