PixIE: Prompted Pixel-Space Low-Light Image Enhancement

Resumen Técnico: PixIE – Mejora de Imágenes de Baja Luminosidad en Espacio de Píxeles Mediante Prompting

Planteamiento del Problema
La mejora de imágenes de baja luminosidad (LLIE) es un desafío complejo que implica las tareas conjuntas de eliminación de ruido, restauración de contraste y recuperación de detalles semánticos. La fotografía de baja luminosidad en el mundo real sufre de ruido severo dependiente de la señal, texturas colapsadas y colores distorsionados. Aunque los métodos recientes de aprendizaje profundo (CNN, Transformers, Mamba y modelos de Difusión) han avanzado en el campo, a menudo están limitados por la distribución de sus datos de entrenamiento. En regiones severamente subexpuestas, el ruido y la textura se vuelven indistinguibles, lo que lleva a que los mapeos aprendidos produzcan un suavizado excesivo, deriva de color o mejoras inconsistentes a través de regiones semánticamente distintas. Además, los enfoques existentes que utilizan modelos fundacionales (como DINO, CLIP o SAM) suelen emplear condicionamiento global, en parches o grueso. Esto crea una "brecha semántico-espacial", fallando en alinear la guía semántica de alto nivel con las operaciones a nivel de píxel necesarias para la recuperación de detalles de alta fidelidad, lo que a menudo resulta en inconsistencias entre regiones y estructuras locales sobre-suavizadas.

Metodología
Los autores proponen PixIE, un marco de mejora de imágenes de baja luminosidad (LLIE) en espacio de píxeles, de alimentación directa y extremo a extremo, semánticamente impulsado por un modelo fundacional de visión (DINOv3). A diferencia de los enfoques en espacio latente que comprimen imágenes, PixIE opera directamente en el espacio de píxeles para preservar los detalles de alta frecuencia. La arquitectura consta de tres componentes principales:

1. Flujo de Eliminación de Ruido Multi-Escala:
   Antes del prompting semántico, la imagen de entrada pasa a través de un flujo de eliminación de ruido multi-escala libre de semántica. Este módulo utiliza bloques Transformer (estilo Restormer) para suprimir el ruido pesado y preservar las estructuras gruesas. Las características se propagan desde escalas finas hasta gruesas. Crucialmente, este flujo permanece "libre de semántica" para evitar que el ruido severo corrompa los priores semánticos; el condicionamiento de DINO solo se introduce después de esta fase inicial de eliminación de ruido.

2. Incrustación de Píxeles con Múltiples Campos Receptivos (MRPE):
   Antes de la inyección semántica, el marco aplica MRPE a las características desruidadas. Este módulo agrega contexto local utilizando convoluciones paralelas con tamaños de núcleo de 1×1, 3×3 y 5×5. Al asignar más canales a campos receptivos más grandes (3×3 y 5×5) que a la rama puntual (1×1), MRPE crea representaciones conscientes del vecindario. Esto aborda la limitación de las incrustaciones puntuales estándar, que carecen de campos receptivos espaciales y luchan por distinguir la señal del ruido dependiente de la señal.

3. Bloque de Píxeles Impulsado por DINO (DPPB):
   Este es el módulo central de integración semántica. En lugar de usar concatenación en parches gruesa, DPPB inyecta características intermedias de un encoder DINOv3 congelado (específicamente las capas 2, 5, 8 y 11) en la tubería del espacio de píxeles.

   • Mecanismo: Los tokens de DINO se redimensionan para coincidir con la cuadrícula de características y se procesan mediante una MLP ligera para predecir parámetros de modulación AdaLN-Zero.
   • Continuidad Espacial: Estos parámetros se aumentan mediante interpolación bilineal y una convolución por profundidad para crear un campo de modulación espacialmente continuo y de resolución completa. Esto elimina los bordes duros de los parches y garantiza una guía semántica suave y por píxel.
   • Modulación: Los parámetros predichos ($\alpha, \beta, \gamma$) modulan las subcapas de atención y de alimentación directa del bloque residual, permitiendo una mejora coherente espacialmente.

4. Compresión Espacial-Canal (SCC):
   Para hacer viable computacionalmente la atención en espacio de píxeles a través de diseños multi-escala (donde las dimensiones de los canales aumentan), se aplica SCC a la rama de atención. Pliega el mapa de características espaciales en parches no superpuestos y comprime la dimensión del canal antes de aplicar Atención Transpuesta Multi-Cabeza Multi-Dconv (MDTA). Esto reduce el costo de atención de $O(HW \cdot C^2)$ a $O(H_p W_p \cdot D_{attn}^2)$, haciendo que el costo sea independiente del ancho de canal creciente en escalas más gruesas.

Contribuciones Clave

• Marco PixIE: El primer método que inyecta semánticas de modelos fundacionales directamente en una tubería de LLIE en espacio de píxeles mediante modulación por píxel y espacialmente continua, permitiendo una verdadera mejora de píxel a semántica.
• Bloque de Píxeles Impulsado por DINO (DPPB): Un bloque residual novedoso que convierte los tokens de parche de DINO en un campo de modulación suave y de resolución completa, evitando las costuras de cuadrícula y las discontinuidades asociadas con el condicionamiento en parches.
• Compresión Espacial-Canal (SCC): Una estrategia de eficiencia que reduce conjuntamente las cuadrículas de tokens espaciales y las dimensiones de los canales, permitiendo que la atención en espacio de píxeles permanezca asequible en arquitecturas multi-escala.
• Incrustación de Píxeles con Múltiples Campos Receptivos (MRPE): Un módulo ligero que agrega contexto del vecindario antes del prompting semántico, mejorando la robustez frente al ruido dependiente de la señal en comparación con las incrustaciones puntuales.

Resultados Experimentales
Los experimentos se realizaron en los estándares de referencia (benchmarks) LLIE: LOLv1, LOLv2 (Real y Sintético) y el conjunto de datos a gran escala del mundo real LSRW.

• Rendimiento Cuantitativo: PixIE logra un rendimiento de vanguardia en tres de los cuatro conjuntos de datos. Mejora el PSNR promedio en un 1.9% a 15.0% sobre los métodos SOTA recientes y reduce LPIPS (pérdida perceptual) en un 8.5% a 44.4%. En LOLv2-Real, alcanza un PSNR de 29.08 dB y un SSIM de 0.902.
• Generalización: En conjuntos de datos no emparejados (LIME, VV, DICM, NPE, MEF), PixIE se clasifica consistentemente entre los tres primeros en métricas sin referencia (NIQE y CLIP-IQA), demostrando una fuerte generalización a escenarios del mundo real sin verdad fundamental.
• Análisis Cualitativo: Las comparaciones visuales muestran que PixIE recupera detalles más nítidos (por ejemplo, texto, texturas) y colores más estables que competidores como RetinexFormer, WaveMamba y DiffLL. Separa eficazmente los detalles de alta frecuencia estructurales del ruido pesado sin el suavizado excesivo o el sangrado de color observados en otros métodos.

Significado y Afirmaciones
El artículo afirma que PixIE representa un cambio significativo en LLIE al integrar con éxito priores semánticos de alto nivel en una tubería de restauración en espacio de píxeles sin sacrificar la eficiencia computacional ni la fidelidad de los detalles. Los autores enfatizan que su enfoque resuelve el compromiso entre la coherencia semántica global y la recuperación de detalles a nivel de píxel local. Al utilizar modulación espacialmente continua en lugar de condicionamiento en parches grueso, PixIE evita los artefactos de borde que afligen a los métodos existentes guiados por modelos fundacionales. El trabajo demuestra que separar el proceso de eliminación de ruido del refinamiento semántico, y utilizar incrustaciones conscientes del vecindario, es crucial para manejar el ruido severo y dependiente de la señal característico de la fotografía de baja luminosidad en el mundo real.