Resumen Técnico: NamedCurves+ para la Mejora de Imágenes

Planteamiento del Problema

La mejora de imágenes sigue siendo un desafío persistente en la visión por computadora, particularmente en el equilibrio entre la mejora de calidad automatizada con la interpretabilidad y el control del usuario. Aunque los métodos de aprendizaje profundo que utilizan conjuntos de datos emparejados (imágenes originales y retoques de expertos) han logrado un fuerte rendimiento, sufren dos limitaciones críticas:

1. Falta de Interpretabilidad: Las arquitecturas de extremo a extremo (por ejemplo, U-Nets) o los mecanismos de ponderación complejos (por ejemplo, tablas de búsqueda 3D o 3D LUTs) funcionan como cajas negras, lo que dificulta entender cómo se aplican las ediciones específicas.
2. Interactividad Limitada: Los modelos existentes a menudo carecen de una parametrización adecuada para los ajustes del usuario. Los usuarios no pueden modificar fácilmente el resultado para adaptarlo a preferencias específicas o corregir gustos estéticos individuales sin reentrenar el modelo.

Además, existe una brecha entre el control manual ofrecido por el software profesional (que a menudo se basa en nombres de colores familiares como "rojo", "verde" o "azul") y los resultados rígidos de los sistemas automatizados actuales.

Metodología: NamedCurves+

El artículo propone NamedCurves+, un marco de aprendizaje que integra el concepto de Nombres de Colores con Curvas de Tono y un mecanismo de fusión basado en Transformers. La arquitectura consta de cuatro componentes principales:

1. Backbone de Estandarización

Para abordar la variabilidad en la iluminación y la configuración de la cámara, la imagen de entrada $x$ es procesada primero por un backbone tipo UNet (inspirado en LPIENet). Este módulo estandariza la entrada en un espacio latente canónico ($\hat{y}_b$), asegurando una descomposición de nombres de colores consistente independientemente de las condiciones de captura originales. El backbone utiliza capas MobileNet, módulos de atención CBAM y conexiones de salto de resolución múltiple.

2. Descomposición de Nombres de Colores

En lugar de procesar la imagen como un todo, el método la descompone en mapas de probabilidad basados en nombres de colores universales.

• Descomposición: Utilizando un modelo basado en Van de Weijer et al., la imagen se mapea a 11 categorías de color (rojo, azul, verde, amarillo, rosa, púrpura, naranja, marrón, blanco, gris, negro).
• Agrupación: Para manejar las variaciones de intensidad donde el tono permanece similar (por ejemplo, naranja frente a marrón, o rosa frente a púrpura), los 11 mapas se agrupan en 6 canales distintos: Naranja-Marrón-Amarillo, Rosa-Púrpura, Rojo, Verde, Azul y Acromático (Blanco-Gris-Negro).

3. Estimación de Curva de Tono Bezier

Para cada uno de los 6 grupos de colores y cada canal RGB, la red estima una curva de tono global.

• Parametrización: Las curvas se definen mediante curvas de Bezier con $M$ puntos de control. El primer punto se fija en $(0,0)$ y el último en $(1,1)$.
• Aprendizaje: La red predice incrementos ($\Delta P$) para los puntos de control en relación con el punto anterior, asegurando la monotonicidad. Estos incrementos se normalizan y se acumulan para formar los puntos de control finales.
• Aplicación: Estas curvas se aplican como tablas de búsqueda (Look-Up Tables) unidimensionales a los correspondientes mapas de probabilidad de color, generando seis imágenes intermedias ajustadas globalmente. Este paso proporciona interpretabilidad, ya que cada curva representa explícitamente cómo se manipula un nombre de color específico.

4. Fusión de Imágenes Basada en Transformer

Para abordar las variaciones locales y prevenir artefactos (como halos en los bordes de los colores) que surgen de un promedio ponderado simple, las seis imágenes ajustadas globalmente se fusionan utilizando un bloque Transformer.

• Mecanismo: El bloque emplea Atención Transpuesta (Transposed Attention), que computa la co-varianza cruzada a través de los canales en lugar de las ubicaciones espaciales. Esto reduce la complejidad computacional de cuadrática a lineal respecto al tamaño de la imagen.
• Proceso: La entrada de 18 canales (6 imágenes $\times$ 3 canales) se concatena, se procesa a través de un extractor de características convolucionales y se refina mediante un módulo de Atención Transpuesta de múltiples cabezales seguido de una Red de Alimentación hacia Adelante (FFN).
• Salida: La capa final produce la imagen sRGB mejorada $\hat{y}$. Este paso captura dependencias espaciales y ediciones conscientes del contexto que las curvas globales por sí solas no pueden lograr.

Función de Pérdida

El objetivo de entrenamiento combina tres términos:

1. Pérdida L2 entre la imagen estandarizada $\hat{y}_b$ y la verdad de campo $y$ (ponderada por $\alpha=0.5$).
2. Pérdida L2 entre la salida final $\hat{y}$ y $y$.
3. Pérdida SSIM entre $\hat{y}$ y $y$.

Contribuciones Clave

Los autores identifican tres contribuciones principales en este trabajo extendido:

1. Arquitectura de Fusión Eficiente: El rediseño del componente de fusión de imágenes utilizando un bloque Transformer eficiente (Atención Transpuesta) mejora la calidad de la imagen, reduce los artefactos de halo en los bordes de color y mantiene velocidades de inferencia rápidas.
2. Generalización a Múltiples Tareas: El marco se extiende más allá del retoque de imágenes para incluir el mapeo de tonos (tone mapping) y la corrección de exposición, logrando resultados de vanguardia en los estándares de referencia.
3. Interactividad e Interpretabilidad Mejoradas: Al desacoplar los pesos del modelo de las curvas de tono, el método permite a los usuarios manipular directamente las curvas de Bezier asociadas a nombres de colores específicos durante la inferencia. Esto permite ajustes personalizados sin reentrenar, ofreciendo un nivel de control previamente no disponible en sistemas automatizados.

Resultados Experimentales

El método fue evaluado en cuatro conjuntos de datos: MIT-Adobe-5K, PPR10K, MSEC y SICE.

• Rendimiento Cuantitativo: NamedCurves+ supera a los métodos de vanguardia (incluyendo 3DLUT, AdaInt, RSFNet y el NamedCurves previo de los autores) en métricas de PSNR, SSIM, LPIPS y diferencia de color ($\Delta E_{00}$, $\Delta E_{ab}$).
  • En MIT-Adobe-5K, alcanzó un PSNR de 25.75 y un SSIM de 0.940.
  • En MSEC (corrección de exposición), alcanzó un PSNR de 23.15 y un SSIM de 0.878.
• Estudios de Ablación:
  • Eliminar el backbone causó la mayor caída de rendimiento, confirmando la necesidad de la estandarización.
  • Eliminar la descomposición de nombres de colores redujo significamente el rendimiento, validando la guía semántica.
  • Eliminar el módulo Transformer degradó los resultados, resaltando la necesidad del modelado de contexto local.
  • El uso de 6 nombres de colores agrupados produjo mejores resultados que el uso de 11 nombres individuales o estrategias de partición aleatorias.
• Eficiencia: A pesar de añadir un bloque Transformer, el nuevo mecanismo de fusión redujo el tiempo de inferencia en un 27% (de 26ms a 19ms) y los FLOPs en un 6% en comparación con el enfoque anterior, debido a la eficiencia de la atención transpuesta.
• Estudio de Usuario: Un estudio 2AFC (Elección Forzada de Dos Alternativas) con 15 observadores mostró que NamedCurves+ fue estadísticamente preferido sobre tanto BGLUT como el método NamedCurves anterior.

Significado y Reivindicaciones

El artículo afirma que NamedCurves+ logra cerrar la brecha entre la mejora de imágenes automatizada y el control del usuario. Su importancia radica en:

• Explicabilidad: El uso de curvas de tono con nombres de colores hace que el proceso de mejora sea transparente; los usuarios pueden ver exactamente cómo se están ajustando las regiones "Roja" o "Verde".
• Interactividad: Permite una personalización flexible post-hoc. Los usuarios pueden refinar la imagen retocada modificando curvas específicas para que coincidan con sus preferencias personales, una característica ausente en la mayoría de los modelos de aprendizaje profundo de extremo a extremo.
• Robustez: La combinación de curvas de color globales y la fusión de Transformer local maneja eficazmente tanto los problemas globales de exposición/contraste como los bordes de color locales, mitigando los artefactos de halo comunes en los métodos previos de descomposición de color.

Los autores concluyen que, si bien el método está limitado por la expresividad de las curvas de tono para ediciones semánticas altamente localizadas, representa un paso significativo hacia la creación de sistemas de mejora de imágenes interpretables, interactivos y de alta calidad.