Resumen Técnico: UniISP

Enunciado del Problema

Las pipelines de imagen actuales enfrentan una dicotomía entre la percepción visual humana y los requisitos de la visión por máquina. Las pipelines tradicionales de Procesamiento de Señal de Imagen (ISP) están diseñadas manualmente para producir imágenes RGB visualmente agradables para el consumo humano. Sin embargo, estas operaciones (por ejemplo, eliminación de ruido, enfoque, mapeo de tonos) a menudo introducen artefactos de compresión y pérdida de información, degradando el rendimiento de las tareas de visión por computadora aguas abajo, particularmente en condiciones desafiantes como entornos con poca luz.

Por el contrario, los métodos diseñados para la visión por máquina a menudo eluden los ISP tradicionales para utilizar datos de sensor crudos directamente o emplean redes ISP entrenadas conjuntamente. Si bien estos enfoques mejoran las métricas específicas de la tarea (por ejemplo, precisión de detección de objetos), las imágenes RGB resultantes a menudo no cumplen con los estándares estéticos humanos, apareciendo como no visualizables o careciendo de fidelidad de color. Existe una falta de marcos de optimización dedicados que satisfagan simultáneamente los requisitos duales de generar imágenes de alta calidad para la visualización humana mientras preservan la integridad de la información para la interpretación por máquina.

Metodología

El artículo propone UniISP, un marco de ISP neuronal ligero y de extremo a extremo basado en una arquitectura U-Net. UniISP está diseñado para procesar datos de sensor crudos en imágenes sRGB que están optimizadas simultáneamente para la calidad visual humana y las tareas de visión por computadora aguas abajo. El marco consta de tres componentes principales:

1. Módulo de Atención Híbrida (HAM)

Para garantizar una reconstrucción de imagen de alta calidad adecuada para la percepción humana, UniISP emplea un Módulo de Atención Híbrida como su columna vertebral.

• Autoatención por Canal: Inspirado en Restormer, el módulo aplica autoatención a lo largo de la dimensión del canal en lugar de la dimensión espacial. Esto reduce la complejidad computacional de $O((H \cdot W)^2)$ a $O(C^2)$, haciendo factibles las interacciones globales para imágenes de alta resolución.
• Mejora Dinámica de Características: A diferencia de los mecanismos de atención estáticos, la autoatención por canal amplifica dinámicamente los canales informativos y suprime los ruidosos según el contexto, lo cual es crucial para la conversión de RAW a RGB.
• Codificación Posicional Relativa (RPE): Se integra la RPE para preservar la información estructural proporcionando pistas sobre las posiciones relativas de los canales, mejorando el modelado tanto de dependencias locales como de largo alcance.
• Aprendizaje Supervisado: El HAM se entrena con aprendizaje supervisado para asegurar que las imágenes generadas se alineen con las preferencias visuales humanas.

2. Adaptador de Características

Para cerrar la brecha entre la etapa del ISP y las redes de visión por computadora aguas abajo (que suelen estar preentrenadas en datos RGB), se introduce un Adaptador de Características.

• Fusión en el Dominio de la Frecuencia: El adaptador utiliza un módulo FreqFusion para agregar las salidas del codificador multiescala (D1–D4). Separa las características en componentes de baja frecuencia (contexto global) y alta frecuencia (detalles finos).
• Integración Multietapa: Las características fusionadas se integran progresivamente en la columna vertebral de la red aguas abajo mediante concatenación y conexiones residuales. Este mecanismo permite que la red incorpore flexiblemente información del dominio RAW, reduciendo el desplazamiento de dominio y facilitando la transferencia de pesos preentrenados.

3. Marco de Entrenamiento Adaptativo

UniISP emplea una estrategia de optimización conjunta para equilibrar los objetivos de visión humana y visión por máquina.

• Función de Pérdida: Se define una pérdida total $L_{total}$ como una suma ponderada de la pérdida de visión humana ($L_{human}$) y la pérdida de visión por máquina ($L_{machine}$).
• Ponderación Dinámica: El factor de ponderación $\lambda$ se calcula adaptativamente en cada paso de entrenamiento utilizando Medias Móviles Exponenciales (EMA) de las pérdidas. Si la pérdida de visión humana es alta, $\lambda$ disminuye para enfatizar el rendimiento de la máquina, y viceversa.
• Manejo de Alineación: Para conjuntos de datos no alineados (donde las imágenes RAW y RGB de referencia provienen de diferentes cámaras), el marco incorpora un módulo de Mapeo de Color Global (GCM) y una máscara de consistencia de flujo óptico robusta. Esta máscara filtra áreas de alineación inexactas (por ejemplo, oclusiones, patrones repetitivos) para garantizar una supervisión fiable.

Contribuciones Clave

1. Marco Unificado: La propuesta de UniISP, un marco de ISP aprendible y ligero capaz de satisfacer simultáneamente las necesidades de la percepción visual humana y las tareas de visión por máquina.
2. Módulo de Atención Híbrida (HAM): La introducción de un mecanismo de atención novedoso que combina la autoatención con la atención convolucional clásica. Este diseño aprovecha diferentes tipos de atención para mejorar la representación de características y la generalización, manteniendo al mismo tiempo la eficiencia computacional.
3. Adaptador de Características: El desarrollo de un módulo que integra y adapta características multiescala desde la etapa del ISP hacia las redes aguas abajo, enriqueciendo la comprensión del modelo y mejorando el rendimiento de las tareas aguas abajo sin sacrificar la calidad visual.
4. Evaluación Exhaustiva: Experimentos extensos en múltiples tareas (mapeo RAW-a-RGB, detección de objetos, segmentación semántica) y conjuntos de datos demuestran la efectividad del marco y sus capacidades de generalización.

Resultados Experimentales

El artículo evalúa UniISP en tres tareas principales utilizando varios conjuntos de datos (ZRR, PASCAL RAW, LOD, ADE20K RAW):

• Mapeo RAW-a-RGB: En el conjunto de datos ZRR, UniISP supera a los métodos más avanzados (incluyendo AWNet, MW-ISPNet, LiteISP y FourierISP) en las métricas PSNR, SSIM y LPIPS. Logra estos resultados con significativamente menos parámetros y menor complejidad computacional (GFLOPs) debido a su diseño ligero HAM. Los resultados cualitativos muestran imágenes más nítidas con detalles más ricos y mayor fidelidad de color.
• Detección de Objetos: En los conjuntos de datos PASCAL RAW y LOD, UniISP mejora significativamente el rendimiento de detección en escenarios con poca luz en comparación con métodos como RAW-Adapter. Se demuestra que la inclusión del Adaptador de Características es crítica para aprovechar las características de la etapa del ISP. UniISP logra un equilibrio, proporcionando una calidad visual humana superior mientras evita el contraste duro que a menudo se ve en la optimización solo para máquinas, lo que conduce a una detección robusta en condiciones normales, sobreexpuestas y oscuras.
• Segmentación Semántica: En el conjunto de datos ADE20K RAW, UniISP supera a los métodos competidores en diferentes tamaños de columna vertebral (MIT-B0, B3, B5) y niveles de iluminación. Notablemente, un modelo UniISP con una columna vertebral más pequeña (MIT-B3) supera a otros métodos que utilizan columnas vertebrales más grandes (MIT-B5) en condiciones de poca luz, atribuido a la fusión efectiva de características del adaptador.

Significado y Afirmaciones

El artículo afirma ser la primera exploración de la optimización simultánea del ISP tanto para la percepción visual humana como para las tareas de visión por máquina. Plantea que la investigación existente ha tratado en gran medida estos objetivos por separado, lo que lleva a soluciones subóptimas ya sea para la visualización humana o para el análisis por máquina.

El significado de UniISP radica en su capacidad para:

• Preservar la Integridad de la Información: Al evitar la pérdida de información inherente a las pipelines tradicionales de dos etapas (RAW $\to$ ISP-Humano $\to$ Tarea de Máquina), UniISP retiene información físicamente significativa de los sensores crudos.
• Cerrar la Brecha de Dominio: El Adaptador de Características propaga eficazmente las características RAW hacia las redes aguas abajo, permitiendo que los modelos RGB preentrenados funcionen eficazmente con datos crudos.
• Lograr Optimización Dual: El marco de entrenamiento adaptativo equilibra con éxito los objetivos a menudo conflictivos de calidad estética y rendimiento semántico, demostrando que un enfoque unificado es factible y superior a las estrategias de optimización separadas.

Los autores concluyen que este trabajo sugiere direcciones potenciales para futuros sistemas ISP, particularmente en escenarios híbridos como la conducción autónoma, donde se requieren tanto la visualización en tiempo real para los usuarios como el reconocimiento ambiental para las máquinas.