💻 computer science

Real-Time Underwater Image Enhancement via Frequency-Guided Dual-Path Attention

Este artículo propone un marco de mejora de imágenes submarinas ligero y en tiempo real que integra atención de doble ruta guiada por frecuencia y convoluciones reparametrizables con prioris DCT fijos para lograr un rendimiento de vanguardia con un costo computacional mínimo y una alta velocidad de inferencia.

Autores originales: Leshen Zhang, Ao Li, Ce Zhu

Publicado 2026-06-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Leshen Zhang, Ao Li, Ce Zhu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando tomar una foto bajo el agua. Es como mirar a través de una espesa niebla de color verde azulado. La luz se absorbe, los colores se desvanecen y los bordes de las cosas se ven borrosos. Este es un gran problema para los robots o las cámaras que necesitan "ver" claramente bajo el agua para navegar o encontrar cosas.

Este artículo presenta un nuevo programa informático superrápido diseñado para limpiar estas fotos borrosas bajo el agua. Los autores lo llaman un sistema de "Mejora de Imágenes Subacuáticas en Tiempo Real" (Real-Time Underwater Image Enhancement). Piensa en ello como un editor de fotos mágico que trabaja tan rápido que puede ejecutarse en el cerebro de un pequeño robot sin ralentizarlo.

Así es como lo hicieron, utilizando analogías sencillas:

El Problema: Lo "Pesado" frente a lo "Ligero"

Normalmente, para arreglar una foto borrosa, necesitas un cerebro informático muy pesado y complejo (un modelo de IA grande). Pero estos cerebros pesados son demasiado lentos y consumen demasiada energía para los robots pequeños.
Por otro lado, existen modelos "ultra ligeros" que son rápidos y pequeños, pero son como una persona que intenta arreglar una pintura mientras lleva vendas en los ojos. Solo ven los colores y las formas de la imagen (la vista "espacial"), pero ignoran la frecuencia (los patrones ocultos de detalle y ondas de color). Debido a que los problemas bajo el agua se tratan precisamente de cómo se alteran las ondas de luz, ignorar la "frecuencia" significa que la reparación no será perfecta.

La Solución: Un Superpoder de Dos Partes

Los autores construyeron un modelo diminuto y rápido que aprende a "ver" tanto la imagen como las ondas ocultas al mismo tiempo. Hicieron esto con dos trucos principales:

1. El Filtro "Pre-Cargado" (MBRConv-DCT)
Imagina que estás enseñando a un estudiante a dibujar. En lugar de dejar que adivine cómo dibujar una línea recta o una línea diagonal, le das un conjunto de plantillas ya dibujadas (estarcidos) para que las calque.

Cómo funciona: El modelo tiene un "modo de entrenamiento" especial donde utiliza patrones matemáticos fijos y predefinidos (llamados núcleos DCT) que actúan como plantillas para líneas horizontales, verticales y diagonales. Esto ayuda al modelo a comprender las formas específicas en que las imágenes bajo el agua se vuelven borrosas.
El Truco Mágico: Una vez que el estudiante (el modelo) aprende de estas plantillas, ¡las plantillas se eliminan! El modelo incorpora el conocimiento de las plantillas directamente en su propio cerebro. Por lo tanto, cuando realmente toma una foto (inferencia), ya no necesita las plantillas. Funciona tan rápido como un modelo normal, pero ya es "inteligente" respecto a esos patrones.

2. El Detective de "Doble Vía" (FGDPA)
Imagina a un detective resolviendo un crimen. Un detective observa la evidencia física (los colores y las formas de la foto), mientras que un segundo detective observa la "vibra" o la energía general de la escena (la frecuencia).

Cómo funciona: Este módulo tiene dos vías.
- Vía A (Espacial): Mira la imagen de forma normal para encontrar detalles importantes.
- Vía B (Frecuencia): Toma una instantánea diminuta y rápida de las "ondas sonoras" de la imagen (usando una herramienta matemática llamada FFT) para ver cómo se distribuyen los colores y los bordes de forma global. Es como escuchar el zumbido de una habitación para saber si hay una fiesta ocurriendo, en lugar de mirar a cada persona.
El Resultado: Estos dos detectives hablan entre sí. El "Detective de Frecuencia" le dice al "Detective Espacial": "Oye, toda la imagen es demasiado verde, arreglemos eso", o "Los bordes son demasiado débiles, afilémoslos". Esto sucede muy rápidamente porque la comprobación de frecuencia se realiza en una cuadrícula diminuta y de tamaño fijo, no en toda la imagen enorme.

Los Resultados: Rápido y Nítido

Los autores probaron su creación y descubrieron que:

Es Diminuto: Todo el modelo es increíblemente pequeño (solo unos 4,200 "parámetros", lo que es como tener un vocabulario muy pequeño comparado con otros modelos que tienen millones).
Es Rápido: Puede procesar más de 600 fotos por segundo en una computadora potente, y más de 100 fotos por segundo en un pequeño chip de robot embebido (como el Jetson AGX Orin).
Funciona: Cuando compararon su modelo con otros métodos, su modelo produjo imágenes más claras, más coloridas y más nítidas que incluso los modelos mucho más grandes y pesados. Corrigió la "niebla verde" y restauró los detalles mejor que la competencia.

Resumen

En resumen, los autores tomaron un modelo de IA diminuto y rápido y le enseñaron a prestar atención a las "ondas ocultas" de las imágenes bajo el agua. Hicieron esto dándole herramientas de entrenamiento especiales que desaparecen después del aprendizaje, y añadiendo una rápida "comprobación de frecuencia" que ayuda a corregir colores y detalles. El resultado es un limpiador de fotos lo suficientemente pequeño como para que un robot lo cargue, pero lo suficientemente inteligente como para ver claramente en el azul profundo.

Resumen Técnico: Mejora de Imágenes Subacuáticas en Tiempo Real mediante Atención de Doble Ruta Guiada por Frecuencia

Declaración del Problema

La mejora de imágenes subacuáticas (UIE) en tiempo real es esencial para la fotografía móvil, los vehículos submarinos autónomos (AUV) y los sistemas de visión embebidos. Estas aplicaciones exigen modelos con baja latencia, huellas de memoria compactas y un consumo de energía mínimo. Si bien las redes neuronales convolucionales (CNN) ultra ligeras recientes basadas en la re-parametrización estructural (por ejemplo, RepVGG, MobileOne) cumplen con estas restricciones de eficiencia, operan principalmente en el dominio espacial. Este enfoque ignora la naturaleza sensible a la frecuencia de la degradación subacuática, donde la absorción de la luz remodela las distribuciones espectrales globales (afectando el color) y la dispersión atenúa los componentes de alta frecuencia (erosionando los bordes). Los métodos actuales conscientes de la frecuencia suelen depender de arquitecturas pesadas o de descomposiciones de frecuencia complejas que introducen una sobrecarga computacional incompatible con el despliegue en el borde (edge) en tiempo real y con recursos limitados. Además, los mecanismos de atención clásicos y ligeros (por ejemplo, SENet, CBAM) carecen de un modelado de frecuencia explícito, mientras que los modelos re-parametrizados actuales tienden a perder la diversidad direccional y espectral cuando las ramas se fusionan en núcleos únicos durante la inferencia.

Metodología

Los autores proponen un marco de UIE ligero que integra el modelado en el dominio de la frecuencia en una arquitectura CNN re-parametrizable sin incurrir en sobrecarga de inferencia. El marco consta de dos componentes principales:

1. Convolución Re-parametrizable de Multi-Rama con Priores de DCT Fijos (MBRConv-DCT)

Este módulo mejora la capacidad de representación espectral de las convoluciones re-parametrizables estándar.

Mecanismo: Durante el entrenamiento, MBRConv-DCT añade una rama lineal dedicada que contiene núcleos de la Transformada de Coseno Discreta (DCT) de $3 \times 3$ no-DC fijos. Estos núcleos codifican respuestas de frecuencia direccionales estructuradas (horizontal, vertical, diagonal) que abarcan desde bajas hasta altas frecuencias.
Entrenamiento: La rama incluye una convolución puntual aprendible y una puerta escalar (inicializada en cero) para asegurar que la rama no interrumpa el entrenamiento temprano.
Inferencia: Crucialmente, la rama de DCT es enteramente lineal. Durante la fase de re-parametrización, estos núcleos fijos y los pesos aprendidos se fusionan analíticamente en un núcleo de convolución estándar de $3 \times 3$ . En consecuencia, MBRConv-DCT enriquece la sensibilidad del modelo a las pistas de frecuencia direccionales durante el entrenamiento, pero introduce cero parámetros adicionales o FLOPs durante la inferencia.

2. Atención de Doble Ruta Guiada por Frecuencia (FGDPA)

Este módulo realiza una modulación de características adaptativa fusionando pistas espaciales y espectrales.

Ruta de Frecuencia: Para garantizar la invarianza de resolución y la estabilidad, el mapa de características de entrada se reduce mediante submuestreo a una cuadrícula fija de $32 \times 32$ . Se aplica una Transformada Rápida de Fourier (FFT) 2D para obtener un espectro de magnitud con compresión logarítmica. El pooling de promedio global agrega estas estadísticas para formar un descriptor espectral compacto. Este descriptor guía la modulación de canales directamente en el dominio de la frecuencia, evitando el costo computacional de las FFT inversas.
Ruta Espacial: Una rama paralela opera puramente en el dominio espacial, utilizando pooling de máximo y de promedio para generar un mapa de saliencia espacial.
Fusión: Las dos rutas se combinan mediante un mecanismo de puerta híbrido estático y aprendible. El mapa de atención final es una suma ponderada y un producto elemento a elemento de la atención de canal guiada por la frecuencia y el mapa de saliencia espacial.
Eficiencia: La rama de frecuencia opera a una resolución constante de $3 \times 32$ y todas las convoluciones son de $1 \times 1$ , lo que garantiza una sobrecarga de tiempo de ejecución mínima.

El marco retiene el módulo de Auto-Transformación de Características (FST) de MobileIE para mejorar las interacciones no lineales de las características. Toda la red adopta una estructura de entrenamiento re-parametrizable que colapsa en un modelo de alimentación directa (feed-forward) ligero para la inferencia.

Contribuciones Clave

Módulo FGDPA: Un mecanismo de atención ultra ligero que construye un descriptor espectral invariante a la resolución a partir de magnitudes de FFT de resolución fija. Aprovecha las estadísticas espectrales globales para guiar la modulación de canales sin FFT inversas, capturando pistas de degradación global de manera eficiente.
MBRConv-DCT: Una convolución re-parametrizable de múltiples ramas que inyecta priores direccionales de DCT no-DC fijos durante el entrenamiento. Esta rama lineal es colapsable analíticamente, enriqueciendo la diversidad espectral sin añadir costo de inferencia.
Integración de la Guía de Frecuencia: El trabajo demuestra que la guía de frecuencia explícita puede integrarse perfectamente en CNNs ultra ligeras y re-parametrizables, logrando un rendimiento de vanguardia con solo 4.23K parámetros.

Resultados Experimentales

El método propuesto fue evaluado en el conjunto de datos UIEB (supervisado) y en los conjuntos de datos EUVP y UIQS (no supervisado/sin referencia).

Rendimiento: En el benchmark UIEB, el modelo alcanzó 23.97 dB de PSNR y 0.9155 SSIM, superando al competidor ligero más fuerte (MobileIE) por más de 1.1 dB manteniendo un recuento de parámetros comparable (~4.2K). También superó al mucho más grande U-Shape Transformer (31.5M de parámetros) tanto en métricas basadas en distorsión como perceptuales (LPIPS más bajo de 0.1188).
Generalización: En conjuntos de datos del mundo real (EUVP y UIQS), el modelo demostró una robustez superior, logrando puntuaciones de estado del arte en UIQM y UCIQE en EUVP y ocupando el segundo lugar general en UIQS.
Eficiencia: El modelo opera a 628+ FPS a una resolución de $480 \times 640$ en una NVIDIA RTX 3090. En una plataforma embebida (Jetson AGX Orin), alcanza 106.9 FPS con una latencia de 9.35 ms.
Estudios de Ablación: Eliminar la magnitud de la frecuencia de la vía de atención causó una caída significativa en el rendimiento (de 23.97 dB a 22.81 dB), confirmando que la modulación de canal consciente de la frecuencia es indispensable. Los núcleos de DCT fijos proporcionaron un sesgo inductivo espectral robusto, con el rendimiento manteniéndose estable a través de diferentes recuentos de núcleos ( $K=2$ a $8$).

Significado y Reivindicaciones

El artículo afirma que el modelado de frecuencia explícito puede integrarse eficazmente en CNNs ultra ligeras sin sacrificar el rendimiento en tiempo real. Al utilizar priores espectrales estructurados (vía MBRConv-DCT) y estadísticas de FFT de resolución fija ligeras (vía FGDPA), el marco propuesto aborda la degradación sensible a la frecuencia de las imágenes subacuáticas que los modelos puramente espaciales pasan por alto.

Los autores posicionan este trabajo como una solución a la "brecha de eficiencia-efectividad" en los modelos re-parametrizados ultra ligeros actuales. Demuestran que las ganancias de rendimiento en este dominio no requieren necesariamente aumentar la profundidad del modelo o el recuento de parámetros, sino mejorar la eficiencia de la representación de cada parámetro mediante un diseño consciente de la frecuencia. Los resultados sugieren un fuerte potencial para el despliegue de estos modelos en plataformas con recursos limitados, tales como drones submarinos y sistemas robóticos embebidos.