FDCNet: Frequency-Aware and Dynamic Curve Network for Adversarially Robust Infrared and Visible Image Fusion

Resumen Técnico: FDCNet para la Fusión de Imágenes Infrarrojas y Visibles con Robustez Adversaria

Planteamiento del Problema
La Fusión de Imágenes Infrarrojas y Visibles (IVIF, por sus siglas en inglés) integra información multimodal complementaria para superar las limitaciones de los sensores únicos, desempeñando papeles críticos en la conducción autónoma, el seguimiento de objetos y la detección de objetos prominentes. Sin embargo, los métodos de IVIF existentes asumen predominantemente entradas libres de interferencias, lo que los vuelve frágiles ante ataques adversarios deliberados. Los algoritmos adversarios clásicos (p. ej., FGSM, PGD, C&W) pueden inducir una degradación severa en la inferencia del modelo mediante la inyección de perturbaciones imperceptibles. Si bien se ha explorado el entrenamiento adversario para mejorar la robustez, este suele crear un compromiso intrínseco: las estrategias diseñadas para suprimir el ruido adversario de alta frecuencia frecuentemente resultan en una inhibición de características excesivamente conservadora, lo que conduce a un sobre-suavizado estructural, la pérdida de detalles finos y una contracción del rango dinámico. Esta degradación restringe fundamentalmente la estabilidad del rendimiento de las tareas de visión descendentes bajo condiciones compleas.

Metodología
Para abordar la contradicción entre la defensa adversaria y la fidelidad de las características, los autores proponen FDCNet (Red de Curva Dinámica y Sensible a la Frecuencia). El marco opera como un sistema de entrenamiento adversario de extremo a extremo utilizando una arquitectura de base U-Net, integrando tres componentes principales para equilibrar sinérgicamente la eficacia de la defensa y la calidad visual:

1. Pérdida de Fidelidad Espacial-Frecuencial de Espacio de la Distribución (LSFDA):
   Propuesta al nivel de optimización, esta función de pérdida guía el entrenamiento robusto equilibrando adaptativamente la fidelidad estructural y las restricciones de características de alta frecuencia. Emplea una estrategia de optimización min-max donde la maximización interna genera perturbaciones adversarias (vía PGD) contra etiquetas pseudo, y la minimización externa actualiza los parámetros de la red. La pérdida comprende un término de fidelidad espacial estructural basal y un término de tolerancia sensible a la frecuencia normalizado. Este último utiliza la Transformada de Wavelet Discreta (DWT) para desacoplar las subbandas de baja y alta frecuencia, imponiendo una restricción de "límite superior suave" sobre los componentes de alta frecuencia para prevenir la pérdida de detalles mientras se penaliza el ruido excesivo. Un sistema de ponderación dinámica multinivel ajusta el enfoque entre la reconstrucción estructural y las capacidades de anti-interferencia a lo largo del proceso de entrenamiento.

2. Módulo de Defensa Sensible a la Frecuencia (FADM):
   Integrado en las conexiones de salto (skip connections) multiescala del esqueleto U-Net, este módulo actúa como la arquitectura frontal de anti-interferencia. Intercepta la penetración de ruido entre capas a través de una serie en cascada de cinco Bloques de Atención de Desacoplamiento de Frecuencia (FDAB). Cada unidad FDAB realiza:

   • Suavizado Espacial y Desacoplamiento de Wavelet: Utiliza convoluciones separables en profundidad y DWT para separar las características en subbandas de baja frecuencia (LL) y alta frecuencia (LH, HL, HH).
   • Generación de Frecuencia Invertible de Afinidad (AIFG): Utiliza Bloques de Acoplamiento Afín (ACB) para extraer características preservando los detalles de alta frecuencia mediante una estricta invertibilidad matemática, evitando la pérdida de información durante la propagación hacia adelante.
   • Atención Dual Direccional Invertible (IDDA): Combina una rama de Atención Global de Mercer (MGA) para el suavizado de características macro (usando mapeo de núcleos para reducir la complejidad) y una rama de Atención de Ventana Local (LWA) para manejar anomalías locales de alta frecuencia.
   • Reconstrucción Residual: Reensambla las subbandas purificadas mediante pixel-shuffle y conexiones residuales para emitir características robustas.

3. Módulo de Curva de Tono Dinámica Guiada por Extremos (EDTC):
   Diseñado como un mecanismo de post-compensación de la parte posterior, el EDTC aborda las restricciones mutuas entre el LSFDA y el FADM. Inspirado en la teoría de Retinex y estrategias de estimación de curvas, acopla las características robustas preliminares con distribuciones de valores extremos de múltiples fuentes (el envolvente de máximo por píxel de las imágenes de origen) como prioris espaciales. El módulo predice parámetros de mapeo no lineal de alto orden por píxel mediante una red ligera y ejecuta una reconstrucción de curva cuadrática iterativa. Este proceso restaura eficazmente la distribución de píxeles, aliviando la contracción del rango dinámico y recuperando la nitidez visual sin comprometer el sistema de defensa subyacente.

Contribuciones Clave

• LSFDA: Una función de pérdida novedosa que ajusta dinámicamente los pesos entre la fidelidad estructural y las restricciones de alta frecuencia, mitigando la pérdida de detalle asociada típicamente con las defensas adversarias convencionales.
• FADM: Una arquitectura frontal que cascada Bloques de Atención de Desacoplamiento de Frecuencia dentro de las conexiones de salto para interceptar y filtrar el ruido adversario de alta frecuencia mientras preserva los detalles espaciales de bajo nivel mediante transformaciones invertibles.
• EDTC: Un mecanismo de compensación de la parte posterior que utiliza prioris de extremos de múltiples fuentes para realizar un mapeo no lineal por píxel, resolviendo eficazmente los compromisos de rendimiento entre los módulos de defensa y restaurando la calidad visual de la imagen.
• Marco Unificado: La integración de estos componentes en FDCNet logra un equilibrio sinérgico entre la robustez adversaria y la fidelidad de las características, superando a los métodos de estado del arte (SOTA) tanto en métricas objetivas como en la estabilidad de las tareas descendentes.

Resultados Experimentales
Se realizaron experimentos extensos en los conjuntos de datos M³FD y MFNet, comparando FDCNet contra ocho modelos de fusión SOTA (incluyendo SeAFusion, TarDAL, PAIF y A²RNet).

• Calidad de Fusión: Bajo ataques adversarios (PGD), FDCNet superó consistentemente a los modelos base en cinco métricas objetivas: Entropía (EN), Desviación Estándar (SD), Relación Señal-Ruido Pico (PSNR), Coeficiente de Correlación (CC) y Suma de Diferencia Cruzada Estructurada (SCD). El análisis cualitativo mostró que FDCNet preservó la saliencia térmica infrarroja y los detalles de textura visibles con una desviación mínima de la forma de onda de la señal entre los estados limpio y atacado, mientras que otros métodos exhibieron ruido severo, distorsión o colapso estructural.
• Estabilidad de Tareas Descendentes: Cuando las imágenes fusionadas fueron alimentadas a redes de detección de objetos y segmentación semántica pre-entrenadas, FDCNet demostró una robustez superior. En los conjuntos de datos M³FD y MFNet, FDCNet alcanzó el mayor Precisión Media (mAP) e Intersección sobre Unión Media (mIoU) bajo condiciones de ataque, con la menor degradación de rendimiento (p. ej., una caída de mAP de solo 0.012 en M³FD) en comparación con otros métodos. Los resultados de detección visual confirmaron que FDCNet detectó con éxito todos los objetivos (peatones y vehículos) con alta confianza, mientras que otros modelos sufrieron detecciones omitidas y segmentaciones fragmentadas.
• Estudios de Ablación: Los experimentos verificaron que si bien los módulos individuales (LSFDA, FADM, EDTC) mejoraron el rendimiento, su operación conjunta sin el EDTC condujo a restricciones de rendimiento debido a objetivos de optimización conflictivos. El modelo completo (M6) incorporando los tres componentes logró resultados óptimos, confirmando la necesidad del EDTC para reconciliar la defensa y la fidelidad.

Significancia
El artículo afirma que FDCNet mitiga eficazmente los efectos adversos de las perturbaciones adversarias en las tareas de IVIF, un dominio previamente vulnerable a tales ataques. Al introducir una estrategia de defensa sensible a la frecuencia junto con un mecanismo de compensación de curva de tono dinámico, el método supera con éxito el compromiso tradicional entre la inmunidad a la interferencia y la fidelidad de la imagen. Los resultados demuestran que FDCNet no solo mantiene resultados de fusión de alta fidelidad, sino que también estabiliza significativamente el rendimiento de las tareas críticas de visión descendente (detección de objetos y segmentación semántica) en entornos adversarios. Los autores reconocen que el desacoplamiento de frecuencia multiescala y las iteraciones no lineales aumentan la complejidad computacional, sugiriendo que el trabajo futuro se centrará en el diseño ligero y la optimización de la eficiencia de la inferencia para el despliegue de ingeniería práctico.