Resumen Técnico: ReMATF

Enunciado del Problema

La turbulencia atmosférica (AT) degrada severamente la calidad del video en sistemas de imagen de largo alcance al introducir distorsiones geométricas, desenfoque y parpadeo temporal. Estas distorsiones surgen de las variaciones espaciales y temporales en el índice de refracción del aire. Si bien los métodos tradicionales (por ejemplo, registro no rígido, fusión de múltiples cuadros) funcionan bien para escenas estáticas, tienen dificultades con escenas dinámicas donde la redundancia temporal es insuficiente.

Los enfoques recientes de aprendizaje profundo, particularmente aquellos basados en transformadores y arquitecturas 3D, han mostrado promesa pero a menudo requieren entradas de múltiples cuadros (por ejemplo, 5 cuadros) e incurren en altos costos computacionales y uso de memoria. Esto limita su implementación en escenarios con recursos limitados. Además, los métodos existentes basados en datos a menudo carecen de generalización a la turbulencia del mundo real debido a la dependencia de conjuntos de datos sintéticos y a la variación en la severidad de las distorsiones.

Metodología

Los autores proponen ReMATF (Marco Recurrente de Turbulencia Multi-escala Adaptativo al Movimiento), un marco recurrente ligero diseñado para restaurar videos utilizando solo dos cuadros a la vez (el cuadro distorsionado actual y la salida restaurada anterior) mientras preserva el detalle espacial y la estabilidad temporal.

Arquitectura Central

El marco opera de manera recurrente, procesando los pasos de tiempo $t$ tomando el cuadro distorsionado actual $I_t$ y el cuadro restaurado anterior $O_{t-1}$.

1. Condicionamiento por Nivel de Turbulencia:

   • Para adaptarse a severidades de distorsión variables, el modelo estima un nivel de turbulencia para cada cuadro utilizando un modelo de Evaluación de Calidad de Imagen basado en CLIP (CLIP-IQA).
   • Esta puntuación escalar se transforma en una incrustación latente mediante una MLP ligera e inyecta en la red principal a través de una capa de modulación de atención cruzada. Esto permite que el modelo re-pese dinámicamente las respuestas de características, priorizando la estabilización geométrica durante turbulencia severa y el refinamiento de detalles durante turbulencia leve.

2. El Mitigador (Módulo Multi-Etapa):

   • Extracción de Características Multi-escala: Las entradas se submuestrean para crear una jerarquía de tres escalas. Bloques de convolución 3D extraen representaciones espacio-temporales locales (ondas, fluctuaciones de intensidad) en cada escala.
   • Alineación Temporal (Bloques TWT): En cada escala, se emplea un bloque Transformador-Deformación-Transformador (TWT).
     • El primer transformador mejora las incrustaciones y facilita el razonamiento de correspondencia.
     • Una rama de estimación de flujo ligera predice el flujo óptico para guiar un módulo de deformación por flujo (usando convoluciones deformables) para una compensación geométrica de grano fino.
     • Un segundo transformador refina las características alineadas.
   • Refinamiento de Características: Las características alineadas de todas las escalas se fusionan y procesan mediante bloques TWT adicionales para reconstruir texturas de alta frecuencia y eliminar distorsiones residuales, produciendo una restauración intermedia $\hat{O}_t$.

3. Fusión Temporal Adaptativa al Movimiento (MATF):

   • Para imponer consistencia temporal a largo plazo sin aumentar la ventana de memoria, la salida intermedia $\hat{O}_t$ se fusiona con la salida anterior compensada por movimiento $O_{t-1}$.
   • Un módulo de Fusión Temporal Adaptativa al Movimiento (MATF) realiza una fusión por píxel. Genera un mapa de movimiento utilizando señales como la magnitud del movimiento, diferencias fotométricas y consistencia del flujo.
   • Las regiones dinámicas dependen más de la restauración actual para evitar fantasmas y preservar los límites.
   • Las regiones estáticas dependen más de la salida anterior para asegurar coherencia temporal y reducir el parpadeo.
   • Un término de supresión consciente de bordes evita que los límites estructurales se interpreten erróneamente como movimiento.
   • La salida final $O_t$ se propaga recursivamente al siguiente paso de tiempo.

Funciones de Pérdida

El objetivo de entrenamiento combina varias pérdidas para asegurar la fidelidad espacial y la coherencia temporal:

• Pérdida de Reconstrucción: Penalidad Charbonnier para una supervisión robusta a nivel de píxel.
• Pérdida en Dominio de Wavelet: Restricción de wavelet de Haar para preservar estructuras de alta frecuencia.
• Pérdida Estructural Laplaciana: Penaliza discrepancias en las respuestas Laplacianas para mejorar la nitidez de los bordes.
• Pérdida de Consistencia Temporal Consciente de Estática: Impone consistencia entre la salida actual y la predicción anterior deformada específicamente en regiones estáticas identificadas por la máscara MATF.
• Pérdida de Consistencia de Flujo Multi-paso: Fomenta la coherencia con múltiples predicciones históricas utilizando campos de flujo estimados.

Contribuciones Clave

1. Marco ReMATF: El primer método para mitigar distorsiones de AT mediante mecanismos recurrentes acoplados a corto y largo plazo, permitiendo la restauración con solo dos cuadros a la vez.
2. Recurrencia a Corto Plazo: Proporciona señales de restauración inmediatas para suprimir artefactos de ondas.
3. Recurrencia a Largo Plazo mediante MATF: Integra salidas actuales y anteriores mediante un mapa de pesos consciente del movimiento, permitiendo una agregación temporal de largo alcance eficiente en memoria donde la información de cuadros anteriores se atenúa implícitamente.
4. Condicionamiento por Nivel de Turbulencia: Introduce un mecanismo para ayudar a la red a adaptarse a una amplia gama de severidades de distorsión sin modelos separados.
5. Construcción de Conjunto de Datos del Mundo Real: Creó un conjunto de datos emparejado de AT del mundo real replicando contenido dinámico de escenas estáticas para generar pseudo-verdad fundamental para el entrenamiento supervisado.

Resultados

Se realizaron experimentos en conjuntos de datos sintéticos (ATSyn-Dynamic, DeTurb) y conjuntos de datos del mundo real (CLEAR, RLR-AT, ATD).

• Rendimiento Sintético: ReMATF logró un rendimiento de vanguardia en todas las métricas (PSNR, SSIM, LPIPS) en el conjunto de datos ATSyn-Dynamic, superando a líneas base como MambaTM, DATUM y TMT en niveles de turbulencia débil, media y fuerte.
• Rendimiento en el Mundo Real: En escenas dinámicas reales, ReMATF mejoró el PSNR en +2.83 dB, el SSIM en +0.05 y redujo el LPIPS en 0.048 en comparación con el mejor método recurrente anterior (RMFAT). Demostró una estabilidad temporal superior (tLPIPS más bajo) y preservó detalles estructurales en regiones desafiantes (por ejemplo, límites de vehículos, objetos distantes) donde otros métodos produjeron desenfoque o parpadeo.
• Eficiencia: ReMATF es significativamente más rápido y eficiente en memoria que las líneas base de transformadores de múltiples cuadros. Procesa cuadros en aproximadamente 0.008 segundos en una NVIDIA RTX4090 con solo 2.60M de parámetros, lo que lo hace adecuado para escenarios con recursos limitados.
• Estudios de Ablación: Eliminar el módulo MATF, la deformación multi-escala o el condicionamiento por nivel de turbulencia resultó en una degradación significativa del rendimiento, confirmando la necesidad de cada componente para manejar distorsiones que varían espacialmente y mantener la estabilidad temporal.

Significancia

El artículo afirma que ReMATF aborda el compromiso crítico entre la utilización de información temporal y la eficiencia computacional en la mitigación de la turbulencia atmosférica. Al desacoplar el razonamiento a corto y largo plazo dentro de un marco recurrente ligero, ReMATF logra una restauración robusta en escenas dinámicas sin la sobrecarga de memoria de grandes ventanas de múltiples cuadros. La introducción del condicionamiento por nivel de turbulencia y la fusión adaptativa al movimiento permite que el modelo generalice a través de severidades de distorsión variables y patrones de movimiento, ofreciendo una solución práctica para la implementación en tiempo real en escenarios donde los métodos tradicionales de múltiples cuadros son inviables.