Resumo Técnico: ReMATF

Declaração do Problema

A turbulência atmosférica (TA) degrava severamente a qualidade de vídeo em sistemas de imageamento de longo alcance, introduzindo distorções geométricas, desfoque e cintilação temporal. Essas distorções surgem de variações espaciais e temporais no índice de refração do ar. Embora métodos tradicionais (por exemplo, registro não rígido, fusão de múltiplos quadros) funcionem bem para cenas estáticas, eles lutam com cenas dinâmicas onde a redundância temporal é insuficiente.

Abordagens recentes de aprendizado profundo, particularmente aquelas baseadas em transformadores e arquiteturas 3D, mostraram promessa, mas frequentemente exigem entradas de múltiplos quadros (por exemplo, 5 quadros) e incorrem em altos custos computacionais e uso de memória. Isso limita sua implantação em cenários com recursos limitados. Além disso, métodos existentes baseados em dados frequentemente carecem de generalização para turbulência do mundo real devido à dependência de conjuntos de dados sintéticos e severidades de distorção variáveis.

Metodologia

Os autores propõem o ReMATF (Framework Recorrente Adaptativo ao Movimento Multiescala para Turbulência), um framework recorrente leve projetado para restaurar vídeos usando apenas dois quadros por vez (o quadro distorcido atual e a saída restaurada anterior), enquanto preserva o detalhe espacial e a estabilidade temporal.

Arquitetura Central

O framework opera de maneira recorrente, processando os passos de tempo $t$ ao tomar o quadro distorcido atual $I_t$ e o quadro restaurado anterior $O_{t-1}$.

1. Condicionamento por Nível de Turbulência:

   • Para se adaptar a severidades de distorção variáveis, o modelo estima um nível de turbulência para cada quadro usando um modelo de Avaliação de Qualidade de Imagem baseado em CLIP (CLIP-IQA).
   • Essa pontuação escalar é transformada em um embedding latente por meio de um MLP leve e injetada na rede principal através de uma camada de modulação por atenção cruzada. Isso permite que o modelo repondere dinamicamente as respostas de características, priorizando a estabilização geométrica durante turbulência severa e o refinamento de detalhes durante turbulência leve.

2. O Mitigador (Módulo Multietapa):

   • Extração de Características Multiescala: As entradas são subamostradas para criar uma hierarquia de três escalas. Blocos convolucionais 3D extraem representações espaciotemporais locais (ondulações, flutuações de intensidade) em cada escala.
   • Alinhamento Temporal (Blocos TWT): Em cada escala, um bloco Transformer-Warp-Transformer (TWT) é empregado.
     • O primeiro transformador aprimora os embeddings e facilita o raciocínio de correspondência.
     • Um ramo de estimativa de fluxo leve prevê o fluxo óptico para guiar um módulo de warp de fluxo (usando convoluções deformáveis) para compensação geométrica de alta granularidade.
     • Um segundo transformador refina as características alinhadas.
   • Refinamento de Características: Características alinhadas de todas as escalas são fundidas e processadas por blocos TWT adicionais para reconstruir texturas de alta frequência e remover distorções residuais, produzindo uma restauração intermediária $\hat{O}_t$.

3. Fusão Temporal Adaptativa ao Movimento (MATF):

   • Para impor consistência temporal de longo prazo sem aumentar a janela de memória, a saída intermediária $\hat{O}_t$ é fundida com a saída anterior compensada por movimento $O_{t-1}$.
   • Um módulo de Fusão Temporal Adaptativa ao Movimento (MATF) realiza fusão por pixel. Ele gera um mapa de movimento usando pistas como magnitude de movimento, diferenças fotométricas e consistência de fluxo.
   • Regiões dinâmicas dependem mais da restauração atual para evitar fantasmas e preservar limites.
   • Regiões estáticas dependem mais da saída anterior para garantir coerência temporal e reduzir o cintilamento.
   • Um termo de supressão sensível a bordas impede que limites estruturais sejam mal interpretados como movimento.
   • A saída final $O_t$ é propagada recursivamente para o próximo passo de tempo.

Funções de Perda

O objetivo de treinamento combina várias perdas para garantir fidelidade espacial e coerência temporal:

• Perda de Reconstrução: Penalidade Charbonnier para supervisão robusta pixel a pixel.
• Perda no Domínio de Wavelet: Restrição de wavelet de Haar para preservar estruturas de alta frequência.
• Perda Estrutural Laplaciana: Penaliza discrepâncias nas respostas Laplacianas para aprimorar a nitidez das bordas.
• Perda de Consistência Temporal Sensível a Estáticos: Impõe consistência entre a saída atual e a previsão anterior distorcida especificamente em regiões estáticas identificadas pela máscara MATF.
• Perda de Consistência de Fluxo Multietapa: Incentiva a coerência com múltiplas previsões históricas usando campos de fluxo estimados.

Contribuições Principais

1. Framework ReMATF: O primeiro método a mitigar distorções de TA através de mecanismos recorrentes acoplados de curto e longo prazo, permitindo restauração com apenas dois quadros por vez.
2. Recorrência de Curto Prazo: Fornece pistas de restauração imediata para suprimir artefatos de ondulação.
3. Recorrência de Longo Prazo via MATF: Integra saídas atuais e anteriores por meio de um mapa de pesos sensível ao movimento, permitindo agregação temporal de longo alcance eficiente em memória onde informações de quadros anteriores são implicitamente atenuadas.
4. Condicionamento por Nível de Turbulência: Introduz um mecanismo para ajudar a rede a se adaptar a uma ampla gama de severidades de distorção sem modelos separados.
5. Construção de Conjunto de Dados do Mundo Real: Criou um conjunto de dados pareado de TA do mundo real replicando conteúdo dinâmico de cenas estáticas para gerar pseudo-verdade de referência para treinamento supervisionado.

Resultados

Experimentos foram conduzidos em conjuntos de dados sintéticos (ATSyn-Dynamic, DeTurb) e do mundo real (CLEAR, RLR-AT, ATD).

• Desempenho Sintético: O ReMATF alcançou desempenho state-of-the-art em todas as métricas (PSNR, SSIM, LPIPS) no conjunto de dados ATSyn-Dynamic, superando baselines como MambaTM, DATUM e TMT em níveis de turbulência fraca, média e forte.
• Desempenho do Mundo Real: Em cenas dinâmicas reais, o ReMATF melhorou o PSNR em +2,83 dB, o SSIM em +0,05 e reduziu o LPIPS em 0,048 em comparação com o melhor método recorrente anterior (RMFAT). Demonstrou estabilidade temporal superior (menor tLPIPS) e preservou detalhes estruturais em regiões desafiadoras (por exemplo, limites de veículos, objetos distantes) onde outros métodos produziram desfoque ou cintilamento.
• Eficiência: O ReMATF é significativamente mais rápido e eficiente em memória do que baselines de transformadores de múltiplos quadros. Processa quadros em aproximadamente 0,008 segundos em uma NVIDIA RTX4090 com apenas 2,60M de parâmetros, tornando-o adequado para cenários com recursos limitados.
• Estudos de Ablação: A remoção do módulo MATF, do warp multiescala ou do condicionamento por nível de turbulência resultou em degradação significativa de desempenho, confirmando a necessidade de cada componente para lidar com distorções espacialmente variáveis e manter a estabilidade temporal.

Significado

O artigo afirma que o ReMATF aborda o compromisso crítico entre utilização de informação temporal e eficiência computacional na mitigação de turbulência atmosférica. Ao desacoplar o raciocínio de curto e longo prazo dentro de um framework recorrente leve, o ReMATF alcança restauração robusta em cenas dinâmicas sem a sobrecarga de memória de grandes janelas de múltiplos quadros. A introdução de condicionamento por nível de turbulência e fusão adaptativa ao movimento permite que o modelo generalize através de severidades de distorção e padrões de movimento variáveis, oferecendo uma solução prática para implantação em tempo real em cenários onde métodos tradicionais de múltiplos quadros são inviáveis.