HATIR: Heat-Aware Diffusion for Turbulent Infrared Video Super-Resolution

1. Declaração do Problema

O vídeo infravermelho (IV) é crítico para aplicações como direção autônoma e vigilância, mas sofre degradação severa em ambientes atmosféricos abertos devido à turbulência atmosférica. Esta turbulência, causada por gradientes térmicos entre superfícies terrestres quentes e a atmosfera superior mais fria, cria redemoinhos turbulentos que distorcem o índice de refração. Isso resulta em:

• Distorções geométricas: Distorção aleatória de objetos.
• Desfoque e ruído térmicos: Perda de definição de bordas e textura.
• Deriva em escala de cinza: Flutuações na intensidade ao longo do tempo.

Limitações Atuais:
Os métodos existentes de Super-Resolução de Vídeo (VSR) falham neste domínio devido a dois problemas principais:

1. Fossa de Modalidade: Os modelos VSR padrão são treinados em dados RGB e assumem texturas fortes e limites claros, que frequentemente estão ausentes em imagens IV de baixo contraste e dominadas termicamente.
2. Ignorância da Turbulência e Propagação de Erros: As soluções existentes frequentemente tratam a mitigação de turbulência (TM) e a super-resolução (VSR) como etapas separadas e em cascata. Esta abordagem desacoplada leva ao acúmulo de erros, onde a etapa de TM falha em recuperar detalhes estruturais e a etapa subsequente de VSR amplifica esses erros.

2. Metodologia: Framework HATIR

Os autores propõem o HATIR (Difusão Consciente de Calor para Super-Resolução de Vídeo Infravermelho Turbulento), um framework generativo unificado que modela o processo inverso tanto da degradação por turbulência quanto da perda de resolução simultaneamente.

Arquitetura Central

O HATIR opera dentro de um framework de difusão latente. Ele recebe uma sequência de vídeo IV turbulento de baixa resolução (LR) e reconstrói uma sequência de alta resolução (HR) refinando iterativamente variáveis latentes.

Componentes Chave

A. Estimador de Fluxo Guiado por Fasor (PhasorFlow)
O fluxo óptico padrão falha na turbulência IV devido às texturas fracas. O PhasorFlow introduz uma abordagem guiada pela física:

• Máscara de Fasor: Baseada no princípio físico de que regiões emissoras de calor exibem dinâmicas temporais consistentes, enquanto a turbulência causa perturbações de alta frequência e variáveis espacialmente. O método computa a Transformada Discreta de Fourier (DFT) ao longo do tempo para extrair a magnitude do primeiro harmônico. Isso cria uma máscara suave ($M_{phasor}$) que destaca regiões termicamente estáveis.
• Atenção Ponderada por Frequência: Utiliza a Máscara de Fasor para modular os pesos de atenção durante a estimativa de fluxo. Isso suprime regiões turbulentas instáveis e preserva informações estruturais sensíveis ao calor, permitindo uma orientação de movimento robusta para o processo de difusão.
• Orientação Consciente de Calor: Um termo de orientação informado pela física é injetado na trajetória de amostragem da difusão. Ele minimiza erros de distorção simétrica entre fluxos bidirecionais, ponderados por uma máscara conjunta (combinando máscaras de oclusão e fasor), direcionando o processo de remoção de ruído para representações temporalmente coerentes e termicamente estáveis.

B. Decodificador Consciente de Turbulência (TAD)
Para reconstruir os quadros finais de HR, o TAD aborda a não confiabilidade de pistas temporais em regiões distorcidas:

• Gating de Máscara de Turbulência (TMG): Gera uma máscara de gating baseada em erros de distorção bidirecional. Filtra adaptativamente regiões corrompidas pela turbulência, garantindo que a modelagem entre quadros ocorra apenas em áreas estruturalmente estáveis.
• Atenção Consciente de Estrutura IV (IR-SAA): Utiliza a magnitude do gradiente para criar um mapa de atenção que aplica seletivamente consistência em regiões de alta frequência (bordas, contornos) enquanto evita alinhamento redundante em áreas de baixa saliência.
• Otimização: O decodificador é ajustado finamente usando uma função de perda composta que inclui:
  • Perda de Reconstrução Térmica: Enfatiza a fidelidade em regiões termicamente ativas.
  • Perda de Borda Térmica: Penaliza o desalinhamento em bordas térmicas.
  • Perda de Diferença de Quadro: Garante consistência temporal ao longo da sequência.

3. Contribuições Principais

1. Framework Unificado (HATIR): O primeiro framework baseado em difusão para modelar conjuntamente a mitigação de turbulência e a super-resolução de vídeo para imagens infravermelhas, eliminando a propagação de erros inerente a pipelines em cascata.
2. Priors Guiados pela Física: Introdução do PhasorFlow, que aproveita a consistência térmica (análise de fasor) para orientar a estimativa de movimento em ambientes de baixa textura e turbulentos, e um Decodificador Consciente de Turbulência que suprime seletivamente pistas temporais instáveis.
3. Dataset FLIR-IVSR: Os autores construíram o primeiro dataset dedicado para VSR IV turbulento.
   • Fonte: Capturado usando uma câmera FLIR T1050sc (resolução 1024 × 768).
   • Escala: 640 cenas diversas com movimento variado de câmera e objeto.
   • Estrutura: Inclui sequências pareadas LR-HR categorizadas em subconjuntos de câmera estática (cenas estáticas/dinâmicas) e câmera em movimento.

4. Resultados Experimentais

Datasets e Métricas:

• Avaliado no novo dataset FLIR-IVSR e em um benchmark de turbulência sintética derivado do dataset M3FD.
• Métricas: PSNR, SSIM, LPIPS, DISTS e VMAF.

Desempenho:

• Quantitativo: O HATIR alcançou resultados state-of-the-art em todas as métricas. No conjunto de teste FLIR-IVSR, superou o segundo melhor método por uma margem significativa (ex: +3,76 dB de PSNR no cenário de câmera em movimento comparado ao próximo melhor método VSR).
• Qualitativo: Os resultados visuais mostram que o HATIR restaura com sucesso detalhes térmicos e corrige distorções geométricas, mantendo as características visuais intrínsecas da imagem IV. Em contraste, métodos em cascata (TM + VSR) exibiram artefatos severos e acúmulo de erros, enquanto os métodos VSR padrão falharam em lidar com o desfoque induzido pela turbulência.

Estudos de Ablação:

• PhasorFlow vs. SpyNet: Substituir o PhasorFlow por fluxo óptico padrão (SpyNet) resultou em uma queda de ~4,7 dB no PSNR, provando a necessidade de estimativa de fluxo consciente térmica.
• Componentes do Decodificador: Remover qualquer um dos módulos TMG ou IR-SAA levou a uma degradação significativa de desempenho, confirmando que tanto o filtragem de turbulência quanto a atenção consciente de estrutura são essenciais.
• Máscara de Orientação: A aplicação conjunta das máscaras de Fasor e Oclusão produziu os melhores resultados, validando a natureza complementar desses priors.

5. Significado

Este trabalho representa um salto significativo na visão computacional infravermelha ao abordar os desafios físicos específicos da turbulência atmosférica. Ao unificar o alinhamento e a restauração dentro de um framework de difusão guiado pela física térmica, o HATIR permite a recuperação de vídeo IV de alta fidelidade em cenários anteriormente considerados muito degradados para análise. O lançamento do dataset FLIR-IVSR fornece um benchmark crucial para impulsionar pesquisas futuras em percepção infravermelha robusta para sistemas autônomos e vigilância.