EvaNet: Towards More Efficient and Consistent Infrared and Visible Image Fusion Assessment

Resumo Técnico: EvaNet

1. O Problema

A avaliação da qualidade em fusão de imagens infravermelha e visível (IVIF) enfrenta dois desafios críticos que limitam o avanço da pesquisa na área:

• Inconsistência: A maioria das métricas atuais é emprestada de outras tarefas de visão computacional (como super-resolução ou remoção de ruído) sem adaptação adequada. Elas frequentemente falham em capturar a verdadeira qualidade visual dos resultados de fusão, gerando discrepâncias onde uma melhor visualização não corresponde a valores métricos mais altos. Além disso, essas métricas tratam as modalidades infravermelha e visível como igualmente importantes, ignorando o contexto ambiental (ex.: baixa luminosidade ou oclusão) que deveria influenciar o peso de cada modalidade.
• Ineficiência Computacional: O processo de avaliação tradicional é extremamente lento. Métricas baseadas em transformadas de sinal (como DCT e Wavelet) exigem execuções sequenciais e computacionalmente intensivas para cada métrica. Avaliar um conjunto de dados completo (ex.: LLVIP com 3.463 imagens) pode levar mais de 24 horas, criando um gargalo que força os pesquisadores a testar apenas subconjuntos pequenos, comprometendo a confiabilidade estatística.

2. Metodologia (EvaNet)

Os autores propõem o EvaNet, um framework unificado de avaliação baseado em aprendizado profundo, projetado para ser leve, rápido e consistente. A arquitetura adota uma estratégia de "dividir e conquistar" com três componentes principais:

• Decomposição de Componentes (Divisão):

  • Ao invés de avaliar a imagem fundida diretamente em relação às originais, o EvaNet utiliza sondas de informação (information probes) leves para decompor a imagem fundida em seus componentes infravermelho ($\hat{I}_{ir}$) e visível ($\hat{I}_{vis}$).
  • Isso permite uma avaliação granular, medindo separadamente o quanto de informação de cada modalidade foi preservada, desconstruindo o processo de avaliação.

• Avaliação de Ambiente Adaptativa (Conquista):

  • Um ramo de consciência ambiental utiliza um Modelo de Linguagem Grande (LLM) para analisar as condições da cena (iluminação e oclusão) e gerar um fator de ponderação adaptativo ($ENV$).
  • Se as condições visuais forem ruins (ex.: pouca luz), o modelo penaliza a dependência excessiva da modalidade visível, ajustando a pontuação final para refletir a confiabilidade contextual. A fórmula de avaliação final é:
    $$Q^* = Q(\hat{I}_{ir}, I_{ir}) + Q(\hat{I}_{vis}, I_{vis}) - ENV \cdot \Delta$$
    Onde $\Delta$ representa o desequilíbrio entre as modalidades.

• Arquitetura de Saída Múltipla e Aprendizado Contrastivo:

  • O EvaNet possui uma arquitetura de cabeças múltiplas que prediz simultaneamente múltiplas métricas (ex.: VIF, Qabf, SSIM, PSNR, etc.) em uma única passagem forward.
  • O treinamento utiliza aprendizado contrastivo, onde pares positivos (imagem original vs. componente decomposto correspondente) e pares negativos (imagens não relacionadas) são usados para ensinar o modelo a distinguir similaridades relevantes e suprimir previsões para conteúdo irrelevante.

3. Principais Contribuições

1. Primeiro Framework de Avaliação Unificado para IVIF: O EvaNet é a primeira estrutura baseada em aprendizado projetada especificamente para calcular métricas tradicionais de fusão de imagens no contexto IVIF, superando as limitações de adaptação direta de outras tarefas.
2. Aceleração Extrema: Graças à arquitetura leve e à predição simultânea, o EvaNet oferece uma aceleração de até 1.000 vezes em comparação com os métodos tradicionais. Enquanto métodos tradicionais levam horas para avaliar um conjunto de dados, o EvaNet faz isso em menos de um minuto.
3. Mecanismo de Avaliação de Alta Granularidade: A decomposição dos componentes e o uso de LLMs para avaliação ambiental permitem um ajuste fino dos pesos das modalidades, tornando a avaliação mais interpretável e alinhada com a percepção humana.
4. Protocolo de Consistência de Métricas (MC): Os autores introduzem um novo protocolo para medir a consistência entre as métricas de fusão e referências independentes (avaliação de qualidade sem referência e desempenho em tarefas downstream como detecção e segmentação), fornecendo uma base objetiva para avaliar a confiabilidade de novas métricas.

4. Resultados Experimentais

• Eficiência: Em testes no conjunto de dados LLVIP (3.463 imagens), o EvaNet gerou 8 métricas simultaneamente em 10,8 segundos (< 1 minuto), enquanto os métodos tradicionais levaram mais de 24 horas para a mesma tarefa.
• Consistência: O EvaNet demonstrou superioridade significativa na consistência com a percepção humana (medida por $MC_{deep}$) e com tarefas downstream ($MC_{ds}$). Métricas tradicionais como VIF e Qabf, quando adaptadas pelo EvaNet, mostraram melhorias substanciais na correlação com a qualidade visual real e com a precisão de detecção de objetos.
• Generalização: O modelo manteve seu desempenho e capacidade de correção de inconsistências em diversos conjuntos de dados (LLVIP, RoadScene, TNO, MSRS) e sob diferentes condições de iluminação.
• Ablação: Estudos mostraram que a remoção do ramo ambiental ou do aprendizado contrastivo degrada significativamente a consistência, comprovando a importância desses componentes.

5. Significado e Impacto

O trabalho do EvaNet representa um avanço fundamental na área de fusão de imagens:

• Mudança de Paradigma: Transita da avaliação baseada em processamento de sinal lento e estático para uma avaliação baseada em aprendizado unificada e dinâmica.
• Viabilidade Prática: Ao reduzir o tempo de avaliação de dias para segundos, permite que os pesquisadores avaliem métodos em conjuntos de dados completos, aumentando a confiabilidade dos resultados publicados.
• Alinhamento com a Realidade: Ao incorporar o contexto ambiental e a consistência com tarefas downstream, o EvaNet oferece uma métrica de qualidade que não apenas mede similaridade matemática, mas também a utilidade prática e a percepção visual humana, guiando o desenvolvimento de futuros algoritmos de fusão para aplicações reais como monitoramento, diagnóstico médico e visão robótica.

O código do projeto será disponibilizado publicamente, facilitando a adoção e o avanço contínuo na pesquisa de fusão de imagens.