A 3-D Log-Gabor Feature Similarity Index for Quality Assessment of Pansharpened Images

Resumo Técnico: Um Índice de Similaridade de Características Log-Gabor 3-D para Avaliação de Qualidade de Imagens Pansharpened

Definição do Problema
A avaliação da qualidade de imagens pansharpened permanece um desafio significativo no sensoriamento remoto, principalmente devido à indisponibilidade de uma imagem multiespectral (HRMS) de alta resolução como referência para uma avaliação em escala total. As métricas existentes de Avaliação de Qualidade de Imagem (IQA) frequentemente avaliam as qualidades espectrais e espaciais separadamente, falhando em considerar as relações interbandas críticas inerentes aos dados multiespectrais. Além disso, muitas métricas tradicionais dependem de diferenças pixel a pixel que não se alinham bem com o Sistema Visual Humano (HVS), que é sensível a padrões estruturais, bordas e texturas, em vez de valores brutos de intensidade. Embora abordagens de aprendizado profundo tenham emergido, elas podem sofrer de redundância de características e funções de perda que ignoram as relações entre os resultados de fusão. Consequentemente, há uma necessidade de uma métrica perceptualmente relevante que analise simultaneamente informações espaciais e espectrais dentro de um framework unificado.

Metodologia
O artigo propõe uma nova métrica, o 3-D FSIM, que estende o índice de Similaridade de Características (FSIM) — originalmente projetado para imagens em tons de cinza e RGB — para o domínio do pansharpening multiespectral. A metodologia baseia-se na sensibilidade do HVS a características de baixo nível, especificamente a Congruência de Fase (PC) e a Magnitude do Gradiente (GM).

1. Filtragem Log-Gabor 3-D: Diferente das abordagens convencionais que processam as bandas espectrais de forma independente, o método proposto emprega um banco de filtros log-Gabor 3-D. Esses filtros operam através das dimensões espacial (x, y) e espectral (z) simultaneamente. A função de transferência do filtro é definida por magnitude de frequência radial e orientação angular (elevação e azimute), permitindo a extração de características estruturais que capturam tanto detalhes espaciais quanto correlações espectrais.
2. Extração de Características:
   • Congruência de Fase 3-D (PC): Computada através da análise das respostas simétricas pares e ímpares dos filtros log-Gabor 3-D através de múltiplas escalas e orientações. A PC identifica estruturas perceptualmente significativas (bordas, cantos) e é invariante a mudanças de brilho ou contraste.
   • Magnitude do Gradiente 3-D (GM): Calculada usando operadores de gradiente 3-D específicos para capturar variações locais de intensidade e contraste, complementando a informação estrutural fornecida pela PC.
3. Computação de Similaridade: A métrica computa a similaridade entre a imagem de referência (ou a original de baixa resolução MS) e as imagens distorcidas (pansharpened). Em vez de tirar a média das pontuações por banda, o método trata as respostas de características em cada localização espacial como vetores ao longo da dimensão espectral. Mapas de similaridade para PC e GM são gerados usando produtos internos vetoriais e normas euclidianas.
4. Agrupamento (Pooling): A pontuação final de qualidade é obtida através do agrupamento dos mapas de similaridade local, ponderados pela resposta máxima de congruência de fase. Isso garante que regiões perceptualmente significativas contribuam mais fortemente para a pontuação final.

Principais Contribuições

• Framework 3-D: A principal contribuição é a extensão da métrica FSIM para um framework tridimensional. Isso elimina a necessidade de computação independente banda a banda e de média, preservando e explorando, assim, as correlações espectrais interbandas.
• Alinhamento Perceptual: Ao utilizar filtros log-Gabor 3-D para extrair PC e GM, a métrica alinha-se estreitamente com a percepção do HVS, focando em características estruturais e texturais em vez de simples diferenças de pixels.
• Avaliação Unificada: O método fornece uma pontuação única que avalia simultaneamente a fidelidade espacial e a consistência espectral, abordando as limitações de métricas que avaliam essas qualidades isoladamente.

Resultados e Desempenho
A métrica proposta foi avaliada utilizando um banco de dados de imagens IKONOS pansharpened derivadas de quatro regiões distintas (Coliseum, Road, Urban, River). O conjunto de dados incluiu imagens fundidas via seis técnicas diferentes (categorias MRA e CS) e sujeitas a várias distorções (desfoque e ruído branco gaussiano aditivo). O desempenho foi comparado com as Pontuações de Opinião Média (MOS) subjetivas e o DMOS fornecidos por observadores humanos.

• Métricas de Correlação: O 3-D FSIM alcançou a maior correlação com as pontuações subjetivas entre todas as métricas testadas. Especificamente, superou os métodos de estado da arte existentes (incluindo SAM, ERGAS, UIQI, Q4, SSIM e o 2-D FSIM original) em Coeficiente de Correlação de Ordem de Posto de Spearman (SROCC: 0,782), Coeficiente de Correlação de Ordem de Posto de Kendall (KROCC: 0,574) e Coeficiente de Correlação Linear de Pearson (PLCC: 0,853).
• Métricas de Erro: O método proposto demonstrou o menor Erro Quadrático Médio (RMSE) de 4,471, indicando desvio mínimo das classificações subjetivas humanas.
• Consistência de Ranking: Em estudos de caso envolvendo métodos de fusão específicos (ex: PCA, ATWT, BDSD, PNN), os rankings do 3-D FSIM corresponderam de perto ao ground truth baseado em DMOS, mostrando concordância superior em comparação com métricas como SAM, QNR e Ds, que exibiram desvios significativos.
• Significância Estatística: Testes F confirmaram que a vantagem de desempenho do 3-D FSIM sobre a maioria das métricas concorrentes é estatisticamente significativa ao nível de confiança de 95%.

Significância e Alegações
Os autores afirmam que a métrica 3-D FSIM fornece uma ferramenta mais robusta, confiável e perceptualmente consistente para avaliar a qualidade de imagens pansharpened. Ao integrar informações espaciais e espectrais através de um framework log-Gabor 3-D, a métrica captura efetivamente distorções que afetam tanto os detalhes estruturais quanto a consistência espectral. O artigo afirma que esta abordagem supera as limitações da avaliação por banda e oferece uma alternativa superior às métricas de IQA existentes para a avaliação de qualidade de pansharpening de resolução total, particularmente em cenários onde uma imagem de referência de alta resolução não está disponível.