Resumo Técnico: FuScore – Trazendo Modelos de Linguagem Grandes Multimodais para Avaliação de Qualidade de Fusão de Imagens Infravermelho-Visível

1. Declaração do Problema

A Fusão de Imagens Infravermelho-Visível (IVIF) visa integrar informações térmicas e estruturas espaciais detalhadas em uma única imagem fundida. No entanto, avaliar a qualidade dessas imagens fundidas permanece um desafio significativo. As abordagens de avaliação existentes sofrem com duas limitações primárias:

1. Desalinhamento com a Percepção Humana: Métricas tradicionais sem referência, criadas manualmente (por exemplo, Entropia, Informação Mútua, VIF), e métricas com referência completa (tratando pares de origem como pseudo-verdades de referência, por exemplo, SSIM, PSNR) frequentemente falham em refletir preferências perceptivas humanas. Elas podem até mesmo atribuir pontuações mais altas a imagens fundidas visualmente inferiores.
2. Limitações das Abordagens Atuais Baseadas em MLLM: Esforços recentes para usar Modelos de Linguagem Grandes Multimodais (MLLMs) para avaliação de qualidade de IVIF geralmente dependem de supervisão discreta one-hot (prever um único nível de qualidade) ou regressão escalar em pontuações agregadas.
   • Supervisão Discreta: Força imagens fundidas de qualidade similar em níveis de classificação distintos e rígidos (por exemplo, Nível 4 vs. Nível 3), colapsando diferenças perceptivas sutis.
   • Regressão Escalar: Aprende com classificações humanas, mas falha em aproveitar as capacidades de raciocínio dos MLLMs ou codificar o consenso (ou ambiguidade) dos julgamentos humanos para imagens específicas.

A questão central abordada é: Como os MLLMs podem produzir pontuações contínuas de qualidade de IVIF sob supervisão que codifica o consenso de anotação por imagem?

2. Metodologia: FuScore

Os autores propõem o FuScore, um avaliador baseado em MLLM que gera pontuações de qualidade contínuas em vez de níveis discretos. O framework consiste em três componentes principais:

A. Geração de Pontuação Contínua via Saída Distribucional

Em vez de treinar o MLLM para emitir um único token de qualidade, o FuScore utiliza as probabilidades de decodificação sobre cinco tokens de nível de qualidade predefinidos ($L = \{1, 2, 3, 4, 5\}$).

• O modelo produz uma distribuição categórica $q_i(l)$ sobre esses tokens.
• A pontuação contínua final $\hat{y}_i$ é computada como a expectativa desta distribuição: $\hat{y}_i = \sum l \cdot q_i(l)$.
• Isso permite que o modelo atribua pontuações de valor real, de granularidade fina, dentro do intervalo $[1, 5]$, capturando diferenças sutis de qualidade que a supervisão discreta ignoraria.

B. Construção de Rótulos Suaves Conscientes de Sub-dimensões

Para supervisionar a distribuição prevista, o FuScore constrói um "rótulo suave" $p_i$ para cada imagem. O centro deste rótulo é a pontuação humana geral, mas sua nitidez (largura) é modulada dinamicamente pelo acordo entre quatro sub-dimensões específicas de IVIF:

1. Retenção Térmica
2. Preservação de Textura
3. Artefatos
4. Nitidez

Os autores definem um sinal de consenso $\delta_i$ como o desvio padrão dessas quatro pontuações de sub-dimensão.

• Alto Consenso (Baixo $\delta_i$): Quando as sub-dimensões concordam, o rótulo suave é nitidamente concentrado em torno da pontuação geral.
• Baixo Consenso (Alto $\delta_i$): Quando as sub-dimensões discordam, o rótulo é alargado para refletir que o julgamento geral é menos consensual.
  Esta abordagem garante que o alvo de supervisão reflita fielmente a ambiguidade inerente à anotação humana para imagens específicas.

C. Objetivo de Treinamento Tripartite

O FuScore emprega uma função de perda composta para abordar a classificação em diferentes escopos:

1. Supervisão Distribucional por Imagem ($\mathcal{L}_{KL}$): Alinha a distribuição prevista com o rótulo gaussiano suave usando a divergência de Kullback–Leibler.
2. Fidelidade Dentro do Par de Origem ($\mathcal{L}_{fid}$): Impõe fidelidade pairwise estilo Thurstone para imagens do mesmo par de origem (mesma cena). Isso captura a ordenação ao nível do método. A margem pairwise é derivada das larguras dos rótulos suaves, tornando a comparação consciente da incerteza.
3. Fidelidade Entre Pares de Origem ($\mathcal{L}_{xfid}$): Impõe fidelidade estilo Thurstone entre diferentes pares de origem (cenas diferentes). Isso captura variações de dificuldade ao nível da cena e garante que o modelo generalize entre cenas.

A perda total é uma soma ponderada: $\mathcal{L} = \mathcal{L}_{KL} + \lambda_{fid}\mathcal{L}_{fid} + \lambda_{xfid}\mathcal{L}_{xfid}$.

3. Contribuições Principais

1. FuScore: O primeiro avaliador de qualidade de IVIF baseado em MLLM treinado com supervisão ao nível de distribuição, capaz de gerar pontuações contínuas para imagens fundidas.
2. Rótulos Suaves Conscientes de Sub-dimensões: Um método de construção de rótulos inovador que modula a nitidez do rótulo com base no acordo entre quatro sub-dimensões específicas de IVIF, permitindo que a supervisão reflita o consenso do julgamento humano.
3. Objetivo de Treinamento Tripartite: Uma estratégia de otimização conjunta que combina correspondência distribucional por imagem, fidelidade dentro do par de origem e fidelidade entre pares de origem, utilizando margens conscientes da incerteza derivadas do acordo de sub-dimensões.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark EVAFusion (9.350 imagens fundidas, 850 pares de origem) e em um novo conjunto de dados piloto SemanticRT 5-expert.

• Correlação com o Estado da Arte: O FuScore alcançou a maior correlação com preferências visuais humanas em todas as métricas de classificação relatadas (SRCC, PLCC, KRCC, PairAcc, Per-SP $\tau$).
  • No EVAFusion, o ensemble de 3 sementes alcançou um SRCC de 0,648, superando a melhor linha de base externa (ViT-L+MLP) em +0,094.
  • Superou significativamente modelos de IQA de imagem natural zero-shot (por exemplo, Q-Align, DeQA-Score) e métricas criadas manualmente, indicando que o pré-treinamento em imagem natural não se transfere bem para IVIF sem supervisão intra-domínio.
• Generalização:
  • Cross-Método: Em uma avaliação leave-K-method-out, o FuScore manteve alta correlação (SRCC 0,628), apenas 0,020 abaixo de seu desempenho intra-distribuição.
  • Cross-Dataset: No piloto SemanticRT (dados não vistos), o FuScore alcançou um SRCC de 0,561, superando a linha de base ViT-L+MLP (0,471) em +0,090.
• Estudos de Ablação:
  • O objetivo tripartite (especificamente a fidelidade entre pares de origem) foi mostrado como o principal motor para ganhos de classificação.
  • Os rótulos suaves conscientes de sub-dimensões modelaram com sucesso a ambiguidade de anotação. Os autores demonstraram que a incerteza prevista ($\hat{\sigma}$) correlaciona-se positivamente com a discordância entre avaliadores humanos no piloto SemanticRT ($\rho = 0,42$), confirmando que o conflito de alta dimensão ($\delta_i$) reflete ambiguidade humana genuína e não apenas compensações de múltiplos atributos.
  • Um "piso do lado dos dados" foi observado: em imagens com alto desacordo de sub-dimensão (alto-$\delta$), todos os 11 métodos avaliados (incluindo o FuScore) estabilizaram em uma faixa baixa de SRCC, sugerindo um limite imposto pela inconsistência inerente das anotações humanas para essas imagens específicas.

5. Significado e Alegações

O artigo afirma que o FuScore representa um passo significativo para frente na avaliação de qualidade de IVIF ao:

• Superar a Lacuna de Alinhamento Humano: Ir além de níveis discretos rígidos e regressão escalar para capturar a nuance da percepção humana e o consenso do julgamento de especialistas.
• Aproveitar o Raciocínio de MLLM: Utilizar as capacidades de raciocínio linguístico e visual dos MLLMs (especificamente Qwen3-VL) de uma maneira especificamente adaptada ao domínio de IVIF através de supervisão consciente de sub-dimensões.
• Abordar a Ambiguidade de Anotação: Modelar explicitamente a incerteza nas classificações humanas, o que permite que o modelo aprenda de forma mais robusta a partir de dados de especialistas ruidosos ou conflitantes.

Os autores observam que, embora o FuScore alcance resultados com estado da arte, o teto de desempenho em imagens de alta ambiguidade sugere que melhorias futuras podem depender de anotações mais ricas de múltiplos avaliadores que possam desvendar artefatos de agregação da ambiguidade humana inerente. O artigo também reconhece o custo de inferência do uso de grandes MLLMs, sugerindo que a implantação em tempo real exigiria backbones menores.