Resumo Técnico: Fusão de Pontuações de Avaliação de Qualidade de Imagem Não Supervisionada via Estimação MAP Profunda

Declaração do Problema

Os modelos de Avaliação de Qualidade de Imagem (IQA) avançaram significativamente na previsão da qualidade perceptual, no entanto, modelos individuais frequentemente exibem vieses em relação a conteúdos específicos de imagem ou tipos de distorção devido às suas filosofias de design distintas. Embora fundir múltiplos modelos IQA seja uma estratégia intuitiva para aproveitar pontos fortes e mitigar fraquezas, as abordagens existentes enfrentam limitações:

• Métodos empíricos dependem de fórmulas artesanais com pesos predeterminados, limitando a adaptabilidade a novos modelos.
• Métodos de fusão de ranks operam em espaços discretos, levando à perda de informação e dependência da diversidade do conjunto de dados.
• Fusão baseada em aprendizado supervisionado depende de Escores de Opinião Média (MOS) como verdade fundamental. Os autores argumentam que isso fundamentalmente mina o objetivo de generalizabilidade, pois o MOS está inerentemente ligado a conjuntos de dados específicos e tipos de distorção, reintroduzindo os próprios vieses que a fusão visa evitar.

O desafio central abordado é a fusão de pontuações IQA não supervisionada: como combinar múltiplas pontuações IQA em uma previsão superior sem usar MOS como alvo de treinamento, enquanto se estima com precisão a incerteza da previsão de cada modelo em um nível de granularidade fina.

Metodologia

O artigo propõe um framework geral para fusão de pontuações não supervisionada baseada em Estimação de Máxima A Posteriori (MAP) Profunda. A abordagem modela a relação entre a qualidade perceptual latente (MOS, denotada como $z$) e as pontuações geradas por $M$ modelos IQA diferentes ($x^j$).

1. Modelo de Observação

O framework assume que uma pontuação IQA $x^j_i$ para a imagem $i$ é gerada por uma função determinística da qualidade latente $z_i$ mais dois componentes de ruído independentes:
$$x^j_i = f^j(z_i) + n^j_i + \hat{n}^j$$

• $f^j(z_i)$: Uma função paramétrica (implementada como uma função exponencial) simulando o mapeamento da qualidade latente para a pontuação do modelo específico.
• $\hat{n}^j$: Ruído dependente do modelo seguindo uma distribuição normal de média zero.
• $n^j_i$: Ruído dependente da pontuação seguindo uma Distribuição Normal Assimétrica ($SN$). Esta é uma inovação crítica, pois observações empíricas mostram que modelos IQA exibem maior variância e distribuições de erro assimétricas (assimétricas em direção a pontuações mais baixas) ao avaliar imagens de menor qualidade. O parâmetro de escala deste ruído é estimado por uma função $g^j(z_i)$, permitindo estimação de incerteza de nível de pontuação, de granularidade fina.

2. Formulação e Otimização MAP

O objetivo é encontrar a qualidade latente $z$ e os parâmetros do modelo que maximizem a probabilidade a posteriori $p(z|X)$. A função de verossimilhança $p(x^j_i|z_i)$ é derivada como uma Distribuição Normal Assimétrica. O problema de otimização é formulado como:
$$\arg \max_{z, \alpha, \sigma, \theta_f, \theta_g} \sum_{j=1}^M \sum_{i=1}^N \left( \log p(x^j_i|z_i; \dots) + \log p(z_i) \right)$$

• Priori $p(z)$: Definida como uma distribuição uniforme $U(0,1)$ para regularizar o intervalo de saída sem impor vieses específicos do conjunto de dados, garantindo generalizabilidade.
• Inferência Amortizada: Para evitar otimização iterativa para cada nova imagem (o que é lento e exigente em dados), um codificador (uma Rede totalmente Conectada) é introduzido. Este codificador mapeia as pontuações de entrada diretamente para a qualidade latente $z_i$, permitindo inferência rápida e de ponta a ponta.

3. Integração de Fusão de Ranks

O framework incorpora perfeitamente a fusão de ranks normalizando ranks discretos no espaço contínuo. Isso permite que métodos baseados em ranks sejam tratados como uma instância especial do framework geral MAP, otimizando em um espaço contínuo em vez de um espaço discreto computacionalmente intensivo.

Contribuições Principais

1. Primeira Fusão Baseada em Aprendizado Não Supervisionado: Ao conhecimento dos autores, esta é a primeira abordagem a fundir pontuações IQA usando aprendizado não supervisionado, evitando a dependência de MOS para treinamento.
2. Modelo de Observação Formalizado: O artigo formaliza o primeiro modelo de observação para fusão IQA, utilizando estimação MAP com Distribuições Normais Assimétricas para capturar ruído assimétrico e dependente da pontuação.
3. Estimação de Incerteza de Granularidade Fina: Diferentemente de métodos anteriores que estimam incerteza apenas no nível do modelo, este framework estima incerteza no nível da pontuação. Isso permite que o modelo pese dinamicamente a confiabilidade de previsões específicas com base na qualidade prevista.
4. Robustez a Modelos "Ruins": O framework demonstra uma capacidade inerente de identificar e reduzir o peso de modelos IQA "ruins" ou aleatórios durante o processo de fusão, sem conhecimento prévio.
5. Framework Unificado: Fornece uma estrutura geral que pode integrar tanto métodos de fusão baseados em pontuação quanto baseados em rank.

Resultados Experimentais

O modelo proposto foi avaliado em dez conjuntos de dados IQA subjetivamente avaliados diversos (incluindo cenários de distorção única e múltipla) usando 16 métricas IQA individuais (tanto Referência Completa quanto Sem Referência).

• Desempenho: Três variantes do modelo proposto (SF-ms, RF-ms, SF-m) superaram consistentemente os métodos de fusão empírica existentes, métodos de fusão de ranks (RRF, RRFW) e todos os modelos IQA individuais em termos de Coeficiente de Correlação de Ranks de Spearman (SRCC) médio e Coeficiente de Correlação Linear de Pearson (PLCC).
• Estudo de Ablação: Remover a estimação de incerteza de nível de pontuação (resultando no modelo SF-m) levou a uma queda de desempenho, confirmando a importância da modelagem de incerteza de granularidade fina.
• Teste de Robustez: Quando duas métricas "ruins" (geradores de ruído aleatório) foram adicionadas à lista de fusão:
  • Métodos não supervisionados existentes (RRF, RRFW) sofreram degradação significativa de desempenho.
  • O método proposto manteve desempenho competitivo. O módulo de estimação de incerteza identificou corretamente a alta variância (parâmetro de escala) das métricas "ruins", fazendo com que o codificador atribuísse pesos negligenciáveis a elas.

Significado e Afirmações

O artigo afirma que, ao afastar-se do aprendizado supervisionado (que é limitado pelos vieses específicos dos MOS do conjunto de dados de treinamento) e adotar um framework probabilístico, não supervisionado de MAP, alcança-se uma generalizabilidade superior a dados não vistos. O significado chave reside na capacidade de:

• Fundir modelos IQA diversos sem exigir classificações subjetivas verdadeiras para treinamento.
• Adaptar-se dinamicamente à confiabilidade de cada modelo em uma base por pontuação, efetivamente "rejeitando" previsões ou modelos ruins.
• Fornecer um framework unificado e explicável onde os pesos do codificador podem ser inspecionados para entender como diferentes modelos contribuem para a previsão final.

Os autores posicionam este trabalho como um passo fundamental em direção a um sistema IQA mais robusto e universal que aproveita a inteligência coletiva de modelos existentes enquanto mitiga suas fraquezas individuais através de quantificação rigorosa de incerteza.