Scale Contrastive Learning with Selective Attentions for Blind Image Quality Assessment

Resumo Técnico: CSFIQA para Avaliação de Qualidade de Imagem Cega (BIQA)

1. O Problema

A Avaliação de Qualidade de Imagem Cega (BIQA) visa prever a qualidade percebida de uma imagem sem uma referência original. O artigo identifica uma lacuna fundamental nos métodos existentes: a variação drástica na percepção de qualidade entre diferentes escalas da mesma imagem.

• Ilusões Visuais ("Visual Illusions"): Métodos multi-escala tradicionais assumem erroneamente que a qualidade é consistente independentemente da escala. Na realidade, artefatos de compressão podem ser dominantes em uma visão de perto (escala grande), mas imperceptíveis à distância (escala pequena), enquanto distorções globais (como superexposição) podem ser mais visíveis em escalas menores. A fusão ingênua de características de diferentes escalas cria representações de qualidade enganosas, onde sinais de alta e baixa qualidade se neutralizam.
• Diluição de Informação: Abordagens atuais processam indiscriminadamente todas as informações cruzadas entre escalas. Isso introduz redundância semântica que "dilui" os indicadores críticos de qualidade (como artefatos sutis), fazendo com que o modelo se concentre em regiões não distorcidas em vez das áreas problemáticas.

2. Metodologia Proposta: CSFIQA

Os autores propõem o CSFIQA (Contrast-Constrained Scale-Focused Image Quality Assessment), um framework que modela a percepção de qualidade dependente da escala através de três módulos principais integrados a uma arquitetura baseada em Transformers:

1. Aprendizado Contrastivo de Escala (SCL - Scale Contrastive Learning):

   • Objetivo: Resolver o problema das "ilusões visuais".
   • Mecanismo: Utiliza aprendizado contrastivo intra-escala (dentro da mesma escala) e inter-escala (entre escalas diferentes) para ensinar o modelo a distinguir variações de qualidade.
   • Seleção de Amostras: Baseia-se na similaridade do Mean Opinion Score (MOS) para definir pares positivos (qualidade similar) e negativos (qualidade distinta), utilizando distâncias de Manhattan e coeficientes de limiar ($\gamma_1, \gamma_2$).

2. Correspondência de Amostras de Ruído (NSM - Noise Sample Matching):

   • Objetivo: Tratar especificamente as inconsistências de qualidade dentro da mesma imagem em escalas diferentes.
   • Mecanismo: Identifica regiões vizinhas na mesma imagem que apresentam a maior discrepância de qualidade entre escalas (ex: uma área com artefatos visíveis em grande escala, mas não em pequena). O modelo é forçado a maximizar a distância entre essas representações, evitando que o modelo as trate como equivalentes.

3. Atenção Focada Seletiva (SFA - Selective Focus Attention):

   • Objetivo: Resolver o problema da "diluição de informação".
   • Mecanismo: Mimica a atenção visual humana ao filtrar informações redundantes.
     • Seletor de Filtragem Adaptativa (AFS): Aplica uma estratégia de top-k adaptativa para selecionar apenas as pontuações de atenção mais relevantes, descartando o resto. O valor de k é aprendido dinamicamente dentro de um intervalo $[\alpha, \beta]$.
     • Módulo Concentrador de Informação (ICM): Utiliza um modelo de linguagem grande (LLM) congelado (Llama-7B) como um amplificador de características. Ele refina as características filtradas para destacar o conteúdo específico de qualidade, alinhando-se com conhecimento prévio rico.

3. Contribuições Principais

• Reconhecimento da Dependência de Escala: É a primeira abordagem a modelar explicitamente que a percepção de qualidade varia drasticamente entre escalas, tratando isso não como ruído, mas como uma característica fundamental a ser aprendida.
• Mecanismo de Atenção Seletiva: Introduz o módulo SFA, que combina filtragem adaptativa e um LLM congelado para eliminar redundância semântica e amplificar sinais de distorção sutis.
• Estratégia de Aprendizado Contrastivo Híbrida: Combina aprendizado contrastivo tradicional com a correspondência de amostras de ruído (NSM) para lidar com inconsistências intra-imagem, superando a limitação de métodos que aplicam rótulos de qualidade uniformes em todas as escalas.

4. Resultados Experimentais

O CSFIQA foi avaliado em 7 conjuntos de dados de referência (incluindo LIVE, CSIQ, TID2013, LIVEC, KonIQ, LIVEFB e SPAQ), cobrindo distorções sintéticas e autênticas.

• Desempenho Superior: O modelo superou consistentemente os métodos State-of-the-Art (SOTA) em 6 dos 7 conjuntos de dados.
• Melhoria Crítica: No desafioante conjunto de dados LIVEFB (distorções do mundo real), o CSFIQA alcançou uma melhoria de 8,8% no coeficiente de correlação de Spearman (SRCC) em comparação com os melhores métodos existentes.
• Generalização: Em testes de validação cruzada (treinar em um conjunto, testar em outro), o CSFIQA demonstrou a melhor capacidade de generalização, mantendo alta precisão em datasets não vistos.
• Eficiência: Embora o número total de parâmetros seja maior (devido ao LLM congelado), o número de parâmetros treináveis é baixo (31M). A filtragem adaptativa (AFS) reduziu o tempo de treinamento em cerca de 3 vezes comparado a uma versão sem esse módulo, demonstrando eficiência computacional ao remover redundância.
• Visualização: Mapas de ativação (Grad-CAM) mostraram que o CSFIQA foca corretamente nas regiões distorcidas, enquanto modelos baselines frequentemente se distraem com conteúdo irrelevante (ilusão visual).

5. Significado e Impacto

Este trabalho representa um avanço significativo na área de BIQA ao corrigir uma premissa fundamental errônea: a de que a qualidade é invariante à escala. Ao alinhar a arquitetura do modelo com a forma como o sistema visual humano integra informações multi-escala (filtrando redundâncias e focando em discrepâncias), o CSFIQA fecha a lacuna entre a avaliação algorítmica e a percepção humana.

A metodologia proposta é particularmente relevante para aplicações críticas como compressão de imagem, restauração e geração de conteúdo, onde a detecção precisa de distorções sutis em diferentes níveis de zoom é essencial para garantir a qualidade visual final. A integração de mecanismos de atenção seletiva com aprendizado contrastivo oferece um novo paradigma para lidar com a complexidade de dados visuais do mundo real.