Resumo Técnico: Embeddings de Degradação de Imagem Espacialmente Localizados para Avaliação de Qualidade de Imagem (SLIDE-IQA)

Declaração do Problema

A Avaliação de Qualidade de Imagem Sem Referência (NR-IQA) é crítica para avaliar a qualidade visual em pipelines modernos, particularmente à medida que as tecnologias de imagem migram para compressão de região de interesse (RoI), renderização foveada e IA Generativa. Esses avanços introduzem distorções que são frequentemente não uniformes e espacialmente localizadas, em vez de serem globais em toda a imagem.

Os modelos de NR-IQA de estado da arte atuais dependem fortemente de Aprendizado Autossupervisionado (SSL) usando objetivos contrastivos. No entanto, esses pipelines padrão de SSL aplicam uniformemente degradações sintéticas em todo o campo da imagem. Os autores identificam um "ponto cego" representacional nesses modelos: como eles são pré-treinados exclusivamente em degradações aplicadas globalmente, carecem de sensibilidade a degradações espacialmente delimitadas e coocorrentes. Os benchmarks padrão (ex: KonIQ, FLIVE) confundem erros globais e localizados dentro de um único Score de Opinião Média (MOS), tornando empiricamente difícil isolar e medir a sensibilidade específica de um codificador à variância espacial.

Metodologia

1. Sondagem Diagnóstica de Sensibilidade Espacial

Para validar empiricamente a existência deste ponto cego, os autores construíram um banco de testes diagnósticos controlado usando 140 mil imagens íntegras do dataset KADIS-700K. Eles avaliaram quatro codificadores SSL de estado da arte (CONTRIQUE, ReIQA, ARNIQA, TRIQA) via sondagem linear.

• Design Experimental: O estudo isolou variáveis espaciais criando conjuntos de avaliação com:
  • Distorções globais (aplicação uniforme).
  • Distorções locais (aplicadas a máscaras cobrindo 25–50% ou 50–75% da imagem).
  • Distorções coocorrentes (múltiplas máscaras).
• Resultados: Modelos treinados apenas em distorções globais mostraram quedas significativas de precisão (até 70–80 pontos absolutos) ao detectar distorções localizadas, confirmando que o pré-treinamento global não generaliza para artefatos espacialmente delimitados.

2. Estrutura SLIDE-IQA

Para abordar esta limitação, os autores propõem o SLIDE-IQA (Spatial Localized Image Degradation Embeddings for Image Quality Assessment), uma estrutura de Vision Transformer de dois ramos.

• Arquitetura de Dois Ramos:

  • Ramo Semântico: Utiliza um codificador DINOv3 pré-treinado para extrair características conscientes de conteúdo.
  • Ramo Perceptual: Um codificador customizado treinado para isolar características de degradação, explicitamente desvinculadas do conteúdo semântico.

• Mecanismo de Degradação Espacialmente Consciente:
  Ao contrário dos pipelines padrão, este mecanismo gera máscaras regionais espacialmente delimitadas. Ele particiona as distorções em:

  • Estritamente Globais: (ex: compressão JPEG, ruído de sensor) aplicadas uniformemente.
  • Localizáveis: (ex: desfoque, mudanças de saturação) aplicadas ou globalmente ou estritamente dentro de caixas delimitadoras espaciais amostradas estocasticamente.

• Mecanismo de Exclusão Limitado por Limiar (TBEM):
  Para lidar com os conflitos estruturais decorrentes de distorções localizadas no aprendizado contrastivo, os autores introduzem um novo objetivo de pré-treinamento baseado em MoCo v3.

  • Construção de Triplet: Uma imagem âncora é pareada com uma positiva (mesmo tipo de degradação, conteúdo/localização diferentes) e uma negativa (tipo de degradação diferente).
  • Resolução de Conflito Estrutural: Quando múltiplas amostras compartilham a mesma classe de degradação, mas possuem razões de máscara espacial drasticamente diferentes, tratá-las como negativas penaliza o modelo por reconhecer a mesma distorção, enquanto tratá-las como positivas força o modelo a ignorar a escala espacial.
  • Solução: Um limiar geométrico ($\gamma$) é aplicado. Amostras com a mesma classe de degradação, mas cuja variância espacial excede $\gamma$, são colocadas em um Conjunto Ignorado ($V(i)$), excluindo-as inteiramente do cálculo da perda contrastiva. Isso garante que o espaço latente respeite tanto o tipo de degradação quanto a escala espacial sem confundi-los.

• Predição: Para tarefas de NR-IQA downstream, os pesos de ambos os codificadores são congelados. Um regressor linear é treinado nos features concatenados de ambos os ramos para prever o MOS.

Principais Contribuições

1. Exposição Empírica de um Ponto Cego: Os autores demonstram, via sondagem linear, que os codificadores de SSL NR-IQA existentes, treinados exclusivamente em distorções globais, falham em capturar degradações localizadas e coocorrentes.
2. Estrutura SLIDE-IQA: Um novo framework autossupervisionado de dois ramos que desvincula explicitamente representações semânticas e perceptuais ao incorporar degradações espacialmente delimitadas no procedimento de pré-treinamento.
3. Mecanismo de Exclusão Limitado por Limiar (TBEM): Uma escolha de design representacional que resolve conflitos estruturais no aprendizado contrastivo, permit um modelo aprender representações espaciais robustas sem confundir diferentes escalas da mesma degradação.
4. Sucesso de Pré-treinamento Apenas Sintético: Os autores mostram que o pré-treinamento estritamente em dados sintéticos com delimitação espacial explícita melhora significativamente a sensibilidade a distorções localizadas, mantendo um desempenho competitivo em benchmarks padrão.

Resultados Experimentais

• Desempenho do Banco de Testes Diagnóstico: No banco de testes diagnósticos customizado, o SLIDE-IQA-Q (o ramo perceptual) superou significativamente os codificadores SSL existentes na detecção de distorções localizadas. Por exemplo, em distorções locais com máscaras de 25–50%, o SLIDE-IQA-Q alcançou 18,1% de precisão contra 8,3–14,7% para outros modelos sob treinamento apenas global.
• Benchmarks Padrão: Avaliado em oito benchmarks de NR-IQA padrão (quatro autênticos, quatro sintéticos):
  • O SLIDE-IQA alcançou desempenho competitivo ou superior em datasets autênticos (ex: KonIQ, FLIVE), apesar de ter sido treinado apenas em dados sintéticos, ao contrário de outros métodos de SSL que realizam pré-treinamento em Conteúdo Gerado pelo Usuário (UGC) autêntico.
  • Demonstrou desempenho superior em datasets sintéticos (ex: TID-2013, KADID).
  • A abordagem de dois ramos mostrou forças complementares: o ramo de qualidade destacou-se em dados sintéticos, enquanto o ramo semântico teve melhor desempenho em distorções autênticas complexas.
• Alinhamento de Representação: A análise de similaridade de cosseno contra o VIF (uma métrica de referência total sensível a artefatos locais) mostrou que o SLIDE-IQA-Q manteve a maior correlação com degradações localizadas, validando sua sensibilidade espacial.
• Análise Qualitativa: Visualizações t-SNE revelaram que, enquanto métodos anteriores falharam em agrupar distorções localizadas distintamente, o SLIDE-IQA-Q preservou o agrupamento específico de degradação mesmo para artefatos espacialmente delimitados.

Significância e Alegações

O artigo afirma que o SLIDE-IQA preenche uma lacuna crítica nas metodologias atuais de NR-IQA ao ir além da suposição de homogeneidade espacial global. Ao modelar explicitamente degradações espacialmente delimitadas e resolver os conflitos estruturais associados no espaço latente, a estrutura alcança uma representação mais robusta da qualidade de imagem do mundo real.

Os autores enfatizam que sua abordagem é totalmente autossupervisionada, eliminando a dependência de Scores de Opinião Média (MOS) caros e anotados por humanos, exigidos por outras tentativas recentes (como a destilação de conhecimento de professores supervisionados). O trabalho demonstra que o pré-treinamento puramente sintético, quando projetado com consciência espacial, pode efetivamente generalizar para distorções autênticas complexas encontradas "no mundo real".

Limitações Reconhecidas: Os autores observam que seu banco de testes diagnóstico depende de um conjunto limitado de degradações sintéticas e não captura totalmente a diversidade das distorções de UGC do mundo real ou a interação entre texturas e degradações. Sugere-se que trabalhos futuros explorem padrões de degradação mais amplos e interações de textura.