Revisiting Vision Language Foundations for No-Reference Image Quality Assessment

Título: Revisitando Fundamentos Visão-Linguagem para Avaliação de Qualidade de Imagem sem Referência (NR-IQA)

1. O Problema

A Avaliação de Qualidade de Imagem sem Referência (NR-IQA) visa estimar a qualidade perceptual de uma imagem sem acesso a uma versão original de alta qualidade (referência). Esta tarefa é crucial para fotografia consumer, streaming de vídeo e, crescentemente, para cenários de imagens geradas por IA (AIGC), onde uma "verdade fundamental" (ground-truth) raramente existe.

Os desafios atuais incluem:

• Ruído e Custo: As pontuações de opinião média (MOS) são ruidosas e caras de coletar.
• Generalização: Modelos anteriores (baseados em CNNs) degradam-se quando enfrentam distorções não vistas ou mudanças de domínio entre conjuntos de dados.
• Falta de Comparação Sistemática: Embora modelos fundacionais de Visão-Linguagem (VL) como CLIP tenham sido aplicados ao NR-IQA, não havia uma comparação justa e unificada entre diferentes backbones (ex: CLIP, SigLIP, DINO, ResNet) sob o mesmo protocolo de ajuste fino.
• Subexploração de Ativações: A escolha da função de ativação na "cabeça" (head) de predição é frequentemente tratada como um padrão (ReLU/GELU) sem justificativa profunda, apesar de seu impacto potencial na generalização.

2. Metodologia

Os autores propõem uma avaliação sistemática e unificada, combinando a seleção de backbones com uma nova arquitetura de cabeçalho de predição.

• Avaliação de Backbones (Fundamentos):

  • Foram comparados seis modelos pré-treinados: CLIP, SigLIP2, DINOv2, DINOv3, Perception e ResNet-152.
  • Todos foram ajustados (fine-tuned) usando uma configuração idêntica: um adaptador LoRA (Low-Rank Adaptation) de rank 4 nos backbones e uma cabeça MLP leve de três camadas.
  • O objetivo era isolar o impacto da escolha do encoder na tarefa de regressão de qualidade.

• Análise de Funções de Ativação:

  • Os autores investigaram o papel das funções de ativação na primeira camada oculta do MLP.
  • Descobriram empiricamente que a função Sigmoid (em vez de ReLU ou GELU) na primeira camada oferece ganhos significativos, especialmente em conjuntos de dados menores e para generalização entre domínios.
  • Hipótese: A Sigmoid suprime características de alta magnitude (que frequentemente correspondem a objetos semânticos fortes aprendidos pelo modelo VL), forçando o modelo a focar em características de resposta média (mid-response) que capturam artefatos sutis e texturas, essenciais para a percepção de qualidade em cenários reais.

• Mecanismo de Seleção de Ativação Aprendível (Gated Activation):

  • Para superar as limitações da Sigmoid pura (como o desaparecimento de gradientes em grandes conjuntos de dados), os autores propõem um MLP com Ativação Portão (Gated Activation).
  • Esta camada mistura adaptativamente, por canal, uma ramificação Sigmoid e uma ramificação LeakyReLU.
  • A fórmula proposta é:
    $$y = \sigma(g) \odot (\gamma \odot \sigma(\alpha \odot x + \beta)) + (1 - \sigma(g)) \odot \text{LReLU}_a(x)$$
    Onde $g, \alpha, \beta, \gamma, a$ são parâmetros aprendíveis por canal. Isso permite que o modelo escolha dinamicamente a não-linearidade ideal dependendo da distribuição dos dados (pequena vs. grande escala).

3. Contribuições Principais

1. Comparação Unificada: Realizaram a primeira comparação "cabeça-a-cabeça" de seis modelos fundacionais para NR-IQA, revelando que o SigLIP2-SO400M é consistentemente superior aos outros backbones (incluindo CLIP e DINOv2) em cenários dentro e fora do conjunto de dados.
2. Descoberta sobre Ativações: Demonstraram sistematicamente que substituir a primeira ativação LeakyReLU por Sigmoid melhora o desempenho, especialmente na generalização cross-dataset.
3. Mecanismo Adaptativo: Propuseram um mecanismo de seleção de ativação aprendível (Gated Activation) que elimina a necessidade de design manual de ativações, adaptando-se a diferentes regimes de dados (poucos dados vs. muitos dados).
4. Novos SOTA (State-of-the-Art): O método proposto alcançou novos recordes de correlação de posto de Spearman (SRCC) em benchmarks padrão (CLIVE, KADID10K, AGIQA3K), superando métodos baseados em CNNs e competindo com métodos baseados em Difusão (que são computacionalmente muito mais caros).

4. Resultados Chave

• Desempenho do Backbone: O SigLIP2 superou todos os outros encoders. Isso sugere que o pré-treinamento contrastivo visão-linguagem (que alinha imagens com conceitos semânticos) é mais benéfico para NR-IQA do que apenas características auto-supervisionadas (DINO) ou CNNs puras.
• Impacto da Sigmoid: Em conjuntos de dados menores (como CLIVE), a configuração com Sigmoid na primeira camada aumentou o SRCC em até 3 pontos percentuais em comparação com LeakyReLU.
• Generalização: Em testes de transferência entre conjuntos de dados (ex: treinar em FLIVE, testar em CLIVE), o modelo com cabeças ativadas por Sigmoid ou Gated Activation superou significativamente os métodos anteriores, incluindo o DP-IQA e o LGDM (baseados em difusão).
• Eficiência: A abordagem proposta é extremamente eficiente (apenas ~800k parâmetros na cabeça + LoRA), superando métodos de difusão que exigem inferência pesada, mantendo desempenho competitivo ou superior.
• Análise de Grad-CAM: Visualizações mostraram que a ativação Sigmoid foca mais precisamente em artefatos de qualidade (como desfoque natural em rostos) em vez de apenas em estruturas semânticas fortes, validando a hipótese de que a qualidade reside em "cues" de resposta média.

5. Significância e Impacto

Este trabalho redefine a base para pesquisas futuras em NR-IQA ao estabelecer que:

1. A escolha do Encoder é crítica: Modelos VL com pré-treinamento contrastivo (como SigLIP) são fundamentais para entender a qualidade perceptual em imagens do mundo real.
2. A arquitetura da cabeça importa: A função de ativação não é apenas um detalhe de implementação, mas um hiperparâmetro crucial que afeta a capacidade do modelo de generalizar e evitar overfitting em dados ruidosos.
3. Eficiência vs. Performance: É possível alcançar desempenho de ponta (SOTA) sem a complexidade computacional de modelos de difusão, utilizando fundações VL otimizadas e mecanismos de ativação inteligentes.

O estudo sugere que o NR-IQA não é apenas um problema de regressão de baixo nível, mas uma tarefa de raciocínio semântico-perceptual, onde o modelo deve discernir se o conteúdo semântico importante foi preservado sob degradações. A proposta de ativação portão (Gated Activation) oferece uma solução robusta e adaptável para lidar com a variabilidade de escala de dados e tipos de distorção.