Causal Disentanglement for Full-Reference Image Quality Assessment

1. Problema e Contexto

A Avaliação de Qualidade de Imagem com Referência Completa (FR-IQA) visa prever a qualidade perceptual de uma imagem distorcida comparando-a com uma imagem de referência original (prístina).

• Limitações dos Métodos Atuais:
  • Baseados em Aprendizado Supervisionado: Dependem de grandes conjuntos de dados rotulados com Mean Opinion Scores (MOS), que são caros, subjetivos e difíceis de obter, especialmente em domínios especializados (médico, subaquático, infravermelho).
  • Métodos "Training-Free" (Sem Treinamento): Geralmente utilizam modelos pré-treinados no ImageNet para extrair características e calcular distâncias. Eles sofrem com domain shift (deslocamento de domínio) quando aplicados a imagens não naturais ou específicas, resultando em queda de desempenho.
  • Abordagem Tradicional: A maioria dos modelos baseados em redes profundas foca na comparação direta de pares de características (diferença entre referência e distorcida), ignorando como o conteúdo da imagem influencia a percepção da distorção.

2. Metodologia Proposta

O artigo propõe um novo paradigma de FR-IQA baseado em Inferência Causal e Aprendizado de Representação Desacoplada, inspirado no efeito de mascaramento visual humano (VME).

A. Formulação do Problema (Modelo Causal)

O método modela a geração de uma imagem distorcida ($I_d$) através de um Modelo Causal Estrutural (SCM):

• Premissa: Uma imagem distorcida é composta por dois fatores: Conteúdo ($C$) e Degradação ($D$).
• Invariância de Conteúdo: Na FR-IQA, a imagem de referência ($I_r$) fornece o conteúdo puro ($C$), que é idêntico ao da imagem distorcida.
• Desafio: A degradação pura ($D$) não reflete a percepção humana isoladamente. O efeito de mascaramento visual indica que a visibilidade da distorção depende do conteúdo (ex: ruído é mais visível em céus lisos do que em texturas complexas).
• Solução: O objetivo é desacoplar a degradação e, em seguida, modelar a influência causal do conteúdo sobre essa degradação ($C \to D$).

B. Arquitetura do Modelo

O framework opera em três etapas principais:

1. Desacoplamento de Características (Intervenção):

   • Utiliza um autoencoder com intervenção. O encoder extrai uma representação latente $Z$ da imagem distorcida.
   • Aplica-se uma intervenção (operador do): substitui-se a parte da representação latente relacionada ao conteúdo pela representação do conteúdo extraída da imagem de referência ($C$).
   • O decodificador tenta reconstruir a imagem distorcida usando o conteúdo da referência ($C$) e a parte restante do latente ($Z_{degrad}$). Isso força a rede a aprender que $Z_{degrad}$ deve conter apenas as informações de degradação.

2. Aprendizado de Representação Causal (Mascaramento):

   • Introduz uma camada causal que modela explicitamente a relação $C \to D$.
   • Utiliza uma rede (baseada em ResNet18) para extrair o conteúdo e gerar uma "máscara" de modulação não linear.
   • A degradação desacoplada é modulada por essa máscara, criando características de degradação influenciadas pelo conteúdo ($\dot{D}$). Isso simula como o olho humano percebe a distorção dependendo do fundo.

3. Predição de Pontuação:

   • Cenário Supervisionado: Usa uma regressão linear (MLP) para mapear $\dot{D}$ para o MOS.
   • Cenário Zero-Shot (Sem rótulos): Assume-se que as características de degradação influenciadas pelo conteúdo residem em uma variedade (manifold) unidimensional de baixa dimensão. Utiliza-se o algoritmo UMAP para projetar as características em 1D, preservando a ordem relativa de qualidade sem necessidade de rótulos absolutos.

C. Treinamento

• Pré-treinamento: Realizado em um conjunto de dados sintético (baseado no banco de dados Waterloo) com vários níveis de degradação.
• Ajuste Fino (Fine-tuning): O modelo pode ser ajustado em conjuntos de dados específicos (ex: TID2013, LIVE) ou usado diretamente em novos domínios sem rótulos, desde que se possa gerar dados sintéticos de degradação para aquele domínio específico.

3. Contribuições Principais

1. Novo Paradigma FR-IQA: Abandona a comparação direta de pares de características em favor de um processo de desacoplamento causal guiado por intervenção.
2. Modelagem do Efeito de Mascaramento Visual: Incorpora o efeito de mascaramento visual (VME) como uma prior causal estrutural ($C \to D$), permitindo que o modelo aprenda como o conteúdo afeta a visibilidade da distorção.
3. Adaptabilidade e Generalização: O método funciona em configurações totalmente supervisionadas, com poucos rótulos (few-shot) e totalmente sem rótulos (zero-shot).
4. Desempenho em Domínios Não Padrão: Demonstra capacidade superior de generalização em domínios especializados (médico, infravermelho, raios-X, conteúdo de tela) onde os métodos tradicionais falham devido à falta de dados rotulados e ao domain shift.

4. Resultados Experimentais

O método foi avaliado em 10 conjuntos de dados, incluindo benchmarks padrão (LIVE, TID2013, CSIQ, KADID, PIPAL) e domínios não padrão (Infravermelho, Nêutrons, Médicos, etc.).

• Benchmarks Padrão: O método alcançou desempenho competitivo e, em muitos casos, superior aos métodos state-of-the-art (SOTA), incluindo modelos baseados em aprendizado profundo (DISTS, TOPIQ) e métodos training-free (DeepCausal, DeepJSD).
  • Exemplo: No conjunto TID2013, obteve PLCC de 0.966 e SRCC de 0.954 (supervisionado).
• Domínios Não Padrão: O método superou significativamente os métodos training-free existentes em imagens médicas, de infravermelho e de nêutrons. Enquanto os métodos baseados no ImageNet sofreram com o deslocamento de domínio, o método proposto adaptou-se ao pré-treinar especificamente para a degradação daquele domínio sem precisar de MOS.
• Few-Shot e Zero-Shot:
  • Em cenários zero-shot (apenas pré-treinamento + UMAP), o método manteve alta correlação com a qualidade humana.
  • Em cenários few-shot (poucos rótulos), o ajuste fino com poucos dados melhorou a precisão absoluta, mas o método mostrou robustez mesmo sem atualizar os pesos do extrator de características.

5. Significado e Conclusão

Este trabalho representa uma mudança fundamental na forma como a FR-IQA é abordada:

• Superação da Dependência de Dados: Oferece uma solução viável para domínios onde a anotação de qualidade humana é impossível ou proibitivamente cara.
• Interpretabilidade Causal: Ao modelar explicitamente a relação causal entre conteúdo e degradação, o método alinha-se melhor com a fisiologia da visão humana (efeito de mascaramento) do que as abordagens puramente estatísticas de diferença de características.
• Versatilidade: A capacidade de operar sem rótulos de qualidade (usando apenas a estrutura causal e projeção de variedade) torna a ferramenta extremamente valiosa para aplicações em tempo real e em setores especializados como diagnóstico médico e sensoriamento remoto.

Em resumo, o método propõe que a qualidade da imagem não é apenas uma medida de distância entre pixels ou características, mas um processo causal onde o conteúdo da imagem modula a percepção da degradação, e que esse processo pode ser aprendido e generalizado sem a necessidade massiva de dados rotulados.