QPT V2: Masked Image Modeling Advances Visual Scoring

Título: QPT V2: Modelagem de Imagem Mascarada Avança a Pontuação Visual

1. Problema

A avaliação de qualidade de imagem (IQA), qualidade visual de vídeo (VQA) e avaliação estética de imagem (IAA) são tarefas críticas para aplicações de visão computacional. No entanto, os métodos baseados em aprendizado de máquina enfrentam dois desafios principais:

• Escassez de Dados Rotulados: A coleta de pontuações de opinião média (MOS) através de estudos subjetivos é cara e demorada, resultando em conjuntos de dados de treinamento muito menores em comparação com tarefas de alto nível como classificação.
• Generalização Sub-ótima: Os métodos atuais, muitas vezes baseados em aprendizado contrastivo ou características manuais, têm dificuldade em generalizar para cenários do mundo real devido à complexidade e inter-relação de fatores de qualidade e estética em conteúdo gerado por usuários (UGC) e por IA (AIGC).

Embora a Modelagem de Imagem Mascarada (MIM) tenha mostrado sucesso em outras tarefas, sua aplicação específica para unificar e melhorar a pontuação visual ainda não foi explorada em profundidade.

2. Metodologia: QPT V2

Os autores propõem o QPT V2, o primeiro framework de pré-treinamento baseado em MIM projetado especificamente para fornecer uma solução unificada para tarefas de pontuação visual (VS). O framework é construído sobre a arquitetura MIM padrão (como MAE), mas introduz melhorias críticas em três pilares: Dados, Degradação e Modelo.

A. Dados (Curadoria de HR e HFC)

Para capturar detalhes finos e semânticas ricas, os autores rejeitaram o ImageNet padrão em favor de dados mais adequados:

• Alta Resolução (HR): Utilização de imagens de alta resolução para permitir a reconstrução de texturas e estruturas locais complexas.
• Alta Cobertura de Primeiro Plano (HFC): Seleção de imagens onde o objeto principal ocupa uma grande proporção da imagem. Isso é crucial, pois o fundo contém menos informações relevantes para qualidade e estética do que o primeiro plano.
• Fonte: O conjunto de dados é filtrado a partir do SA-1B, resultando em 1,28 milhão de imagens com 50 ou mais objetos por imagem, garantindo alta densidade de informação visual.

B. Degradação (Consciente de Qualidade e Estética)

Ao invés de usar apenas cortes aleatórios, o QPT V2 aplica degradações intencionais ao alvo de reconstrução para simular distorções do mundo real:

• Tipos de Degradação: Inclui transformações geométricas (redimensionamento), mudanças de frequência (desfoque, nitidez, ruído gaussiano) e alterações de cor (jittering de cor e transformação de espaço de cor - CST).
• Descoberta Chave: A Transformação de Espaço de Cor (CST) foi identificada como a degradação mais eficaz, pois expõe o modelo a múltiplas representações de cor, enriquecendo a diversidade dos dados de pré-treinamento.
• Composição: Diferente de métodos contrastivos que se beneficiam de composições complexas, o QPT V2 encontrou que composições sequenciais ou avançadas de degradações não melhoram o desempenho, sugerindo que a simplicidade e a clareza na degradação são preferíveis para a tarefa de reconstrução de pixels.

C. Modelo (Arquitetura Multi-escala)

Para mimetizar o Sistema Visual Humano (HVS), que avalia qualidade em múltiplas escalas:

• Backbone: Utilização do HiViT (uma rede hierárquica) em vez de ViT padrão, pois redes hierárquicas são melhores em aprender características multi-escala.
• Fusão de Recursos: Um módulo de fusão de recursos é introduzido apenas durante o pré-treinamento. Ele funde as características de diferentes estágios da codificação (camadas rasas e profundas) antes de enviá-las ao decodificador. Isso permite que o modelo capture tanto detalhes de baixo nível (distorções) quanto semânticas de alto nível.

3. Contribuições Principais

1. Validação do MIM para Pontuação Visual: É a primeira validação de que a Modelagem de Imagem Mascarada pode unificar eficazmente tarefas de IQA, VQA e IAA.
2. Framework QPT V2: Proposição de um novo paradigma de pré-treinamento que supera abordagens contrastivas e supervisionadas, focando na reconstrução de pixels com degradações conscientes de qualidade.
3. Análise de Componentes: Decomposição e estudo detalhado do impacto de dados (HR/HFC), tipos de degradação e arquitetura de modelo na tarefa de pontuação visual.
4. Eficiência de Dados: Demonstra que o modelo atinge desempenho de ponta (SOTA) mesmo com menos dados de ajuste fino (finetuning) em comparação com métodos que dependem de conhecimento textual ou multimodal.

4. Resultados

O QPT V2 foi avaliado em 11 benchmarks abrangendo IQA, VQA e IAA, superando consistentemente os métodos atuais (SOTA):

• IQA (Qualidade de Imagem): Superou métodos como Re-IQA, HyperIQA e CONRTIQUE em conjuntos de dados sintéticos e do mundo real (ex: KonIQ10K, CLIVE, FLIVE).
• VQA (Qualidade de Vídeo): Alcançou os melhores resultados em benchmarks como LIVE-VQC e KoNViD-1k, demonstrando forte capacidade de generalização entre conjuntos de dados (cross-dataset).
• IAA (Estética): No conjunto de dados AVA, o QPT V2 alcançou um SRCC de 0.865 e PLCC de 0.875, superando significativamente o estado da arte anterior (ex: +4.3% de SRCC sobre o Q-Align, que usa modelos multimodais grandes).
• Eficiência: O modelo atingiu desempenho comparável a SOTA usando apenas 60% dos dados de ajuste fino, sem a necessidade de modais de texto auxiliares.

5. Significado e Impacto

O trabalho QPT V2 representa um avanço significativo na área de avaliação de qualidade visual ao:

• Reduzir a dependência de dados rotulados: Ao utilizar pré-treinamento auto-supervisionado eficaz, mitiga o gargalo da escassez de MOS.
• Unificar Tarefas: Oferece uma arquitetura única que pode ser adaptada para imagens e vídeos, bem como para métricas de qualidade e estética, simplificando o pipeline de desenvolvimento.
• Inspirar Novos Paradigmas: Sugere que a modelagem de pixels (MIM), quando combinada com dados e degradações corretamente curados, é superior à modelagem contrastiva para tarefas que exigem sensibilidade a distorções locais e atributos visuais finos.

Em suma, o QPT V2 estabelece um novo padrão para a avaliação visual, provando que a reconstrução de pixels mascarada, quando otimizada para o domínio, é uma ferramenta poderosa para entender a percepção humana de qualidade e beleza.