ML-CLIPSim: Multi-Layer CLIP Similarity for Machine-Oriented Image Quality

Resumo Técnico: ML-CLIPSim: Similaridade CLIP Multi-Camada para Qualidade de Imagem Orientada a Máquina

Declaração do Problema

A Avaliação de Qualidade de Imagem (IQA) tradicional foca na fidelidade do sinal (por exemplo, PSNR) ou no alinhamento com a percepção visual humana (por exemplo, LPIPS, DISTS). No entanto, em pipelines de visão modernos, as imagens são cada vez mais consumidas por modelos de máquina a jusante (classificadores, detectores, segmentadores, modelos de visão-linguagem) em vez de observadores humanos. Existe uma incompatibilidade crítica: distorções com pontuações de fidelidade semelhantes podem levar a previsões a jusante drasticamente diferentes, enquanto artefatos visualmente perceptíveis podem não afetar a inferência da máquina se evidências relevantes para a tarefa forem preservadas. Abordagens existentes de compressão orientada a tarefa frequentemente exigem anotações específicas da tarefa ou estão vinculadas a arquiteturas de modelo particulares, limitando sua generalização. Há necessidade de uma métrica de qualidade livre de tarefa e consciente da máquina que reflita a preservação de informações necessárias para inferência estável da máquina, sem exigir supervisão no momento da implantação.

Metodologia

O artigo propõe um framework centrado na Consistência Preditiva como um proxy para utilidade latente da máquina.

1. Conjunto de Dados de Consistência Preditiva para Percepção de Máquina (PCMP):
Para treinar uma métrica orientada a máquina, os autores constroem um conjunto de dados onde a supervisão é derivada do comportamento do modelo e não da opinião humana.

• Formulação de Utilidade Latente: A qualidade orientada a máquina é definida como a extensão na qual uma imagem distorcida preserva informações relevantes para a previsão em uma população de modelos a jusante. Como a utilidade absoluta é não observável e difícil de calibrar entre diferentes tarefas, os autores a aproximam por meio de comparações em pares.
• Amostragem de Pares com PSNR Correspondido: Para isolar efeitos relevantes para a tarefa da magnitude de distorção de baixo nível, o conjunto de dados consiste em pares de imagens distorcidas que possuem valores de PSNR quase idênticos em relação à referência.
• Votação Multi-Modelo: Para cada par, um conjunto de modelos pré-treinados (abrangendo classificação, detecção e segmentação, por exemplo, ResNet50, ViT, YOLO, Mask R-CNN) emite votos com base em qual distorção causa menores discrepâncias de previsão.
• Rótulos Suaves: O sinal de supervisão é uma "razão de votos" contínua ($y \in [0,1]$), representando a proporção de modelos que preferem uma distorção sobre a outra. Isso reduz o viés de qualquer modelo único e fornece uma estimativa robusta da utilidade latente.

2. ML-CLIPSim (Similaridade CLIP Multi-Camada):
A métrica proposta é uma medida de qualidade diferenciável e de referência completa construída sobre um codificador visual CLIP congelado.

• Agregação de Características Multi-Camada: Diferentemente de métodos que dependem exclusivamente de embeddings globais do CLIP, o ML-CLIPSim captura tanto a degradação de evidências localizadas quanto a consistência semântica de alto nível. Ele extrai representações intermediárias de tokens de patch de várias camadas de transformador do codificador CLIP congelado.
• Semelhança de Dupla Ramificação:
  • Ramo de Tokens: Calcula a semelhança entre os tokens de patch das imagens de referência e distorcidas através de camadas selecionadas. Essas camadas são agrupadas (iniciais, médias, tardias) e agregadas usando pesos aprendíveis.
  • Ramo Global: Calcula a semelhança de cosseno dos embeddings globais de imagem do CLIP.
• Fusão Aprendível: Um mecanismo de gate leve (um escalar ativado por sigmoide) combina dinamicamente as semelhanças em nível de token e em nível global para produzir a pontuação final.
• Treinamento: O modelo é treinado usando Entropia Cruzada Binária com Logits (BCEWithLogits) nos rótulos de preferência em pares do PCMP, minimizando a diferença entre a diferença de pontuação prevista e a razão de votos suave.

3. Aplicação à Compressão de Imagem Aprendida:
O ML-CLIPSim é utilizado como um termo de distorção diferenciável no objetivo de taxa-distorção para compressão de imagem aprendida ($L = R + \lambda(1 - S_{\theta}(x, \hat{x}))$). Isso incentiva os codecs a preservar informações visuais preditivas de tarefas a jusante, mantendo-se independentes de modelos de tarefa específicos durante a implantação.

Contribuições Principais

• Formulação: Define a qualidade de imagem orientada a máquina como uma utilidade latente da máquina aproximada por meio de supervisão em pares de consistência preditiva em uma população de modelos a jusante.
• Conjunto de Dados (PCMP): Introduz um conjunto de dados de pares de distorção com PSNR correspondido e rótulos de preferência suave gerados por votação multi-modelo, fornecendo supervisão escalável que reduz o viés da magnitude de distorção de baixo nível.
• Métrica (ML-CLIPSim): Propõe uma métrica diferenciável que agrega similaridades intermediárias de tokens de patch e embeddings globais de um codificador CLIP congelado, capturando tanto características locais quanto globais relevantes para a máquina.
• Desempenho: Demonstra que o ML-CLIPSim alinha-se melhor com preferências orientadas a máquina do que métricas de fidelidade e perceptivas convencionais, generaliza-se para benchmarks externos e melhora os compromissos taxa-tarefa na compressão de imagem aprendida.

Resultados Experimentais

• Benchmark PCMP: No conjunto de dados proposto, o ML-CLIPSim alcança desempenho state-of-the-art (SRCC: 0,7937, PLCC: 0,7364), superando PSNR, MS-SSIM, LPIPS, DISTS e similaridade global do CLIP (CLIPScore).
• Generalização Externa (MPD): Quando avaliado no Banco de Dados de Preferência de Máquina (MPD), o ML-CLIPSim supera métricas existentes em várias severidades de distorção e categorias de tarefa (classificação, detecção, VQA, etc.).
• Correlação com IQA Humana: Apesar de ser treinado em preferências de máquina, o ML-CLIPSim mantém correlação competitiva com pontuações de opinião humana em benchmarks padrão (TID2013, LIVE), sugerindo consistência parcial entre as características de percepção da máquina e do humano.
• Compressão de Imagem Aprendida: Quando usado como termo de distorção para codecs MLIC++, o ML-CLIPSim melhora significativamente os compromissos taxa-tarefa. Ele alcança as melhores reduções de BD-Rate em classificação ImageNet, detecção VOC/COCO, segmentação e tarefas de Modelo de Visão-Linguagem (VLM) em comparação com baselines como MSE, MS-SSIM, LPIPS e o UG-ICM livre de tarefa. Por exemplo, ele produz uma melhoria de BD-Rate de -76,1% na classificação ImageNet e -80,7% na detecção VOC.

Significado e Alegações

O artigo afirma que o ML-CLIPSim fornece uma solução livre de tarefa, porém consciente da máquina para avaliação de qualidade de imagem. Ao aprender do comportamento coletivo de diversos modelos a jusante em vez de uma única tarefa ou opinião humana, ele oferece um proxy escalável para "utilidade latente da máquina". Os autores enfatizam que essa abordagem permite a otimização de pipelines de compressão de imagem e avaliação de qualidade para atender melhor aos consumidores de máquina, sem exigir verdade absoluta específica da tarefa ou adaptação de modelo no momento da implantação. O trabalho visa facilitar pesquisas mais amplas em IQA orientada a máquina e compressão orientada a utilidade.