ML-CLIPSim: Multi-Layer CLIP Similarity for Machine-Oriented Image Quality

Resumen Técnico: ML-CLIPSim: Similitud CLIP de Múltiples Capas para Calidad de Imagen Orientada a Máquinas

Enunciado del Problema

La Evaluación de la Calidad de Imagen (IQA) tradicional se centra en la fidelidad de la señal (por ejemplo, PSNR) o en la alineación con la percepción visual humana (por ejemplo, LPIPS, DISTS). Sin embargo, en las pipelines de visión modernas, las imágenes son consumidas cada vez más por modelos de máquinas aguas abajo (clasificadores, detectores, segmentadores, modelos visión-idioma) en lugar de por observadores humanos. Existe una discrepancia crítica: distorsiones con puntuaciones de fidelidad similares pueden conducir a predicciones aguas abajo muy diferentes, mientras que artefactos visualmente notables pueden no afectar la inferencia de la máquina si se conserva la evidencia relevante para la tarea. Los enfoques existentes de compresión impulsada por tareas a menudo requieren anotaciones específicas de la tarea o están vinculados a arquitecturas de modelos particulares, lo que limita su generalización. Existe la necesidad de una métrica de calidad consciente de la máquina y agnóstica a la tarea que refleje la preservación de la información necesaria para una inferencia de máquina estable sin requerir supervisión en el momento del despliegue.

Metodología

El artículo propone un marco centrado en la Consistencia Predictiva como un proxy para la utilidad latente de la máquina.

1. Conjunto de Datos de Consistencia Predictiva para la Percepción de Máquinas (PCMP):
Para entrenar una métrica orientada a máquinas, los autores construyen un conjunto de datos donde la supervisión se deriva del comportamiento del modelo en lugar del opinión humana.

• Formulación de Utilidad Latente: La calidad orientada a máquinas se define como la medida en que una imagen distorsionada preserva la información relevante para la predicción a través de una población de modelos aguas abajo. Dado que la utilidad absoluta es inobservable y difícil de calibrar entre diferentes tareas, los autores la aproximan mediante comparaciones por pares.
• Muestreo de Pares Coincidentes en PSNR: Para aislar los efectos relevantes para la tarea de la magnitud de la distorsión de bajo nivel, el conjunto de datos consiste en pares de imágenes distorsionadas que tienen valores de PSNR casi idénticos en relación con la referencia.
• Votación de Múltiples Modelos: Para cada par, un grupo de modelos preentrenados (que abarcan clasificación, detección y segmentación, por ejemplo, ResNet50, ViT, YOLO, Mask R-CNN) emite votos basados en qué distorsión causa discrepancias de predicción menores.
• Etiquetas Suaves: La señal de supervisión es una "razón de votos" continua ($y \in [0,1]$), que representa la proporción de modelos que prefieren una distorsión sobre la otra. Esto reduce el sesgo de cualquier modelo individual y proporciona una estimación robusta de la utilidad latente.

2. ML-CLIPSim (Similitud CLIP de Múltiples Capas):
La métrica propuesta es una medida de calidad diferenciable y de referencia completa construida sobre un codificador visual CLIP congelado.

• Agregación de Características de Múltiples Capas: A diferencia de los métodos que dependen exclusivamente de incrustaciones globales de CLIP, ML-CLIPSim captura tanto la degradación de evidencia localizada como la consistencia semántica de alto nivel. Extrae representaciones intermedias de tokens de parche de múltiples capas de transformadores del codificador CLIP congelado.
• Similitud de Doble Rama:
  • Rama de Tokens: Calcula la similitud entre los tokens de parche de las imágenes de referencia y distorsionadas a través de capas seleccionadas. Estas capas se agrupan (temprana, media, tardía) y se agregan utilizando pesos aprendibles.
  • Rama Global: Calcula la similitud del coseno de las incrustaciones globales de la imagen de CLIP.
• Fusión Aprendible: Un mecanismo de puerta ligero (un escalar activado por sigmoide) combina dinámicamente las similitudes a nivel de token y a nivel global para producir la puntuación final.
• Entrenamiento: El modelo se entrena utilizando Entropía Cruzada Binaria con Logits (BCEWithLogits) sobre las etiquetas de preferencia por pares de PCMP, minimizando la diferencia entre la diferencia de puntuación predicha y la razón de votos suave.

3. Aplicación a la Compresión de Imágenes Aprendida:
ML-CLIPSim se utiliza como un término de distorsión diferenciable en el objetivo de distorsión-tasa para la compresión de imágenes aprendida ($L = R + \lambda(1 - S_{\theta}(x, \hat{x}))$). Esto fomenta que los códecs preserven la información visual predictiva de tareas aguas abajo mientras permanecen independientes de modelos de tareas específicos durante el despliegue.

Contribuciones Clave

• Formulación: Define la calidad de imagen orientada a máquinas como una utilidad latente de la máquina aproximada a través de supervisión por pares de consistencia predictiva en una población de modelos aguas abajo.
• Conjunto de Datos (PCMP): Introduce un conjunto de datos de pares de distorsión coincidentes en PSNR con etiquetas de preferencia suave generadas por votación de múltiples modelos, proporcionando supervisión escalable que reduce el sesgo de la magnitud de distorsión de bajo nivel.
• Métrica (ML-CLIPSim): Propone una métrica diferenciable que agrega similitudes intermedias de tokens de parche e incrustaciones globales de un codificador CLIP congelado, capturando tanto características relevantes para la máquina a nivel local como global.
• Rendimiento: Demuestra que ML-CLIPSim se alinea mejor con las preferencias orientadas a máquinas que las métricas de fidelidad y perceptuales convencionales, se generaliza a conjuntos de datos de referencia externos y mejora los compromisos tasa-tarea en la compresión de imágenes aprendida.

Resultados Experimentales

• Referencia PCMP: En el conjunto de datos propuesto, ML-CLIPSim logra un rendimiento de vanguardia (SRCC: 0.7937, PLCC: 0.7364), superando a PSNR, MS-SSIM, LPIPS, DISTS y a la similitud global de CLIP (CLIPScore).
• Generalización Externa (MPD): Cuando se evalúa en la Base de Datos de Preferencias de Máquinas (MPD), ML-CLIPSim supera a las métricas existentes en diversas severidades de distorsión y categorías de tareas (clasificación, detección, VQA, etc.).
• Correlación con IQA Humana: A pesar de estar entrenado en preferencias de máquinas, ML-CLIPSim mantiene una correlación competitiva con las puntuaciones de opinión humana en referencias estándar (TID2013, LIVE), lo que sugiere una consistencia parcial entre las características de percepción de máquinas y humanos.
• Compresión de Imágenes Aprendida: Cuando se utiliza como término de distorsión para códecs MLIC++, ML-CLIPSim mejora significativamente los compromisos tasa-tarea. Logra las mejores reducciones de BD-Rate en clasificación de ImageNet, detección VOC/COCO, segmentación y tareas de Modelos Visión-Lenguaje (VLM) en comparación con líneas base como MSE, MS-SSIM, LPIPS y el UG-ICM agnóstico a la tarea. Por ejemplo, produce una mejora de BD-Rate del -76.1% en clasificación de ImageNet y del -80.7% en detección VOC.

Significado y Afirmaciones

El artículo afirma que ML-CLIPSim proporciona una solución agnóstica a la tarea pero consciente de la máquina para la evaluación de la calidad de imagen. Al aprender del comportamiento colectivo de diversos modelos aguas abajo en lugar de una sola tarea o la opinión humana, ofrece un proxy escalable para la "utilidad latente de la máquina". Los autores enfatizan que este enfoque permite la optimización de pipelines de compresión de imágenes y evaluación de calidad para servir mejor a los consumidores de máquinas sin requerir verdad fundamental específica de la tarea o adaptación de modelos en el momento del despliegue. El trabajo busca facilitar una investigación más amplia en IQA orientada a máquinas y compresión impulsada por la utilidad.