QPT V2: Masked Image Modeling Advances Visual Scoring

Resumen Técnico: QPT V2

1. El Problema

La evaluación de la calidad visual (IQA - Imagen, VQA - Video) y la evaluación estética (IAA) son tareas críticas para aplicaciones como la mejora de video, la transcodificación y la transmisión. Sin embargo, los métodos basados en aprendizaje profundo actuales enfrentan dos obstáculos principales:

• Escasez de datos etiquetados: La obtención de puntuaciones de opinión media (MOS) mediante estudios subjetivos es costosa y lenta. Los conjuntos de datos de calidad visual suelen ser órdenes de magnitud más pequeños que los de tareas de alto nivel como la clasificación.
• Limitaciones de la generalización: Los métodos existentes, que a menudo dependen de características manuales o aprendizaje supervisado limitado, tienen dificultades para generalizar a nuevos tipos de distorsiones o contenidos generados por IA (AIGC) y contenido generado por usuarios (UGC).
• Ineficacia de los enfoques actuales de preentrenamiento: Los métodos de aprendizaje auto-supervisado (SSL) previos se basan principalmente en aprendizaje contrastivo (nivel de muestra), lo cual es insuficiente para capturar distorsiones locales y atributos visuales finos (nivel de píxel) necesarios para la evaluación de calidad.

2. Metodología

Los autores proponen QPT V2, el primer marco de preentrenamiento basado en Modelado de Imágenes Enmascaradas (MIM) diseñado específicamente para unificar las tareas de puntuación visual. A diferencia de los enfoques contrastivos, QPT V2 utiliza la reconstrucción de píxeles enmascarados para aprender representaciones sensibles tanto a la semántica como a las distorsiones.

El marco se optimiza en tres pilares fundamentales:

• A. Datos (Curación de Datos HR & HFC):

  • Se identificó que los datos de preentrenamiento estándar (como ImageNet) carecen de resolución y detalles finos.
  • Se curó un conjunto de datos de 1.28 millones de imágenes seleccionadas de SA-1B.
  • Criterios de selección: Alta Resolución (HR) (promedio ~1600x2100) y Alta Cobertura de Primer Plano (HFC). Se priorizaron imágenes con muchos objetos (≥50) para asegurar que el modelo aprenda sobre texturas y estructuras complejas, no solo fondos.

• B. Degradación (Estrategia de Degradación Consciente):

  • Para simular escenarios del mundo real, se introdujeron degradaciones específicas en las imágenes objetivo de reconstrucción.
  • Tipos estudiados: Geométricas (redimensionado), de frecuencia (desenfoque, agudeza, ruido gaussiano) y de color (jittering de color y transformación de espacio de color - CST).
  • Hallazgo clave: Se descubrió que la Transformación de Espacio de Color (CST) es la degradación más efectiva para la percepción de calidad y estética.
  • Composición: A diferencia de otros trabajos, se encontró que las composiciones complejas (secuenciales o avanzadas) no mejoran el rendimiento en MIM para esta tarea; una degradación simple y efectiva (como CST) es superior.

• C. Modelo (Arquitectura Multi-escala):

  • Se utiliza un HiViT (una arquitectura de backbone jerárquica) como codificador, en lugar de un ViT plano, para capturar mejor las características multi-escala.
  • Fusión de características: Se introduce un módulo de fusión de características que combina las salidas de diferentes etapas del codificador (niveles profundos y superficiales) antes de pasarlas al decodificador. Esto permite al modelo percibir tanto atributos de alto nivel (semántica) como de bajo nivel (distorsiones finas).
  • Este módulo de fusión se utiliza solo durante el preentrenamiento y no afecta la etapa de ajuste fino (finetuning).

3. Contribuciones Clave

1. Validación del MIM para Puntuación Visual: Es el primer trabajo que demuestra que el Modelado de Imágenes Enmascaradas (MIM) puede unificar eficazmente las tareas de IQA, VQA e IAA, superando a los paradigmas contrastivos tradicionales.
2. Marco QPT V2: Propuesta de un framework de preentrenamiento unificado que optimiza sistemáticamente los componentes de datos, degradación y modelo para la evaluación visual.
3. Descubrimientos sobre Degradación y Composición: Revelación de que, a diferencia del aprendizaje contrastivo, las composiciones complejas de degradación no benefician al MIM en este contexto, y que la transformación de espacio de color (CST) es la degradación más informativa.
4. Eficiencia de Datos: Demostración de que QPT V2 logra un rendimiento superior incluso con una fracción de los datos de ajuste fino necesarios para otros métodos, gracias a la riqueza de los datos de preentrenamiento.

4. Resultados

QPT V2 fue evaluado en 11 benchmarks de referencia (3 de IQA sintética, 3 de IQA del mundo real, 3 de VQA y 1 de IAA), superando consistentemente a los métodos actuales (SOTA) y otros paradigmas de preentrenamiento:

• IQA (Evaluación de Calidad de Imagen): Superó a métodos como QPT, Re-IQA y HyperIQA. En el conjunto de datos real FLIVE, mejoró el SRCC en un 0.4% sobre el SOTA anterior. En TID2013 (sintético), mejoró un 1.1%.
• VQA (Evaluación de Calidad de Video): En el benchmark LSVQ, superó a todos los métodos tradicionales y a la mayoría de los basados en datos, logrando un SRCC de 0.886 (mejora del 0.3% sobre el SOTA). También mostró una excelente capacidad de generalización en configuraciones cruzadas (cross-dataset).
• IAA (Evaluación Estética): En el conjunto de datos AVA, alcanzó un SRCC de 0.865 y un PLCC de 0.875, superando significativamente a métodos anteriores como Q-Align (que usa modelos multimodales grandes) y LIQE.
• Eficiencia: Logró un rendimiento comparable a SOTA utilizando solo el 60% de los datos de ajuste fino, demostrando una transferencia de aprendizaje altamente eficiente.

5. Significado e Impacto

• Nuevo Paradigma: QPT V2 establece un nuevo estándar para la evaluación visual, demostrando que el MIM es una herramienta superior al aprendizaje contrastivo para tareas que requieren sensibilidad a detalles finos y distorsiones.
• Solución a la Escasez de Datos: Al utilizar un preentrenamiento auto-supervisado robusto con datos curados de alta calidad, mitiga la dependencia de grandes conjuntos de datos etiquetados manualmente, un cuello de botella histórico en este campo.
• Unificación: Proporciona una solución unificada para calidad y estética, lo cual es crucial dado el auge del contenido generado por IA y usuarios, donde los factores de calidad y estética están intrínsecamente relacionados.
• Reproducibilidad: El código y los modelos están disponibles públicamente, fomentando la investigación futura en la comunidad de visión por computadora.

En resumen, el trabajo demuestra que al adaptar cuidadosamente el MIM (datos de alta resolución, degradaciones inteligentes y arquitecturas multi-escala), es posible crear modelos preentrenados que comprenden profundamente la percepción humana de la calidad visual, superando las limitaciones de los enfoques anteriores.