Resumen Técnico: Rompiendo Barreras de Anotación mediante Auto-supervisión Basada en Ranking

1. Planteamiento del Problema

La Evaluación de Calidad de Video (VQA) es crítica para optimizar la Calidad de Experiencia (QoE) en los flujos de trabajo modernos de procesamiento de video. Si bien los modelos de aprendizaje profundo supervisados han logrado avances significativos, sufren una limitación fundamental: la generalización. Los modelos actuales del estado del arte (SOTA) dependen en gran medida de conjuntos de datos anotados manualmente, que son intensivos en mano de obra, costosos y difíciles de escalar. En consecuencia, estos modelos a menudo exhiben un rendimiento deficiente en datos fuera de distribución (OOD), fallando al generalizar a contenido de video no visto, distorsiones o formatos de medios (por ejemplo, videos de juegos, contenido de alta tasa de cuadros o contenido generado por IA).

Los enfoques de auto-supervisión existentes intentan mitigar los costos de anotación, pero generalmente se quedan atrás de los métodos supervisados. A menudo dependen del aprendizaje contrastivo con tareas proxy sintéticas (por ejemplo, clasificación de distorsiones) que no logran capturar características perceptuales complejas o patrones de distorsión auténticos del mundo real.

2. Metodología

Los autores proponen LMM-PVQA, un marco de aprendizaje auto-supervisado que reformula la VQA como un problema de ranking por pares en lugar de una regresión absoluta. Los componentes centrales de la metodología son:

A. Conjunto de Datos a Gran Escala con Etiquetas por Pares (PLVD)

Los autores construyeron un conjunto de datos masivo que comprende 700,000 pares de video muestreados de 3 millones de videos fuente en cuatro plataformas principales de redes sociales (TikTok, YouTube, Youku, Bilibili). El conjunto de datos cubre más de 20 categorías de contenido y escenarios diversos de distorsión.

• Estrategia de Muestreo: Se utilizó un enfoque de programación entera mixta para seleccionar 438k videos, asegurando que la distribución de nueve métricas de bajo nivel (bloqueo, desenfoque, contraste, ruido, parpadeo, coloridad, luminancia, información espacial e información temporal) coincida con los principales puntos de referencia de contenido generado por usuarios (UGC).
• Estrategias de Anotación: Se emplearon dos métodos para generar etiquetas de calidad relativa sin intervención humana:
  1. Etiquetado Pseudo mediante Modelos VQA: Cinco modelos VQA SOTA (Minimalistic-VQA, FAST-VQA, DOVER, Q-Align) actúan como "jueces" para puntuar pares de video. Un enfoque de conjunto determina la calidad relativa. Las etiquetas se categorizan en Ranking Duro (mejor/peor) y Ranking Suave (superior/mejor/similar/peor/inferior) basándose en la significancia estadística de las diferencias de puntuación.
  2. Simulaciones de Distorsión Sintética: Un subconjunto de datos (PLVD-DS) se genera aplicando distorsiones controladas (espaciales: desenfoque, ruido, redimensionamiento; temporales: jitter, tartamudeo; de transmisión: compresión H.264/H.265) en niveles de severidad variables. Los niveles de severidad sirven como verdad fundamental para el ranking relativo.

B. Arquitectura del Modelo (LMM-PVQA)

El modelo se basa en un Modelo Multimodal Grande (LMM), específicamente Qwen-2, integrado con un extractor de características visuales de doble rama:

• Rama Espacial: Utiliza un codificador de imágenes preentrenado (SigLIP) para procesar cuadros clave.
• Rama Temporal: Utiliza un codificador de movimiento preentrenado (SlowFast) para analizar secuencias de cuadros en busca de distorsiones relacionadas con el movimiento.
• Fusión: Las características visuales se proyectan en el espacio del lenguaje y se concatenan con indicaciones de texto. El modelo se entrena mediante Ajuste Fino Supervisado (SFT) para emitir un juicio textual (por ejemplo, "El segundo video es mejor que el primero").

C. Estrategia de Auto-mejora Iterativa

Se introduce una nueva tubería de entrenamiento donde el modelo refina iterativamente sus propios datos de entrenamiento:

1. Etapa 1: Entrenar un modelo base en los 500k pares iniciales (PLVD-Parte1).
2. Etapa 2: Utilizar el modelo entrenado de la Etapa 1 como un "juez" mejorado para reanotar los siguientes 100k pares (PLVD-Parte2), combinándolos con los datos originales para entrenar la Etapa 2.
3. Etapa 3: Repetir el proceso para los últimos 100k pares (PLVD-Parte3).
   Esta estrategia permite que el modelo distile progresivamente conocimiento y mejore la calidad de su propia anotación, mejorando la generalización.

D. Mecanismo de Inferencia

Dado que el modelo predice rankings relativos, se utiliza un método de comparación suave adaptativa para derivar puntuaciones absolutas. El video de prueba se compara con un conjunto de cinco videos ancla (que representan diferentes intervalos de calidad). La distribución de probabilidad resultante se convierte en una puntuación de calidad calibrada utilizando la estimación de Máxima A Posteriori (MAP) bajo el modelo de Caso V de Thurstone.

3. Contribuciones Clave

1. Conjunto de Datos a Gran Escala: Construcción de PLVD, un conjunto de datos con 700k pares de video que presenta tanto distorsiones auténticas como sintéticas, anotado automáticamente mediante modelos de conjunto VQA y simulaciones de distorsión.
2. Marco Auto-supervisado: Un marco novedoso que aprende la evaluación de calidad a través de comparaciones por pares, eliminando la necesidad de objetivos de regresión etiquetados por humanos durante el pre-entrenamiento.
3. Auto-mejora Iterativa: Una estrategia de entrenamiento donde el modelo actúa como un anotador mejorado para iteraciones posteriores, refinando continuamente su rendimiento.
4. Rendimiento del Estado del Arte: El modelo logra un rendimiento cero-shot fuerte en diversos puntos de referencia y establece nuevos récords cuando se ajusta fino en datos etiquetados por humanos.

4. Resultados Experimentales

El modelo fue evaluado en diez puntos de referencia, categorizados en conjuntos de datos dentro del dominio (videos UGC) y fuera de distribución (OOD) (juegos, alta tasa de cuadros, compresión 4K).

• Rendimiento Zero-Shot: LMM-PVQA logra un rendimiento zero-shot comparable o superior a los modelos supervisados SOTA existentes (por ejemplo, Minimalistic-VQA, FAST-VQA, DOVER) en puntos de referencia dentro del dominio.
• Generalización Fuera de Distribución: El modelo demuestra una generalización superior en conjuntos de datos OOD, logrando una mejora del 24.7% en SRCC en comparación con enfoques competidores. Se observaron ganancias notables en conjuntos de datos desafiantes como LIVE-YT-HFR (alta tasa de cuadros), Waterloo-IVC-4K (compresión 4K) y KVQ (UGC mejorado).
• Ajuste Fino Supervisado: Cuando se ajusta fino en conjuntos de datos etiquetados por humanos, el modelo supera a todas las líneas base supervisadas competidoras en un 3.5% en SRCC.
• Estudios de Ablación:
  • Ranking Suave: Supera al ranking duro al incorporar información de "distancia de calidad".
  • Estrategia Iterativa: Confirmó que las ganancias de rendimiento provienen del bucle de auto-mejora, no solo del aumento del volumen de datos.
  • Codificador de Movimiento: Esencial para distorsiones temporales, generando una mejora del 33.5% en SRCC en el punto de referencia de alta tasa de cuadros (LIVE-YT-HFR).

5. Significado y Afirmaciones

El artículo afirma que al romper la dependencia de anotaciones humanas costosas y aprovechar pares de video a gran escala etiquetados automáticamente, es posible entrenar modelos VQA con capacidades de generalización superiores.

• Escalabilidad: El enfoque aborda el problema del "conjunto de datos fácil" y el costo prohibitivo de los experimentos subjetivos, permitiendo el uso de millones de videos web no etiquetados para el entrenamiento.
• Robustez: La estrategia de auto-mejora iterativa y la inclusión de distorsiones sintéticas permiten que el modelo se adapte a tipos de distorsión no vistos (por ejemplo, artefactos de compresión específicos o inconsistencias en la tasa de cuadros) que los modelos supervisados tradicionales no pueden manejar.
• Fundamento para Investigación Futura: Los autores postulan que este marco establece un nuevo estándar para la VQA generalizada, ofreciendo un camino hacia modelos que puedan evaluar la calidad en diversos escenarios del mundo real sin reentrenamiento específico del dominio.

Los autores reconocen una limitación: el proceso de inferencia requiere comparar un video con múltiples anclas, lo que aumenta el tiempo de inferencia en comparación con los modelos de regresión directa. El trabajo futuro busca explorar estrategias de anotación más automatizadas y extender el marco a la evaluación de calidad multimodal (incorporando audio y texto).