DPC-VQA: Decoupling Quality Perception and Residual Calibration for Video Quality Assessment

Resumen Técnico: DPC-VQA

Declaración del Problema
Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) han demostrado capacidades prometedoras en la Evaluación de la Calidad de Video (VQA), pero su despliegue práctico enfrenta obstáculos significativos. Adaptar estos modelos de gran escala a nuevos dominios de video o protocolos de puntuación requiere típicamente un reentrenamiento de extremo a extremo costoso y anotaciones de Escala de Opinión Media (MOS) a gran escala, las cuales son costosas de recolectar debido a la necesidad de evaluaciones subjetivas humanas repetidas. Los métodos actuales de VQA basados en MLLM suelen tener dificultades con la adaptación entre conjuntos de datos, ya que requieren un ajuste fino específico para cada escenario o no logran alinear sus salidas con las escalas MOS específicas de los benchmarks objetivo. Además, los enfoques actuales de VQA de pocos disparos (few-shot) a menudo entrelazan el aprendizaje de representaciones con la calibración específica del conjunto de datos, limitando su eficiencia de generalización.

Metodología: DPC-VQA
Los autores proponen DPC-VQA (Desacoplamiento de Percepción y Calibración para la Evaluación de la Calidad de Video), un marco que separa la tarea de percepción de calidad de la calibración de la puntuación. La hipótesis central es que un MLLM preentrenado ya codifica un útil sesgo perceptivo genérico; el desafío no radica en reaprender la percepción de calidad, sino en calibrar eficientemente este sesgo al espacio MOS objetivo.

El marco consta de dos componentes principales:

1. Percepción de Calidad Congelada (Sesgo Base):

   • Un MLLM congelado (específicamente Qwen3-VL-8B en los experimentos) procesa los fotogramas del video de entrada junto con un prompt de calidad fijo.
   • El modelo genera una puntuación de calidad base ($q_b$) derivada de una distribución de "verbalizador de calidad" (por ejemplo, mapeando tokens como "malo", "pobre", "regular", "bueno", "excelente" a anclajes escalares).
   • El modelo también genera una puntuación de confianza ($u_b$) basada en la entropía de la distribución del verbalizador y los estados ocultos visuales de la última capa ($H_{vis}$).
   • Crucialmente, los parámetros del MLLM permanecen congelados durante el entrenamiento, preservando el conocimiento perceptivo preentrenado.

2. Calibración Residual Ligera:

   • Una rama entrenable predice una corrección residual ($\Delta$) para ajustar la puntuación base al espacio MOS objetivo.
   • Características de Entrada: La rama de calibración utiliza los tokens visuales congelados ($H_{vis}$), características auxiliares de video ($H_{aux}$) extraídas de un codificador preentrenado separado (SlowFast), la puntuación base ($q_b$) y la puntuación de confianza ($u_b$).
   • Mecanismo:
     • Las características se proyectan en un espacio latente compartido y se concatenan en un banco de tokens aumentado.
     • Consultas de calibración (calibration queries) aprendibles realizan atención cruzada sobre este banco de tokens para extraer tokens conscientes de la calibración.
     • Estos tokens son modulados por la condición base ($q_b, u_b$) mediante reescalado y desplazamiento de características (feature-wise rescaling and shifting).
     • Cada token modulado predice una propuesta de residual local (magnitud y dirección), que luego se agregan mediante ponderación de importancia para producir el residual final $\Delta$.
   • Predicción Final: La puntuación predicha es $\hat{y} = q_b + \Delta$.

Objetivo de Entrenamiento
El entrenamiento se restringe a la rama de calibración ligera. La función de objetivo combina:

• Pérdida Smooth L1: Supervisa la predicción final contra el MOS real (ground-truth).
• Regularización Residual: Un término que penaliza la magnitud del residual ($\sum |\Delta|$) para asegurar que la corrección sea un ajuste acotado en lugar de una reestimación completa, estabilizando el entrenamiento y preservando el sesgo.

Contribuciones Clave

1. Marco Desacoplado: La propuesta de DPC-VQA, que desacopla la percepción de calidad (MLLM congelado) de la calibración de la puntuación (rama ligera), evitando el costoso reentrenamiento de extremo a extremo.
2. Mecanismo de Calibración Residual: Una novedosa estrategia de estimación de residual acotado por token y agregación adaptativa que condiciona las correcciones según la puntuación base y la confianza, permitiendo una adaptación de grano fino.
3. Eficiencia: El método utiliza menos del 2% de los parámetros entrenables en comparación con los métodos de VQA basados en MLLM de ajuste fino completo y sigue siendo efectivo con tan solo el 20% de las etiquetas MOS.

Resultados Experimentales
Los autores evaluaron DPC-VQA en cinco benchmarks: tres conjuntos de datos de Contenido Generado por Usuarios (UGC) (KoNViD-1k, YouTube-UGC, LIVE-VQC) y dos conjuntos de datos de Contenido Generado por IA (AIGC) (T2VQA, Human-AGVQA).

• Rendimiento de Pocos Disparos (Few-Shot): Bajo una división de pocos disparos de 5 veces (usando solo el 20% de los datos para entrenamiento), DPC-VQA logró el mejor rendimiento entre todos los baselines de pocos disparos en los cinco conjuntos de datos.
  • En los conjuntos de datos UGC, superó al mejor baseline de pocos disparos con ganancias de SRCC de 0.032, 0.036 y 0.026.
  • En los conjuntos de datos AIGC, mostró mejoras significativas sobre los baselines de pocos disparos (ganancias de SRCC de 0.106 y 0.114), manteniéndose competitivo con métodos dedicados supervisados de AIGC a pesar de usar un mínimo de datos etiquetados.
• Estudios de Ablación:
  • Residual vs. Regresión Directa: La formulación residual superó a la regresión directa y a la regresión condicionada por la puntuación, confirmando que aprender una corrección es más efectivo que reaprender la puntuación.
  • Fuentes de Información: La combinación de tokens de MLLM congelados, características auxiliares, puntuación base y confianza produjo los mejores resultados, sirviendo el MLLM congelado como la base perceptiva principal.
  • Agregación de Consultas: Las consultas de calibración aprendibles superaron el mean pooling y la agregación de autoatención.
• Eficiencia de Datos: El método mantuvo un rendimiento superior incluso con ratios de entrenamiento tan bajos como 10–20%, demostrando una fuerte robustez en regímenes de pocos datos.
• Eficiencia de Parámetros: El recuento de parámetros entrenables fue aproximadamente de 155M (1.9% del modelo completo de 8.2B), reduciendo significativamente los costos de optimización.

Significancia y Reivindicaciones
El artículo afirma que el principal cuello de botella para adaptar los MLLM a la VQA no es la falta de capacidad perceptiva en el modelo preentrenado, sino la dificultad de alinear su salida con protocolos de puntuación específicos. Al tratar al MLLM como un sesgo perceptivo fijo y formular la adaptación como una tarea de calibración residual ligera, DPC-VQA ofrece un camino más práctico y escalable para el despliegue de VQA. Los autores argumentan que este enfoque desplaza el enfoque del reaprendizaje específico de cada escenario hacia una calibración eficiente, haciendo que la VQA de alta calidad sea factible en escenarios donde las anotaciones MOS son escasas o costosas. Los resultados sugieren que los futuros sistemas de VQA pueden beneficiarse del aprovechamiento de sesgos perceptivos congelados en lugar de depender únicamente del entrenamiento de extremo a extremo para cada nuevo dominio.