Comparison Drives Preference: Reference-Aware Modeling for AI-Generated Video Quality Assessment

Resumen Técnico: Evaluación de Calidad de Video Generado por IA Basada en Referencias

1. El Problema

La rápida proliferación de videos generados por inteligencia artificial (AIGVs) ha creado una necesidad crítica de evaluar automáticamente su calidad visual (AIGC-VQA). Sin embargo, los métodos existentes presentan limitaciones significativas:

• Enfoque Aislado: La mayoría de los métodos actuales evalúan cada video de forma independiente, ignorando las relaciones potenciales entre diferentes muestras.
• Desconexión con la Percepción Humana: La percepción humana de la calidad no es absoluta, sino comparativa. Los evaluadores humanos juzgan un video en relación con otros que comparten objetos, acciones o estilos visuales similares.
• Complejidad de las Distorsiones: A diferencia de los videos tradicionales (dañados por compresión), los AIGVs presentan artefactos complejos como inconsistencias estructurales, inestabilidad en el movimiento y desalineación semántica con el prompt de texto, lo que hace que la evaluación basada únicamente en características intrínsecas sea insuficiente.

2. Metodología: RefVQA

Los autores proponen RefVQA (Reference-aware Video Quality Assessment), un marco que reformula el problema de evaluación de calidad como un problema de evaluación consciente de referencias. En lugar de predecir la calidad de un video en aislamiento, el modelo lo evalúa en el contexto de videos de referencia semánticamente relacionados.

El marco consta de cuatro módulos principales:

• A. Construcción del Gráfico de Referencia (Reference Graph Construction):

  • Dado un video de consulta (query) y su prompt, el sistema recupera videos de entrenamiento semánticamente relacionados basándose en la similitud de los prompts (utilizando Sentence-BERT).
  • Se construye un gráfico centrado en la consulta donde el nodo central es el video objetivo y los nodos conectados son los videos de referencia recuperados. Las aristas representan la similitud semántica entre los prompts.
  • Nota clave: La similitud de prompts se usa para establecer comparabilidad semántica, no para asumir equivalencia de calidad.

• B. Rama Visual (Visual Branch):

  • Utiliza un Swin Transformer para extraer características espaciotemporales (apariencia y movimiento).
  • En lugar de agregar características directamente, el modelo calcula diferencias de características entre el video de consulta y cada video de referencia ($\Delta v = v_{query} - v_{ref}$).
  • Aplica una agregación guiada por gráfico para combinar estas diferencias, ponderadas por la similitud del prompt, creando una representación visual enriquecida por referencias.

• C. Rama de Alineación (Alignment Branch):

  • Utiliza BLIP para evaluar la consistencia semántica entre el video generado y su prompt de texto.
  • Sigue la misma lógica que la rama visual: extrae características de alineación, calcula las diferencias con las referencias y las agrega mediante el gráfico para capturar desviaciones semánticas relativas.

• D. Predicción de Calidad (Quality Prediction):

  • Fusiona las representaciones mejoradas de ambas ramas (visual y de alineación) mediante un cabezal de fusión.
  • Un cabezal de regresión predice la puntuación final de calidad (MOS - Mean Opinion Score).
  • El entrenamiento utiliza una función de pérdida híbrida que combina la pérdida de correlación lineal (PLCC) y la pérdida de rango (Rank Loss) para optimizar tanto la precisión absoluta como el ordenamiento relativo.

3. Contribuciones Clave

1. Reformulación del Problema: Cambian el paradigma de la regresión de calidad aislada al razonamiento de calidad comparativa, alineándose mejor con la percepción humana.
2. Modelado de Discrepancias: Introducen la idea de aprender representaciones de discrepancia condicionadas por referencias en los espacios visual y de alineación, capturando cues de calidad relativa más allá de las características intrínsecas.
3. Mecanismo de Agregación Guiada por Gráfico: Proponen un mecanismo ligero que organiza las referencias recuperadas en un gráfico estructurado y codifica las diferencias consulta-referencia, evitando la simple agregación de características.
4. Rendimiento Superior: Validan que incorporar relaciones inter-video en el aprendizaje de representaciones mejora significativamente la precisión de la evaluación.

4. Resultados Experimentales

El modelo fue evaluado en tres conjuntos de datos de referencia: T2VQA-DB, LGVQ y FETV.

• Rendimiento In-Domain: RefVQA superó a los métodos más avanzados (SOTA) en todas las métricas en T2VQA-DB, logrando un SRCC de 0.826, PLCC de 0.835 y un RMSE de 8.429.
• Generalización Cross-Dataset: En la prueba de entrenamiento en LGVQ y prueba en FETV, RefVQA demostró una capacidad de generalización superior, especialmente en las dimensiones de calidad temporal y alineación, superando a todos los competidores.
• Análisis de Ablación:
  • El uso de modelado comparativo consciente de referencias fue el factor de mejora más significativo.
  • La recuperación basada en similitud de prompts superó a la recuperación aleatoria o basada en similitud de características visuales.
  • La agregación basada en diferencias y gráficos fue más efectiva que el uso de características crudas o el promedio simple.
  • La combinación de las ramas visual y de alineación fue crucial para el mejor rendimiento.
• Eficiencia: A pesar de la complejidad añadida, RefVQA mantiene un tiempo de inferencia competitivo (99.2 ms por muestra), superando a T2VQA en precisión y velocidad.

5. Significado e Impacto

Este trabajo es pionero al integrar explícitamente las relaciones de referencia en el aprendizaje de representaciones para la evaluación de calidad de videos generados por IA.

• Cambio de Paradigma: Demuestra que la evaluación de calidad no debe verse como un problema de clasificación/regresión aislada, sino como un proceso de comparación contextual.
• Robustez: Al basarse en la similitud semántica de alto nivel (prompts) en lugar de solo en características visuales de baja nivel, el método es más robusto ante cambios de dominio y variaciones en la generación.
• Futuro: Abre la puerta a nuevas investigaciones en la selección de referencias más inteligentes y modelado relacional más expresivo para tareas de evaluación de contenido generado por IA.

En conclusión, RefVQA establece un nuevo estado del arte al demostrar que "la comparación impulsa la preferencia", logrando una evaluación de calidad más precisa, humana y generalizable.