Score2Instruct: Scaling Up Video Quality-Centric Instructions via Automated Dimension Scoring

1. El Problema

La Evaluación de Calidad de Video (VQA) tradicional se limita a generar una puntuación numérica única (como el MOS - Mean Opinion Score) para juzgar la fidelidad visual. Sin embargo, esta aproximación tiene limitaciones críticas:

• Falta de Explicabilidad: Un número no describe las dimensiones complejas e interrelacionadas de la calidad (ruido, desenfoque, parpadeo, etc.), lo que restringe su utilidad práctica.
• Limitaciones de los Modelos Multimodales (LMMs): Aunque los LMMs tienen el potencial de ofrecer justificaciones lingüísticas, su capacidad actual para evaluar la calidad del video es imprecisa.
• Escalabilidad de Datos: Los métodos anteriores de instruction tuning (ajuste por instrucciones) dependen en gran medida de anotaciones humanas costosas, sesgadas y de APIs propietarias (como GPT-4), lo que limita la escala y la eficiencia de la generación de datos. Además, la mayoría de los trabajos se centran en imágenes, ignorando los factores temporales específicos del video.

2. Metodología

Los autores proponen una solución integral basada en tres pilares: un pipeline de generación automatizada, un dataset masivo y una estrategia de entrenamiento progresivo.

A. Pipeline de Generación de Instrucciones Basadas en Puntuación (SIG)

El núcleo de la propuesta es SIG, un pipeline automatizado que elimina la dependencia de anotadores humanos para la creación de datos masivos:

1. Recolección de Fuentes de Video: Se combinan videos de bases de datos VQA etiquetadas (con alta riqueza de dimensiones, como Maxwell) y videos no etiquetados de bases de datos generales (como InternVid). Se utiliza un evaluador de calidad ligero para obtener etiquetas de "ruido" y asegurar una distribución equilibrada de la calidad.
2. Puntuación Automatizada de Dimensiones: En lugar de pedir descripciones completas, SIG utiliza modelos expertos desplegados en una plataforma de procesamiento de video para puntuar automáticamente 14 dimensiones de calidad específicas (ej. enfoque, nitidez, ruido, artefactos de compresión, fluidez, etc.). Estas puntuaciones continuas (0-1) se mapean a niveles de texto definidos por estándares ITU (Malo, Pobre, Regular, Bueno, Excelente).
3. Agregación Jerárquica de Cadena de Pensamiento (CoT): Para imitar el razonamiento del sistema visual humano (HVS), se diseña un CoT jerárquico. Este agrupa las 14 dimensiones en categorías de "distorsión" y "estética", genera puntuaciones intermedias y luego sintetiza una justificación completa.
4. Refinamiento y Expansión: Un LLM (Vicuna) reescribe las justificaciones para mejorar la naturalidad del lenguaje (sin alterar las puntuaciones) y las combina con descripciones de alto nivel (captions) generadas por ShareCaptioner-Video. Finalmente, se expanden las justificaciones en 216K pares de preguntas y respuestas (QA) de tipos "Qué/Cómo" y "Sí/No".

B. Dataset Score2Instruct (S2I)

El resultado del pipeline SIG es S2I, un dataset masivo de 320,000 pares de instrucción-respuesta:

• 104K justificaciones detalladas con puntuaciones de dimensiones finas.
• 216K pares de preguntas y respuestas para entrenamiento interactivo.

C. Estrategia de Ajuste Progresivo

Para aprovechar S2I, los autores proponen un entrenamiento en dos etapas:

1. Etapa I (Pre-entrenamiento): Se entrena al modelo en las 100K descripciones de dimensiones (sin justificaciones complejas) para predecir los niveles de calidad textuales. Esto enseña al modelo a "ver" y cuantificar defectos específicos. Se congelan los pesos del LLM y se ajustan solo el codificador visual y el proyector.
2. Etapa II (Ajuste de Instrucciones): Se entrena el modelo completo (con LoRA en el LLM) en las 220K justificaciones y pares QA restantes. Esto refina la capacidad de razonamiento y generación de lenguaje natural.

D. Benchmark S2I-Bench

Se crea un nuevo benchmark con 400 preguntas abiertas para evaluar la capacidad de justificación. A diferencia de métricas anteriores, utiliza VCG scores (Video ChatGPT scores) adaptados, que evalúan:

• Corrección de la información (CI).
• Orientación al detalle (DO).
• Comprensión contextual (CU).
• Comprensión temporal (TU).

3. Contribuciones Clave

1. Pipeline SIG: Un método escalable y eficiente para generar instrucciones centradas en la calidad de video sin depender de anotación humana experta ni APIs propietarias.
2. Dataset S2I: El primer dataset de ajuste por instrucciones a gran escala (320K pares) que cubre tanto la puntuación de calidad como el razonamiento justificado en video.
3. Benchmark S2I-Bench: Una evaluación rigurosa que incluye métricas específicas para video (temporalidad) y preguntas abiertas, superando las limitaciones de benchmarks anteriores.
4. Estrategia de Entrenamiento: Validación de que un enfoque progresivo (primero puntuación de dimensiones, luego justificación) mejora simultáneamente la precisión de la puntuación y la calidad de la justificación en múltiples modelos LMM.

4. Resultados

Los experimentos se realizaron sobre seis modelos LMM de video de código abierto (incluyendo LLaVA-OneVision, Video-LLaVA, InternVL) y se compararon con modelos cerrados (GPT-4o, Gemini).

• Justificación de Calidad: En el benchmark S2I-Bench, los modelos ajustados con S2I mostraron mejoras significativas en todas las métricas VCG. Por ejemplo, LLaVA-OneVision mejoró su puntuación total en +1.92 puntos, destacando especialmente en comprensión temporal (TU) y corrección de información (CI).
• Puntuación de Calidad: Los modelos ajustados superaron a los modelos base en correlación de rango (SRCC) y correlación lineal (PLCC) en cinco datasets estándar de VQA (Maxwell, LSVQ, KoNViD-1k, LIVE-VQC). Las mejoras fueron consistentes tanto en escenarios intra-dataset como en transferencia cruzada (cross-dataset), demostrando una mayor generalización.
• Comparación: Los modelos ajustados con S2I superaron a modelos cerrados como GPT-4o en tareas de justificación de calidad, logrando un equilibrio superior entre precisión numérica y explicabilidad lingüística.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la Evaluación de Calidad de Video impulsada por IA:

• Escalabilidad: Demuestra que es posible construir datasets masivos de alta calidad para tareas de percepción visual sin el cuello de botella de la anotación humana, utilizando modelos expertos automatizados.
• Explicabilidad: Permite que los LMMs no solo "califiquen" un video, sino que expliquen por qué tiene esa calidad, identificando defectos específicos (ruido, desenfoque, mala iluminación) y su impacto temporal.
• Aplicabilidad: Facilita el desarrollo de asistentes de calidad versátiles para aplicaciones como mejora de video, transmisión, y control de calidad en plataformas de contenido generado por usuarios (UGC) e IA (AIGC).
• Reproducibilidad: Al liberar el código, el dataset y el benchmark, la comunidad puede avanzar más allá de las limitaciones de los datos propietarios, fomentando el desarrollo de evaluadores de calidad más robustos y comprensibles.