Scaling Audio-Visual Quality Assessment Dataset via Crowdsourcing

Este trabajo presenta un enfoque práctico para la construcción de un conjunto de datos de evaluación de calidad audiovisual mediante crowdsourcing, resultando en YT-NTU-AVQ, el conjunto de datos más grande y diverso hasta la fecha, que supera las limitaciones de escala y diversidad de los existentes mediante anotaciones fiables en entornos variados y una amplia cobertura de escenarios semánticos y niveles de calidad.

Lo esencial

¡Claro que sí! Imagina que quieres enseñar a un robot a entender si un video de YouTube es "bueno" o "malo". No basta con que el robot vea la imagen; también tiene que escuchar el sonido. Si el video tiene una imagen borrosa pero un sonido perfecto, ¿es bueno? ¿Y si el sonido es terrible pero la imagen es 4K?

Este artículo trata sobre cómo crear el mejor "libro de ejercicios" (conjunto de datos) posible para enseñar a estos robots, y cómo lo hicieron de una manera muy inteligente y económica.

Aquí tienes la explicación sencilla:

1. El Problema: Los Libros de Ejercicios Antiguos eran Aburridos y Pequeños

Antes de este trabajo, los científicos tenían "libros de ejercicios" (datasets) muy pequeños para probar sus robots.

• El problema: Eran como un solo libro de matemáticas con solo 50 problemas, todos hechos en una sala de laboratorio perfecta.
• La realidad: En el mundo real (YouTube, TikTok), los videos son miles, tienen sonidos y videos de mala calidad, y la gente los ve en sus teléfonos, no en laboratorios.
• La consecuencia: Los robots aprendían mal porque no habían visto la "vida real". Además, solo les decían "nota 5", sin explicar por qué (¿fue el sonido? ¿fue la imagen?).

2. La Solución: Una "Feria de Ciencias" Gigante (Crowdsourcing)

En lugar de contratar a 10 expertos en una sala silenciosa (que es caro y lento), los autores decidieron hacer una feria de ciencias gigante en internet.

• La analogía: Imagina que en lugar de pedirle a un chef estrella que pruebe 1,000 platos, le pides a 1,000 personas en su propia cocina que los prueben.
• El reto: ¿Cómo sabes que la gente en su casa no está comiendo con los ojos cerrados, usando altavoces de mala calidad o simplemente marcando números al azar?
• La solución del equipo: Crearon un sistema de "guardianes" muy estricto:
  1. El Portero: Antes de entrar, te piden que confirmes que tienes auriculares, pantalla grande y silencio. Si no, no pasas.
  2. El Entrenamiento: Te dan un mini-curso rápido para que sepas qué significa "calidad 3" o "calidad 5".
  3. El Filtro de Calidad: Si alguien marca todo al azar (como un robot mal programado), el sistema lo detecta y lo elimina. Es como un profesor que sabe quién está copiando y quién está estudiando de verdad.

3. La Recolección: Cosechando de un Huerto Inmenso

No inventaron los videos; los buscaron en el "huerto" más grande del mundo: YouTube.

• La estrategia: No cogieron videos al azar. Usaron un método llamado "muestreo estratificado".
• La analogía: Imagina que quieres hacer una ensalada. No puedes tirar todo lo que tienes en la nevera. Tienes que asegurarte de que haya un poco de lechuga, un poco de tomate, un poco de zanahoria, y que no se te olvide el queso.
• Lo que hicieron: Usaron inteligencia artificial para buscar videos que tuvieran:
  • Sonidos de diferentes tipos (música, habla, ruidos).
  • Calidad de video variada (desde borroso hasta nítido).
  • Temas diferentes (deportes, baile, cocina).
• El resultado: Crearon YT-NTU-AVQ, un libro de ejercicios con 1,620 videos reales de gente común. Es el más grande y diverso que existe hasta ahora.

4. El Detalle Extra: No solo una Nota, sino una Historia

Lo más genial es que no solo le pidieron a la gente: "¿Qué nota le das?".
Les preguntaron cosas más profundas:

• "¿Qué nota le das solo al video?"
• "¿Qué nota le das solo al audio?"
• "¿En qué pusiste más atención? ¿En el sonido o en la imagen?"

¿Qué descubrieron?

• La sorpresa: En videos de gente común (UGC), la imagen suele ser la reina. Si el video se ve mal, la gente lo odia, aunque el sonido sea perfecto. El sonido es importante, pero la vista manda más.
• El truco del cerebro: Si el sonido es malo y la imagen es buena, la gente se enfada más con el sonido. Pero si ambos son malos, la nota final suele ser la del peor de los dos. Es como una cadena: el eslabón más débil rompe la fuerza.

En Resumen

Este equipo de científicos dijo: "Olvídate de los laboratorios aburridos. Hagamos una prueba masiva en internet, pero con reglas muy estrictas para asegurarnos de que los datos sean de verdad".

Gracias a esto, ahora tenemos un gigantesco banco de datos que ayuda a los robots a entender mejor cómo los humanos juzgan la calidad de los videos que vemos todos los días. Es como pasar de estudiar con un mapa de una sola calle a tener un mapa de todo el mundo.

¿Dónde está el tesoro?
Todo el código y los datos están disponibles gratis en internet para que cualquiera pueda usarlos y seguir mejorando la tecnología. ¡Es un regalo para la comunidad científica!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Scaling Audio-Visual Quality Assessment Dataset via Crowdsourcing", traducido y estructurado en español:

1. Planteamiento del Problema

La investigación en Evaluación de Calidad Audiovisual (AVQA) se ha visto estancada debido a las limitaciones críticas de los conjuntos de datos existentes:

• Escala insuficiente: Los conjuntos de datos actuales son pequeños y carecen de diversidad en contenido y tipos de distorsión.
• Entornos controlados: La recolección de datos subjetivos tradicional requiere laboratorios controlados y sujetos con alta discriminación auditiva, lo que limita drásticamente el tamaño de la muestra.
• Falta de anotaciones ricas: La mayoría de los conjuntos de datos solo proporcionan una puntuación de calidad global, ignorando las percepciones específicas de cada modalidad (audio vs. video) y los factores semánticos.
• Contenido desactualizado: Muchos datos provienen de fuentes antiguas (<2015) y no reflejan el contenido generado por usuarios (UGC) moderno y diverso.

Estas carencias dificultan el desarrollo de modelos de aprendizaje profundo avanzados y el estudio de los mecanismos de percepción multimodal humana.

2. Metodología Propuesta

Los autores proponen un enfoque escalable y práctico para la construcción de conjuntos de datos AVQA, compuesto por tres pilares principales:

A. Marco de Experimento Subjetivo Crowdsourced (Recolectado por Multitudes)

Se diseñó la primera plataforma de crowdsourcing específica para AVQA, basada en jsPsych, que permite realizar experimentos fuera del laboratorio manteniendo la fiabilidad:

• Control de Entorno: Implementación de verificaciones automáticas (resolución de pantalla, disponibilidad de audio, conexión de red) y confirmación manual (uso de auriculares, espacio silencioso).
• Interfaz de Evaluación: Los sujetos califican secuencias de video-audio mediante cuatro preguntas de deslizadores (sliders):
  1. Calidad audiovisual global (AVQA).
  2. Calidad de video únicamente (AV_VQA).
  3. Calidad de audio únicamente (AV_AQA).
  4. Peso de atención (proporción de atención dedicada a audio vs. video).
• Filtrado Dinámico Basado en Rangos: Para eliminar respuestas poco fiables (aleatorias o negligentes), se propone un filtro que combina:
  • Consistencia de Rangos (SROCC): Correlación de rango de Spearman entre las puntuaciones del sujeto y el consenso del grupo.
  • Dispersión de Puntuaciones (STD): Desviación estándar para eliminar puntuaciones demasiado uniformes o concentradas.
  • Solo las respuestas que superan ambos umbrales se consideran válidas.

B. Estrategia de Preparación de Datos

Para garantizar la diversidad semántica y de calidad:

• Muestreo Estratificado: Se utilizó el conjunto de datos VALOR (1M de secuencias de YouTube) como base. Se aplicó un muestreo estratificado considerando: calidad de audio (pseudo-etiquetas de AudioBox), calidad de video (FasterVQA) y semántica de audio (mapa de AudioSet a habla, música y sonido).
• Selección Manual: Se añadieron 324 secuencias de YouTube (licencia Creative Commons, post-2017) seleccionadas manualmente para cubrir categorías semánticas específicas y asegurar la actualidad del contenido.
• Anotación Extendida: Se utilizaron modelos de IA (Gemini 2.5) y verificación manual para añadir resúmenes de video y categorías semánticas detalladas.

C. Experimento Multietapa

Se implementó un proceso de tres etapas para asegurar la calidad de los sujetos:

1. Preprueba: Establecimiento de puntuaciones de referencia y filtrado inicial.
2. Prueba de Cualificación: Nuevos sujetos califican un subconjunto de la preprueba; solo aquellos que pasan el filtro dinámico son elegibles.
3. Prueba Formal: Los sujetos cualificados califican el conjunto restante de videos.

3. Contribuciones Clave

• YT-NTU-AVQ: Se presenta el conjunto de datos AVQA más grande y diverso hasta la fecha, compuesto por 1,620 secuencias de audio y video generadas por usuarios.
• Marco de Crowdsourcing Validado: Demostración de que es posible realizar evaluaciones subjetivas AVQA fiables en entornos no controlados mediante un diseño experimental riguroso y filtros de datos dinámicos.
• Anotaciones Multidimensionales: El dataset incluye no solo la calidad global, sino también puntuaciones modales separadas (solo audio, solo video) y pesos de atención, permitiendo estudiar la interacción entre modalidades.
• Código y Datos Abiertos: El dataset y el código de la plataforma están disponibles públicamente.

4. Resultados y Análisis

• Fiabilidad de los Datos: El proceso de filtrado mejoró progresivamente la calidad de las envíos desde la preprueba hasta la prueba formal (ver Fig. 2 en el artículo). Se retuvieron aproximadamente el 67% de las calificaciones en la fase final.
• Dominio Visual: El análisis de correlación mostró que las puntuaciones de calidad de video (AV_VQA) tienen una correlación casi perfecta con la calidad global (AVQA) (SROCC = 0.9938). Esto sugiere que, en el contenido UGC "salvaje" (in-the-wild), la calidad visual domina la percepción global, incluso cuando el audio tiene distorsiones.
• Atención Asimétrica: Aunque los sujetos reportan una atención equilibrada en promedio (50% audio / 50% video), la atención tiende a desplazarse hacia la modalidad degradada cuando hay una diferencia de calidad significativa. Sin embargo, la puntuación global se ancla más en la modalidad de mayor calidad.
• Rendimiento de Modelos: Los modelos de evaluación de calidad de video (VQA) existentes lograron un rendimiento sorprendentemente alto en este dataset (SROCC > 0.93), confirmando la hipótesis de la dominancia visual en el UGC. Los modelos de fusión audio-video (AVQA) mostraron mejoras marginales sobre los modelos puramente visuales.

5. Significado e Impacto

Este trabajo rompe la barrera de escala en la investigación AVQA. Al demostrar que el crowdsourcing puede generar datos de alta calidad sin necesidad de laboratorios costosos, habilita el entrenamiento de modelos más robustos y generalizables. El conjunto de datos YT-NTU-AVQ proporciona una base fundamental para:

• Desarrollar algoritmos de evaluación de calidad más precisos para plataformas de streaming y redes sociales.
• Investigar los mecanismos psicológicos de la percepción humana multimodal.
• Entender cómo el contexto semántico y la calidad de una modalidad afectan la percepción de la otra en el contenido generado por usuarios moderno.