Resumen Técnico: VGGSounder: Evaluaciones Audiovisuales para Modelos de Fundación

Planteamiento del Problema

La emergencia de modelos de fundación audiovisual requiere benchmarks fiables para evaluar su comprensión multimodal. Aunque el conjunto de datos VGGSound es el estándar para la clasificación audiovisual, los autores identifican limitaciones críticas que distorsionan la evaluación de las capacidades auditivas y visuales:

1. Etiquetado Incompleto: VGGSound emplea un esquema de clasificación de etiqueta única, mientras que el contenido de video es inherentemente multietiqueta (por ejemplo, un video puede contener tanto "tocando un kit de batería" como "tocando una guitarra acústica").
2. Clases Solapadas y Ambiguas: Las 309 clases de VGGSound incluyen pares sinónimos (por ejemplo, "timpani" vs. "tympani"), subclases estrictas (por ejemplo, "cow lowing" vs. "bull bellowing") y conceptos semánticamente solapados que no son mutuamente excluyentes.
3. Desalineación de Modalidades: A pesar de los pasos de verificación, una parte significativa de las muestras (48.43% en el conjunto de prueba) contiene etiquetas que no son visibles, no son audibles, o ambas. Los confusores comunes incluyen música de fondo, voces en off e imágenes estáticas, que crean pistas que no se alinean con la etiqueta de verdad fundamental en ambas modalidades.

Estos problemas conducen a una subevaluación sistemática de los modelos multimodales, particularmente de los modelos de fundación que no fueron específicamente ajustados (fine-tuned) para VGGSound, y oscurecen la dependencia específica de los modelos hacia las pistas de audio frente a las visuales.

Metodología

Para abordar estas limitaciones, los autores introducen VGGSounder, un conjunto de prueba re-anotado integralmente y multietiqueta que extiende a VGGSound. La metodología involucra un riguroso pipeline de anotación:

1. Cambio a Clasificación Multietiqueta: El benchmark transiciona de la clasificación de etiqueta única a la multietiqueta para acomodar eventos co-ocurrentes.
2. Pipeline de Anotación Humana:
   • Creación del Estándar de Oro (Gold Standard): Un subconjunto de 417 muestras fue etiquetado manualmente por cuatro expertos en visión por computadora para establecer un conjunto de referencia.
   • Generación de Propuestas: Se utilizó una estrategia híbrida que combina predicciones de modelos de vanguardia y heurísticas manuales para generar propuestas de etiquetas con una recuperación (recall) >93%.
   • Re-anotación mediante Crowdsourcing: Todo el conjunto de prueba de VGGSound (15.1k clips) fue re-anotado vía Amazon Mechanical Turk. Las tareas de los anotadores consistieron en:
     • Identificar la presencia de música de fondo, voz en off o imágenes estáticas (meta-etiquetas).
     • Determinar la modalidad de cada propuesta de etiqueta (Audible, Visible o Ambos).
     • Añadir clases faltantes que no estaban presentes en las propuestas.
3. Fusión de Etiquetas: Las etiquetas finales se fusionaron mediante votación por mayoría. Se aplicaron automáticamente sinónimos de clases y relaciones de superclase/subclase para asegurar la consistencia (por ejemplo, si "cow lowing" está presente, se añade "cattle mooing").
4. Nuevas Métricas de Evaluación:
   • Métricas Estándar: Se computaron la Exactitud de Subconjunto (Subset Accuracy), el F1-score y el Hit score para entradas unimodales (solo audio, solo visual) y multimodales.
   • Confusión de Modalidad ($\mu$): Una nueva métrica propuesta para cuantificar el impacto negativo de añadir una segunda modalidad. Mide la fracción de muestras que un modelo clasifica correctamente con una sola modalidad pero incorrectamente cuando ambas modalidades están presentes. Esto expone modelos "distraídos" donde las modalidades no logran fusionarse con éxito.

Contribuciones Clave

1. Dataset VGGSounder: Un benchmark de clasificación audiovisual multietiqueta con anotaciones detalladas de modalidad por etiqueta (Audible/Visible) y meta-etiquetas para confusores comunes (música de fondo, voz en off, imágenes estáticas).
2. Análisis de Limitaciones: Una demostración cualitativa y cuantitativa de los fallos de VGGSound, incluyendo altas tasas de desalineación de modalidades y co-ocurrencia de clases.
3. Benchmarking Exhaustivo: Evaluación de 11 modelos de vanguardia, incluyendo cuatro modelos de incrustación (embedding) audiovisual (CAV-MAE, DeepAVFusion, AV-Siam, Equi-AV) y siete modelos de fundación (familia Gemini, VideoLLaMA-2, Unified-IO-2, PandaGPT, Ola).
4. Métrica de Confusión de Modalidad: La introducción de $\mu$ para detectar la degradación del rendimiento cuando los modelos se exponen a entradas de modalidades adicionales.

Resultados

Los autores evaluaron los modelos en VGGSounder, revelando varios hallazgos clave:

• Modelos de Fundación vs. Modelos de Embedding: Mientras que los modelos de fundación rinden de forma comparable a los modelos de embedding especializados en entradas multimodales, su rendimiento unimodal difiere significamente. Los modelos de embedding (ajustados para VGGSound) dependen fuertemente de las pistas de audio, mientras que los modelos de fundación exhiben un fuerte sesgo hacia las pistas visuales, rindiendo a menudo pobremente en entradas de solo audio.
• Confusión de Modalidad: Todos los modelos sufren de confusión de modalidad. Una fracción notable de muestras (4–11%) se clasifica correctamente con una sola modalidad pero se clasifica incorrectamente cuando ambas se proporcionan. Para la mayoría de los modelos de fundación, la confusión es mayor cuando se añade audio a la entrada visual ($\mu_A > \mu_V$), lo que sugiere que olvidan las etiquetas audibles cuando la información visual está presente.
• Impacto de las Meta-Clases:
  • Música de Fondo: Todos los modelos tienen dificultades para desacoplar la música de fondo de la fuente de audio primaria, lo que provoca caídas en el rendimiento.
  • Voz en Off: Los modelos de embedding sufren caídas significativas de rendimiento con voces en off, mientras que los modelos de fundación son menos distraídos o incluso mejoran.
  • Imágenes Estáticas: El rendimiento visual cae para todos los modelos en imágenes estáticas, indicando una dependencia de las pistas temporales.
• Calidad de las Etiquetas: La inclusión de etiquetas curadas por humanos (en lugar de solo sinónimos generados automáticamente) redujo significativamente los falsos positivos y mejoró la precisión del perfilado de rendimiento en comparación con el VGGSound original.

Significado

El artículo argumenta que VGGSounder es una herramienta crítica para la evaluación precisa de la próxima generación de modelos de fundación audiovisual. Al proporcionar anotaciones conscientes de la modalidad, permite:

• Perfilado Preciso: Los investigadores pueden distinguir si un modelo depende de pistas de audio, visuales o de ambas, e identificar modos de fallo específicos (por ejemplo, la distracción por música de fondo).
• Evaluación Robusta: El entorno multietiqueta y la eliminación de muestras desalineadas previenen la evaluación distorsionada de las capacidades de los modelos que se encuentra en el VGGSound original.
• Información Diagnóstica: La métrica de confusión de modalidad ($\mu$) proporciona una medida cuantitativa de qué tan bien integran las modalidades los modelos, resaltando que añadir una segunda modalidad no siempre mejora el rendimiento y, en ocasiones, puede degradarlo.

Los autores concluyen que VGGSounder facilita el desarrollo de estrategias de mitigación para la confusión de modalidad y sirve como una base más fiable para evaluar la comprensión multimodal.