Resumen Técnico: Benchmark de Embeddings de Video Masivo (MVEB)

Declaración del Problema

Los benchmarks actuales de representación de video están fragmentados, evaluando típicamente modelos en una sola capacidad (por ejemplo, reconocimiento de acciones o recuperación) en lugar de evaluar la calidad de los embeddings de propósito general. Esta fragmentación dificulta determinar si las puntuaciones altas reflejan una comprensión robusta del video o un sobreajuste a tareas específicas. Además, los benchmarks existentes suelen carecer de protocolos estandarizados para medir la contribución específica de las pistas de audio a la comprensión del video, y pocos admiten una evaluación unificada a través de las modalidades de texto, imagen, audio y video dentro de un mismo ecosistema.

Metodología

Construcción del Benchmark

Los autores introducen el MVEB (Massive Video Embedding Benchmark), un benchmark curado de 23 tareas derivado de un conjunto más amplio de 184 tareas (MVEB+). El proceso de selección utilizó la poda de redundancia basada en correlación para mantener la diversidad de las tareas y reducir los costos de evaluación. MVEB se integra en el ecosistema existente MTEB (Massive Text Embedding Benchmark), asegurando protocolos de evaluación unificados a través de texto, imagen, audio y video.

El benchmark se estructura en torno a seis familias de tareas:

1. Clasificación: Regresión logística sobre embeddings congelados (linear probing de pocos disparos/few-shot).
2. Clasificación Zero-shot: Emparejamiento de embeddings de video con prompts de texto sin entrenamiento.
3. Clustering: Evaluación de la agrupación semántica mediante V-measure.
4. Clasificación de Pares: Predicción de criterios binarios entre pares de videos.
5. Recuperación (Retrieval): Clasificación de corpora por relevancia a través de ocho direcciones de modalidad (por ejemplo, Texto→Video, Audio→Video, Audio+Video→Texto).
6. Preguntas y Respuestas Centradas en Video (VCQA): Selección de respuestas relevantes a partir de opciones de texto dadas las entradas de video.

Una innovación metodológica clave es el diseño de evaluación por pares. Para cada conjunto de datos que contiene audio, MVEB ejecuta las tareas dos veces: una con entrada solo de video y otra con entrada de video+audio. Esto permite la medición directa de la contribución del audio basada en la procedencia de la anotación:

• Basada en AV (AV-grounded): Etiquetas producidas a partir de contenido tanto de audio como visual.
• Basada en V (V-grounded): Etiquetas producidas únicamente a partir de lo visual (aunque el audio esté presente).

Protocolo de Evaluación

El estudio evalúa 33 checkpoints disponibles públicamente que abarcan seis paradigmas de embedding:

• Codificadores de video autosupervisados (ej. V-JEPA-2).
• Codificadores de contraste video-texto (ej. X-CLIP).
• Codificadores de contraste audio-visual (ej. Perception Encoder).
• Modelos de vinculación multimodal (ej. eBind).
• Modelos de embedding basados en MLLM (adaptados mediante entrenamiento contrastivo).
• MLLMs generativos utilizados como embedders (mediante el pooling del estado oculto sin adaptación contrastiva).

Las evaluaciones se realizan en modo zero-shot (sin ajuste fino por tarea). El protocolo respeta las configuraciones de muestreo declaradas por cada modelo (tasas de fotogramas, límites de duración de audio) para evitar problemas de distribución fuera de rango (out-of-distribution).

Resultados Clave

1. No hay un único modelo dominante

Ningún modelo domina todas las tareas. El rendimiento varía significativamente según el paradigma y el tipo de tarea:

• Los embeddings basados en MLLM (ej. LCO-Embedding-Omni-7B) lideran en clasificación, clustering, clasificación de pares y QA.
• Los modelos de vinculación multimodal (ej. eBind) lideran en recuperación y clasificación zero-shot.
• Los MLLMs generativos usados directamente como embedders (sin adaptación contrastiva) colapsan en tareas cross-modales, obteniendo puntuaciones un orden de magnitud menores que sus contrapartes adaptadas.

2. El papel del audio

La contribución de la pista de audio no es universalmente positiva; depende de la procedencia de la anotación del conjunto de datos:

• Datasets basados en AV (AV-grounded): El audio proporciona una señal positiva (+0.016 de ganancia promedio).
• Datasets basados en V (V-grounded): El audio actúa como un factor de confusión, perjudicando el rendimiento (-0.046 de pérdida promedio).
  Esto resulta en una brecha constante de seis puntos entre las familias de modelos, lo que sugiere que el audio ayuda solo cuando la verdad de campo (ground truth) de las etiquetas se derivó de la modalidad de audio.

3. Leaderboards restringidos por modalidad

El artículo expone dos sub-leaderboards para modelos que carecen de codificadores de audio:

• MVEB(texto, video): Los especialistas en texto-video (ej. Qwen3-VL-Embedding-8B) superan a todos los modelos "omni" con capacidad de audio en este subconjunto, reordenando la cima del campo.
• MVEB(video): Evalúa codificadores de solo video.

4. Escala vs. Alineación

Modelos especializados más pequeños (ej. eBind con 764M–1.8B de parámetros) a menudo superan a los modelos basados en MLLM más grandes en recuperación y clasificación zero-shot. Esto sugiere que la alineación de los datos de entrenamiento (específicamente la adaptación contrastiva) es más crítica para el rendimiento cross-modal que la escala del backbone.

Significancia y Contribuciones

El artículo reclama tres contribuciones primarias:

1. Un Benchmark Unificado: MVEB proporciona el primer benchmark integral de 23 tareas para embeddings de video que se integra con el ecosistema MTEB, cubriendo clasificación, recuperación, clustering y QA a través de las modalidades de texto, video y audio.
2. Información Accionable para el Desarrollo: El estudio establece que una etapa de embedding contrastivo es un casi-requisito para el rendimiento cross-modal y que la alineación de los datos de entrenamiento importa más que la escala del modelo. También destaca que el audio es una señal distinta cuya utilidad está estrictamente ligada a la procedencia de la anotación.
3. Mantenimiento Impulsado por la Comunidad: A diferencia de los benchmarks estáticos, MVEB está diseñado para un mantenimiento a largo plazo y la contribución de la comunidad, contando con versionado de tareas y modelos para evitar el estancamiento.

Los autores posicionan a MVEB como el "hermano de video" de MTEB, MMTEB, MIEB y MAEB, completando una familia unificada de benchmarks de embedding. El trabajo enfatiza que la comprensión de video de propósito general requiere equilibrar las fortalezas específicas de cada modalidad (ej. especialistas en texto-video para tareas de texto-video) con una alineación cross-modal robusta, en lugar de confiar en un único modelo "omni" para resolver todas las tareas por igual.