Resumo Técnico: Massive Video Embedding Benchmark (MVEB)

Declaração do Problema

Os benchmarks atuais de representação de vídeo são fragmentados, tipicamente avaliando modelos em uma única capacidade (ex: reconhecimento de ação ou recuperação) em vez de avaliar a qualidade geral do embedding. Essa fragmentação torna difícil determinar se pontuações altas refletem uma compreensão robusta de vídeo ou um sobreajuste (overfitting) a tarefas específicas. Além disso, os benchmarks existentes frequentemente carecem de protocolos padronizados para medir a contribuição específica das trilhas de áudio para a compreensão de vídeo, e poucos suportam uma avaliação unificada entre as modalidades de texto, imagem, áudio e vídeo dentro de um único ecossistema.

Metodologia

Construção do Benchmark

Os autores introduzem o MVEB (Massive Video Embedding Benchmark), um benchmark curado de 23 tarefas derivado de um conjunto maior de 184 tarefas (MVEB+). O processo de seleção utilizou a poda de redundância baseada em correlação para manter a diversidade das tarefas enquanto reduzia os custos de avaliação. O MVEB integra-se ao ecossistema MTEB (Massive Text Embedding Benchmark) existente, garantindo protocolos de avaliação unificados entre texto, imagem, áudio e vídeo.

O benchmark é estruturado em torno de seis famílias de tarefas:

1. Classificação: Regressão logística em embeddings congelados (linear probing de poucos disparos/few-shot).
2. Classificação Zero-shot: Correspondência de embeddings de vídeo com prompts de texto sem treinamento.
3. Agrupamento (Clustering): Avaliação de agrupamento semântico via V-measure.
4. Classificação de Pares: Predição de critérios binários entre pares de vídeos.
5. Recuperação (Retrieval): Classificação de corpora por relevância através de oito direções de modalidade (ex: Texto→Vídeo, Áudio→Vídeo, Áudio+Vídeo→Texto).
6. Questionamento Centrado em Vídeo (VCQA): Seleção de respostas relevantes a partir de opções de texto dadas entradas de vídeo.

Uma inovação metodológica fundamental é o design de avaliação pareada. Para cada conjunto de dados que contém áudio, o MVEB executa as tarefas duas vezes: uma com entrada apenas de vídeo e outra com entrada de vídeo+áudio. Isso permite a medição direta da contribuição do áudio com base na proveniência da anotação:

• AV-grounded (Baseado em AV): Rótulos produzidos a partir de conteúdo de áudio e visual.
• V-grounded (Baseado em V): Rótulos produzidos apenas de visuais (mesmo que o áudio esteja presente).

Protocolo de Avaliação

O estudo avalia 33 checkpoints publicamente disponíveis abrangendo seis paradigmas de embedding:

• Codificadores de Vídeo auto-supervisionados (ex: V-JEPA-2).
• Codificadores de Contraste Vídeo-Texto (ex: X-CLIP).
• Codificadores de Contraste Áudio-Visual (ex: Perception Encoder).
• Modelos de Ligação Multimodal (ex: eBind).
• Modelos de Embedding baseados em MLLM (adaptados via treinamento contrastivo).
• MLLMs Generativos usados como embedders (via pooling de estado oculto sem adaptação contrastiva).

As avaliações são conduzidas de forma zero-shot (sem ajuste fino por tarefa). O protocolo respeita as configurações de amostragem declaradas de cada modelo (taxas de quadros, limites de duração de áudio) para evitar problemas de distribuição fora do padrão (out-of-distribution).

Principais Resultados

1. Não Existe um Único Modelo Dominante

Nenhum modelo único domina todas as tarefas. O desempenho varia significamente conforme o paradigma e o tipo de tarefa:

• Embeddings baseados em MLLM (ex: LCO-Embedding-Omni-7B) lideram em classificação, agrupamento, classificação de pares e QA.
• Modelos de ligação multimodal (ex: eBind) lideram em recuperação e classificação zero-shot.
• MLLMs Generativos usados diretamente como embedders (sem adaptação contrastiva) colapsam em tarefas cross-modais, obtendo pontuações um fator de ordem inferior aos seus equivalentes adaptados.

2. O Papel do Áudio

A contribuição da trilha de áudio não é universalmente positiva; ela depende da proveniência da anotação do conjunto de dados:

• Datasets AV-grounded: O áudio fornece um sinal positivo (+0,016 de ganho médio).
• Datasets V-grounded: O áudio atua como um fator de confusão (confound), prejudicando o desempenho (-0,046 de perda média).
  Isso resulta em uma lacuna consistente de seis pontos entre as famílias de modelos, sugerindo que o áudio ajuda apenas quando o rótulo de verdade fundamental (ground truth) foi derivado da modalidade de áudio.

3. Leaderboards Restritos à Modalidade

O artigo expõe dois sub-leaderboards para modelos que carecem de codificadores de áudio:

• MVEB(text, video): Especialistas em texto-vídeo (ex: Qwen3-VL-Embedding-8B) superam todos os modelos "omni" capazes de áudio neste subconjunto, reordenando o topo do campo.
• MVEB(video): Avalia codificadores apenas de vídeo.

4. Escala vs. Alinhamento

Modelos especializados menores (ex: eBind com 764M–1.8B de parâmetros) frequentemente superam modelos baseados em MLLM maiores em recuperação e classificação zero-shot. Isso sugere que o alinhamento dos dados de treinamento (especificamente a adaptação contrastiva) é mais crítico para o desempenho cross-modal do que a escala do backbone.

Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. Um Benchmark Unificado: O MVEB fornece o primeiro benchmark abrangente de 23 tarefas para embeddings de vídeo que se integra ao ecossistema MTEB, cobrindo classificação, recuperação, agrupamento e QA através de modalidades de texto, vídeo e áudio.
2. Insights Acionáveis para o Desenvolvimento: O estudo estabelece que um estágio de embedding contrastivo é um pré-requisito próximo para o desempenho cross-modal e que o alinhamento dos dados de treinamento importa mais do que a escala do modelo. Também destaca que o áudio é um sinal distinto cuja utilidade está estritamente ligada à proveniência da anotação.
3. Manutenção Impulsionada pela Comunidade: Diferente de benchmarks estáticos, o MVEB foi projetado para manutenção de longo prazo e contribuição da comunidade, apresentando versionamento de tarefas e modelos para evitar a estagnação.

Os autores posicionam o MVEB como o "irmão de vídeo" do MTEB, MMTEB, MIEB e MAEB, completando uma família unificada de benchmarks de embedding. O trabalho enfatiza que a compreensão de vídeo de propósito geral requer o equilíbrio entre forças específicas de modalidade (ex: especialistas em texto-vídeo para tarefas de texto-vídeo) com um alinhamento cross-modal robusto, em vez de depender de um único modelo "omni" para resolver todas as tarefas igualmente bem.