Technische Samenvatting: Massive Video Embedding Benchmark (MVEB)

Probleemstelling

Huidige benchmarks voor video-representaties zijn gefragmenteerd en evalueren doorgaans modellen op een enkele capaciteit (bijv. actieherkenning of retrieval), in plaats van de algemene kwaliteit van embeddings te beoordelen. Deze fragmentatie maakt het moeilijk te bepalen of hoge scores duiden op robuust video-begrip of op overfitting op specifieke taken. Bovendien ontbreken bestaande benchmarks vaak gestandaardiseerde protocollen voor het meten van de specifieke bijdrage van audiot tracks aan video-begrip, en ondersteunen weinig van hen een verenigde evaluatie over tekst-, beeld-, audio- en videomodaliteiten binnen één ecosysteem.

Methodologie

Constructie van de Benchmark

De auteurs introduceren MVEB (Massive Video Embedding Benchmark), een gecureerde benchmark van 23 taken afgeleid van een grotere pool van 184 taken (MVEB+). Het selectieproces maakte gebruik van correlatiegebaseerde redundantie-pruning om de diversiteit van taken te behouden terwijl de evaluatiekosten werden verminderd. MVEB integreert in het bestaande MTEB (Massive Text Embedding Benchmark) ecosysteem, wat zorgt voor verenigde evaluatieprotocollen over tekst-, beeld-, audio- en videomodaliteiten.

De benchmark is gestructureerd rond zes taakfamilies:

1. Classificatie: Logistische regressie op bevroren embeddings (few-shot linear probing).
2. Zero-shot Classificatie: Het matchen van video-embeddings aan tekstprompts zonder training.
3. Clustering: Het evalueren van semantische groepering via V-measure.
4. Paarclassificatie: Het voorspellen van binaire criteria tussen video-paren.
5. Retrieval: Het rangschikken van corpora op relevantie over acht modaliteitsrichtingen (bijv. Tekst→Video, Audio→Video, Audio+Video→Tekst).
6. Video-Centric Question Answering (VCQA): Het selecteren van relevante antwoorden uit tekstopties op basis van video-inputs.

Een belangrijke methodologische innovatie is het gepaarde evaluatieontwerp. Voor elke dataset die audio bevat, voert MVEB de taken tweemaal uit: één keer met alleen video-input en één keer met video+audio-input. Dit maakt de directe meting van de bijdrage van audio mogelijk op basis van de annotatie-herkomst (annotation provenance):

• AV-grounded: Labels geproduceerd uit zowel audio als visuele content.
• V-grounded: Labels geproduceerd uit enkel visuals (zelfs als audio aanwezig is).

Evaluatieprotocol

De studie evalueert 33 publiekelijk beschikbare checkpoints verspreid over zes embedding-paradigma's:

• Zelfgesuperviseerde video-encoders (bijv. V-JEPA-2).
• Video-tekst contrastieve encoders (bijv. X-CLIP).
• Audio-visuele contrastieve encoders (bijv. Perception Encoder).
• Multimodale binding-modellen (bijv. eBind).
• MLLM-gebaseerde embedding-modellen (aangepast via contrastieve training).
• Generatieve MLLM's gebruikt als embedders (via hidden-state pooling zonder contrastieve adaptatie).

Evaluaties worden uitgevoerd via zero-shot (geen per-taak fine-tuning). Het protocol respecteert de door elk model opgegeven sampling-configuraties (frame rates, audio duur-caps) om problemen met out-of-distribution data te voorkomen.

Belangrijkste Resultaten

1. Geen enkel dominant model

Geen enkel model domineert alle taken. Prestaties variëren aanzienlijk per paradigma en taaktype:

• MLLM-gebaseerde embeddings (bijv. LCO-Embedding-Omni-7B) leiden in classificatie, clustering, paarclassificatie en QA.
• Multimodale binding-modellen (bijv. eBind) leiden in retrieval en zero-shot classificatie.
• Generatieve MLLM's die direct als embedders worden gebruikt (zonder contrastieve adaptatie), storten in bij cross-modale taken en scoren een orde van grootte lager dan hun aangepaste tegenhangers.

2. De rol van audio

De bijdrage van de audiotrack is niet universeel positief; het hangt af van de annotatie-herkomst van de dataset:

• AV-grounded datasets: Audio levert een positief signaal (+0,016 gemiddelde winst).
• V-grounded datasets: Audio werkt als een confounder, wat de prestaties schaadt (-0,046 gemiddeld verlies).
  Dit resulteert in een consistente gap van zes punten over verschillende modelfamilies, wat suggereert dat audio alleen helpt wanneer de grondwaarheid-labels (ground truth labels) zijn afgeleid van de audio-modaliteit.

3. Modaliteit-beperkte leaderboards

Het paper legt twee sub-leaderboards bloot voor modellen die geen audio-encoders hebben:

• MVEB(text, video): Tekst-video specialisten (bijv. Qwen3-VL-Embedding-8B) presteren beter dan alle audio-bekwame "omni" modellen op deze subset, wat de top van het veld herordent.
• MVEB(video): Evalueert video-only encoders.

4. Schaal versus Alignment

Kleinere gespecialiseerde modellen (bijv. eBind met 764M–1,8B parameters) presteren vaak beter dan grotere MLLM-gebaseerde modellen op retrieval en zero-shot classificatie. Dit suggereert dat training-data alignment (specifiek contrastieve adaptatie) kritischer is voor cross-modale prestaties dan de schaal van de backbone.

Betekenis en Bijdragen

Het paper claimt drie primaire bijdragen:

1. Een Verenigde Benchmark: MVEB biedt de eerste uitgebreide, 23-taken benchmark voor video-embeddings die integreert met het MTEB-ecosysteem, waarbij classificatie, retrieval, clustering en QA over tekst-, video- en audiomodaliteiten worden gedekt.
2. Actiegerichte Inzichten voor Ontwikkeling: De studie stelt vast dat een contrastieve embedding-fase een bijna noodzakelijke voorwaarde is voor cross-modale prestaties en dat training-data alignment belangrijker is dan model schaal. Het benadrukt ook dat audio een onderscheidend signaal is waarvan het nut strikt verbonden is aan de annotatie-herkomst.
3. Community-gestuurde Onderhoudbaarheid: In tegenstelling tot statische benchmarks, is MVEB ontworiment voor langdurig onderhoud en community-bijdragen, met taak- en modelversiebeheer om stagnatie te voorkomen.

De auteurs positioneren MVEB als de "video-sibling" van MTEB, MMTEB, MIEB en MAEB, waarmee zij een verenigde familie van embedding-benchmarks voltooien. Het werk benadrukt dat algemeen video-begrip een balans vereist tussen modaliteit-specifieke sterktes (bijv. tekst-video specialisten voor tekst-video taken) en robuuste cross-modale alignment, in plaats van te vertrouwen op één enkel "omni" model om alle taken even goed op te lossen.