💻 computer science

MVEB: Massive Video Embedding Benchmark

Cet article introduit MVEB, un benchmark complet de 23 tâches dérivé d'un ensemble plus vaste de 184 tâches qui évalue 33 modèles d'encodage vidéo à travers diverses modalités et tâches, révélant qu'aucun modèle unique ne domine toutes les catégories et soulignant l'influence critique et dépendante du contexte de l'audio sur la performance.

Auteurs originaux : Adnan El Assadi, Roman Solomatin, Isaac Chung, Chenghao Xiao, Deep Shah, Manan Dey, Shriya Sudhakar, Zacharie Bugaud, Wissam Siblini, Ayush Sunil Munot, Yashwanth Devavarapu, Rakshitha Ireddi, Michell

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Adnan El Assadi, Roman Solomatin, Isaac Chung, Chenghao Xiao, Deep Shah, Manan Dey, Shriya Sudhakar, Zacharie Bugaud, Wissam Siblini, Ayush Sunil Munot, Yashwanth Devavarapu, Rakshitha Ireddi, Michelle Yang, Márton Kardos, Niklas Muennighoff, Kenneth Enevoldsen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'embaucher un nouvel employé pour travailler dans une bibliothèque très animée et de haute technologie. Cette bibliothèque ne contient pas seulement des livres (texte), elle possède aussi des films (vidéo) et des bandes sonores (audio). Vous avez besoin de quelqu'un capable de comprendre, d'organiser et de trouver n'importe quoi instantanément dans cette bibliothèque.

Pendant longtemps, les personnes qui testaient ces « bibliothécaires IA » ne leur donnaient qu'un seul type de test à la fois. Un jour, on leur demandait : « Peux-tu reconnaître un chat ? » (Reconnaissance d'action). Le lendemain, « Peux-tu trouver une vidéo sur la cuisine ? » (Recherche). Le problème est qu'une IA pourrait être un génie pour repérer les chats, mais très mauvaise pour trouver des vidéos de cuisine. C'était comme embaucher un chef parce qu'il est excellent pour hacher des oignons, sans jamais tester s'il est réellement capable de cuisiner un repas.

Entrez en scène MVEB : L'examen vidéo « tout-en-un »

Les auteurs de cet article ont créé le MVEB (Massive Video Embedding Benchmark). Considérez le MVEB comme un examen final massif de 23 chapitres, conçu pour tester les modèles d'IA vidéo sur tout à la fois.

Voici comment l'article est structuré, en utilisant des analogies simples :

1. La structure de l'examen (Les 23 tâches)

Au lieu d'une seule question, le MVEB pose 23 types de questions différents pour voir si l'IA comprend bien la vidéo. Ces questions se répartissent en six catégories :

Classification : « Que se passe-t-il dans cette vidéo ? » (ex: Est-ce que quelqu'un danse ou cuisine ?)
Classification Zero-Shot : « Que se passe-t-il ? » sans avoir été spécifiquement enseigné sur cette activité précise auparavant.
Clustering (Regroupement) : « Regroupe ces 100 vidéos ensemble en fonction de leurs points communs », sans qu'on lui donne les catégories.
Classification par paire : « Ces deux vidéos montrent-elles la même activité ? »
Recherche (Retrieval) : « Trouve la vidéo qui correspond à cette description textuelle » (ou vice versa).
Réponse aux questions (Question Answering) : « Regarde cette vidéo et réponds à cette question spécifique à son sujet. »

2. La grande découverte : Pas de « super-élève »

Les chercheurs ont testé 33 modèles d'IA différents (les « élèves »).

Le résultat : Aucun modèle n'a obtenu un « A+ » sur tout.
L'analogie : Imaginez une équipe de sport. Un joueur est le meilleur pour marquer des buts (Classification), un autre est le meilleur pour faire des passes (Recherche), et un troisième est excellent en défense (Clustering). Il n'existe pas encore de « joueur parfait ».
Les gagnants :
- Les modèles basés sur les Grands Modèles de Langage Multimodaux (MLLM) étaient les meilleurs pour comprendre des questions complexes et regrouper des vidéos.
- Les modèles conçus pour lier différents sens ensemble (Liaison Multimodale) étaient les meilleurs pour trouver des vidéos à partir de texte.
- Avertissement crucial : Les modèles qui ont été initialement construits pour générer de nouvelles vidéos ou du texte (MLLM Génératifs) ont échoué lamentablement lorsqu'on leur a demandé simplement de comprendre et d'indexer des vidéos. C'est comme demander à un poète d'être bibliothécaire ; il peut écrire de belles histoires, mais il n'est pas formé pour organiser efficacement les étagères.

3. Le facteur « Son » : Quand l'audio aide (et quand il dessert)

L'un des aspects les plus intéressants de l'article est la façon dont ils ont testé la piste audio. Pour de nombreuses vidéos, ils ont testé l'IA deux fois : une fois avec l'image seule, et une fois avec l'image plus le son.

La découverte : Savoir si le son aide dépend entièrement de la manière dont les questions de test ont été rédigées.
- Scénario A (Ancré sur l'audio-visuel) : Si la question du test a été créée par des humains qui ont écouté le son et regardé la vidéo (ex: « Quel instrument joue ? »), ajouter le son à l'IA l'a aidée à trouver la bonne réponse.
- Scénario B (Ancré sur le visuel uniquement) : Si la question du test a été créée uniquement en regardant la vidéo (ex: « Est-ce que la personne saute ? »), ajouter le son a en fait nu à la performance de l'IA. Le son est devenu un « bruit » qui a confondu le modèle.
La leçon à retenir : L'audio n'est pas automatiquement « meilleur ». Il n'est utile que si la tâche nécessite réellement d'écouter.

4. L'examen « Court » vs « Long »

La liste complète des tests potentiels (MVEB+) comptait 184 tâches, ce qui prendrait une éternité à exécuter. Les auteurs ont utilisé un filtre intelligent pour choisir les 23 plus importantes (MVEB).

L'analogie : C'est comme un médecin qui prescrit un bilan complet de 184 analyses de sang. Ils ont réalisé que s'ils ne faisaient que les 23 plus critiques, ils obtiendraient 99 % des mêmes informations sur la santé du patient, mais en prenant 10 fois moins de temps et d'argent.

5. Les classements « Vidéo uniquement » vs « Full-Stack »

L'article a également créé des classements spéciaux pour les modèles qui ne peuvent pas gérer l'audio (ils ne voient que la vidéo) ou qui ne peuvent pas gérer le texte (ils ne voient que la vidéo).

La surprise : Lorsque l'on retire l'audio de l'équation, les classements changent complètement. Un modèle qui était 5ème lors de l'examen complet est passé 1er lors de l'examen « Vidéo uniquement ». Cela proule que les différents modèles sont construits pour différentes « saveurs » de compréhension.

Résumé

L'article présente une nouvelle façon de tester les IA vidéo, qui soit juste et complète. Il nous montre que :

La spécialisation compte : Les différents modèles d'IA sont bons pour différentes choses ; il n'y a pas encore de solution « universelle ».
L'entraînement est la clé : On ne peut pas prendre un modèle conçu pour écrire des histoires et s'attendre à ce qu'il soit bon pour organiser des vidéos ; il a besoin d'un entraînement spécifique pour ce travail.
Le contexte est roi : Ajouter du son à une vidéo n'aide que si la tâche nécessite d'écouter. Si la tâche est purement visuelle, le son peut devenir une distraction.

Les auteurs ont rendu tout leur code et leurs données afin que la communauté puisse continuer à mettre à jour cet « examen » à mesure que de nouveaux modèles d'IA sont inventés, garantissant ainsi que les tests ne deviennent jamais obsolètes.

Résumé Technique : Massive Video Embedding Benchmark (MVEB)

Problématique

Les benchmarks actuels de représentation vidéo sont fragmentés, évaluant généralement les modèles sur une seule capacité (par exemple, la reconnaissance d'actions ou la recherche) plutôt que d'évaluer la qualité globale des plongements (embeddings). Cette fragmentation rend difficile la détermination si des scores élevés reflètent une compréhension robuste de la vidéo ou un surapprentissage (overfitting) à des tâches spécifiques. De plus, les benchmarks existants manquent souvent de protocoles standardisés pour mesurer la contribution spécifique des pistes audio à la compréhension vidéo, et peu permettent une évaluation unifiée à travers les modalités texte, image, audio et vidéo au sein d'un même écosystème.

Méthodologie

Construction du Benchmark

Les auteurs introduisent le MVEB (Massive Video Embedding Benchmark), un benchmark de 23 tâches curatées dérivé d'un ensemble plus large de 184 tâches (MVEB+). Le processus de sélection a utilisé un élagage par corrélation pour maintenir la diversité des tâches tout en réduisant les coûts d'évaluation. MVEB s'intègre dans l'écosystème existant MTEB (Massive Text Embedding Benchmark), assurant des protocoles d'évaluation unifiés pour le texte, l'image, l'audio et la vidéo.

Le benchmark est structuré autour de six familles de tâches :

Classification : Régression logistique sur des plongements gelés (linear probing à quelques exemples/few-shot).
Classification Zero-shot : Mise en correspondance de plongements vidéo avec des prompts textuels sans entraînement.
Clustering : Évaluation du regroupement sémantique via la mesure V (V-measure).
Classification de paires : Prédiction de critères binaires entre des paires de vidéos.
Recherche (Retrieval) : Classement de corpus par pertinence à travers huit directions de modalités (ex: Texte $\rightarrow$ Vidéo, Audio $\rightarrow$ Vidéo, Audio+Vidéo $\rightarrow$ Texte).
Question-Réponse Centrée sur la Vidéo (VCQA) : Sélection de réponses pertinentes parmi des options textuelles données des entrées vidéo.

Une innovation méthodologique clé est la conception d'évaluation par paires. Pour chaque jeu de données contenant de l'audio, MVEB exécute les tâches deux fois : une fois avec une entrée vidéo uniquement et une fois avec une entrée vidéo+audio. Cela permet de mesurer directement la contribution de l'audio basée sur la provenance de l'annotation :

AV-grounded (ancrée AV) : Étiquettes produites à partir du contenu audio et visuel.
V-grounded (ancrée V) : Étiquettes produites à partir des visuels seuls (même si l'audio est présent).

Protocole d'Évaluation

L'étude évalue 33 checkpoints publics couvrant six paradigmes d'embedding :

Encodeurs vidéo auto-supervisés (ex: V-JEPA-2).
Encodeurs contraste de vidéo-texte (ex: X-CLIP).
Encodeurs contraste audio-visuels (ex: Perception Encoder).
Modèles de liaison multimodale (ex: eBind).
Modèles d'embedding basés sur des MLLM (adaptés via un entraînement contrastif).
MLLM génératifs utilisés comme encodeurs (via le pooling de l'état caché sans adaptation contrastive).

Les évaluations sont menées en zero-shot (sans fine-tuning par tâche). Le protocole respecte les configurations d'échantillonnage déclarées de chaque modèle (taux de rafraîchissement des images, plafonds de durée audio) pour éviter les problèmes de distribution hors domaine (out-of-distribution).

Résultats Clés

1. Pas de Modèle Dominant Unique

Aucun modèle ne domine l'ensemble des tâches. La performance varie considérablement selon le paradigme et le type de tâche :

Les plongements basés sur les MLLM (ex: LCO-Embedding-Omni-7B) dominent en classification, clustering, classification de paires et QA.
Les modèles de liaison multimodale (ex: eBind) dominent en recherche et classification zero-shot.
Les MLLM génératifs utilisés directement comme encodeurs (sans adaptation contrastive) s'effondrent sur les tâches cross-modales, obtenant des scores un ordre de grandeur inférieurs à leurs homologues adaptés.

2. Le Rôle de l'Audio

La contribution de la piste audio n'est pas universellement positive ; elle dépend de la provenance de l'annotation du jeu de données :

Jeux de données AV-grounded : L'audio fournit un signal positif (+0,016 de gain moyen).
Jeux de données V-grounded : L'audio agit comme un facteur de confusion, nuisant à la performance (-0,046 de perte moyenne).
Cela se traduit par un écart constant de six points entre les familles de modèles, suggérant que l'audio n'aide que lorsque les étiquettes de vérité terrain ont été dérivées de la modalité audio.

3. Leaderboards Restreints par Modalité

L'article expose deux sous-leaderboards pour les modèles dépourvus d'encodeurs audio :

MVEB(text, video) : Les spécialistes texte-vidéo (ex: Qwen3-VL-Embedding-8B) surpassent tous les modèles "omni" capables d'audio sur ce sous-ensemble, réorganisant le sommet du classement.
MVEB(video) : Évalue les encodeurs vidéo uniquement.

4. Échelle vs Alignement

Des modèles spécialisés plus petits (ex: eBind avec 764M–1,8B de paramètres) surpassent souvent les modèles basés sur les MLLM plus larges en recherche et en classification zero-shot. Cela suggère que l'alignement des données d'entraînement (spécifiquement l'adaptation contrastive) est plus critique pour la performance cross-modale que l'échelle du backbone.

Signification et Contributions

L'article revendique trois contributions principales :

Un Benchmark Unifié : MVEB fournit le premier benchmark complet de 23 tâches pour les plongements vidéo qui s'intègre à l'écosystème MTEB, couvrant la classification, la recherche, le clustering et le QA à travers les modalités texte, vidéo et audio.
Des Aperçus Actionnables pour le Développement : L'étude établit qu'une étape d'embedding contrastif est un prérequis quasi indispensable pour la performance cross-modale et que l'alignement des données d'entraînement importe plus que l'échelle du modèle. Elle souligne également que l'audio est un signal distinct dont l'utilité est strictement liée à la provenance de l'annotation.
Maintenance Pilotée par la Communauté : Contrairement aux benchmarks statiques, MVEB est conçu pour une maintenance à long terme et une contribution de la communauté, présentant un versionnage des tâches et des modèles pour éviter la stagnation.

Les auteurs positionnent MVEB comme le "frère vidéo" de MTEB, MMTEB, MIEB et MAEB, complétant une famille unifiée de benchmarks d'embedding. Le travail souligne que la compréhension vidéo généraliste nécessite de trouver un équilibre entre les forces spécifiques aux modalités (ex: spécialistes texte-vidéo pour les tâches texte-vidéo) et un alignement cross-modal robuste, plutôt que de compter sur un seul modèle "omni" pour résoudre toutes les tâches de manière égale.