UniVBench: Towards Unified Evaluation for Video Foundation Models

Ce papier présente UniVBench, un benchmark unifié et un système d'évaluation agentic (UniV-Eval) conçus pour évaluer de manière holistique les capacités des modèles de fondation vidéo dans la compréhension, la génération, l'édition et la reconstruction de vidéos complexes, comblant ainsi le fossé des évaluations fragmentées existantes.

L'essentiel

🎬 UniVBench : Le "Grand Oral" pour les IA qui font des vidéos

Imaginez que vous êtes un réalisateur de cinéma très exigeant. Jusqu'à présent, vous aviez deux types d'acteurs très spécialisés :

1. Les "Rédacteurs" : Ils sont excellents pour regarder une vidéo et écrire un résumé parfait de ce qui s'y passe (compréhension).
2. Les "Peintres" : Ils sont géniaux pour prendre une description écrite et créer une magnifique vidéo à partir de rien (génération).

Mais aujourd'hui, une nouvelle génération d'acteurs arrive sur le plateau : les "IA Fondamentales Vidéo". Ce sont des super-héros capables de faire les deux : ils peuvent regarder une vidéo, comprendre l'histoire, et ensuite recréer ou modifier cette vidéo sur commande.

Le problème ? Comment les juger ?

🚧 Le Problème : Des examens trop simplistes

Jusqu'à présent, pour tester ces IA, on utilisait des "examens" séparés et imparfaits :

• Pour la compréhension, on leur donnait des vidéos volées sur internet (problème de droits d'auteur) et on leur demandait juste de dire "il y a un chat".
• Pour la génération, on leur demandait de faire des vidéos de 2 secondes très simples.
• Pour le montage, on testait seulement des images fixes, pas des scènes complexes.

C'est comme si vous vouliez évaluer un chef cuisinier capable de tout faire (cuisiner, servir, nettoyer), mais que vous le testiez uniquement sur sa capacité à éplucher une pomme, ou uniquement sur sa capacité à faire une omelette, sans jamais lui demander de préparer un vrai repas complet. De plus, les notes étaient souvent juste un chiffre unique (ex: "7/10"), ce qui ne vous disait pas où il avait échoué (est-ce l'assaisonnement ? la cuisson ? la présentation ?).

✨ La Solution : UniVBench (Le Grand Concours Cinéma)

Les auteurs de cet article ont créé UniVBench, un nouveau terrain de jeu pour évaluer ces IA de manière globale. Voici comment ça marche, avec des analogies simples :

1. Une salle de cinéma privée et légale (Le Dataset)
Au lieu d'utiliser des vidéos volées sur YouTube, ils ont fait appel à 15 experts humains (des scénaristes et réalisateurs) pour créer 200 vidéos originales.

• L'analogie : Imaginez un studio de cinéma privé où l'on a écrit 200 scénarios complexes, avec plusieurs scènes (pas juste un plan fixe), des changements de lumière, des mouvements de caméra précis, et des personnages qui interagissent. Tout est fait main, sans droits d'auteur, pour être sûr que l'IA ne triche pas en ayant déjà vu ces vidéos sur internet.

2. Le "Défi des 6 Missions" (Les Tâches)
Au lieu de tester une seule compétence, UniVBench lance l'IA dans 6 défis différents :

• V2T (Vidéo vers Texte) : "Regarde cette vidéo et écris un scénario détaillé."
• T2V (Texte vers Vidéo) : "Voici un texte, fais la vidéo."
• R2V (Image vers Vidéo) : "Voici une photo de référence, crée une vidéo qui ressemble à ça."
• TV2V / RV2V (Édition) : "Prends cette vidéo et change le personnage en un robot" ou "Change la couleur du ciel en rouge."
• V2V (Reconstruction - La nouveauté !) : C'est le test ultime. L'IA doit d'abord comprendre une vidéo (écrire un texte), puis recréer la vidéo à partir de ce texte.
  • L'analogie : C'est comme si vous deviez décrire un tableau à un ami, puis lui demander de le peindre. Si le tableau final est moche, c'est soit que vous avez mal décrit (mauvaise compréhension), soit que l'ami est un mauvais peintre (mauvaise génération). Cela permet de savoir exactement où l'IA bloque.

3. Le Juge Robotique Ultra-Détaillé (UniV-Eval)
Au lieu de donner une note globale, le système utilise un agent IA intelligent (un "Juge Robot") qui agit comme un critique de cinéma très pointu.

• L'analogie : Au lieu de dire "Le film est moyen (5/10)", le Juge Robot vous donne une checklist :
  • Le personnage principal a-t-il gardé ses vêtements ? (Oui/Non)
  • La lumière est-elle cohérente ? (Oui/Non)
  • Le mouvement de la caméra est-il fluide ? (Oui/Non)
  • L'ambiance est-elle triste ou joyeuse comme demandé ?
  • Il pointe les erreurs spécifiques : "Attention, dans la 3ème scène, le chien a changé de couleur !"

🏆 Ce que l'on a appris (Les Résultats)

En testant les meilleures IA actuelles avec ce nouveau système, les chercheurs ont découvert des choses surprenantes :

• Les spécialistes sont toujours meilleurs : Les IA faites uniquement pour écrire des vidéos (comme Seedance) sont meilleures que les IA "tout-en-un" pour la génération.
• Le maillon faible : La plupart des IA ont du mal avec les actions complexes (ex: un chat qui ouvre une boîte de conserve). Elles comprennent bien les couleurs et les styles, mais échouent souvent sur la logique du mouvement.
• Le fossé de l'unification : Aucune IA actuelle ne maîtrise parfaitement tout (comprendre, générer, éditer) en même temps. Elles sont encore comme des apprentis qui doivent choisir leur spécialité.

En résumé

UniVBench est comme un examen de conduite complet pour les voitures autonomes de demain. Au lieu de juste vérifier si la voiture sait freiner (tâche unique), on la fait rouler sur une piste avec de la pluie, des piétons, des virages serrés et des panneaux de signalisation, tout en notant précisément chaque erreur de direction.

C'est un outil essentiel pour aider les développeurs à comprendre exactement où leurs IA ont besoin d'entraînement pour devenir de véritables réalisateurs de cinéma intelligents.

Résumé technique

1. Problématique

Les modèles de fondation vidéo (Video Foundation Models) visent à intégrer la compréhension, la génération, l'édition et le suivi d'instructions dans un seul cadre unifié. Cependant, l'évaluation actuelle de ces modèles souffre de trois limitations majeures :

• Fragmentation des tâches : Les benchmarks existants sont spécialisés (soit compréhension, soit génération, soit édition) et ne permettent pas d'évaluer les capacités unifiées d'un modèle unique.
• Limites des données : La plupart des benchmarks utilisent des vidéos web sous copyright (risque de contamination des données d'évaluation) et se concentrent sur des clips courts ou des scènes uniques (single-shot), ne capturant pas la complexité des vidéos multi-plans (multi-shot) réelles.
• Métriques inadéquates : Les métriques actuelles sont souvent des scores scalaires uniques ou des combinaisons ad hoc qui manquent de granularité, d'interprétabilité et de capacité à attribuer les erreurs spécifiquement aux composants de perception ou de génération.

2. Méthodologie

Pour combler ces lacunes, les auteurs proposent UniVBench, un benchmark unifié, accompagné d'un système d'évaluation agentique nommé UniV-Eval.

A. Construction du Dataset (UniVBench)

• Contenu : Le dataset comprend 200 vidéos de haute qualité, créées par des humains et libres de droits (pour éviter les problèmes de copyright).
• Complexité : Il inclut à la fois des vidéos en plan unique et des vidéos multi-plans (en moyenne 3,72 plans par vidéo), offrant des informations cinématographiques riches.
• Annotations : Chaque vidéo est accompagnée de :
  • Des descriptions détaillées (captions) couvrant 8 dimensions cinématographiques et 21 sous-dimensions (style, sujet, action, arrière-plan, caméra, éclairage, couleur, relations spatiales).
  • Des instructions d'édition multi-format.
  • Des images de référence pour les tâches de génération et d'édition basées sur des images.
• Nouvelle tâche : Introduction de la tâche de reconstruction vidéo (V2V), où le modèle doit d'abord comprendre une vidéo pour générer une description textuelle, puis reconstruire la vidéo à partir de ce texte. Cela permet de tester le couplage perception-génération.

B. Système d'Évaluation Unifié (UniV-Eval)

Au lieu d'utiliser des métriques fixes, UniVBench utilise un système agentique basé sur des LLM (Large Language Models) :

• Décomposition et Planification : Le système décompose les vidéos d'entrée et de sortie en unités de plans (shots) individuels.
• Évaluation Granulaire : Pour chaque plan, un agent évalue la correspondance entre l'entrée (vidéo source, instruction, image de référence) et la sortie du modèle selon 9 catégories majeures (sujet, position relative, actions, arrière-plan, couleur, éclairage, style, atmosphère, informations caméra).
• Feedback Structuré : Le système génère une "checklist de faiblesses" détaillée avec des scores par dimension et des suggestions de correction, permettant une attribution précise des erreurs (perception vs génération).

3. Contributions Clés

1. Premier Benchmark Multi-Tâches et Multi-Plans : UniVBench est le premier dataset conçu spécifiquement pour l'évaluation unifiée, couvrant six tâches principales :
   • V2T (Video-to-Text / Sous-titrage)
   • T2V (Text-to-Video / Génération)
   • R2V (Reference-to-Video / Génération avec image de référence)
   • TV2V (Text-guided Video-to-Video / Édition par texte)
   • RV2V (Reference-guided Video-to-Video / Édition par image de référence)
   • V2V (Video-to-Video Reconstruction / Reconstruction)
2. Système d'Évaluation Agentique (UniV-Eval) : Une méthode standardisée qui normalise le prompting et le scoring, offrant des métriques interprétables et comparables entre différentes tâches et modèles.
3. Cadre d'Attribution des Capacités : Une approche permettant de distinguer les échecs dus à la compréhension (perception) de ceux dus à la synthèse (génération), ce qui est crucial pour le développement de modèles unifiés.

4. Résultats Expérimentaux

Les auteurs ont évalué plusieurs modèles de pointe (modèles commerciaux comme Gemini 2.5 Pro, Seedance, et modèles open-source comme CogVideoX, Wan, Omni-Video) sur UniVBench.

• Spécialisation vs Unification : Les résultats montrent une forte spécialisation. Les modèles conçus uniquement pour la génération (ex: Seedance-1.0-Pro) excellent en T2V (77,9% de score moyen) mais échouent en compréhension. À l'inverse, les modèles de compréhension (ex: Gemini 2.5 Pro) obtiennent de bons scores en V2T (54,1%) mais sont médiocres en génération.
• Le "Gap" de l'Unification : Aucun modèle actuel ne domine l'ensemble du spectre (compréhension, génération, édition). Les modèles unifiés (ex: Showo-2, Omni-Video) montrent des performances moyennes, soulignant le défi de maîtriser toutes ces tâches simultanément.
• Difficultés Spécifiques : La dimension "Action" (dynamique temporelle) obtient systématiquement les scores les plus bas, indiquant que l'interprétation et la synthèse de mouvements complexes restent un défi majeur.
• Performance de la Reconstruction : La tâche V2V révèle des incohérences significatives, prouvant que la perte d'information lors du passage de la vidéo au texte, puis du texte à la vidéo, est encore importante.

5. Signification et Impact

UniVBench représente une avancée fondamentale pour le domaine des modèles de fondation vidéo :

• Évaluation Holistique : Il fournit le premier cadre capable de mesurer les capacités intégrées des modèles, au-delà des silos de tâches traditionnels.
• Qualité des Données : En éliminant les problèmes de droits d'auteur et en introduisant des vidéos multi-plans complexes, il offre une base d'évaluation plus réaliste et équitable.
• Guidage pour la Recherche : La granularité des scores (par dimension et par plan) offre un retour d'information actionnable pour les chercheurs, permettant d'identifier précisément si un modèle doit être amélioré dans sa capacité à comprendre le monde ou à le générer.
• Vers l'Intelligence Vidéo Générale : Ce benchmark établit une fondation nécessaire pour le développement de véritables systèmes d'intelligence vidéo universels, capables de suivre des instructions complexes et de manipuler le contenu vidéo de manière cohérente.

En résumé, UniVBench ne se contente pas de mesurer la performance brute, mais diagnostique la nature des échecs des modèles, accélérant ainsi le développement vers une intelligence vidéo robuste et généraliste.