Résumé Technique : VEBENCH

Énoncé du Problème

Le montage vidéo réel est un processus cognitif complexe qui exige non seulement une expertise des techniques cinématographiques, mais également un raisonnement multimodal avancé pour sélectionner, aligner et combiner des séquences afin de construire des récits cohérents. Bien que les récents Modèles Multimodaux à Grande Échelle (LMM) aient démontré des progrès significatifs dans la compréhension générale de la vidéo, leurs capacités en raisonnement multi-vidéo et dans les flux de travail opérationnels de montage restent largement inexplorées.

Les benchmarks existants dans ce domaine (par exemple, VEU-Bench, ShotBench) souffrent de deux limitations principales :

1. Portée Limitée : Ils évaluent principalement la compréhension basée sur la connaissance de très courts extraits (moyenne d'environ 6 secondes), en s'appuyant presque exclusivement sur des indices visuels tout en négligeant la synchronisation audiovisuelle et le contexte temporel à long terme.
2. Absence de Raisonnement Opérationnel : Ils passent sous silence le flux de travail éditorial central consistant à sélectionner, aligner et combiner des séquences provenant de multiples sources pour construire un récit. Cela nécessite une prise de décision consciente de l'intention et un raisonnement inter-vidéo, dont les modèles actuels sont dépourvus.

Méthodologie

Pour combler ces lacunes, les auteurs introduisent VEBENCH, le premier benchmark complet conçu pour évaluer à la fois la compréhension des connaissances en montage et le raisonnement opérationnel dans des scénarios réalistes. Le benchmark est construit grâce à un pipeline rigoureux d'annotation collaborative homme-IA en trois tours, impliquant plus de 1 400 heures de travail.

Composition du Jeu de Données

VEBENCH comprend 3,9 milliers de vidéos montées de haute qualité (plus de 257 heures) et 3 080 paires de questions-réponses vérifiées par des humains. Le jeu de données couvre un large spectre de contenus de style cinématographique et de vlogs, avec une durée moyenne de vidéo de 213 secondes et 3,27 coupes de montage annotées par extrait.

Définitions des Tâches

Le benchmark définit deux tâches de questions-réponses complémentaires qui approximent la cognition humaine en montage :

1. Reconnaissance des Techniques de Montage Vidéo (TechRec) :

   • Objectif : Évaluer la capacité du modèle à identifier sept techniques de montage spécifiques en utilisant des indices multimodaux (visuels et auditifs).
   • Techniques : L-Cut, J-Cut, Jump Cut, Smash Cut, Cutaway, Invisible Cut et Match Cut.
   • Défi : Nécessite une perception fine des transitions temporelles, de la continuité audio inter-scène et du rythme.

2. Simulation d'Opérations de Montage Vidéo (OpSim) :

   • Objectif : Émuler les flux de travail de montage réels en exigeant que le modèle sélectionne les séquences les plus adaptées parmi plusieurs candidats et localise le segment temporel précis à insérer dans une vidéo de référence.
   • Format : Étant donné un extrait de référence (A-Roll) et une liste de vidéos candidates, le modèle doit choisir la bonne vidéo (B-Roll) et déterminer les horodatages de début/fin pour l'insertion (soit au début, soit à la fin de la référence).
   • Défi : Introduit un raisonnement multi-vidéo, exigeant que le modèle infère les intentions de montage et construise une continuité narrative à travers des sources indépendantes.

Pipeline d'Annotation

• TechRec : Les annotateurs localisent les points de transition et les étiquettent avec des techniques spécifiques. La vérification inclut une validation croisée et des contrôles automatisés pour l'alignement audiovisuel.
• OpSim : Un processus multi-étapes impliquant la génération de métadonnées assistée par LMM, l'appariement A/B-roll (catégorisé en huit types de relations narratives comme Cause-et-Effet ou Illustration), la sélection de vidéos candidates et la génération de leurres.

Contributions Clés

1. Cadre Unifié : La formulation d'une nouvelle tâche de montage vidéo qui unifie la compréhension des connaissances (reconnaissance) et le raisonnement opérationnel (sélection/localisation), offrant un terrain d'essai pratique pour le raisonnement multimodal et multi-vidéo complexe.
2. Benchmark VEBENCH : Un jeu de données annoté professionnellement, présentant des scénarios de montage diversifiés et fins, collectés à partir de vidéos réelles, validé par un processus collaboratif homme-IA en trois tours.
3. Évaluation Complète : Des évaluations approfondies sur les principaux modèles propriétaires (par exemple, Gemini-2.5-Pro, GPT-4o) et open-source (par exemple, Qwen-VL, InternVL), établissant une référence pour les recherches futures.

Résultats Expérimentaux

Les auteurs ont évalué des modèles de pointe sur VEBENCH, révélant un écart de performance significatif entre les capacités actuelles de l'IA et le raisonnement en montage de niveau humain :

• Performance Globale : Même le modèle propriétaire le plus puissant, Gemini-2.5-Pro, éprouve des difficultés considérables. Bien qu'il surpasse les autres, ses scores restent bien en deçà des exigences pour les applications de montage pratiques.
• TechRec : Les indices audio se sont avérés essentiels. Les modèles sans compréhension audio performent mal, en particulier sur les J-Cuts et L-Cuts qui reposent sur la continuité sonore inter-scène.
• OpSim :
  • Sélection de Séquences (OpSim-FS) : Les modèles montrent une capacité de raisonnement partielle, Gemini-2.5-Pro atteignant environ 44 % de précision.
  • Localisation Temporelle : Presque tous les modèles échouent complètement à ancrer temporellement avec précision, obtenant des scores tIoU proches de zéro. Seul Gemini-2.5-Pro a produit des résultats non triviaux (tIoU ≈ 0,11), mais cela reste insuffisant pour les flux de travail professionnels.
• Études d'Ablation :
  • Sous-titres : La présence de sous-titres améliore systématiquement les performances, agissant comme un pont intermodal léger pour l'ancrage sémantique.
  • Indices Visuels : Les indices visuels continus (texte à l'écran) sont supérieurs aux séparateurs abrupts (séparateurs d'images) pour maintenir la cohérence temporelle dans les entrées vidéo assemblées.

Limitations Identifiées

L'évaluation met en évidence trois limitations critiques des LMM actuels :

1. Intégration Audiovisuelle Faible : Les modèles traitent souvent la vision et l'audio indépendamment, échouant à capturer les indices synchronisés nécessaires pour des techniques comme les J-/L-Cuts.
2. Capacité Temporelle Limitée : De nombreux modèles sont restreints à de courtes séquences, manquant les changements de mouvement fins et stylistiques sur des centaines d'images.
3. Localisation Temporelle Inexacte : Les modèles ont tendance à prédire des horodatages proches du début des vidéos, indiquant un manque de représentation interne robuste pour la continuité vidéo et la logique de montage.

Signification

VEBENCH sert d'outil de diagnostic qui souligne l'urgence de combiner la compréhension vidéo avec un raisonnement opérationnel créatif. L'article affirme que les modèles actuels sont loin d'atteindre une intelligence de montage de niveau humain. En évaluant systématiquement la progression de la compréhension passive de la vidéo vers un montage actif et de type humain, VEBENCH jette les bases du développement de systèmes multimodaux de nouvelle génération capables de raisonnement complexe dans des contextes réels de montage vidéo. Les auteurs envisagent ce benchmark comme une fondation pour faire progresser les systèmes intelligents de montage vidéo et stimuler la recherche future en raisonnement multimodal complexe.