Résumé Technique : MuseBench

Énoncé du Problème

Les modèles de langage multimodaux (MLLM) actuels ont démontré de solides capacités de reconnaissance perceptuelle et de raisonnement factuel concernant le contenu vidéo. Cependant, un fossé critique subsiste dans la compréhension artistique au niveau de l'intention. Comprendre les arts audiovisuels (cinéma, arts visuels statiques, arts de la scène et design de jeux) nécessite de raisonner non seulement sur ce qui est représenté, mais sur le pourquoi des choix créatifs spécifiques (par exemple, le cadrage, l'éclairage, le rythme du montage, la conception sonore) afin de transmettre une émotion, un thème ou une intention esthétique.

Les benchmarks vidéo existants évaluent largement la reconnaissance de surface ou le raisonnement temporel à l'aide de questions à choix unique avec une seule bonne réponse. Ce format ne parvient pas à capturer la pluralité des interprétations valides inhérente à l'analyse artistique, où plusieurs perspectives défendables peuvent coexister. De plus, la construction de benchmarks pour ce domaine est entravée par la rareté des données fondées sur l'expertise et la difficulté de générer des distracteurs de haute qualité qui ne reposent pas sur des raccourcis basés sur les transcriptions.

Méthodologie

1. Source de Données : Essais Vidéo

Pour remédier à la rareté des données fondées sur l'expertise, les auteurs utilisent les essais vidéo (sourcés sur YouTube, Bilibili et TikTok) comme base de connaissances primaire. Ces vidéos associent un commentaire professionnel à des démonstrations visuelles, fournissant un alignement naturel entre le raisonnement expert et les preuves visuelles. Le jeu de données est distillé à partir de plus de 10 000 candidats d'essais vidéo.

2. Pipeline de Construction

Les auteurs proposent un pipeline de construction itératif en quatre phases pour transformer les essais vidéo bruts en questions de benchmark :

• Segmentation : Les vidéos sont partitionnées en intervalles de 10 secondes.
• Légendage de Clips (Captioning) : Un modèle de langage-vision (Keye-VL-1.5) génère des légendes fines pour chaque segment, conditionnées par la transcription du narrateur. Ces légendes servent de ressources de construction mais ne sont jamais exposées aux modèles évalués.
• Génération de Questions : Les questions sont générées sous deux formats :
  • Choix Unique : Interroge la reconnaissance discrète de l'interprétation la plus précise (1 bonne réponse parmi 4 à 8 options).
  • Choix Multiple : Interroge le jugement analytique de type ensemble, reconnaissant que plusieurs intentions artistiques peuvent être valides simultanément (2 à 4 bonnes réponses parmi 4 à 8 options).
• Génération de Distracteurs : Une étape adversaire génère des distracteurs plausibles en utilisant sept stratégies (ex. : erreur technique, simplification excessive, erreur factuelle, confusion conceptuelle, erreur de portée, confusion temporelle, vérité partielle). Cela garantit que toutes les options paraissent également plausibles pour un lecteur n'ayant pas accès au clip, supprimant ainsi les devinettes basées sur des raccourcis.

3. Revue de Qualité

Un processus de revue itérative avec intervention humaine (human-in-the-loop) affine les questions. Des experts du domaine évaluent les éléments selon quatre dimensions (Qualité Holistique, Nécessité Visuelle, Trace Mécaniste, Intégrité de la Réponse) et marquent les modes d'échec (ex. : réponse dépendante du narrateur, énoncés ambigus). Les prompts de génération sont mis à jour de manière itérative pour éliminer ces échecs jusqu'à ce que le benchmark atteigne les standards de qualité.

4. Protocole d'Évaluation

Pour gérer la variabilité du nombre d'options et la nature ouverte du raisonnement artistique, l'article introduit des métriques spécifiques :

• Précision Ajustée au Hasard (Chance-Adjusted Accuracy - CAA) : Pour les questions à choix unique, cela normalise les scores pour tenir compte du nombre variable d'options ($K_i$), garantissant qu'un choix aléatoire produit un score de 0 et qu'une réponse correcte produit 1, quel que soit $K_i$.
• Métriques de Type Ensemble (Précision, Rappel, F1) : Pour les questions à choix multiple, la précision de correspondance exacte est jugée trop stricte. Les auteurs rapportent la Précision, le Rappel et le score F1 sur l'ensemble des options prédites pour capturer l'accord partiel et distinguer les modèles qui identifient l'option la plus saillante de ceux qui capturent toute l'étendue des interprétations valides.

Contributions Clés

1. Benchmark MuseBench : Un benchmark complet comprenant 4 016 questions validées par des experts à travers quatre catégories artistiques (Arts Cinématographiques, Arts Visuels Statiques, Arts de la Scène, Arts du Jeu) et 11 sous-domaines. Il combine de manière unique les formats à choix unique et multiple avec des nombres d'options variables pour modéliser la pluralité interprétative.
2. Pipeline d'Expertise Scalable : Un nouveau pipeline en quatre phases qui exploite les essais vidéo et les LLM pour générer des questions à grande échelle, ancrées visuellement et au niveau de l'intention, répondant au défi fondamental de l'acquisition de connaissances expertes pour les domaines créatifs sans dépendre du crowdsourcing.
3. Protocole d'Évaluation Fondé sur des Principes : Un protocole de notation hétérogène utilisant la Précision Ajustée au Hasard et le F1 de type ensemble avec des diagnostics de correspondance exacte. Cela permet une évaluation plus nuancée des capacités de raisonnement artistique des modèles par rapport aux métriques de précision standard.

Résultats

Les auteurs ont mené des évaluations zero-shot sur 28 MLLM de pointe (incluant des modèles propriétaires et open-source) sur MuseBench.

• Écart de Performance : Même le modèle le plus performant (Claude-4.6-Opus) n'a atteint que 48,29 % de précision globale, ce qui est nettement inférieur aux 87,18 % de performance des experts humains. Cela expose un écart significatif dans l'expertise de domaine créatif des modèles actuels.
• Faiblesses Spécifiques par Catégorie : Les modèles accusent systématiquement un retard marqué sur les Arts du Jeu (Game Arts) à tous les niveaux, probablement en raison de la représentation limitée des visuels interactifs et du contrôle de la caméra en temps réel dans les corpus de pré-entraînement.
• Comportement du Choix Multiple : Sur les questions à choix multiple, les modèles ont présenté une asymétrie précision-rappel. Ils avaient tendance à récupérer l'option correcte la plus saillante (haute précision) mais échouaient à énumérer l'ensemble des interprétations valides (faible rappel). Cela suggère que les modèles peinent avec l'étendue de la perspective analytique requise pour un raisonnement de niveau expert.
• Sélection de Frames Clés : Les méthodes de sélection adaptative de frames clés n'ont apporté que peu ou pas de gain de performance, indiquant que le goulot d'étranglement réside dans le vocabulaire stylistique et les priors culturels plutôt que dans la localisation temporelle ou la sélection de frames.
• Biais de Position : Les MLLM open-source ont montré un biais prononcé vers la sélection de la première option (A) dans les questions comportant cinq options ou plus, tandis que les modèles propriétaires présentaient un biais nettement moindre.

Signification

L'article soutient que la trajectoire actuelle de mise à l'échelle de la compréhension vidéo générique est insuffisante pour atteindre une véritable compréhension du domaine créatif. L'écart de performance important et les modes d'échec spécifiques (ex. : incapacité à gérer la pluralité interprétative, faiblesse dans les arts du jeu) suggèrent que les progrès futurs nécessitent :

• Une Supervision Artistique plus Riche : Intégrer des supervisions culturelles et stylistiques plus diverses dans les pipelines d'entraînement.
• Une Évaluation Multi-facettes : Dépasser la précision à choix unique pour des métriques qui capturent le crédit partiel et l'étendue du raisonnement.
• Un Raisonnement Spécifique au Domaine : Traiter les arts audiovisuels comme un domaine distinct nécessitant des connaissances spécialisées au-delà de la compréhension vidéo générale.

MuseBench est publié pour faciliter les progrès continus vers des MLLM capables d'un véritable raisonnement au niveau de l'intention dans les arts audiovisuels.