Résumé Technique : ViMU - Évaluation de la Compréhension Métaphorique des Vidéos

1. Définition du Problème

Les modèles actuels de compréhension vidéo se concentrent principalement sur la compréhension visuelle littérale, telle que la reconnaissance d'objets, d'actions et de relations temporelles. Cependant, le sens véritable de nombreuses vidéos réside souvent non pas dans le contenu explicite, mais dans le sous-texte : idées implicites, procédés rhétoriques, signaux sociaux et significations ancrées culturellement (par exemple, ironie, moquerie, critique ou allusions politiques) qui nécessitent une inférence au-delà de ce qui est explicitement montré.

Les benchmarks existants échouent à combler efficacement cette lacune car ils soit :

1. Ciblent des relations spatiales ou physiques cachées plutôt que des significations ancrées socialement.
2. Se concentrent étroitement sur l'humour non verbal.
3. Reposent sur des formats à choix multiples où les options peuvent involontairement révéler des hypothèses plausibles de sous-texte, échouant ainsi à imposer une inférence sans indices.

L'article postule que la compréhension du sous-texte vidéo nécessite l'intégration de preuves multimodales, la récupération de références situées culturellement et l'inférence de l'intention communicative du créateur sans indices explicites.

2. Méthodologie : Le Benchmark ViMU

Les auteurs introduisent ViMU (Video Metaphorical Understanding), le premier benchmark conçu pour évaluer systématiquement les capacités de compréhension du sous-texte des modèles de pointe.

Construction du Jeu de Données

• Échelle : 588 vidéos avec 2 352 questions.
• Source : Sélectionnées sur des plateformes telles que YouTube, Bilibili et TikTok.
• Pipeline de Sélection : Un processus multi-étapes impliquant :
  1. Extraction de Preuves Multimodales : Images extraites de manière uniforme et transcriptions audio.
  2. Annotation Taxonomique par LLM : Utilisation de modèles de pointe pour séparer le contenu littéral du sens intentionnel, décomposant le sous-texte en mécanismes rhétoriques et signaux de valeur sociale.
  3. Génération de Questions Sans Indices : Les questions sont générées pour être « sans indices », ce qui signifie qu'elles ne révèlent pas explicitement la dimension sémantique (par exemple, sarcasme, biais) étant testée, empêchant ainsi l'apprentissage par raccourci.
  4. Validation Itérative : Une boucle itérative où des LLM et des experts humains affinent les questions pour garantir la difficulté, l'implicite et l'alignement avec le sens intentionnel.
• Diversité : Le jeu de données couvre plus de 10 mécanismes rhétoriques (par exemple, ironie, ton neutre, appât-guichet) et signaux de valeur sociale (par exemple, mépris, violation de norme, signalisation politique). Les sources de preuves incluent les images, le texte visible, les motifs de montage, les transcriptions et le ton audio.

Tâches d'Évaluation

ViMU comprend quatre tâches distinctes pour sonder des aspects complémentaires de la compréhension du sous-texte :

1. Interprétation Ouverte (OE) : Les modèles doivent expliquer le sens global intentionnel d'une vidéo sans options prédéfinies.
2. Ancrage des Preuves (EG) : Une tâche à choix multiples où les modèles sélectionnent les éléments multimodaux spécifiques (par exemple, ton audio, motif de montage) qui soutiennent leur interprétation.
3. Identification du Mécanisme Rhétorique (RM) : Les modèles identifient les procédés rhétoriques utilisés pour construire le message à partir d'une taxonomie prédéfinie.
4. Identification du Signal de Valeur Sociale (SV) : Les modèles identifient la position sociale sous-jacente ou l'implication normative véhiculée par la vidéo.

3. Contributions Clés

• Premier Benchmark Systématique : ViMU est le premier benchmark spécifiquement conçu pour évaluer la compréhension métaphorique des vidéos et l'inférence de sous-texte de manière sans indices.
• Taxonomie Structurée : Il introduit un cadre bidimensionnel séparant comment le sens est véhiculé (mécanismes rhétoriques) de quoi le sens social est exprimé (signaux de valeur sociale).
• Protocole d'Évaluation Complet : Le benchmark inclut à la fois des tâches ouvertes et à choix multiples, avec un accent spécifique sur l'ancrage des interprétations dans des preuves multimodales observables.
• Sélection Rigoureuse : Le jeu de données est construit pour éliminer les dépendances au contexte externe et garantir que les questions ne peuvent pas être répondues par une simple description de surface.

4. Résultats Expérimentaux

Les auteurs ont évalué 16 grands modèles de langage multimodaux (MLLM) populaires, incluant à la fois des modèles à poids ouverts et des modèles propriétaires.

• Performance Globale : Les modèles de pointe éprouvent des difficultés significatives avec la compréhension métaphorique. La plupart des modèles, y compris les plus avancés propriétaires, atteignent moins de 50 % de performance globale sur les quatre tâches.
• Disparité des Tâches :
  • Les modèles performent relativement mieux sur l'Interprétation Ouverte (OE) et l'Ancrage des Preuves (EG), les meilleurs performeurs (par exemple, GPT-5.2) atteignant environ 70 %.
  • La performance chute nettement sur l'identification du Mécanisme Rhétorique (RM) et du Signal Social (SV), où les meilleurs modèles obtiennent souvent des scores autour de 20-30 %.
• Comportements des Modèles :
  • Conservatisme : Les modèles ont tendance à être conservateurs dans la sélection des preuves, sous-sélectionnant souvent les indices requis plutôt que d'halluciner des indices supplémentaires.
  • Biais : Il existe une tendance systématique à surestimer les catégories génériques ou « plus sûres » (par exemple, « Littéral/Direct » ou « Attitude Émotionnelle ») tout en sous-estimant les catégories implicites ou socialement codées (par exemple, « Encadrement Social Implicite/Codé » ou « Signalisation Identitaire/Ideologique »).
  • Regroupement par Famille : Les modèles d'une même famille présentent des profils d'erreur similaires, suggérant des biais inductifs partagés dans la manière dont ils organisent les étiquettes taxonomiques.
  • Aucune Supériorité Universelle : Une haute performance sur les tâches générales de compréhension vidéo ne garantit pas le succès sur les tâches de sous-texte métaphorique. De plus, certains modèles à poids ouverts (par exemple, Qwen3.5-27B) surpassent certains modèles propriétaires.

5. Signification et Revendications

L'article affirme que ViMU expose une limitation fondamentale des systèmes actuels de compréhension vidéo : l'incapacité à dépasser la perception littérale pour interpréter des significations implicites et ancrées socialement.

• Identification de la Lacune : Le benchmark démontre que les capacités de pointe en interprétation vidéo générale ne se traduisent pas automatiquement par une compréhension précise de la position implicite, du cadrage rhétorique ou du sens socialement codé.
• Utilité Diagnostique : En fournissant des analyses fines des comportements des modèles (par exemple, erreurs d'ancrage des preuves, distorsion de la géométrie taxonomique), ViMU offre des insights sur des faiblesses spécifiques, telles que l'échec à récupérer des motifs de preuves structurées multi-sources.
• Orientation Future : Les auteurs suggèrent que progresser vers une interprétation vidéo robuste et humaine nécessite de modéliser non seulement ce qui est montré, mais ce qui est entendu. Ils positionnent ViMU comme un outil pour guider le développement de modèles capables de gérer la complexité du sous-texte social et culturel dans le contenu vidéo.

L'article se termine par un avertissement indiquant que le jeu de données contient du contenu potentiellement offensant et nuisible, destiné uniquement à des fins d'évaluation pour exposer les limites des modèles en matière de sécurité et de compréhension sociale, plutôt que comme ressource d'entraînement.