VideoMemBench: How Well Do MLLMs Remember in Video Conversations?
Cet article présente VideoMemBench, un nouveau benchmark comprenant 326 vidéos et des dialogues multi-tours avec des dépendances inter-tours vérifiées, afin d'évaluer les capacités de « mémoire vidéo en contexte » des modèles de langage multimodaux (MLLM), révélant que même les modèles les plus performants éprouvent des difficultés significatives avec cette tâche, n'atteignant qu'un meilleur score de seulement 45,7 %.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par l'auteur. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Résumé Technique : VideoMemBench
Énoncé du Problème
Les modèles de langage de grande taille multimodaux (MLLM) ont progressé au point de pouvoir traiter des vidéos d'une heure avec des contextes de millions de jetons, permettant des dialogues étendus sur une seule vidéo. Cependant, soutenir de telles conversations nécessite une mémoire vidéo en contexte : la capacité de récupérer et de réutiliser les informations établies plus tôt dans le dialogue, englobant à la fois les épisodes visuels que le modèle a vus et les réponses que le modèle a précédemment générées.
Les benchmarks de compréhension vidéo existants (par exemple, MVBench, Video-MME, LVBench) ne parviennent pas à mesurer cette capacité. Leurs questions sont mutuellement indépendantes, ne se réfèrent jamais les unes aux autres et sont répondables uniquement à partir de la vidéo et de la question actuelle. Par conséquent, aucune information n'a besoin d'être transportée à travers les tours, laissant le défi critique de la mémoire vidéo en contexte non mesuré.
Méthodologie : Construction de VideoMemBench
Les auteurs introduisent VideoMemBench, un benchmark conçu pour évaluer explicitement la mémoire vidéo en contexte via des dépendances inter-tours structurées et typées. Le pipeline de construction implique trois rôles d'LLM et une révision par des experts humains :
- Collecte de Vidéos : Un pool initial d'environ 3 200 vidéos a été sélectionné à partir de benchmarks existants (Video-MME, VSI-Bench, etc.) et du web (YouTube), couvrant quatre domaines majeurs : Style de vie et Divertissement, Connaissance et Éducation, Art et Littérature, et Sport et Compétition.
- Planification des Dépendances (LLM Planificateur) : Avant de générer les questions, un planificateur crée une spécification de dialogue globale. Cela inclut un synopsis de la vidéo, des directives de dialogue et un graphe de dépendance typé. Le graphe assigne des tours parents aux tours dépendants, étiquetant les arêtes comme étant soit :
- Dépendance Épisodique : La question se réfère à un épisode visuel décrit dans un tour précédent (sonde la mémoire de ce que le modèle a vu).
- Dépendance de Réponse : La question s'appuie sur la propre réponse antérieure du modèle (sonde la mémoire de ce que le modèle a dit).
- Génération par Tour (LLM Générateur) : Le générateur construit le dialogue tour par tour, en respectant le plan. Il s'assure que les tours dépendants utilisent des expressions de référence (par exemple, « la scène de T1 ») sans reformuler le contenu antérieur.
- Vérification Automatisée (LLM Jugeur) : Un juge impose trois exigences strictes pour chaque tour :
- Nécessité : La question doit être impossible à répondre si les tours parents sont supprimés (même avec l'accès à la vidéo).
- Non-fuite : La question ne doit pas reformuler d'informations des tours parents ni révéler leurs réponses.
- Ancrage Visuel : Chaque réponse doit être vérifiable par rapport à des images spécifiques de la vidéo.
Les tours échoués sont régénérés ; deux échecs consécutifs déclenchent une replanification.
- Révision par des Experts Humains : Huit experts humains examinent tous les dialogues par rapport à la vidéo pour vérifier la justesse des réponses, la validité des dépendances et l'absence de fuite d'information.
Statistiques du Jeu de Données :
- 326 vidéos couplées à 326 dialogues multi-tours.
- 2 476 tours de QA (Questions-Réponses) au total.
- 1 387 tours sont dépendants (56,02 %), comprenant 1 200 dépendances Épisodiques et 594 dépendances de Réponse.
- Les dépendances incluent des structures multi-parents (jusqu'à 3 parents) et des chaînes à longue portée (jusqu'à 9 tours de distance).
Protocole d'Évaluation
Le benchmark a évalué 25 MLLM (8 à code fermé, 17 à poids ouverts) en utilisant un protocole d'auto-déploiement où les modèles reçoivent 128 images échantillonnées uniformément et l'historique complet de la conversation. Trois métriques ont été définies :
- TurnAcc : Précision sur tous les tours, scorée indépendamment.
- EpiDepAcc : Précision sur les tours avec dépendances Épisodiques (mémoire du contexte visuel).
- AnsDepAcc : Précision sur les tours avec dépendances de Réponse en utilisant le crédit en chaîne. Un tour n'est crédité que si sa réponse et toutes les réponses le long de l'ascendance de sa dépendance de Réponse sont correctes. Cela pénalise l'accumulation d'erreurs.
Résultats Clés
- Performance Globale : Le meilleur modèle, Claude Opus 5, a obtenu un score global de seulement 45,7 %, nettement inférieur à la base de référence humaine de 86,1 %.
- Types de Dépendance : La performance était systématiquement plus faible sur les tours dépendants par rapport aux tours indépendants.
- AnsDepAcc était la métrique la plus difficile (35,7 % pour Claude Opus 5), accusant un retard de 16,6 points de pourcentage par rapport à TurnAcc. Cela indique une difficulté sévère à maintenir la cohérence avec les réponses antérieures.
- EpiDepAcc (49,1 %) était légèrement meilleure mais restait inférieure à la précision des tours indépendants (52,3 %).
- Impact de la Complexité :
- Distance : La précision a décliné à mesure que la distance de dépendance augmentait (passant de 30,2 % à une distance de 1 à 23,1 % pour une distance ≥ 5).
- Multi-parent : La précision a chuté à mesure que le nombre de tours parents augmentait.
- Position : Les tours dépendants situés à des positions ultérieures dans le dialogue montraient des déclins de précision constants.
- Sources d'Erreur : Les expériences remplaçant l'historique du modèle par l'historique de vérité terrain (historique Oracle) ont montré des gains de performance significatifs (par exemple, Qwen3-VL-8B est passé de 12,3 % à 32,4 %), confirmant que les erreurs dans les réponses précédentes sont une source primaire de difficulté pour les tours suivants. Cependant, même avec un historique parfait, la précision restait inférieure aux niveaux des tours indépendants, suggérant qu'un historique correct seul est insuffisant pour une mémoire vidéo en contexte fiable.
Signification et Revendications
L'article affirme que la mémoire vidéo en contexte reste un problème ouvert et difficile pour les MLLM actuels, même pour les modèles de pointe. Les principales contributions sont :
- Identification d'un écart : Souligner que les benchmarks existants ne parviennent pas à mesurer la capacité de récupérer et de réutiliser le contexte de dialogue établi dans les conversations vidéo.
- VideoMemBench : Fournir le premier benchmark avec des dépendances inter-tours explicites et typées (Épisodique et Réponse) qui imposent la nécessité et la non-fuite, soutenues par un pipeline de construction rigoureux.
- Preuve Empirique : Démontrer que les modèles actuels luttent de manière significative avec les dépendances inter-tours, particulièrement lorsqu'il s'agit de maintenir la cohérence avec leurs propres réponses antérieures (crédit en chaîne) et de gérer les dépendances à longue portée ou multi-parents.
Les auteurs concluent que VideoMemBench fournit une fondation nécessaire pour développer des MLLM vidéo capables de se rappeler et de construire de manière fiable sur des observations et des réponses antérieures lors de conversations étendues.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.