Video-IFBench: Evaluating Instruction Following of Multimodal LLMs in Video Understanding Scenarios
Cet article introduit Video-IFBench, un benchmark complet comprenant 1 500 échantillons et une taxonomie d'instructions diversifiée pour évaluer la capacité encore peu explorée des grands modèles de langage multimodaux à suivre des contraintes complexes spécifiées par l'utilisateur dans des scénarios de compréhension vidéo, révélant que les modèles actuels éprouvent des difficultés significatives avec les instructions multi-contraintes et conditionnelles.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde en évolution rapide de l'intelligence artificielle, une nouvelle génération de systèmes est apparue, capables de voir, d'entendre et de parler. Ces modèles multimodaux sont entraînés sur de vastes quantités de textes, d'images et de vidéos, ce qui leur permet de décrire une scène, de répondre à des questions sur un film ou de résumer un clip d'actualité. Pendant des années, les chercheurs ont mesuré leur succès en posant une question simple : la réponse est-elle correcte ? Si un modèle décrit une vidéo d'un programme de cuisine et identifie correctement les ingrédients, il reçoit un score élevé. Cependant, dans le monde réel, une réponse correcte ne suffit souvent pas. Un utilisateur peut demander à un modèle de décrire une vidéo, mais en imposant des règles spécifiques : « Ne me dites que ce qui se passe après l'ébullition de l'eau », « Listez les étapes dans l'ordre », « Ne mentionnez pas la couleur des casseroles » ou « Parlez uniquement en espagnol ». Ces requêtes exigent que le système comprenne non seulement le contenu, mais qu'il suive également un ensemble complexe d'instructions, filtrant ainsi les informations qu'il sait être vraies mais qu'on lui a dit d'ignorer. Jusqu'à présent, la capacité de ces systèmes avancés à suivre de telles contraintes détaillées et humaines dans des scénarios vidéo était restée largement inexplorée.
Une équipe de chercheurs a comblé cette lacune en créant un nouveau terrain d'essai appelé Video-IFBench. Ce benchmark est conçu spécifiquement pour voir si l'intelligence artificielle de compréhension vidéo est réellement capable de faire ce qu'on lui demande lorsque les instructions sont complexes. Les chercheurs ont rassemblé plus de 700 vidéos provenant de sources publiques, couvrant dix domaines différents tels que le sport, la science, l'actualité et la vie quotidienne. Ces clips varient de dix secondes à dix minutes de durée, totalisant environ 49 heures de séquences. À partir de cette collection, ils ont construit 1 500 cas de test uniques. Chaque cas de test associe une vidéo à une requête spécifique comprenant un mélange de tâches et de contraintes. Certaines requêtes demandent une seule information, comme « Quel est le texte à l'écran ? », tandis que d'autres exigent plusieurs étapes, telles que « Listez les actions, mais seulement celles qui durent plus de deux secondes, et présentez-les sous forme de liste numérotée ». Les tests les plus difficiles impliquent une logique conditionnelle, où le modèle doit d'abord regarder la vidéo pour décider quel chemin prendre. Par exemple, une consigne peut dire : « Si la vidéo commence par un titre concernant la réparation d'un ordinateur portable, alors décrivez les étapes de la réparation ; sinon, décrivez les actions de la personne dans les dix dernières secondes. » Le modèle doit identifier correctement la condition de départ pour choisir le bon ensemble d'instructions à suivre.
Pour garantir que ces tests soient équitables et précis, les chercheurs ont construit un système semi-automatisé pour générer les questions et les règles de vérification des réponses. Ils ont utilisé l'intelligence artificielle pour extraire des faits des vidéos, tels que les objets présents et le moment où des événements spécifiques se produisent, puis ont utilisé ces faits pour rédiger des instructions complexes. Crucialement, chaque instruction s'accompagnait d'une liste de contrôle. Certains éléments de la liste pouvaient être vérifiés par un programme informatique, comme vérifier si la réponse était écrite au format JSON ou si elle contenait exactement cinq points de liste. D'autres éléments, qui nécessitaient de comprendre le sens de la réponse, étaient vérifiés par un autre modèle de langage très performant faisant office de juge. Cette approche hybride a permis aux chercheurs d'évaluer si les modèles respectaient chaque contrainte d'une requête, et pas seulement la tâche principale.
Les résultats de cette évaluation ont révélé une faiblesse significative, même chez les modèles vidéo les plus avancés disponibles aujourd'hui. Testés sur l'ensemble du benchmark, le meilleur modèle a obtenu un score global de seulement 54,5 %. Cela signifie que dans près de la moitié des cas, le modèle a échoué à suivre l'ensemble des instructions, même s'il comprenait correctement le contenu de la vidéo. L'étude a montré que les modèles éprouvaient le plus de difficultés lorsque les instructions contenaient de nombreuses contraintes simultanées, ou lorsque la requête exigeait que le modèle prenne une décision basée sur le contenu de la vidéo avant de répondre. Par exemple, lorsqu'on lui demandait de choisir entre différents chemins basés sur ce qui se passait dans la vidéo, les modèles choisissaient fréquemment le mauvais chemin ou ignoraient totalement la condition. La difficulté augmentait à mesure que les instructions devenaient complexes ; lorsqu'une requête impliquait une longue chaîne de logique de type « si-alors », le taux de réussite chutait brutalement.
Les chercheurs ont également découvert que le type de contrainte importait énormément. Les modèles étaient relativement bons pour suivre les règles de format, comme l'utilisation d'une langue spécifique ou la limitation du nombre de mots. Cependant, ils étaient peu performants sur les contraintes sémantiques, qui nécessitaient de comprendre le sens de la vidéo pour filtrer l'information. Par exemple, un modèle pouvait être chargé de décrire uniquement les actions d'une personne spécifique tout en ignorant tous les autres, ou de lister des événements survenus dans une fenêtre de temps précise. Dans ces cas, les modèles incluaient souvent des informations qu'ils devaient exclure ou manquaient des détails qu'ils étaient censés trouver. L'étude a montré que le simple fait de rendre les modèles plus grands ou de leur donner plus de puissance de calcul ne résolvait pas le problème. Bien que les modèles plus volumineux soient généralement plus performants, ils échouaient toujours à suivre strictement les instructions, suggérant que la capacité à comprendre le contenu vidéo et la capacité à suivre des règles complexes sont deux compétences distinctes que la technologie actuelle n'a pas encore pleinement combinées.
Ce travail suggère que pour que l'intelligence artificielle soit véritablement utile dans des applications du monde réel, elle doit apprendre à écouter aussi attentivement qu'elle voit. Les conclusions indiquent que les systèmes actuels ne sont pas encore assez fiables pour être déployés dans des scénarios où les utilisateurs attendent une adhésion précise à leurs besoins spécifiques. Les chercheurs espèrent qu'en fournissant une mesure claire de cette capacité, Video-IFBench guidera le développement futur vers des modèles qui peuvent non seulement voir le monde, mais aussi suivre les instructions nuancées et souvent contradictoires des personnes qui les utilisent. La voie à suivre nécessite un changement de priorité : ne plus simplement viser la bonne réponse, mais obtenir la bonne réponse exactement de la manière demandée par l'utilisateur.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.