ShotFinder: Imagination-Driven Open-Domain Video Shot Retrieval via Web Search

Ce papier présente ShotFinder, un benchmark et une méthode de pipeline à trois étapes pour la recherche de plans vidéo en domaine ouvert, qui révèlent les limites actuelles des modèles multimodaux face à des contraintes complexes telles que la couleur et le style visuel.

L'essentiel

🎬 ShotFinder : Le "Chercheur de Scènes" qui rêve avant de chercher

Imaginez que vous êtes un monteur vidéo. Vous avez une idée précise en tête : "Je veux cette scène où une femme aux longs cheveux, penchée sur une table, sourit doucement, avec une lumière dorée et une musique de jazz en fond."

Aujourd'hui, si vous cherchez cette scène sur YouTube ou Google, c'est comme essayer de trouver une aiguille dans une botte de foin... mais la botte de foin est un océan, et l'aiguille est cachée dans un autre océan. Les moteurs de recherche actuels sont très forts pour trouver des mots, mais ils sont souvent perdus quand il s'agit de comprendre une ambiance, un style ou un moment précis dans une vidéo.

C'est là que l'équipe de recherche (du CASIA, de l'UCAS, de Lenovo, etc.) a créé ShotFinder.

1. Le Problème : Le "Trou" dans la Mémoire

Les chercheurs ont réalisé que les intelligences artificielles (les modèles de langage) sont excellentes pour lire des textes ou regarder des photos fixes. Mais dès qu'il faut naviguer dans le temps d'une vidéo (trouver exactement à quelle seconde commence la scène), c'est le chaos.

C'est comme si vous demandiez à un ami de vous trouver une vidéo, mais que vous ne lui donniez que le titre du film, sans lui dire à quel moment précis se passe l'action. Il risque de vous envoyer le film entier, ou pire, un film qui ressemble un peu mais qui n'est pas le bon.

2. La Solution : Un Nouveau Terrain de Jeu (Le Benchmark)

Pour résoudre ce problème, ils ont créé ShotFinder, qui est en réalité deux choses :

• Un test de niveau (Benchmark) : C'est un examen de 1 210 questions. Chaque question est une description précise d'une scène (un "plan") avec des contraintes (ex: "il faut que ce soit en 4K", "il faut que la couleur soit chaude", "il faut que ce soit après une scène de pluie").
• Une méthode intelligente : Une façon nouvelle pour l'IA de chercher.

L'analogie du "Rêveur" :
Au lieu de chercher bêtement des mots-clés, ShotFinder demande à l'IA de faire un petit "rêve" (Imagination).

• Question : "Trouve-moi une femme qui rit à une table."
• IA classique : Cherche "femme table rire". (Résultat : Des milliers de vidéos de dîners, de pubs, de films, mais pas forcément la bonne ambiance).
• IA ShotFinder : Se dit : "Attends, si une femme rit à une table comme ça, c'est probablement dans une scène de comédie romantique, ou peut-être une vidéo de voyage en Italie. Je vais imaginer le contexte du film entier avant de chercher."
  Ensuite, elle cherche le film (la vidéo complète) et, une fois le film trouvé, elle scanne minutieusement chaque seconde pour trouver exactement le moment où la femme rit.

3. Les 5 Défis (Les "Contraintes")

Pour tester si l'IA est vraiment douée, ShotFinder lui lance 5 types de défis, comme des niveaux dans un jeu vidéo :

1. Le Temps : "Trouve la scène qui arrive juste après un gros plan sur un visage." (Comme trouver la suite d'une histoire).
2. La Couleur : "Trouve une scène où tout est baigné dans une lumière orange et chaleureuse." (L'IA doit "sentir" la couleur, pas juste lire le mot).
3. Le Style : "Trouve une scène qui ressemble à un dessin animé 2D, pas à un vrai film."
4. Le Son : "Trouve une scène où l'on entend un rire d'enfant en fond."
5. La Qualité : "Trouve une scène en haute définition (1080p), pas floue."

4. Les Résultats : L'IA est encore un "Élève"

Les chercheurs ont fait passer l'examen à plusieurs IA célèbres (comme GPT-4, Gemini, Claude, etc.) et les ont comparées à des humains.

• Le verdict : Les humains gagnent haut la main (environ 88% de réussite). Les meilleures IA actuelles ne réussissent qu'environ 25 à 27% des cas.
• Ce qui est facile : Trouver le bon moment dans le temps (le "quand") est relativement simple pour les IA.
• Ce qui est dur : Reconnaître une couleur spécifique ou un style artistique (comme "style anime") reste un cauchemar pour elles. C'est comme si l'IA savait lire le scénario, mais ne voyait pas les couleurs du décor.

5. Pourquoi c'est important ?

Aujourd'hui, si vous voulez monter une vidéo, vous devez regarder des heures de rushs pour trouver la bonne image. Avec ShotFinder, l'objectif est de créer un "assistant de montage" magique. Vous lui dites : "Je veux cette scène de lion qui regarde l'horizon avec une lumière dorée", et il vous sort le lien exact de la vidéo et la seconde précise, tout de suite.

En résumé :
ShotFinder est un nouveau défi lancé aux intelligences artificielles pour leur apprendre à comprendre le cinéma comme un humain, et pas juste à lire des étiquettes. C'est un pas de géant vers un futur où vous pourrez dire à votre ordinateur : "Monte-moi un film sur l'été, avec des couleurs chaudes et de la musique joyeuse", et il le fera tout seul en cherchant les meilleurs plans sur internet.

Pour l'instant, l'IA est encore un peu comme un étudiant brillant mais distrait : elle comprend le texte, mais elle a encore du mal à "voir" et à "ressentir" la vidéo.

Résumé technique

1. Problématique et Contexte

Bien que les grands modèles de langage (LLM) et les modèles de langage multimodaux (MLLM) aient fait des progrès rapides dans la recherche d'informations textuelles et statiques, la recherche de plans vidéo (video shot retrieval) en domaine ouvert reste un défi majeur non résolu.

• Le Défi : Dans les flux de travail d'édition vidéo réels, les éditeurs doivent souvent trouver un plan spécifique (une séquence continue entre deux coupes) au sein d'une vaste bibliothèque de vidéos. Cela nécessite non seulement de comprendre la sémantique visuelle, mais aussi de gérer des contraintes temporelles, stylistiques, sonores et techniques.
• Le Vide Actuel : Il existe un manque de benchmarks systématiques pour évaluer la capacité des modèles à :
  1. Rechercher des vidéos sur le web à partir d'une description textuelle d'un plan.
  2. Localiser temporellement ce plan précis au sein de la vidéo récupérée.
  3. Respecter des contraintes complexes (ordre temporel, couleur, style, audio, résolution).

2. Méthodologie

Les auteurs proposent une approche en deux volets : un nouveau benchmark et une méthode de recherche innovante.

A. Le Benchmark ShotFinder

ShotFinder est le premier benchmark conçu spécifiquement pour la recherche de plans vidéo en domaine ouvert.

• Données : Le dataset contient 1 210 échantillons de haute qualité, extraits de YouTube, couvrant 20 catégories thématiques (ex: mode, sport, documentaire, animation).
• Structure des tâches : Chaque tâche est définie par une description de plan (basée sur une image clé) et une contrainte unique parmi cinq types :
  1. Ordre Temporel : Le plan doit apparaître avant ou après un autre événement spécifique.
  2. Couleur : La teinte globale (chaude, froide, neutre).
  3. Style Visuel : Réel, animation 2D, animation 3D, ou graphiques purs.
  4. Audio : Présence de voix, musique ou sons ambiants.
  5. Résolution : Qualité technique (ex: 1080p vs 720p).
• Construction : Les descriptions sont générées par des modèles (Gemini-3-Pro) puis vérifiées et raffinées manuellement par des experts pour garantir la précision sémantique et la cohérence des contraintes.
• Évaluation : Utilisation d'une méthode d'évaluation assistée par MLLM sur des images clés (keyframes) pour comparer les résultats du modèle avec la vérité terrain, car l'évaluation CLIP classique s'est révélée insuffisante pour les détails fins.

B. La Méthode ShotFinder (Pipeline de Recherche)

Pour répondre à ce défi, les auteurs proposent un pipeline de recherche en trois étapes, piloté par l'« Imagination Vidéo » :

1. Générateur (Expansion de la requête par Imagination) :
   • Au lieu de simplement résumer la description du plan, le modèle est invité à « imaginer » le contenu complet de la vidéo originale dans laquelle ce plan pourrait se trouver.
   • Cette étape transforme une description de plan (locale) en une requête de recherche de niveau vidéo (globale), en inférant le thème, le contexte et les métadonnées probables (titres, tags) de la vidéo source.
2. Récupérateur (Recherche Web) :
   • Le système interagit avec un moteur de recherche (YouTube) pour récupérer un ensemble de vidéos candidates basées sur les requêtes générées.
   • Seules les vidéos accessibles et téléchargeables sont conservées.
3. Localisateur (Localisation Temporelle Guidée) :
   • Pour chaque vidéo candidate, un échantillonnage adaptatif de trames est effectué.
   • Un MLLM analyse les trames (et l'audio si nécessaire) pour identifier le plan spécifique correspondant à la description initiale et aux contraintes.
   • Un mécanisme de vérification en deux étapes confirme si le plan localisé correspond bien à la demande.

3. Résultats Principaux

Les expériences ont été menées sur plusieurs modèles fermés (GPT-5.2, Gemini-3-Pro, Claude-4.0) et open-source (Qwen3-VL, Qwen3-Omni).

• Écart avec l'Humain : Il existe un fossé significatif entre les performances des modèles actuels et celles des humains. Les humains obtiennent une précision moyenne de 88,5 %, tandis que le meilleur modèle (GPT-5.2) atteint seulement 26,9 %.
• Déséquilibre des Tâches :
  • Temps (Temporal) : C'est la tâche la plus facile pour les modèles (meilleure performance relative).
  • Couleur et Style : Ce sont les défis majeurs. Les modèles peinent considérablement à distinguer les nuances de couleurs ou à identifier précisément le style (ex: 2D vs 3D).
• Impact de l'Imagination : L'approche par « imagination vidéo » s'avère cruciale. L'augmentation du nombre de requêtes de recherche et de vidéos candidates améliore les performances, en particulier pour les tâches complexes comme le style et le temps.
• Échelle du Modèle : Une plus grande taille de modèle ne garantit pas systématiquement de meilleures performances sur toutes les tâches. Par exemple, Qwen3-Omni-30B performe bien sur le temps, mais reste inférieur aux modèles fermés sur le style.

4. Contributions Clés

1. ShotFinder Benchmark : Introduction du premier benchmark pour la recherche de plans vidéo en domaine ouvert, formalisant les besoins d'édition vidéo en descriptions de plans et contraintes contrôlables.
2. Méthode d'Imagination : Proposition d'une stratégie de recherche basée sur l'inférence du contexte vidéo global (« Video Imagination ») pour combler le fossé entre la description d'un plan et les métadonnées des vidéos web.
3. Analyse Systématique : Une évaluation approfondie révélant les limites actuelles des MLLM, notamment leur incapacité à gérer finement les attributs visuels (couleur, style) et la complexité sémantique des vidéos en domaine ouvert.

5. Signification et Perspectives

Ce travail met en lumière une lacune critique dans les capacités actuelles des modèles multimodaux : la capacité à naviguer dans l'espace vidéo infini d'Internet pour trouver un moment précis répondant à des critères artistiques et techniques stricts.

• Pour la Recherche : Il ouvre la voie à de nouvelles architectures combinant la recherche d'information web, la compréhension vidéo et la localisation temporelle.
• Pour l'Industrie : Les résultats suggèrent que l'automatisation complète de la recherche de plans pour l'édition vidéo est encore lointaine. Les systèmes actuels nécessitent une intervention humaine significative, surtout pour les contraintes de style et de couleur.
• Futur : Les auteurs identifient des directions pour améliorer la gestion des contraintes multiples (au-delà d'une seule contrainte), l'analyse de vidéos entières plutôt que de simples trames, et l'optimisation de l'extraction de trames basée sur le contenu.

En résumé, ShotFinder établit un nouveau standard pour évaluer et améliorer la capacité des IA à « comprendre » et « trouver » des vidéos sur le web, démontrant que l'imagination contextuelle est une clé essentielle pour réussir cette tâche complexe.