Prompts to Summaries: Zero-Shot Language-Guided Video Summarization with Large Language and Video Models

Cet article présente « Prompts-to-Summaries », la première méthode de résumé vidéo en zéro-shot pilotée par le langage naturel, qui orchestre des modèles vision-langage et de grands modèles de langage pour générer des résumés personnalisés sans données d'entraînement, surpassant ainsi les méthodes non supervisées existantes.

L'essentiel

🎬 Le Problème : L'océan de vidéos et la soif de résumer

Imaginez que vous avez une bibliothèque contenant des millions de films, de vidéos de vacances et de tutoriels. C'est un océan d'informations ! Regarder chaque vidéo en entier prendrait des années. C'est là que la résumé vidéo intervient : c'est l'art de créer un "résumé express" (un highlight reel) pour vous montrer l'essentiel en quelques minutes.

Mais jusqu'à présent, il y avait deux gros problèmes avec les outils existants :

1. Ils étaient trop rigides : Comme un robot qui a appris par cœur un seul livre, ils ne savaient résumer que ce qu'ils avaient déjà vu pendant leur "entraînement". Si vous leur montriez un nouveau type de vidéo, ils étaient perdus.
2. Ils ne vous écoutaient pas : Vous ne pouviez pas leur dire : "Montre-moi seulement les moments drôles" ou "Ignore les scènes de violence". Ils faisaient leur résumé à leur façon, sans vous demander.

🚀 La Solution : "Prompts-to-Summaries" (Des Mots pour des Résumés)

Les auteurs de ce papier (Mario et Alaa) ont créé un nouveau système, qu'ils appellent "Prompts-to-Summaries".

Imaginez que vous avez deux assistants très intelligents qui travaillent ensemble pour créer ce résumé, sans jamais avoir besoin d'apprendre de nouveaux cours (c'est ce qu'on appelle le "Zero-Shot" ou "sans entraînement") :

1. Le Premier Assistant : Le "Scénariste Visuel" (Le VidLM)

C'est un modèle qui a déjà vu des milliards de vidéos sur Internet.

• Son travail : Il regarde votre vidéo et la découpe en scènes (comme les chapitres d'un livre). Pour chaque scène, il écrit une petite description textuelle précise.
• L'analogie : C'est comme un photographe qui prend des photos de chaque moment clé et écrit une légende sous chacune d'elles.

2. Le Second Assistant : Le "Rédacteur en Chef" (Le LLM)

C'est un modèle de langage (comme un super ChatGPT) qui est excellent pour comprendre le sens des mots et vos instructions.

• Son travail : Il lit les descriptions du premier assistant. Ensuite, vous lui donnez une instruction (un "prompt"), par exemple : "Garde seulement les scènes où il y a de la nourriture".
• Son pouvoir : Il note chaque scène de 1 à 100 selon son importance par rapport à votre demande. Il agit comme un juge qui décide quelles scènes sont essentielles et lesquelles sont à jeter.

🛠️ Comment ça marche concrètement ? (Le Processus Magique)

Voici les étapes, expliquées simplement :

1. Découpage intelligent : Le système coupe la vidéo en scènes logiques (pas juste toutes les 5 secondes, mais quand l'action change vraiment).
2. Description par lots : Pour ne pas faire exploser la mémoire de l'ordinateur, il décrit la vidéo par petits morceaux, comme si on lisait un roman chapitre par chapitre, en s'assurant que l'histoire reste fluide.
3. Le Jugement : Le "Rédacteur en Chef" (LLM) lit toutes les descriptions. Si vous avez demandé "Montre-moi les voitures rouges", il va donner un score élevé aux scènes avec des voitures rouges et un score bas aux autres.
4. Lissage temporel : Pour éviter que le résumé ne fasse des sauts brusques, le système "lisse" les scores. C'est comme si on passait un lisseur sur les cheveux : la transition entre deux scènes est douce et naturelle.
5. Le Résultat Final : Le système sélectionne les meilleurs moments (les frames) pour créer un résumé vidéo parfait qui correspond exactement à ce que vous avez demandé.

🏆 Pourquoi c'est révolutionnaire ?

• Pas de dictionnaire nécessaire : Contrairement aux anciennes méthodes qui devaient "apprendre" sur des milliers d'exemples de vidéos étiquetées, celui-ci utilise son intelligence générale. Il fonctionne sur n'importe quelle vidéo, même celles qu'il n'a jamais vues.
• Il comprend vos caprices : Vous pouvez lui demander des choses complexes comme "Montre-moi les moments où l'émotion change" ou "Évite les scènes violentes". Il comprend le sens, pas juste des mots-clés.
• Résultats incroyables : Même sans avoir "studied" (entraîné) sur les bases de données classiques, ce système bat tous les autres systèmes "non entraînés" et rivalise avec les meilleurs systèmes "entraînés". C'est comme si un étudiant qui n'a jamais ouvert un manuel de maths réussissait un examen de niveau master en utilisant seulement son bon sens et sa logique.

🧪 Le Nouveau Défi : VidSum-Reason

Les auteurs ont aussi créé un nouveau jeu de données (un nouveau test) appelé VidSum-Reason.

• L'idée : Les anciens tests demandaient des choses simples comme "Trouve les voitures". Ce nouveau test demande des choses plus difficiles, comme "Trouve les moments où le personnage semble triste" ou "Montre les scènes qui nécessitent de la patience".
• Le résultat : Leur système a réussi à relever ce défi, prouvant qu'il peut vraiment "réfléchir" et comprendre le contexte, pas juste repérer des objets.

En résumé

Ce papier nous dit que nous n'avons plus besoin d'entraîner des robots spécifiques pour chaque tâche. En combinant la puissance de la vision par ordinateur (pour voir et décrire) avec la intelligence linguistique (pour comprendre vos demandes), nous pouvons créer des résumés vidéo personnalisés, instantanés et intelligents, simplement en parlant à la machine.

C'est comme passer d'un robot qui ne sait faire que des omelettes (car il a été entraîné uniquement là-dessus) à un chef cuisinier qui peut préparer n'importe quel plat si vous lui donnez la recette à l'oral ! 🍳🗣️

Résumé technique

1. Problématique et Contexte

L'explosion des données vidéo a créé un besoin urgent d'outils de résumé flexibles et contrôlables par l'utilisateur. Les méthodes existantes souffrent de deux limitations majeures :

• Dépendance aux données d'entraînement : La plupart des approches (supervisées ou non supervisées) nécessitent des jeux de données annotés spécifiques, ce qui limite leur capacité de généralisation à de nouveaux domaines ou types de vidéos.
• Manque de contrôle sémantique : Elles ne peuvent pas intégrer facilement des intentions utilisateur exprimées en langage naturel (ex: « résumer en mettant l'accent sur les moments violents » ou « exclure les scènes inappropriées »).

L'objectif de ce travail est de développer un système de résumé vidéo en « zero-shot » (sans données d'entraînement ni fine-tuning) qui soit guidé par le texte, capable de générer des résumés personnalisés à partir de n'importe quelle vidéo et de n'importe quelle requête textuelle.

2. Méthodologie : Le Pipeline « Prompts-to-Summaries »

L'approche proposée orchestre des Modèles Vidéo-Langage (VideoLM) et des Grands Modèles de Langage (LLM) dans un pipeline en quatre étapes principales, sans aucune phase d'apprentissage :

A. Détection et Raffinement des Scènes

• Détection initiale : Le vidéo est segmenté en scènes temporellement cohérentes en utilisant la différence d'intensité des pixels entre les images (via PySceneDetect). Un seuil dynamique est optimisé pour éviter la sur-segmentation.
• Raffinement : Les scènes trop courtes (bruit) sont fusionnées avec leurs voisins les plus similaires (basé sur la similarité cosinus des embeddings visuels, ex: CLIP ou DINO) pour garantir la cohérence sémantique.

B. Génération de Descriptions (Scene Description)

• Un VideoLM (modèle pré-entraîné) génère des descriptions textuelles détaillées pour chaque scène et pour la vidéo entière.
• Gestion des longues vidéos : Pour contourner les limites de contexte des modèles, une stratégie de traitement par lots (batching) est utilisée. Les images échantillonnées sont divisées en groupes, décrits individuellement, puis concaténés avec des connecteurs textuels (« La vidéo continue », « La scène se termine ») pour maintenir la cohérence temporelle.

C. Évaluation de l'Importance des Scènes (Scene Scoring)

• Un LLM agit comme juge pour attribuer un score d'importance (1 à 100) à chaque scène.
• Prompting : Le LLM reçoit la description de la scène, la description globale de la vidéo et, le cas échéant, la requête utilisateur.
• Rôle du LLM : Il est invité à évaluer la pertinence de la scène par rapport au thème global et à la requête spécifique. Un protocole de prompt rigoureux (rubrique, rôle de « juge objectif », distribution des scores) assure la stabilité et la reproductibilité des jugements.

D. Propagation et Pondération au niveau des Images (Frame-Level Scoring)

Pour obtenir une granularité fine (image par image), les scores de scène sont propagés aux images individuelles via deux mécanismes :

1. Lissage temporel : Les scores de scène sont normalisés et lissés aux frontières des scènes (fonction cosinus) pour éviter des transitions brutales.
2. Pondération intra-scène : Chaque image reçoit un poids basé sur deux métriques calculées via le clustering (K-Means) de ses embeddings :
   • Cohérence (Consistency) : Mesure la stabilité visuelle de la séquence.
   • Unicité (Uniqueness) : Mesure la nouveauté ou la diversité visuelle par rapport à la moyenne de la séquence.

• Le score final d'une image est le produit du score de scène lissé et de son poids d'unicité/cohérence.

3. Contributions Clés

1. Premier cadre Zero-Shot guidé par le texte : Une méthode capable de générer des résumés personnalisés sans aucune donnée d'entraînement, annotations ou fine-tuning.
2. Performance SOTA (State-of-the-Art) : La méthode surpasse toutes les méthodes non supervisées existantes et rivalise avec des méthodes supervisées sur les benchmarks standards SumMe et TVSum.
3. Nouveau Benchmark : VidSum-Reason : Les auteurs ont créé un jeu de données public contenant des requêtes complexes nécessitant un raisonnement temporel et des connaissances externes (ex: « exclure les scènes violentes », « prioriser les véhicules crossover »), comblant le vide des requêtes « longue traîne » (long-tailed).
4. Analyse approfondie : Une étude ablation démontre l'impact de chaque composant (encodeurs d'images, stratégies de normalisation, types de prompts LLM).

4. Résultats Expérimentaux

• Résumé Standard (SumMe & TVSum) :

  • Sur SumMe, la méthode atteint un score F1 de 56,84 %, surpassant les meilleures méthodes non supervisées (ex: +2,8 % par rapport à SegSum).
  • Sur TVSum, elle atteint 62,22 %, battant également les approches non supervisées.
  • Elle se compare favorablement à des méthodes supervisées qui nécessitent des annotations au niveau des images.

• Résumé Focalisé sur la Requête (QFVS) :

  • Sur le dataset QFVS, la méthode atteint un F1 de 53,42 % (avec CLIP-Image), se classant juste derrière la méthode supervisée la plus performante (CLIP-It : 54,44 %) et surpassant toutes les autres bases supervisées classiques.

• Benchmark VidSum-Reason :

  • La méthode obtient un score F1 moyen de 43,4 % contre 34,56 % pour une base aléatoire, démontrant sa capacité à gérer des requêtes complexes nécessitant du raisonnement.

• Efficacité et Échelle :

  • Le pipeline est capable de traiter des vidéos de plusieurs heures (jusqu'à 5h) sur une seule carte graphique (NVIDIA A100) grâce à la stratégie de lots, bien que le temps de traitement soit proportionnel à la longueur de la vidéo.

5. Signification et Conclusion

Cet article démontre que les modèles multimodaux pré-entraînés (VideoLM et LLM), lorsqu'ils sont orchestrés avec une ingénierie de prompts rigoureuse et une propagation de scores, constituent une fondation puissante pour le résumé vidéo universel.

Points forts :

• Universalité : Fonctionne sur n'importe quel domaine sans réentraînement.
• Contrôlabilité : Permet aux utilisateurs de guider le résumé via le langage naturel.
• Robustesse : Démontrée sur des vidéos abstraites et concrètes, ainsi que sur des requêtes complexes.

Limitations :

• Sensibilité aux prompts : De légères variations dans la formulation du prompt peuvent modifier les scores.
• Coût computationnel : Le traitement de vidéos très longues reste coûteux en temps de calcul (bien que gérable via le batching).

En conclusion, « Prompts-to-Summaries » établit un nouveau paradigme pour le résumé vidéo, passant d'une approche basée sur l'apprentissage de données spécifiques à une approche basée sur le raisonnement sémantique et le contrôle par l'utilisateur en temps réel.