💻 computer science

USV: Towards Understanding the User-generated Short-form Videos

Cet article présente USV, un jeu de données à grande échelle composé de 224 000 vidéos courtes générées par les utilisateurs, conçu pour faire progresser la compréhension sémantique de haut niveau des vidéos en établissant des tâches de reconnaissance de sujets et de recherche vidéo-texte, accompagné de modèles de référence proposés et de benchmarks complets.

Auteurs originaux : Haoyue Cheng, Su Xu, Liwei Jin, Wayne Wu, Chen Qian, Limin Wang

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haoyue Cheng, Su Xu, Liwei Jin, Wayne Wu, Chen Qian, Limin Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une immense bibliothèque chaotique. Depuis des années, les chercheurs étudiant la « compréhension vidéo » ont organisé des livres qui ressemblent à des films hollywoodiens ou à des documentaires professionnels. Ces livres sont bien écrits, clairement étiquetés et suivent des règles strictes. Mais récemment, une nouvelle section sauvage de la bibliothèque a explosé : les Vidéos Courtes Générées par les Utilisateurs (pensez à TikTok, Instagram Reels ou Kwai). Ce ne sont pas des films polis ; ce sont des millions de clips rapides, désordonnés et créatifs réalisés par des gens ordinaires chaque jour.

Jusqu'à présent, personne n'avait construit une carte appropriée pour cette nouvelle section. Cet article, intitulé « USV : Vers la compréhension des vidéos courtes générées par les utilisateurs », est l'équipe qui a enfin construit cette carte.

Voici la décomposition de leur travail en termes simples :

1. Le Problème : La Bibliothèque est Trop Désordonnée

Les auteurs expliquent que les ensembles de données vidéo existants ressemblent à une bibliothèque d'encyclopédies. Ils se concentrent sur la reconnaissance d'actions spécifiques (comme « une personne qui saute ») dans des vidéos longues et professionnelles. Mais les nouvelles vidéos courtes sont différentes :

Elles sont courtes et focalisées : Un clip de 15 secondes a généralement juste une idée principale (comme « ASMR » ou « un chat drôle »), pas un scénario complexe.
Elles sont riches en texte : Elles sont pleines de titres, de sous-titres et de commentaires qui expliquent ce qui se passe.
Elles sont chaotiques : Des millions sont téléchargées chaque jour. Essayer de vérifier et d'étiqueter manuellement chacune d'elles prendrait des centaines d'années aux humains.
Elles sont diversifiées : Ce ne sont pas seulement des gens qui dansent ; ce sont des conférences, des diapositives, des podcasts et des expériences étranges.

2. La Solution : L'Ensemble de Données USV

L'équipe a créé un nouvel ensemble de données appelé USV-1.0.

Comment ils l'ont obtenu : Au lieu d'embaucher des gens pour regarder et étiqueter des vidéos (ce qui est trop lent), ils ont utilisé une astuce « supervisée par le web ». Ils ont demandé aux plateformes vidéo : « Montrez-moi toutes les vidéos sur « ASMR » ou « Blockchain ». » Le moteur de recherche de la plateforme a fait le travail.
Le Résultat : Ils ont rassemblé 224 000 vidéos couvrant 212 sujets différents.
L'Inconvénient : Parce qu'ils n'ont pas vérifié manuellement chaque vidéo, l'ensemble de données est « bruyant ». Certaines vidéos étiquetées « ASMR » pourraient en fait porter sur autre chose. Mais les auteurs soutiennent que ce bruit est une représentation réaliste du monde réel, et qu'il vaut mieux avoir un ensemble de données énorme et légèrement désordonné qu'un petit ensemble parfait.

3. Les Nouveaux Jeux : Deux Nouveaux Défis

Pour tester si les ordinateurs peuvent comprendre cette bibliothèque désordonnée, les auteurs ont inventé deux nouveaux « jeux » (tâches) :

Jeu A : Reconnaissance de Sujet (Le Jeu « De quoi s'agit-il ? »)

L'Objectif : Regarder une vidéo et deviner son sujet principal (par exemple : « Est-ce que cela concerne la cuisine ou les voyages ? »).
La Surprise : Vous ne pouvez pas seulement regarder l'image. Vous devez écouter l'audio et lire les sous-titres aussi. Une vidéo peut ressembler à une plage, mais si l'audio est une conférence sur « l'économie », le sujet est l'économie.
L'Outil : Ils ont construit un Réseau de Fusion Multi-Modalité (MMF-Net). Imaginez un robot à trois têtes : un œil pour la vidéo, une oreille pour le son et un cerveau pour lire le texte. Il combine les trois pour faire une hypothèse intelligente.

Jeu B : Récupération Vidéo-Texte (Le Jeu d'Appariement)

L'Objectif : Associer une vidéo à son titre écrit par l'utilisateur (ou l'inverse).
La Surprise : Les titres sont souvent vagues. Une vidéo d'une plage pourrait avoir le titre « Joyeuses Vacances ». Un ordinateur doit comprendre que « Joyeuses Vacances » correspond sémantiquement à une scène de plage, même si les mots ne sont pas littéralement dans la vidéo.
L'Outil : Ils ont utilisé l'Apprentissage Contrastif Vidéo-Texte (VTCL). Pensez à cela comme enseigner à l'ordinateur à rapprocher les paires « correspondantes » (vidéo + titre) dans un espace mental et à éloigner les paires « non correspondantes ».

4. Ce Qu'ils Ont Découvert

Plus c'est mieux : Pour ces vidéos courtes, regarder plus de trames (temps) aide l'ordinateur à mieux comprendre le sujet.
Ne faites pas confiance aux anciennes cartes : Les modèles entraînés sur des films professionnels (comme Kinetics) ne fonctionnaient pas bien ici. Le style « court format » est tout simplement trop différent.
La Puissance de Trois : La découverte la plus importante est que combiner vidéo, audio et texte fonctionne le mieux.
- Si vous ne regardez que la vidéo, vous pourriez manquer le point essentiel.
- Si vous n'écoutez que, vous pourriez manquer le contexte visuel.
- Mais lorsque vous fusionnez les trois, l'ordinateur obtient une compréhension « holistique », tout comme un humain lorsqu'il regarde un TikTok.

Résumé

Cet article est une étape fondamentale. Il dit : « Arrêtez d'étudier uniquement les films polis. Voici un ensemble de données massif et réel de vidéos courtes et désordonnées. Nous avons défini deux nouvelles façons de tester l'IA sur celles-ci, et nous avons montré que pour vraiment comprendre ces vidéos, l'IA doit lire, écouter et regarder en même temps. »

Ils n'ont pas prétendu que cela réparerait immédiatement les recommandations vidéo ou diagnostiquerait des maladies ; ils ont simplement posé les fondations (l'ensemble de données et les méthodes de base) afin que d'autres chercheurs puissent commencer à construire de meilleurs outils pour ce monde spécifique, chaotique et en croissance rapide des vidéos courtes.

Résumé Technique : USV : Vers la Compréhension des Vidéos Courtes Générées par les Utilisateurs

Définition du Problème
Malgré la prolifération de jeux de données vidéo à grande échelle faisant progresser la compréhension vidéo, le domaine spécifique des vidéos courtes générées par les utilisateurs (UGC) reste sous-exploré. Les jeux de données existants se concentrent principalement sur du contenu professionnel (par exemple, films, télévision) ou sur la reconnaissance au niveau de l'instance (par exemple, reconnaissance d'actions, détection d'objets) dans des vidéos de longue durée. Ils ne parviennent pas à traiter les caractéristiques uniques des UGC courtes :

Concentration Thématique : Les vidéos sont contraintes de transmettre un seul sujet principal en quelques secondes.
Riche en Texte : Une forte dépendance au texte généré par les utilisateurs (titres, sous-titres, commentaires) pour le sens sémantique.
Haute Dynamique : Des tendances en évolution rapide (par exemple, ASMR, blockchain) rendent l'annotation et la vérification manuelles à grande échelle peu pratiques.
Grande Diversité : Une grande variété de genres et de récits nécessitant des indices multimodaux pour la compréhension.

La littérature actuelle manque d'un jeu de données et d'une référence qui exploitent la multimodalité pour comprendre les informations sémantiques de haut niveau dans ce domaine spécifique.

Méthodologie
L'article présente USV-1.0, un nouveau jeu de données, et propose deux tâches spécifiques ainsi que des méthodes de référence pour répondre aux défis de la compréhension des vidéos courtes générées par les utilisateurs.

Construction du Jeu de Données (USV-1.0) :
- Échelle : Contient environ 224 000 vidéos réparties en 212 catégories de micro-thèmes (dérivées de 32 macro-thèmes).
- Stratégie de Collecte : Les vidéos ont été collectées via des requêtes d'étiquettes provenant de plateformes UGC (par exemple, TikTok, Kwai) sans vérification ni rognage manuel supplémentaire. Les mots de requête servent d'étiquettes de sujet, et les titres téléchargés par les utilisateurs servent de texte pour la récupération.
- Extraction de Modalités : Le jeu de données comprend des trames visuelles brutes, des pistes audio et des sous-titres extraits (via OCR).
- Gestion du Bruit : Reconnaissant la caractéristique de « Haute Dynamique », les auteurs adoptent un schéma supervisé par le web. Seuls les ensembles de validation et de test ont fait l'objet d'une vérification humaine limitée (suppression d'environ 21,7 % des étiquettes bruyantes), tandis que l'ensemble d'entraînement reste non vérifié pour maintenir l'évolutivité.
Tâche 1 : Reconnaissance de Sujet :
- Définition : Une tâche de classification multi-classes où l'objectif est d'identifier le sujet sémantique de haut niveau d'une vidéo. Contrairement à la reconnaissance d'actions, cela nécessite d'intégrer des indices visuels, audio et textuels.
- Méthode (MMF-Net) : Un Réseau de Fusion Multimodale utilisant une architecture de fusion tardive à trois branches :
  - Branche Visuelle : Réseaux de convolution 2D (TSN) ou 3D (I3D, SlowFast).
  - Branche Audio : ResNet-18 2D traitant des spectrogrammes log-Mel.
  - Branche Texte : BERT multilingue pré-entraîné traitant les sous-titres extraits par OCR.
  - Fusion : Les scores de prédiction des trois branches sont pondérés et moyennés pour former un consensus.
Tâche 2 : Récupération Vidéo-Texte :
- Définition : Récupérer des vidéos basées sur des titres générés par les utilisateurs (et inversement). Cela traite les titres comme des légendes naturelles et faibles, cadrant le problème comme un apprentissage auto-supervisé de multimodalité croisée.
- Méthode (VTCL) : Un cadre d'Apprentissage Contrastif Vidéo-Texte.
  - Il mappe les clips vidéo et les titres dans un espace d'incorporation partagé de dimension $d$ .
  - Il utilise une perte InfoNCE pour rapprocher les paires vidéo-titre correspondantes et éloigner les paires non correspondantes.
  - L'encodeur vidéo concatène les caractéristiques des branches visuelle, audio et texte avant la projection.

Résultats Clés

Performance de Référence :
- Reconnaissance de Sujet : La référence MMF-Net a atteint une Précision Moyenne par Classe (mca) de 78,84 % en fusionnant les branches Visuelle, Audio et Texte. Notamment, les modèles 2D (TSN) ont surpassé les modèles 3D (SlowFast, I3D) sur ce jeu de données, suggérant que la modélisation temporelle dense est moins critique que l'intégration multimodale pour les sujets de vidéos courtes. Le pré-entraînement sur Kinetics-400 ou ImageNet n'a apporté aucun bénéfice, indiquant un écart de domaine significatif.
- Récupération Vidéo-Texte : Le cadre VTCL a démontré que l'ajout des modalités audio et texte améliorait constamment les performances de récupération par rapport aux références basées uniquement sur la vision. La meilleure configuration (V+A+T) a atteint un Recall@1 de 23,51 % (Vidéo vers Titre) et 23,71 % (Titre vers Vidéo).
Capacité Zero-Shot : L'article a démontré que les incorporations VTCL pouvaient être utilisées pour la reconnaissance de sujet zero-shot sans affinage, atteignant une mca de 29,01 %, validant l'alignement sémantique appris par le cadre contrastif.
Impact de la Multimodalité : Les études d'ablation ont confirmé que, bien que les branches audio et texte individuelles aient mal performé isolément (souvent <50 %), leur fusion a considérablement augmenté les performances globales du système, soulignant la nécessité d'indices multimodaux pour la compréhension sémantique de haut niveau.

Signification et Revendications
Les auteurs revendiquent trois contributions principales :

Nouvelles Données : USV-1.0 est le premier jeu de données à grande échelle dédié à la compréhension de vidéos courtes du monde réel, comblant le vide dans la littérature existante qui se concentre sur du contenu professionnel ou au niveau de l'instance.
Nouvelles Tâches : La définition de la Reconnaissance de Sujet (classification sémantique de haut niveau) et de la Récupération Vidéo-Texte (basée sur des titres générés par les utilisateurs) déplace l'accent de la reconnaissance au niveau de l'instance vers une compréhension sémantique holistique.
Nouvelles Méthodes : La proposition de MMF-Net et de VTCL sert de premières références efficaces utilisant l'audio et les sous-titres pour ces tâches spécifiques.

L'article se positionne comme une exploration préliminaire visant à faciliter les recherches futures. Il souligne que les méthodes proposées sont des références « simples mais efficaces » conçues pour démontrer le potentiel des indices multimodaux plutôt que pour établir des records de pointe grâce à des architectures complexes. Le travail vise à repousser les limites de la compréhension du contenu généré par les utilisateurs en exploitant la nature multimodale inhérente des vidéos courtes.