LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training
L'article présente LAION-BVD, un ensemble de données ouvert et massif comprenant 80 millions de vidéos (10 millions d'heures) avec des légendes générées synthétiquement, ce qui permet un pré-entraînement multimodal de pointe à travers les tâches vidéo, audio et image-texte.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
À l'ère moderne de l'intelligence artificielle, les ordinateurs apprennent à voir et à entendre le monde non pas en étant instruits par des règles, mais en absorbant de vastes quantités d'exemples. Pendant des années, des chercheurs ont construit de gigantesques bibliothèques d'images associées à des descriptions textuelles, apprenant aux machines que la photo d'un chien est souvent accompagnée du mot « chien ». Ce processus, connu sous le nom d'apprentissage multimodal, permet aux ordinateurs de relier ce qu'ils voient à ce qu'ils lisent, formant ainsi la base de systèmes capables de décrire des images, de répondre à des questions à leur sujet ou même de générer de nouvelles images à partir de texte. Cependant, alors que ces bibliothèques d'images statiques se sont développées pour inclure des milliards d'entrées, les collections équivalentes pour les images animées et le son sont restées étonnamment réduites. Les vidéos sont bien plus complexes que les photos fixes ; elles contiennent du mouvement, des changements de scènes et souvent une bande sonore qui raconte une histoire aux côtés des visuels. Le défi résidait dans le fait que la collecte de suffisamment de données vidéo pour entraîner ces systèmes puissants est incroyablement difficile, car les vidéos sont souvent verrouillées derrière les murs des plateformes commerciales et nécessitent une puissance de calcul immense pour être traitées.
Une équipe de chercheurs a maintenant brisé cette barrière en publiant un ensemble de données d'une ampleur sans précédent appelé LAION-BVD. Cette collection représente un bond en avant massif pour la science ouverte, offrant une bibliothèque de 10 millions d'heures de vidéo. Pour donner un ordre de grandeur, si l'on devait regarder chaque heure de ces séquences sans s'arrêter, il faudrait plus de mille ans pour terminer. L'ensemble de données a été construit en rassemblant d'abord 1,3 milliard de liens vers des vidéos sur le web public, spécifiquement à partir de plateformes majeures comme YouTube, Vimeo et Dailymotion. À partir de cette liste énorme, les chercheurs ont réussi à télécharger 80 millions de vidéos distinctes. Ils ont ensuite utilisé des outils automatisés pour découper ces longues vidéos en clips plus courts et significatifs basés sur les changements de scènes, garantissant que chaque segment capture un moment cohérent plutôt qu'un mélange désordonné de plans sans rapport.
La véritable innovation de ce travail réside dans la manière dont les chercheurs ont appris à l'ordinateur à comprendre ces clips. Puisqu'aucun humain ne pourrait probablement regarder 10 millions d'heures de vidéo et écrire une description pour chaque seconde, l'équipe a utilisé l'intelligence artificielle pour générer automatiquement les étiquettes textuelles. Ils ont entraîné des modèles spécialisés pour regarder les clips vidéo et écrire de courtes légendes synthétiques décrivant l'action, tandis que des modèles distincts écoutaient les pistes audio pour décrire les sons, de la musique aux paroles en passant par les bruits ambiants. Ils ont également extrait des images individuelles de ces vidéos pour créer une vaste collection de 300 millions d'images, chacune dotée de sa propre description. Ce processus a créé un ensemble de données riche et multicouche où l'ordinateur peut apprendre à lier la vidéo au texte, l'audio au texte, et même l'image seule au texte, le tout à partir de la même source de matériel.
Lorsque les chercheurs ont testé ces nouvelles données en entraînant des modèles informatiques dessus, les résultats ont été frappants. Les modèles ont appris à comprendre la vidéo et l'audio aussi bien que, et dans certains cas mieux que, les modèles entraînés sur des ensembles de données existants plus petits. La performance s'est améliorée de manière constante à mesure que les chercheurs nourrissaient les modèles avec davantage de données et utilisaient des architectures informatiques plus larges, suggérant que cette immense bibliothèque est une ressource de haute qualité pour l'enseignement aux machines. Les modèles entraînés sur la vidéo sont devenus meilleurs pour reconnaître les actions humaines, comme identifier quelqu'un jouant au basket ou exécutant une danse spécifique, et ils sont devenus plus habiles pour trouver la bonne vidéo lorsqu'on leur donne une description textuelle. De même, les modèles entraînés sur l'audio ont montré une forte capacité à faire correspondre des paroles prononcées ou des descriptions écrites aux sons corrects, qu'il s'agisse du chant d'un oiseau ou du démarrage d'un moteur de voiture.
Peut-être de manière surprenante, les images extraites de ces vidéos se sont également révélées être une nouvelle source d'apprentissage puissante. Bien que les modèles entraînés sur ces images dérivées de vidéos ne soient pas les meilleurs pour identifier des objets spécifiques de manière rigide et académique, ils excellaient dans une tâche différente : trouver la bonne image pour une description donnée. Cela suggère que le monde visuel capturé dans les vidéos offre un type de variété différent des images web standards, fournissant une perspective unique qui aide les ordinateurs à comprendre le monde de manière plus large. Les chercheurs ont constaté que les légendes générées par leur système automatisé étaient suffisamment précises pour être utiles, la grande majorité décrivant correctement le contenu des clips.
Ce travail fait plus que fournir un nouvel ensemble de données ; il démontre que le goulot d'étranglement pour l'entraînement d'une IA vidéo et audio avancée n'est plus le manque de données disponibles, mais plutôt l'effort d'ingénierie requis pour les traiter. En montrant qu'une collection massive et librement accessible de vidéos web peut être couramment organisée et utilisée pour entraîner des modèles de pointe, les chercheurs ont ouvert la porte à une nouvelle génération d'intelligence artificielle. Ils ont prouvé qu'avec les bons outils, l'océan vaste et chaotique de vidéos en ligne peut être transformé en une ressource structurée et éducative, permettant aux machines d'apprendre de tout le spectre de l'expérience humaine telle qu'elle bouge et résonne, et non plus seulement telle qu'elle est immobile.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.