LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training
Das Paper stellt LAION-BVD vor, einen massiven offenen Datensatz bestehend aus 80 Millionen Videos (10 Millionen Stunden) mit synthetisch generierten Bildunterschriften, der ein State-of-the-Art-multimodales Pre-Training über Video-, Audio- und Bild-Text-Aufgaben hinweg ermöglicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Ära der künstlichen Intelligenz lernen Computer, die Welt zu sehen und zu hören, nicht dadurch, dass ihnen Regeln beigebracht werden, sondern indem sie riesige Mengen an Beispielen aufsaugen. Jahrelang haben Forscher massive Bibliotheken von Bildern aufgebaut, die mit Textbeschreibungen gepaart sind, um Maschinen beizubringen, dass ein Foto eines Hundes oft mit dem Wort „Hund“ einhergeht. Dieser Prozess, bekannt als multimodales Lernen, ermöglicht es Computern, das, was sie sehen, mit dem zu verbinden, was sie lesen, und bildet die Grundlage für Systeme, die Bilder beschreiben, Fragen dazu beantworten oder sogar neue Bilder aus Text generieren können. Während diese Bibliotheken aus statischen Bildern jedoch auf Milliarden von Einträgen angewachsen sind, sind die entsprechenden Sammlungen für bewegte Bilder und Ton überraschend klein geblieben. Videos sind weitaus komplexer als Standfotos; sie enthalten Bewegung, wechselnde Szenen und oft eine Tonspur, die zusammen mit den visuellen Inhalten eine Geschichte erzählt. Die Herausforderung bestand darin, dass das Sammeln ausreichender Videodaten, um diese leistungsstarken Systeme zu trainieren, unglaublich schwierig ist, da Videos oft hinter den Mauern kommerzieller Plattformen eingeschlossen sind und enorme Rechenleistung erfordern, um verarbeitet zu werden.
Ein Team von Forschern hat nun diesen Durchbruch erzielt, indem es einen Datensatz von beispielloser Größenordnung namens LAION-BVD veröffentlicht hat. Diese Sammlung stellt einen massiven Sprung nach vorn in der offenen Wissenschaft dar und bietet eine Bibliothek von 10 Millionen Stunden Videomaterial. Um dies einzuordnen: Wenn man jede einzelne Stunde dieses Filmmaterials ohne Unterbrechung ansehen würde, bräuchte man über tausend Jahre, um fertig zu werden. Der Datensatz wurde erstellt, indem die Forscher zunächst 1,3 Milliarden Links zu Videos aus dem öffentlichen Web sammelten, insbesondere von großen Plattformen wie YouTube, Vimeo und Dailymotion. Aus dieser enormen Liste haben die Forscher erfolgreich 80 Millionen verschiedene Videos heruntergeladen. Anschließend nutzten sie automatisierte Werkzeuge, um diese langen Videos basierend auf Szenenwechseln in kürzere, aussagekräftige Clips zu zerlegen, um sicherzustellen, dass jedes Segment einen kohärenten Moment einfängt und kein ungeordnetes Durcheinander unzusammenhängender Aufnahmen ist.
Die wahre Innovation dieser Arbeit liegt darin, wie die Forscher dem Computer beibrachten, diese Clips zu verstehen. Da kein Mensch in der Lage wäre, 10 Millionen Stunden Video anzusehen und für jede Sekunde eine Beschreibung zu verfassen, setzte das Team künstliche Intelligenz ein, um die Textbeschriftungen automatisch zu generieren. Sie trainierten spezialisierte Modelle, um die Videoclips zu beobachten und kurze, synthetische Bildunterschriften zu schreiben, die die Handlung beschreiben, während separate Modelle die Tonspuren anhörten, um die Geräusche zu beschreiben – von Musik über Sprache bis hin zu Umgebungsgeräuschen. Sie extrahierten auch einzelne Einzelbilder aus den Videos, um eine massive Sammlung von 30em Millionen Bildern zu erstellen, von denen jedes seine eigene Beschreibung besitzt. Dieser Prozess schuf einen reichhaltigen, vielschichtigen Datensatz, in dem der Computer lernen kann, Video mit Text, Audio mit Text und sogar Einzelbilder mit Text zu verknüpfen, und das alles aus demselben Quellmaterial.
Als die Forscher diese neuen Daten testeten, indem sie Computermodelle mit ihnen trainierten, waren die Ergebnisse beeindruckend. Die Modelle lernten, Video und Audio ebenso gut wie – und in einigen Fällen sogar besser als – Modelle, die auf bestehenden, kleineren Datensätzen trainiert wurden. Die Leistung verbesserte sich konsistent, wenn die Forscher den Modellen mehr Daten zuführten und größere Computerarchitekturen verwendeten, was darauf hindeutet, dass diese massive Bibliothek eine qualitativ hochwertige Ressource für das Training von Maschinen ist. Die mit Video trainierten Modelle wurden besser darin, menschliche Handlungen zu erkennen, wie etwa das Identifizieren von jemandem, der Basketball spielt oder einen spezifischen Tanz aufführt, und sie wurden geschickter darin, das richtige Video zu finden, wenn eine Textbeschreibung vorgegeben wurde. Ähnlich zeigten die mit Audio trainierten Modelle eine starke Fähigkeit, gesprochene Wörter oder schriftliche Beschreibungen den richtigen Klängen zuzuordnen, sei es das Zwitschern eines Vogels oder das Geräusch eines startenden Automotors.
Vielleicht überraschenderweise erwiesen sich auch die aus diesen Videos extrahierten Bilder als eine kraftvolle neue Lernquelle. Während die Modelle, die mit diesen aus Videos abgeleiteten Bildern trainiert wurden, nicht die absolut Besten darin waren, spezifische Objekte in einem starren, lehrbuchartigen Stil zu identifizieren, glänzten sie bei einer anderen Aufgabe: das richtige Bild für eine gegebene Beschreibung zu finden. Dies deutet darauf an, dass die in Videos eingefangene visuelle Welt eine andere Art von Vielfalt bietet als Standard-Webbilder und eine einzigartige Perspektive liefert, die Computern hilft, die Welt breiter zu verstehen. Die Forscher fanden heraus, dass die von ihrem automatisierten System generierten Bildunterschriften genau genug waren, um nützlich zu sein, wobei die überwiegende Mehrheit den Inhalt der Clips korrekt beschrieb.
Diese Arbeit liefert mehr als nur einen neuen Datensatz; sie zeigt auf, dass der Engpass für das Training fortgeschrittener Video- und Audio-KI nicht länger ein Mangel an verfügbaren Daten ist, sondern vielmehr der technische Aufwand, die Verarbeitung zu bewältigen. Indem sie zeigten, dass eine massive, offen verfügbare Sammlung von Webvideos erfolgreich kuratiert und genutzt werden kann, um hochmoderne Modelle zu trainieren, haben die Forscher die Tür für eine neue Generation künstlicher Intelligenz geöffnet. Sie haben bewiesen, dass mit den richtigen Werkzeugen der riesige, chaotische Ozean aus Online-Videos in eine strukturierte, bildungsorientierte Ressource verwandelt werden kann, die es Maschinen ermöglicht, aus dem gesamten Spektrum der menschlichen Erfahrung zu lernen – wie sie sich bewegt und klingt, und nicht nur, wie sie stillsteht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.