Dialogue-Aware Video-to-Music Generation Using Public Domain Film Collections
Um die Herausforderungen der Reproduzierbarkeit und des Urheberrechts bei der Video-zu-Musik-Generierung anzugehen, führt dieses Paper den reproduzierbaren Open Screen Soundtrack Library Version 2 (OSSL-v2) Datensatz aus gemeinfreien Filmen ein und schlägt ein dialogbewusstes Modell vor, das die Musikgenerierung durch die Modulation der Video-Cross-Attention mittels On-Screen-Sprache verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie schauen einen Film. Sie sehen einen Helden, der durch einen Sturm rennt, und plötzlich grollt der Donner, während ein dramatisches Orchester anschwillt. Diese Musik ist nicht nur Hintergrundrauschen; sie ist der emotionale Klebstoff, der die Szene zusammenhält und Ihnen sagt, wie Sie sich fühlen sollen. Lange Zeit haben Wissenschaftler versucht, Computern diese Fähigkeit beizubringen, der „Komponist“ für Videos zu sein, also automatisch Musik zu erstellen, die zur Stimmung dessen passt, was auf dem Bildschirm passiert. Dieses Feld wird Video-zu-Musik-Generierung genannt. Aber es gibt ein riesiges Problem: Um einem Computer diese Fähigkeit beizubringen, benötigt man tausende Beispiele von Filmen und ihren perfekten Soundtracks. Die meisten Forscher haben bisher Listen mit Internetlinks zu Videos verwendet, um diese Beispiele zu finden. Das Problem ist, dass Internetlinks wie Sandburgen sind; die Flut kommt herein, und die Videos werden gelöscht oder gesperrt. Das bedeutet, dass die „Lehrbücher“, von denen die Computer lernen, ständig verschwinden, was es unmöglich macht, zu überprüfen, ob ein Computer tatsächlich klüger ist als ein anderer. Um dies zu beheben, brauchen wir eine Bibliothek von Filmen, die nicht verschwinden kann, und eine Möglichkeit, dem Computer nicht nur beizubringen, wie die Charaktere aussehen, sondern auch, was sie sagen.
Hier kommen die Forscher der UC San Diego und der University of Michigan ins Spiel, die eine brandneue, unerschütterliche Bibliothek namens OSSL-v2 aufgebaut haben. Stellen Sie sich dies als ein riesiges, in sich geschlossenes Kino vor, das niemand schließen kann. Anstatt auf Links im Internet zu verweisen, die vielleicht verrotten könnten, haben sie 1.886 Filme heruntergeladen, die der Öffentlichkeit gehören (das heißt, jeder darf sie verwenden), und diese in 34.343 kleine Clips zerschnitten. Dies summiert sich auf etwa 246,4 Stunden Video und Musik, die alle sicher an einem Ort gespeichert sind. Da es sich selbst gehostet handelt, wird es nicht verschwinden, und es bietet jedem Forscher einen fairen, identischen Datensatz, um seine KI-Modelle zu trainieren.
Aber das Team hat nicht nur eine Bibliothek gebaut; sie erkannten, dass den Computern ein entscheidender Hinweis fehlte. In Filmen ändert sich die Musik oft in dem Moment, in dem ein Charakter zu sprechen beginnt. Wenn jemand schreit, wird die Musik vielleicht leiser oder stoppt, damit die Stimme gehört werden kann. Die Forscher stellten fest, dass es in ihrer neuen Bibliothek eine leichte, aber reale Verbindung zwischen der Lautstärke des Dialogs und der Lautstärke der Musik gibt. Um dies zu nutzen, erfanden sie ein „dialogbewusstes“ System. Stellen Sie sich vor, der Computer ist ein Dirigent. Vorher hat der Dirigent nur auf die Gesichter und Bewegungen der Schauspieler geschaut, um zu entscheiden, wann er das Orchester beschleunigt oder verlangsamt. Jetzt hat der Dirigent eine neue Brille aufgesetzt, mit der er die Stimmen der Schauspieler in Echtzeit hören kann. Das System nimmt den Klang des Dialogs und nutzt ihn, um die Musik Frame für Frame sanft zu steuern, sodass die Musik genau dann atmet und Pausen macht, wenn es die Charaktere tun.
Als sie diesen neuen Ansatz mit ihrer massiven Bibliothek testeten, waren die Ergebnisse vielversprechend. Sie verglichen ihre „dialogbewussten“ Modelle mit den besten bestehenden Systemen. Die neue Methode machte die Musik nicht unbedingt im allgemeinen Sinne „besser“ (wie zum Beispiel komplexer oder vielfältiger), aber sie sorgte dafür, dass die Musik viel enger zum Video passte. Speziell die generierten Soundtracks passten viel treuer zu den ursprünglichen Filmszenen, besonders wenn der Computer schwierige Momente bewältigen musste, in denen Dialog und Musik überlappen. Die Forscher fanden heraus, dass diese Verbesserung auch dann Bestand hatte, wenn sie die Modelle an kommerziellen Filmen testeten, die sie zuvor noch nie gesehen hatten, was darauf hindeutet, dass das Zuhören auf den Dialog dem KI hilft, den Rhythmus einer Szene besser zu verstehen als nur das bloße Zuschauen.
Das Paper hat auch einige potenzielle Tricks sorgfältig ausgeschlossen. Sie befürchteten, dass der Computer sich vielleicht nur auf „übrig gebliebene“ Musik verlassen könnte, die in die Dialogspur durchgesickert ist (da die Trennung von Audio nicht perfekt ist). Um dies zu prüfen, ließen sie einen speziellen Filter laufen, um Clips zu finden, in denen der Dialog fast vollständig frei von jeglichem Musikrauschen war. Selbst mit diesen „sauberen“ Clips schnitt das dialogbewusste System immer noch besser ab. Dies deutet darauf hin, dass die Verbesserung wirklich aus dem Verständnis der Sprache kommt und nicht daraus, dass der Computer versehentlich die Musik mitgehört hat. Obwohl das System noch kein perfekter Ersatz für menschliche Komponisten ist, legt die Studie nahe, dass das Hinzufügen der Stimme der Charaktere ein mächtiger Weg ist, um Computern zu helfen, Musik zu schreiben, die sich wirklich mit der Geschichte verbunden anfühlt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.