Dialogue-Aware Video-to-Music Generation Using Public Domain Film Collections
Pour répondre aux défis de la reproductibilité et du droit d'auteur dans la génération de musique à partir de vidéos, cet article introduit l'ensemble de données reproductible Open Screen Soundtrack Library version 2 (OSSL-v2) de films du domaine public et propose un modèle sensible au dialogue qui améliore la génération de musique en modulant l'attention croisée vidéo par la parole à l'écran.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous regardez un film. Vous voyez un héros courant à travers une tempête, et soudain, le tonnerre gronde tandis qu'un orchestre dramatique monte en puissance. Cette musique n'est pas seulement un bruit de fond ; c'est la colle émotionnelle qui maintient la scène ensemble, vous dictant ce que vous devez ressentir. Pendant longtemps, les scientifiques ont essayé d'apprendre aux ordinateurs à être le « compositeur » des vidéos, créant automatiquement une musique qui correspond à l'ambiance de ce qui se passe à l'écran. Ce domaine est appelé la génération de musique à partir de la vidéo. Mais il y a un énorme problème : pour apprendre cette compétence à un ordinateur, il faut des milliers d'exemples de films et de leurs bandes sonores parfaites. La plupart des chercheurs ont utilisé des listes de liens vers des vidéos sur Internet pour trouver ces exemples. Le problème, c'est que les liens Internet sont comme des châteaux de sable ; la marée monte et les vidéos sont supprimées ou verrouillées. Cela signifie que les « manuels » dont les ordinateurs apprennent disparaissent continuellement, rendant impossible de vérifier si un ordinateur est réellement plus intelligent qu'un autre. Pour corriger cela, nous avons besoin d'une bibliothèque de films qui ne peut pas s'évanouir, et d'un moyen d'apprendre à l'ordinateur non seulement à quoi ressemblent les personnages, mais aussi ce qu'ils disent.
Entrez les chercheurs de l'UC San Diego et de l'Université du Michigan, qui ont construit une toute nouvelle bibliothèque inébranlable appelée OSSL-v2. Considérez cela comme un immense cinéma autonome que personne ne peut fermer. Au lieu de pointer vers des liens sur Internet qui pourraient pourrir, ils ont téléchargé 1 886 films qui appartiennent au domaine public (ce qui signifie que n'importe qui peut les utiliser) et les ont découpés en 34 343 petits clips. Cela représente environ 246,4 heures de vidéo et de musique, toutes stockées en toute sécurité en un seul endroit. Parce qu'elle est auto-hébergée, elle ne disparaîtra pas, et elle donne à chaque chercheur un ensemble de données identique et équitable pour entraîner leurs modèles d'IA.
Mais l'équipe n'a pas seulement construit une bibliothèque ; elle a réalisé que les ordinateurs manquaient d'un indice crucial. Dans les films, la musique change souvent au moment même où un personnage commence à parler. Si quelqu'un crie, la musique peut devenir plus faible ou s'arrêter pour laisser la voix être entendue. Les chercheurs ont remarqué que dans leur nouvelle bibliothèque, il existe un lien léger mais réel entre la force du dialogue et la force de la musique. Pour utiliser cela, ils ont inventé un système « conscient du dialogue ». Imaginez que l'ordinateur est un chef d'orchestre. Auparavant, le chef d'orchestre ne regardait que les visages et les mouvements des acteurs pour décider quand accélérer ou ralentir l'orchestre. Désormais, le chef d'orchestre possède une nouvelle paire de lunettes qui lui permet d'entendre les voix des acteurs en temps réel. Le système prend le son du dialogue et l'utilise pour guider doucement la génération de la musique image par image, garantissant que la musique respire et marque des pauses exactement quand les personnages le font.
Lorsqu'ils ont testé cette nouvelle approche sur leur immense bibliothèque, les résultats étaient prometteurs. Ils ont comparé leurs modèles « conscients du dialogue » aux meilleurs systèmes existants. La nouvelle méthode n'a pas nécessairement rendu la musique « meilleure » dans un sens général (comme la rendre plus complexe ou diversifiée), mais elle a rendu la musique beaucoup plus étroitement liée à la vidéo. Plus précisément, les bandes sonores générées sont devenues plus fidèles aux scènes de film originales, surtout lorsque l'ordinateur devait gérer des moments délicats où le dialogue et la musique se chevauchent. Les chercheurs ont constaté que cette amélioration restait vraie même lorsqu'ils testaient les modèles sur des films commerciaux qu'ils n'avaient jamais vus auparavant, suggérant qu'écouter le dialogue aide l'IA à mieux comprendre le rythme d'une scène qu'en se contentant de la regarder.
L'article a également écarté soigneusement quelques potentiels artifices. Ils craignaient que l'ordinateur ne se contente de « s'appuyer sur » de la musique résiduelle filtrant dans la piste de dialogue (puisque la séparation audio n'est pas parfaite). Pour vérifier cela, ils ont lancé un filtre spécial pour trouver des clips où le dialogue était presque totalement exempt de tout bruit de musique. Même avec ces clips « propres », le système conscient du dialogue a tout de même été plus performant. Cela suggère que l'amélioration provient réellement de la compréhension de la parole, et non du fait d'entendre accidentellement la musique. Bien que le système ne soit pas encore un remplacement parfait pour les compositeurs humains, l'étude suggère que l'ajout de la voix des personnages est un moyen puissant d'aider les ordinateurs à écrire une musique qui semble véritablement connectée à l'histoire.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.