💻 computer science

Dialogue-Aware Video-to-Music Generation Using Public Domain Film Collections

Om de uitdagingen op het gebied van reproduceerbaarheid en auteursrecht bij video-naar-muziekgeneratie aan te pakken, introduceert dit artikel de reproduceerbare Open Screen Soundtrack Library versie 2 (OSSL-v2) dataset van publiek domein films en stelt een dialoogbewust model voor dat muziekgeneratie verbetert door de video cross-attention te moduleren met on-screen spraak.

Oorspronkelijke auteurs: Haven Kim, Zachary Novack, Julian McAuley, Hao-Wen Dong

Gepubliceerd 2026-08-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haven Kim, Zachary Novack, Julian McAuley, Hao-Wen Dong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een film kijkt. Je ziet een held door een storm rennen, en plotseling rolt er een donderende klap over het scherm terwijl een dramatisch orkest aanzwelt. Die muziek is niet alleen achtergrondgeluid; het is de emotionele lijm die de scène bij elkaar houdt en je vertelt wat je moet voelen. Al een lange tijd proberen wetenschappers computers te leren de "componist" voor video's te zijn, waarbij ze automatisch muziek creëren die past bij de stemming van wat er op het scherm gebeurt. Dit vakgebied wordt video-naar-muziekgeneratie genoemd. Maar er is een groot probleem: om een computer deze vaardigheid te leren, heb je duizenden voorbeelden nodig van films en hun perfecte soundtracks. De meeste onderzoekers hebben een tijdlang gebruikgemaakt van lijsten met links naar video's op het internet om deze voorbeelden te vinden. Het probleem is dat internetlinks als zandkastelen zijn; het tij komt op, en de video's worden verwijderd of vergrendeld. Dit betekent dat de "leerboeken" waarvan de computers leren voortdurend verdwijnen, waardoor het onmogelijk is om te controleren of de ene computer daadwerkelijk slimmer is dan de andere. Om dit op te lossen, hebben we een bibliotheek van films nodig die niet kan verdwijnen, en een manier om de computer niet alleen te leren hoe de personages eruitzien, maar ook wat ze zeggen.

Hier komen de onderzoekers van UC San Diego en de University of Michigan kijken, die een gloednieuwe, onwrikbare bibliotheek hebben gebouwd genaamd OSSL-v2. Denk aan dit als een enorme, zelfvoorzienende bioscoop die niemand kan sluiten. In plaats van te wijzen naar links op het internet die zouden kunnen wegrotten, hebben ze 1.886 films gedownload die tot het publiek behoren (wat betekent dat iedereen ze mag gebruiken) en deze in 34.343 kleine fragmenten gehakt. Dit komt neer op ongeveer 246,4 uur aan video en muziek, veilig opgeslagen op één plek. Omdat het zelfgehost is, zal het niet verdwijnen, en het geeft elke onderzoeker een eerlijke, identieke set gegevens om hun AI-modellen op te trainen.

Maar het team heeft niet alleen een bibliotheek gebouwd; ze realiseerden zich dat de computers een cruciale aanwijzing misten. In films verandert de muziek vaak op het moment dat een personage begint te spreken. Als iemand schreeuwt, wordt de muziek misschien zachter of stopt deze om de stem hoorbaar te laten zijn. De onderzoekers merkten op dat er in hun nieuwe bibliotheek een lichte maar reële connectie bestaat tussen hoe hard de dialoog is en hoe hard de muziek is. Om dit te gebruiken, hebben ze een "dialoogbewust" systeem uitgevonden. Stel je voor dat de computer een dirigent is. Voorheen keek de dirigent alleen naar de gezichten en bewegingen van de acteurs om te beslissen wanneer hij het orkest sneller of langzamer liet spelen. Nu heeft de dirigent een nieuwe bril op waarmee hij de stemmen van de acteurs in realtime kan horen. Het systeem neemt het geluid van de dialoog en gebruikt dit om de muziekgeneratie frame voor frame voorzichtig bij te sturen, zodat de muziek ademt en pauzeert precies wanneer de personages dat doen.

Toen ze deze nieuwe aanpak testten op hun enorme bibliotheek, waren de resultaten veelbelovend. Ze vergeleken hun "dialoogbewuste" modellen met de beste bestaande systemen. De nieuwe methode maakte de muziek niet noodzakelijkerwijs "beter" in een algemene zin (zoals het complexer of diverser maken), maar zorgde ervoor dat de muziek veel nauwer aansloot bij de video. Specifiek werden de gegenereerde soundtracks veel trouwer aan de originele filmscènes, vooral wanneer de computer lastige momenten moest afhandelen waar dialoog en muziek overlappen. De onderzoekers ontdekten dat deze verbetering ook standhield toen ze de modellen testten op commerciële films die ze nog nooit eerder hadden gezien, wat suggereert dat luisteren naar de dialoog de AI helpt het ritme van een scène beter te begrijpen dan alleen kijken.

Het artikel sloot ook een aantal mogelijke trucjes zorgvuldig uit. Ze maakten zich zorgen dat de computer misschien gewoon "vertrouwde op" restmuziek die in het dialoogspoor lekte (omdat het scheiden van audio niet perfect is). Om dit te controleren, draaiden ze een speciale filter om fragmenten te vinden waar de dialoog bijna volledig vrij was van enige muziekruis. Zelfs met deze "schone" fragmenten presteerde het dialoogbewuste systeem nog steeds beter. Dit suggereert dat de verbetering echt voortkomt uit het begrijpen van de spraak, en niet uit het per ongeluk horen van de muziek. Hoewel het systeem nog geen perfecte vervanging is voor menselijke componisten, suggereert de studie dat het toevoegen van de stem van de personages een krachtige manier is om computers te helpen muziek te schrijven die echt verbonden voelt met het verhaal.

Technische Samenvatting: Dialoogbewuste Video-naar-Muziek Generatie Gebruikmakend van Publiek Domein Filmcollecties

Probleemstelling
Het veld van video-naar-muziek generatie kampt met een gebrek aan een gemeenschappelijke, duurzame trainingsdataset die kan dienen als een reproduceerbare benchmark. De huidige vooruitgang wordt gehinderd door een "reproduceerbaarheidsgat": de meeste modellen worden getraind op web-gecrawlde corpora die worden gerefereerd via URL's (bijv. YouTube, TikTok). Deze datasets lijden onder "link rot", waarbij video's na verloop van tijd worden verwijderd of privé worden gemaakt, en zijn onderhevig aan rate-limiting, wat heracquisitie tijdrovend maakt. Bovendien zijn bestaande zelfgehoste datasets vaak te klein (bijv. ~36 uur) om concurrerende modellen te trainen. Daarnaast negeren bestaande benaderingen vaak dialoog als een conditioneringssignaal, ondanks de nauwe temporele koppeling tussen on-screen spraak en filmmuziek in professionele producties.

Methodologie
De auteurs stellen een tweeledige aanpak voor: de creatie van een nieuwe dataset en een nieuwe architecturale modificatie voor dialoogbewuste generatie.

Dataset Constructie (OSSL-v2):
De auteurs introduceren de Open Screen Soundtrack Library versie 2 (OSSL-v2), een zelfgehost corpus afgeleid van 1.886 publiek domein films. De dataset bestaat uit 34.343 videoclips met een totaal van 246,4 uur.
- Bronseparatie: Een open-source cinematisch bronseparatiemodel wordt toegepast om muzieksporen te extraheren uit het originele audiofragment.
- Event Detectie: Om een hoge kwaliteit te garanderen, schat een automatisch event detectiemodel de waarschijnlijkheid van muzikale versus niet-muzikale gebeurtenissen in. Segmenten worden geselecteerd waar de muziekwaarschijnlijkheid de niet-muziekwaarschijnlijkheid gedurende ten minste 10 opeenvolgende seconden overtreft, met een extra filter om segmenten uit te sluiten waar de niet-muziekwaarschijnlijkheid te hoog is (drempelwaarde > 0,05).
- Resultaat: Een reproduceerbare, auteursrechtbewuste dataset vrij van link rot, geschikt voor training en eerlijke vergelijking.
Dialoogbewuste Generatie Architectuur:
De auteurs stellen een lichtgewicht dialoog-geconditioneerde module voor die kan worden ingevoegd in bestaande open-source video-naar-muziek backbones (specifiek VidMuse, GVMGen en Diff-V2M).
- Signaalverwerking: Het dialoogspoor wordt geïsoleerd via bronseparatie en gecodeerd via een 1-D convolutionele laag om per-frame akoestische representaties (bijv. luidheid, energie) te produceren.
- Modulatie: Een twee-laagse MLP brengt deze representaties in kaart naar Feature-wise Linear Modulation (FiLM) parameters ( $\gamma_i, \beta_i$ ). Deze parameters moduleren de video conditioneringsvectoren frame-voor-frame: $\tilde{v}_i = (1 + \gamma_i) \odot v_i + \beta_i$ .
- Temporele Uitlijning: Om ervoor te zorgen dat het model de timing van dialoog ten opzichte van visuele gebeurtenissen respecteert, modificeren de auteurs de cross-attention mechanismen in de backbones. Voor modellen zoals GVMGen, die frames comprimeren tot globale vectoren, herstellen ze een tijdas door geleerde per-frame positionele embeddings toe te voegen aan de Q-Former outputs en vaste sinusoïdale positionele embeddings mogelijk te maken op cross-attention keys en values. Dit stelt de dialoog in staat om het conditioneringssignaal op een frame-per-frame basis te moduleren.

Belangrijkste Bijdragen

OSSL-v2 Dataset: Een grootschalig (246,4 uur), zelfgehost video-muziek corpus afkomstig van publiek domein films. Het adresseert de imperfectie en schaalbaarheidsproblemen van eerdere web-gescrapte datasets, wat reproduceerbaar onderzoek mogelijk maakt.
Dialoog Conditionering: Een demonstratie dat dialoog dient als een effectief conditioneringssignaal voor filmmuziek generatie. De voorgestelde adapter integreert akoestische dialoogkenmerken in de video conditioneringsroute zonder een volledige modeloverhaul te vereisen.
Architecturale Adaptatie: Specifieke modificaties aan cross-attention mechanismen in autoregressieve en diffusie-gebaseerde modellen om temporele identiteit te behouden, waardoor frame-gealigneerde modulatie door dialoog mogelijk wordt.

Experimentele Resultaten
De modellen werden getraind en geëvalueerd op OSSL-v2 (9:1 split) en een out-of-distribution commerciële filmset (OES-Com). Evaluatiemetrieken omvatten distributionele getrouwheid (FAD, Precision, Recall) en gepaard getrouwheid (CLAP similarity, KL divergentie).

Baseline Prestaties: Onder de baselines behaalde GVMGen de sterkste algehele prestaties op de publiek domein testset. Diff-V2M vertoonde een hoge gepaarde getrouwheid op out-of-distribution data maar slaagde er niet in om samples te genereren die voldoen aan de grondwaarheid-distributie (Precision = 0,00).
Impact van de Dialoog Adapter:
- Gepaarde Getrouwheid: De dialoog adapter verbeterde consistent de gepaarde getrouwheid (semantische trouw aan de grondwaarheid), met name wat betreft het verminderen van KL-divergentie en het verhogen van CLAP-gelijkenis.
- Generalisatie: De verbeteringen waren vaak prominenter op de out-of-distribution OES-Com set dan op de in-distribution OSSL-v2 set, wat suggereert dat het dialoogsignaal fungeert als een regularisator die generalisatie bevordert.
- Distributionele Getrouwheid: De adapter heeft de gegenereerde distributie niet systematisch hervormd (FAD en Precision varieerden inconsistent).
- Robuustheid: Deze winst bleef bestaan op Low-Residual-Music (LRM) subsets, waar de gescheiden dialoog-stems verwaarloosbare gelekte muziek bevatten. Dit bevestigt dat de verbeteringen worden gedreven door het dialoogsignaal zelf en niet door artefacten van imperfecte bronseparatie.

Betekenis en Claims
Het artikel beweert dat OSSL-v2 de drempel voor reproduceerbaar onderzoek en eerlijke vergelijking in video-naar-muziek generatie verlaagt door een duurzame, zelfgehoste benchmark te bieden. Wat betreft de methodologie claimen de auteurs bescheiden dat hun dialoogbewuste formulering beter presteert dan de state-of-the-art baselines, met name in temporele getrouwheid (gelijkenis met de grondwaarheid) en generalisatie naar commerciële films. Zij stellen dat het integreren van dialoog als een tijd-gealigneerd conditioneringssignaal een gat in de huidige film-domein generatie aanpakt, waar globale video-niveau informatie alleen onvoldoende is om de lokale, temporele interacties tussen spraak en muziek te vangen. Het werk claimt niet alle uitdagingen in het veld op te lossen, maar identificeert dialoog conditionering als een veelbelovende richting voor toekomstige ontwikkeling.

Meer zoals dit