JenBridge: Adaptive Long-Form Video Soundtracking across Scene Transitions

JenBridge is een nieuw, modulair framework dat een op Transformer gebaseerd generatief model en een door een LLM gestuurde regisseur-agent inzet om hoogwaardige, langdurige videosoundtracks met natuurlijke, narratief coherente overgangen bij scèneveranderingen te produceren, gevalideerd door de nieuw voorgestelde LVS Benchmark.

De kern

Stel je voor dat je een filmregisseur bent, maar in plaats van een componist in te huren om een soundtrack voor je film te schrijven, heb je een zeer slimme, geautomatiseerde robotassistent. Je film is lang, vol met verschillende scènes die springen van een rustig bos naar een achtervolging met hoge snelheid, en dan naar een verdrietig afscheid.

Het probleem met huidige AI-muziektools is dat ze als een muzikant zijn die slechts één liedje tegelijk kent. Als je hen vraagt om een hele film te scoren, kunnen ze een vrolijk muziekstuk voor het bos spelen, om vervolgens abrupt over te schakelen naar een heavy metal-nummer voor de achtervolging, wat een schokkend, onsamenhangend rommeltje achterlaat. Ze weten niet hoe ze de brug moeten slaan tussen de scènes.

JenBridge is een nieuw systeem dat dit probleem oplost. Zie het als een "muzikale brugbouwer" die een hele film kan afhandelen, waarbij het zorgt dat de muziek natuurlijk doorstroomt, zelfs wanneer de visuele scènes drastisch veranderen.

Dit is hoe het werkt, onderverdeeld in drie eenvoudige stappen:

1. De Editor: De film opdelen in scènes

Eerst werkt JenBridge als een filmmonteur. Het kijkt naar je lange video en snijdt deze automatisch in kleinere, logische stukken (scènes). Het snijdt niet zomaar willekeurig; het zoekt naar waar het verhaal verandert, zoals wanneer een personage een kamer uitloopt of het weer verandert.

2. De Componist: Muziek schrijven voor elke scène

Vervolgens heeft JenBridge voor elk klein videodeeltje een "Componist"-AI. Deze componist is zeer getalenteerd. Het kijkt naar de videoclip en vraagt zich af: "Wat voor soort muziek past hierbij?"

• Het gebruikt een speciale vertaler (genaamd VMPT) om een beschrijving van de video (bijv. "een verdrietige robot in de regen") om te zetten in een muzikaal recept (bijv. "langzame, droevige piano, mineurtoonsoort").
• Vervolgens genereert het een muziekstuk van hoge kwaliteit dat specifiek voor die scène is gemaakt.

3. De Regisseur: De "Lijm" tussen de scènes

In het verleden, als je twee verschillende liedjes had, zou je ze gewoon aan elkaar plakken, wat verschrikkelijk klinkt. JenBridge heeft een Regisseur (een AI-agent die fungeert als een menselijke filmregisseur) die beslist hoe de liedjes verbonden worden.

De Regisseur beschikt over een "gereedschapskist" met vier manieren om scènes te verbinden:

• De Harde Snit (Hard Cut): Als de scène verandert van een rustig strand naar een plotselinge explosie, laat de Regisseur de muziek abrupt stoppen en begint direct het nieuwe nummer. Het is als een scherpe "knak" in het verhaal.
• De Stilte: Als een personage geschokt is, kan de Regisseur de muziek voor een moment volledig laten stoppen om de spanning te laten opbouwen.
• De Fade: Als twee scènes vergelijkbaar zijn (zoals een ochtendkoffie die overgaat in een ochtendwandeling), laat de Regisseur één nummer zachtjes uitfaden terwijl het andere nummer wordt ingefade.
• De Brug (De Magische Truk): Als het verhaal verschuift van "verdrietig" naar "hoopvol", zal de Regisseur niet alleen van liedje wisselen. De Regisseur gebruikt een speciale AI om een gloednieuwe muzikale brug te componeren die het verdrietige nummer vloeiend laat overgaan in het hoopvolle nummer. Het is als een muzikale vertaler die beide talen spreekt en een zin creëert die ze perfect met elkaar verbindt.

De Regisseur is slim genoeg om naar het verhaal te kijken en te zeggen: "Oké, deze scène heeft een harde snit nodig, maar de volgende heeft een vloeiende brug nodig." De Regisseur maakt deze keuzes intelligent, net zoals een menselijke regisseur dat zou doen.

Hoe ze het hebben getest

De makers realiseerden zich dat niemand ooit echt had getest of een AI dit voor lange films kon doen. Daarom bouwden ze een nieuwe "examenopgave" genaamd de LVS Benchmark.

• Ze namen 120 filmtrailers (die vol zitten met snelle scèneveranderingen).
• Ze lieten JenBridge en verschillende andere AI-systemen deze scoren.
• Ze lieten menselijke luisteraars de resultaten beoordelen.

De uitslag: JenBridge won met een overweldigende voorsprong. De menselijke luisteraars zeiden dat de muziek veel natuurlijker klonk, de overgangen veel vloeiender waren en dat de hele film aanvoelde als één samenhangend verhaal, in plaats van een verzameling willekeurige liedjes die aan elkaar geplakt waren.

Samenvattend

JenBridge is een systeem dat niet alleen muziek voor videoclips maakt; het begrijpt het verhaal. Het breekt de video af, schrijft op maat gemaakte muziek voor elk deel, en gebruikt vervolgens een slimme "Regisseur" om te bepalen hoe die delen precies verbonden moeten worden, zodat de muziek net zo natuurlijk doorstroomt als de film zelf. Dit is een stap richting AI die kan fungeren als een echte creatieve partner bij het maken van films.

Technische samenvatting

Technische Samenvatting: JenBridge

Probleemstelling

Huidige AI-muziekgeneratiesystemen, met name die zich ontwikkelen op het gebied van text-to-music (T2M) synthese, blinken uit in het creëren van audio met een hoge getrouwheid voor korte, geïsoleerde fragmenten. Ze kampen echter met kritieke beperkingen wanneer ze worden toegepast op langdurige videofragmenten die gekenmerkt worden door dynamische scèneovergangen. Bestaande video-to-music (V2M) benaderingen behandelen video's doorgaans als monolithische segmenten, waarbij één enkel muziekstuk wordt gegenereerd dat geen mechanismen bezit om semantische verschuivingen tussen scènes te verwerken. Dit resulteert in een gebrek aan narratieve continuïteit en een onvermogen om creatieve controle uit te oefenen over tussenliggende stappen of de natuurlijkheid van transities, wat ze onpraktisch maakt voor professionele soundtracking van langdurige video's.

Methodologie

De auteurs stellen JenBridge voor, een modulair en interpreteerbaar framework ontworpen voor adaptieve soundtracking van langdurige video's. Het systeem werkt via een driefasen-pipeline:

1. Semantische Videosegmentatie

De invoervideo wordt gepartitioneerd in een temporeel geordende sequentie van semantisch coherente clips ($V_1, V_2, \dots, V_K$) met behulp van PySceneDetect. Deze voorbewerking stelt het framework in staat om video's van willekeurige duur te verwerken door te opereren op beheersbare segmenten.

2. Progressieve Video-bewuste Muziekgeneratie

Het kernmodel voor generatie volgt een tweetraps trainingsparadigma om synthese met hoge getrouwheid en nauwkeurige cross-modale uitlijning te bereiken:

• Fase 1 (Text-to-Music Fundament): Een fundamenteel model wordt vooraf getraind op grootschalige tekst-audio corpora. Het maakt gebruik van een vooraf getrainde neurale audio-codec (Encodec) om ruwe golfvormen te coderen in een latente ruimte. De generatieve backbone is een Multimodal Diffusion Transformer (MMDiT) die is getraind met een flow-matching objectief. Het conditioneringsmechanisme maakt gebruik van een multi-encoder tekstarchitectuur (T5-large en T5-base) om sequentie-embeddings ($y$) en globaal gepoolde embeddings ($c$) te genereren vanuit beschrijvende en attributieve prompts (genre, instrument, stemming).
• Fase 2 (Video-bewuste Adaptatie): Het model wordt aangepast aan het videodomein via duale conditionering.
  • Visuele Conditionering: Een specifieke visuele encoder (SigLIP) extraheert frame-niveau kenmerken, die via average-pooling worden omgezet in een globale visuele feature vector. Deze wordt geconcateneerd met de tekst-embedding om een gefuseerde globale conditie ($c_{fused}$) te vormen.
  • Visual-to-Music Prompt Translator (VMPT): Een gefinetuned LLM (Qwen3-8B) vertaalt ruwe videocaptions naar gestructureerde muziekprompts die metadata bevatten (genre, instrument, stemming, BPM), om het gebrek aan gestructureerde muziekprompts in video-datasets aan te pakken.
  • Het model wordt getraind om een ground-truth vectorveld te voorspellen op basis van deze gefuseerde condities.

3. Adaptief Transitiemechanisme

Om de gegenereerde audiofragmenten ($A_1, \dots, A_K$) naadloos met elkaar te verbinden, gebruikt JenBridge een adaptief transitiesysteem bestaande uit:

• Transition Toolkit: Een veelzijdige set van vier stijlen: Abrupt Cut, Silent Gap, Fade In/Out, en een Generative Transition. De generatieve transitie maakt gebruik van een ControlNet-gebaseerd inpainting-model dat getraind is om een muzikale brug tussen twee verschillende audiofragmenten te synthetiseren. Dit model wordt gestuurd door condities die zijn gecreëerd via sferische lineaire interpolatie (slerp) van tekst-embeddings en block-wise latente representaties.
• LLM Agent als Regisseur: Een LLM-agent (Qwen3-8B) fungeert als creatief regisseur. Gegeven de visuele en muzikale context van aangrenzende clips, gebruikt de agent few-shot in-context learning om intelligent de meest geschikte transitiestijl uit de toolkit te selecteren voor elke narratieve verschuiving.

Belangrijkste Bijdragen

1. JenBridge Framework: Een end-to-end, modulair framework voor de soundtracking van langdurige video's dat coherente, hoogwaardige muziek produceert over diverse scèneovergangen. De architectuur is ontworwerp voor interpreteerbaarheid en controleerbaarheid.
2. Adaptief Transitiemechanisme: Een nieuw systeem dat een veelzijdige toolkit van transitiestijlen (inclusief een generatieve inpainting-methode) combineert met een LLM-agent die contextbewuste creatieve keuzes maakt om transities te regisseren.
3. LVS Benchmark: De introductie van de Long-form Video Soundtrack (LVS) Benchmark, de eerste benchmark die specifiek voor deze taak is ontworpen. Deze bevat een gecureerde dataset van 120 langdurige trailer-video's met rijke multimodale annotaties en stelt een holistisch evaluatieprotocol voor dat verder gaat dan eenvoudige segment-gebaseerde metrieken om de kwaliteit van transities en narratieve coherentie te beoordelen.

Experimentele Resultaten

De auteurs hebben JenBridge geëvalueerd op de LVS Benchmark tegen zes baseline-benaderingen (waaronder CMT, LORIS, AudioX en VidMuse in diverse configuraties).

• Objectieve Metrieken: JenBridge behaalde state-of-the-art prestaties en presteerde significant beter dan de baselines op het gebied van video-muziek uitlijning (ImageBind Score: 0.224 vs. 0.162 voor de op één na beste) en audio-esthetiek. Opvallend genoeg scoorde het het hoogst op Production Complexity (PC), wat wijst op een rijkere muzikale structuur vergeleken met de eenvoudige concatenatie of monolithische generatie van de baselines.
• Subjectieve Metrieken: In een gebruikersstudie met 10 deelnemers kreeg JenBridge de hoogste beoordelingen over alle dimensies. De meest significante verbetering was in Transition Naturalness (4.2 vs. 2.5 voor de beste baseline), wat de effectiviteit van het adaptieve transitiemechanisme valideert.
• Ablatie-studies: Het verwijderen van het adaptieve transitiemechanisme veroorzaakte een catastrofale daling in transitiescores (van 4.2 naar 2.8), wat de cruciale rol ervan bevestigt. Het uitschakelen van visuele conditionering of de VMPT leidde evene kind tot een significante degradatie van de prestaties over alle metrieken.

Betekenis en Claims

Het artikel beweert dat JenBridge een belangrijke stap vormt richting volledig geautomatiseerde, professionele video-soundtracking. Door het gat te dichten wat betreft het behoud van narratieve continuïteit over scèneovergangen, overbrugt het framework de kloof tussen geautomatiseerde generatie en de creatieve workflows die vereist zijn voor langdurige content. De auteurs positioneren JenBridge niet als een vervanging voor menselijke makers, maar als een collaboratieve tool om hen te ondersteunen.

Het werk benadrukt ook het belang van de LVS Benchmark bij het vestigen van rigoureuze evaluatiestandaarden voor langdurige generatie, waarbij de beperkingen van bestaande short-clip datasets worden overstegen. Hoewel zij de beperkingen erkennen wat betreft de getrouwheid van publieke video-muziek datasets en het gebrek aan globale narratieve planning in de huidige LLM-agent, stellen de auteurs dat het framework een robuust fundament biedt voor toekomstige ontwikkelingen in collaboratieve AI-tools voor videoproductie.