← नवीनतम पेपर
💻 computer science

JenBridge: Adaptive Long-Form Video Soundtracking across Scene Transitions

JenBridge एक नवीन, मॉड्यूलर फ्रेमवर्क है जो नए प्रस्तावित LVS बेंचमार्क द्वारा प्रमाणित, दृश्य परिवर्तनों के दौरान प्राकृतिक और कथात्मक रूप से सुसंगत संक्रमणों के साथ उच्च-निष्ठा वाले, दीर्घ-रूप वीडियो साउंडट्रैक उत्पन्न करने के लिए एक ट्रांसफॉर्मर-आधारित जनरेटिव मॉडल और एक LLM-संचालित डायरेक्टर एजेंट का लाभ उठाता है।

मूल लेखक: Jiashuo Yu, Yao Yao, Boyu Chen, Alex Wang

प्रकाशित 2026-06-02✓ Author reviewed ⓘ
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Jiashuo Yu, Yao Yao, Boyu Chen, Alex Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फिल्म निर्देशक हैं, लेकिन आपने स्कोर लिखने के लिए किसी संगीतकार को काम पर रखने के बजाय, एक बहुत ही स्मार्ट, स्वचालित रोबोट सहायक को रखा है। आपकी फिल्म लंबी है, जिसमें अलग-अलग तरह के दृश्य हैं—जैसे कि एक शांत जंगल से लेकर एक तेज़ रफ्तार कार चेज़ तक, और फिर एक दुखद विदाई तक।

समस्या वर्तमान AI संगीत उपकरणों के साथ है जो ऐसे संगीतकार की तरह हैं जो एक बार में केवल एक ही गाना बजाना जानते हैं। यदि आप उनसे पूरी फिल्म के लिए संगीत बनाने को कहते हैं, तो वे जंगल के लिए एक खुशनुमा धुन बजा सकते हैं, फिर अचानक एक कार चेज़ के लिए हेवी मेटल गाना शुरू कर सकते हैं, जिससे एक झटकेदार और बिखरा हुआ अनुभव होता है। वे दृश्यों के बीच के अंतर को कैसे भरा जाए, यह नहीं जानते।

JenBridge एक नया सिस्टम है जिसे इस समस्या को ठीक करने के लिए बनाया गया है। इसे एक "म्यूजिकल ब्रिज बिल्डर" (संगीत के माध्यम से सेतु बनाने वाला) के रूप में समझें जो पूरी फिल्म को संभाल सकता है, यह सुनिश्चित करते हुए कि संगीत स्वाभाविक रूप से बहता रहे, भले ही दृश्य नाटकीय रूप से बदल जाएं।

यह कैसे काम करता है, इसे तीन सरल चरणों में यहाँ समझाया गया है:

1. द एडिटर: फिल्म को दृश्यों में काटना

सबसे पहले, JenBridge एक फिल्म एडिटर की तरह काम करता है। यह आपके लंबे वीडियो को देखता है और स्वचालित रूप से इसे छोटे, तार्किक हिस्सों (दृश्यों) में काट देता है। यह केवल बेतरतीब ढंग से नहीं काटता; यह देखता है कि कहानी कहाँ बदल रही है, जैसे कि जब कोई पात्र कमरे से बाहर जाता है या मौसम बदल जाता है।

2. द कंपोजर: प्रत्येक दृश्य के लिए संगीत लिखना

इसके बाद, प्रत्येक छोटे वीडियो क्लिप के लिए, JenBridge के पास एक "कंपोजर" AI होता है। यह कंपोजर बहुत प्रतिभाशाली है। यह वीडियो क्लिप को देखता है और खुद से पूछता है, "इस तरह के वीडियो के लिए किस तरह का संगीत उपयुक्त है?"

  • यह एक विशेष अनुवादक (जिसे VMPT कहा जाता है) का उपयोग करता है ताकि वीडियो के विवरण (जैसे, "बारिश में एक उदास रोबोट") को एक संगीतमय रेसिपी (जैसे, "धीमा, उदास पियानो, माइनर की") में बदला जा सके।
  • फिर यह विशेष रूप से उस दृश्य के लिए एक उच्च गुणवत्ता वाला संगीत तैयार करता है।

3. द डायरेक्टर: दृश्यों के बीच का "गोंद"

यह सबसे महत्वपूर्ण हिस्सा है। अतीत में, यदि आपके पास दो अलग-अलग गाने होते थे, तो आप बस उन्हें आपस में जोड़ देते थे, जो सुनने में बहुत बुरा लगता था। JenBridge में एक डायरेक्टर (एक AI एजेंट जो एक मानव फिल्म निर्देशक की तरह कार्य करता है) है जो यह तय करता है कि गानों को कैसे जोड़ा जाए।

डायरेक्टर के पास दृश्यों को जोड़ने के चार तरीकों का एक "टूलकिट" है:

  • द हार्ड कट (The Hard Cut): यदि दृश्य एक शांत समुद्र तट से अचानक एक विस्फोट में बदल जाता है, तो डायरेक्टर संगीत को तुरंत रोक देता है और नया गाना तुरंत शुरू कर देता है। यह कहानी में एक तीखे "झटके" की तरह है।
  • द साइलेंस (The Silence): यदि कोई पात्र स्तब्ध रह जाता है, तो डायरेक्टर तनाव बढ़ाने के लिए संगीत को कुछ क्षणों के लिए पूरी तरह शांत कर सकता है।
  • द फेड (The Fade): यदि दो दृश्य समान हैं (जैसे, सुबह की कॉफी से सुबह की सैर में बदलना), तो डायरेक्टर एक गाने को धीरे-धीरे कम करता है और दूसरे को धीरे-धीरे शुरू करता है।
  • द ब्रिज (The Bridge - जादू का कमाल): यदि कहानी "दुखद" से "आशावादी" की ओर बढ़ती है, तो डायरेक्टर केवल गाने नहीं बदलता। वह एक विशेष AI का उपयोग करके एक बिल्कुल नया म्यूजिकल ब्रिज बनाता है जो उदास गाने को आशावादी गाने में सहजता से बदल देता है। यह एक संगीतमय अनुवादक की तरह है जो दोनों भाषाओं को बोलता है और एक ऐसा वाक्य बनाता है जो उन्हें पूरी तरह से जोड़ता है।

डायरेक्टर इतना स्मार्ट है कि वह कहानी को देख सकता है और कह सकता है, "ठीक है, इस दृश्य के लिए हार्ड कट की आवश्यकता है, लेकिन अगले दृश्य के लिए एक स्मूथ ब्रिज चाहिए।" वह मानवीय निर्देशक की तरह बुद्धिमानी से ये निर्णय लेता है।

उन्होंने इसका परीक्षण कैसे किया

निर्माताओं को एहसास हुआ कि किसी ने भी यह सही ढंग से जांच नहीं की है कि क्या एक AI यह काम लंबी फिल्मों के लिए कर सकता है। इसलिए, उन्होंने एक नया "परीक्षा" बनाया जिसे LVS बेंचमार्क कहा जाता है।

  • उन्होंने 120 मूवी ट्रेलर (जो तेज़ दृश्य परिवर्तनों से भरे होते हैं) लिए।
  • उन्होंने JenBridge और कई अन्य AI सिस्टम को उन्हें स्कोर करने के लिए कहा।
  • उन्होंने मानव श्रोताओं से परिणामों को रेट करवाया।

परिणाम: JenBridge ने भारी अंतर से जीत हासिल की। मानव श्रोताओं ने कहा कि संगीत बहुत अधिक स्वाभाविक लग रहा था, बदलाव बहुत सहज थे, और पूरी फिल्म एक बिखरे हुए गानों के संग्रह के बजाय एक सुसंगत कहानी की तरह महसूस हुई।

सारांश में

JenBridge एक ऐसा सिस्टम है जो केवल वीडियो क्लिप के लिए संगीत नहीं बनाता; यह कहानी को समझता है। यह वीडियो को टुकड़ों में तोड़ता है, प्रत्येक भाग के लिए कस्टम संगीत लिखता है, और फिर एक स्मार्ट "डायरेक्टर" का उपयोग करता है जो यह तय करता है कि उन हिस्सों को ठीक से कैसे जोड़ा जाए ताकि संगीत भी फिल्म की तरह स्वाभाविक रूप से बहता रहे। यह एक ऐसे AI की दिशा में एक कदम है जो फिल्मों को बनाने के लिए एक सच्चे रचनात्मक साथी के रूप में कार्य कर सकता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →