OmniScript: Towards Audio-Visual Script Generation for Long-Form Cinematic Video
यह शोध पत्र OmniScript प्रस्तुत करता है, जो एक कुशल 8B-पैरामीटर वाला ओम्नी-मोडल भाषा मॉडल और एक नया मानव-एनोटेटेड बेंचमार्क है, जिसे लंबे सिनेमाई वीडियो के लिए विस्तृत, टेम्पोरली ग्राउंडेड (समयबद्ध), पदानुक्रमित स्क्रिप्ट उत्पन्न करने वाले नवीन वीडियो-टू-स्क्रिप्ट कार्य को हल करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास 2 घंटे की एक फिल्म है। अब, कल्पना कीजिए कि आप एक कंप्यूटर से उस पूरी फिल्म को देखने और उसके लिए एक परफेक्ट, विस्तृत पटकथा (screenplay) लिखने के लिए कहते हैं, जिसमें हर दृश्य का विवरण हो—कि पात्र क्या कर रहे हैं, क्या कह रहे हैं, क्या महसूस कर रहे हैं, और बैकग्राउंड म्यूजिक कैसा सुनाई दे रहा है, और साथ ही सटीक टाइमस्टैम्प भी हो।
यही वह विशाल चुनौती है जिसे यह शोध पत्र (paper) हल करता है। लेखक OmniScript पेश करते हैं, जो एक नया AI सिस्टम है जिसे ठीक यही करने के लिए डिज़ाइन किया गया है।
यहाँ उनके काम का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "कम ध्यान देने वाला" (Short-Attention Span) AI
वर्तमान AI मॉडल बस में बैठे पर्यटकों की तरह हैं। वे खिड़की से बाहर देख सकते हैं और कह सकते हैं, "ओह, वह एक पहाड़ है!" या "देखो, एक कुत्ता!"—लेकिन केवल 30 सेकंड के क्लिप के लिए। लेकिन यदि आप उन्हें पूरी फिल्म देखने और उस पर एक कहानी लिखने के लिए कहें, तो वे खो जाते हैं। वे भूल जाते हैं कि पात्र कौन हैं, कहानी को मिला देते हैं, या सूक्ष्म भावनात्मक बदलावों को मिस कर देते हैं।
वीडियो से स्क्रिप्ट लिखना कठिन है क्योंकि:
- यह बहुत लंबा है: एक फिल्म में हजारों क्षण होते हैं।
- यह जटिल है: आपको ट्रैक करना होता है कि कौन कौन है, वे क्या कह रहे हैं, और वे कैसा महसूस कर रहे हैं, और यह सब तब भी जब कैमरा हिल रहा हो और संगीत बदल रहा हो।
- यह महंगा है: 2 मिनट के क्लिप के लिए स्क्रिप्ट लिखने में बहुत अधिक कंप्यूटर पावर लगती है; एक पूरी फिल्म के लिए ऐसा करना वर्तमान में अधिकांश AI के लिए असंभव है।
2. समाधान: OmniScript (द "सुपर-एडिटर")
टीम ने OmniScript बनाया है, जो एक AI है जो एक सुपर-इंटेलिजेंट फिल्म एडिटर और पटकथा लेखक (screenwriter) का मिश्रण है।
- यह "ओमनी-मोडल" (Omni-modal) है: अन्य AI के विपरीत जो केवल वीडियो को "देखते" हैं, OmniScript के पास कान भी हैं। यह संवाद, ध्वनि प्रभाव और संगीत को सुनता है। यह समझता है कि एक पात्र का "गुस्से वाला" चेहरा, "चिल्लाने" और "ड्रमिंग म्यूजिक" के साथ मिलकर एक विशिष्ट मूड बनाता है।
- यह कुशल (Efficient) है: हालांकि यह बहुत स्मार्ट है, फिर भी यह आश्चर्यजनक रूप से छोटा है (केवल 8 बिलियन पैरामीटर्स)। इसे एक F1 रेस कार की तरह समझें: यह हल्की और तेज़ है, फिर भी यह भारी ट्रकों (बड़े AI मॉडल) को दौड़ में हरा देती है।
3. उन्होंने इसे कैसे प्रशिक्षित किया: "मेमोरी जिम" (The "Memory Gym")
OmniScript को सिखाने के लिए, शोधकर्ताओं को तीन बड़ी समस्याओं को हल करना था:
A. डेटा की समस्या (The "Blank Canvas")
ऐसी कोई मौजूदा डेटासेट नहीं थी जहाँ मनुष्यों ने पूरी फिल्मों के लिए विस्तृत स्क्रिप्ट लिखी हो।
- समाधान: उन्होंने शुरुआत से एक विशाल, उच्च-गुणवत्ता वाला डेटासेट बनाया। उन्होंने एक "ह्यूमन-इन-द-लूप" सिस्टम का उपयोग किया जहाँ एक शक्तिशाली AI ने एक ड्राफ्ट तैयार किया, और मानव विशेषज्ञों ने उसे पॉलिश किया, जिससे यह सुनिश्चित हुआ कि पात्रों के नाम और प्लॉट के बिंदु एकदम सही हों।
B. मेमोरी की समस्या (The "Who's Who?")
एक लंबी फिल्म में, एक पात्र सीन 100 में सीन 1 की तुलना में अलग कोट पहन सकता है। एक सामान्य AI सोचेगा कि वे दो अलग लोग हैं।
- समाधान: उन्होंने OmniScript को एक "कैरेक्टर प्रोफाइल मैनेजर" दिया। एक जासूस के कॉर्कबोर्ड की कल्पना करें जिस पर फोटो और नोट्स लगे हों। जैसे-जैसे AI फिल्म देखता है, वह इस बोर्ड को अपडेट करता रहता है: "ठीक है, यह अभी भी जॉन है, लेकिन अब उसने लाल टोपी पहनी है और वह थका हुआ लग रहा है।" यह पूरी फिल्म में कहानी की निरंतरता बनाए रखता है।
C. प्रशिक्षण पद्धति (The "Thinking Step")
सिर्फ अगला शब्द अनुमान लगाने के बजाय, AI को पहले सोचने के लिए सिखाया गया।
- समाधान: उन्होंने "चेन ऑफ थॉट" (Chain of Thought) दृष्टिकोण का उपयोग किया। वास्तविक स्क्रिप्ट लिखने से पहले, AI एक मानसिक सारांश लिखता है: "ठीक है, यह क्लाइमैक्स है। नायक गुस्से में है क्योंकि विलेन ने झूठ बोला। संगीत तनावपूर्ण है।" इस "सोचने" के चरण के बाद ही वह वास्तविक स्क्रिप्ट लिखता है। यह AI को भ्रमित होने से रोकता है।
4. मूल्यांकन: "कठोर फिल्म समीक्षक" (The "Strict Film Critic")
आप एक स्क्रिप्ट को कैसे ग्रेड करते हैं? आप केवल स्पेलचेकर का उपयोग नहीं कर सकते।
समाधान: उन्होंने एक नई ग्रेडिंग प्रणाली बनाई जो चार चीजों को अलग-अलग जांचती है:
- क्या यह सही समय पर हुआ? (Timing)
- क्या यह सही पात्र था? (Identity)
- क्या उन्होंने सही बात कही? (Dialogue)
- क्या उन्होंने सही क्रिया की? (Action)
उन्होंने "ओपन वोकैबुलरी" को संभालने के लिए भी एक सिस्टम बनाया। यदि AI कहता है "नीले सूट वाला आदमी" और ग्राउंड ट्रुथ (मूल डेटा) कहता है "जॉन स्मिथ", तो सिस्टम जानता है कि वे एक ही व्यक्ति हैं और उसे गलत मार्क करने के बजाय क्रेडिट देता है।
5. परिणाम: दिग्गजों को पछाड़ना
जब उन्होंने OmniScript का परीक्षण किया:
- इसने दिग्गजों को हराया: इसने गूगल के जेमिनी 3-प्रो (Gemini 3-Pro) जैसे विशाल, महंगे और क्लोज्ड-सोर्स मॉडल के बराबर (और कभी-कभी बेहतर) प्रदर्शन किया।
- इसने लंबे वीडियो को संभाला: जहाँ अन्य AI 20 मिनट के बाद भ्रमित होने लगते थे और प्लॉट भूल जाते थे, वहीं OmniScript ने अपना नियंत्रण बनाए रखा।
- "टू-स्टेज" (Two-Stage) ट्रिक: बहुत लंबी फिल्मों (जैसे 40+ मिनट) के लिए, उन्होंने Two-Stage Script Generation नामक रणनीति का उपयोग किया।
- चरण 1: एक प्लानर फिल्म को टुकड़ों में तोड़ता है और प्लॉट की रूपरेखा (outline) बनाता है।
- चरण 2: OmniScript उस रूपरेखा के आधार पर प्रत्येक टुकड़े के लिए विस्तृत स्क्रिप्ट लिखता है।
- उपमा: यह एक उपन्यास लिखने जैसा है। आप एक ही सांस में पूरी किताब नहीं लिखते; आप पहले एक रूपरेखा लिखते हैं, फिर अध्याय दर अध्याय लिखते हैं, और अंत में उन्हें जोड़ देते हैं।
निचोड़ (The Bottom Line)
OmniScript एक बड़ी उपलब्धि है क्योंकि यह अंततः कंप्यूटरों को लंबे, जटिल कहानियों को विजुअल और ऑडियो के माध्यम से समझने की अनुमति देता है, जिससे कच्चे वीडियो फुटेज को संरचित, पठनीय स्क्रिप्ट में बदला जा सके। यह साबित करता है कि फिल्म को समझने के लिए आपको "विशाल" दिमाग की आवश्यकता नहीं है; आपको बस सही मेमोरी, सही सुनने की क्षमता और एक अच्छी योजना की आवश्यकता है।
यह तकनीक फिल्मों के आर्काइव करने, उन्हें खोजने और यहाँ तक कि मानव लेखकों को उनके विचारों को विज़ुअलाइज़ करने में मदद करके नई कहानियाँ बनाने के तरीके में क्रांति ला सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।