💻 computer science

InfinityStory: Unlimited Video Generation with World Consistency and Character-Aware Shot Transitions

यह शोधपत्र इन्फिनिटीस्टोरी (InfinityStory) प्रस्तुत करता है, जो एक नवीन रूपरेखा, डेटासेट और मॉडल है जो शॉट्स के बीच बैकग्राउंड और पात्रों की निरंतरता सुनिश्चित करते हुए और घंटों लंबी कथाओं के लिए निर्बाध बहु-विषय संक्रमण (multi-subject transitions) को सक्षम करते हुए, लॉन्ग-फॉर्म वीडियो जनरेशन की प्रमुख सीमाओं को दूर करता है।

मूल लेखक: Mohamed Elmoghany, Liangbing Zhao, Xiaoqian Shen, Subhojyoti Mukherjee, Yang Zhou, Gang Wu, Viet Dac Lai, Seunghyun Yoon, Ryan Rossi, Abdullah Rashwan, Puneet Mathur, Varun Manjunatha, Daksh Dangi, Ch

प्रकाशित 2026-03-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohamed Elmoghany, Liangbing Zhao, Xiaoqian Shen, Subhojyoti Mukherjee, Yang Zhou, Gang Wu, Viet Dac Lai, Seunghyun Yoon, Ryan Rossi, Abdullah Rashwan, Puneet Mathur, Varun Manjunatha, Daksh Dangi, Chien Nguyen, Nedim Lipka, Trung Bui, Krishna Kumar Singh, Ruiyi Zhang, Xiaolei Huang, Jaemin Cho, Yu Wang, Namyong Park, Zhengzhong Tu, Hongjie Chen, Hoda Eldardiry, Nesreen Ahmed, Thien Nguyen, Dinesh Manocha, Mohamed Elhoseiny, Franck Dernoncourt

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक निर्देशक हैं जो एक पूरी लंबाई वाली फिल्म बनाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल एक जादुई कैमरा है जो केवल 5-सेकंड के क्लिप ले सकता है। आप एक कहानी सुनाना चाहते हैं जिसमें एक शूरवीर (knight), एक ड्रैगन और एक राजकुमारी है, लेकिन हर बार जब आप इन क्लिप्स को जोड़ने की कोशिश करते हैं, तो दो भयानक चीजें होती हैं:

बैकग्राउंड ग्लिच (Background Glitch): एक क्लिप में, महल पत्थर का बना है और आसमान नीला है। अगले ही क्लिप में, महल अचानक जेली जैसा दिखने लगता है और आसमान बैंगनी हो जाता है। दुनिया बार-बार अपना मन बदलती रहती है।
टेलीपोर्टिंग एक्टर्स (Teleporting Actors): शूरवीर एक फ्रेम में प्रवेश करता है, लेकिन अगले क्लिप में, वह अचानक कमरे के बीच में प्रकट हो जाता है, या बिना बाहर निकले तुरंत गायब हो जाता है। यह एक गलत जादू की तरह दिखता है, न कि एक फिल्म की तरह।

InfinityStory एक नया AI सिस्टम है जिसे ठीक इन्हीं दो समस्याओं को हल करने के लिए बनाया गया है। यह एक सुपर-स्मार्ट प्रोडक्शन टीम की तरह है जो यह सुनिश्चित करती है कि दुनिया स्थिर रहे और कलाकार दृश्यों के बीच स्वाभाविक रूप से चलें।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:

1. "लोकेशन लाइब्रेरी" (बैकग्राउंड को ठीक करना)

अधिकांश AI वीडियो निर्माता हर दृश्य को एक बिल्कुल नई पेंटिंग की तरह मानते हैं। यदि आप "जंगल" मांगते हैं, तो AI एक शॉट में चीड़ (pine) के पेड़ों वाला जंगल दिखा सकता है और अगले शॉट में ओक (oak) के पेड़ों वाला।

InfinityStory का समाधान:
सोचिए कि AI के पास एक डिजिटल "लोकेशन लाइब्रेरी" है। फिल्म शुरू होने से पहले, यह कुछ स्थायी "सेट्स" (जैसे एक विशिष्ट महल, एक विशिष्ट जंगल, एक विशिष्ट कमरा) बनाता है।

एक बार जब "महल" का सेट बन जाता है, तो AI उसे लॉक कर देता है।
जब भी कहानी महल में वापस आती है, तो AI उसे फिर से नहीं बनाता; बल्कि, यह पात्रों को ठीक उसी बैकग्राउंड इमेज पर पेस्ट कर देता है।
उपमा (Analogy): कल्पना कीजिए कि आप एक स्टॉप-मोशन फिल्म बना रहे हैं। हर बार कैमरा हिलाने के बजाय सेट को फिर से बनाने के बजाय, आप सेट को एक बार बनाते हैं और उसे वहीं रखते हैं। आप बस मिट्टी की आकृतियों (clay figures) को इधर-उधर घुमाते हैं। इससे यह सुनिश्चित होता है कि महल चाहे कितने भी दृश्य फिल्माए जाएं, उसका आकार या रंग कभी नहीं बदलता।

2. "कोरियोग्राफर" (अभिनेताओं को ठीक करना)

आमतौर पर, जब AI एक क्लिप से दूसरे क्लिप में स्विच करता है, तो उसे यह नहीं पता होता कि पात्रों के आने या जाने को कैसे संभालना है। यह एक ऐसे नाटक की तरह है जहाँ अभिनेता मंच से भाग जाते हैं और अगला दृश्य उनके बीच में खड़े होकर भ्रमित दिखने के साथ शुरू होता है।

InfinityStory का समाधान:
सिस्टम एक विशेष "कोरियोग्राफर" (एक स्मार्ट AI एजेंट) का उपयोग करता है जो वीडियो बनने से पहले उसकी गतिविधियों की योजना बनाता है।

यह 10,000 अभ्यास वीडियो का एक विशेष डेटासेट बनाता है जो दिखाता है कि पात्रों को कैसे अंदर आना चाहिए, बाहर जाना चाहिए, या अपनी जगह बदलनी चाहिए।
यह AI को एक विशिष्ट नियम सिखाता है: "टेलीपोर्टिंग की अनुमति नहीं है।" यदि कोई पात्र फ्रेम से बाहर जाता है, तो उसे चलकर बाहर जाना चाहिए। यदि वह प्रवेश करता है, तो उसे चलकर अंदर आना चाहिए।
उपमा (Analogy): एक डांस इंस्ट्रक्टर के बारे में सोचें। एक सामान्य AI बस चुटकी बजाता है और डांसर प्रकट हो जाते हैं। InfinityStory का AI वह इंस्ट्रक्टर है जो कहता है, "ठीक है, शूरवीर को बाएं दरवाजे से केंद्र तक चलना होगा, और ड्रैगन को दाएं से उड़कर आना होगा।" यह क्लिप्स के बीच के अंतराल को भर देता है ताकि मूवमेंट सहज और निरंतर लगे।

3. "असेंबली लाइन" (फिल्म कैसे बनाई जाती है)

सिस्टम AI "एजेंट्स" (विशेषज्ञ रोबोटों) की एक टीम का उपयोग करता है जो एक मूवी स्टूडियो की तरह मिलकर काम करते हैं:

स्क्रीनराइटर (Screenwriter): कहानी को अध्यायों और दृश्यों में तोड़ता है।
लोकेशन मैनेजर (Location Manager): हर दृश्य के लिए एक विशिष्ट "सेट" असाइन करता है ताकि बैकग्राउंड कभी न बदले।
डायरेक्टर (Director): तय करता है कि शॉट में कौन है और वे क्या कर रहे हैं।
एडिटर (Editor): फिल्म को जोड़ने के लिए दो अलग-अलग टूल्स का उपयोग करता है:
- टूल A (द स्टोरीटेलर): मुख्य एक्शन क्लिप्स बनाता है (जैसे, शूरवीर और ड्रैगन की लड़ाई)।
- टूल B (द ब्रिज बिल्डर): ट्रांजिशन (बदलाव) क्लिप्स बनाता है। यही असली सफलता का मंत्र है। यह पिछले क्लिप के अंतिम फ्रेम और अगले क्लिप के पहले फ्रेम को लेता है और उन्हें जोड़ने के लिए एक सहज वीडियो बनाता है, जिससे यह सुनिश्चित होता है कि पात्र उन दो क्षणों के बीच स्वाभाविक रूप से चलें।

यह क्यों मायने रखता है?

इससे पहले, AI के साथ लंबी वीडियो बनाना रेत से घर बनाने जैसा था; जैसे-जैसे आप नए कमरे जोड़ते, दीवारें ढह जातीं और बदल जातीं।

InfinityStory पहला ऐसा सिस्टम है जो एक स्थिर, एक घंटे की फिल्म बना सकता है जहाँ:

दुनिया वास्तविक और सुसंगत महसूस होती है (महल महल ही रहता है)।
पात्र जीवंत महसूस होते हैं (वे टेलीपोर्ट नहीं होते; वे चलते और बात करते हैं)।
ट्रांजिशन सहज होते हैं, जैसे कि एक वास्तविक हॉलीवुड फिल्म, न कि एक झटकेदार स्लाइड शो।

संक्षेप में, यह ग्लिच (glitches) से "जादू" को हटाकर उसे एक वास्तविक फिल्म निर्माण के "तर्क" (logic) से बदल देता है, जिससे हम अंततः AI के साथ लंबी, सुसंगत कहानियाँ सुना पा रहे हैं।

यहाँ शोध पत्र "InfinityStory: Unlimited Video Generation with World Consistency and Character-Aware Shot Transitions" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र वर्तमान लॉन्ग-फॉर्म वीडियो जनरेशन (स्टोरीटेलिंग) प्रणालियों की तीन महत्वपूर्ण सीमाओं को संबोधित करता है:

बैकग्राउंड असंगतता (Background Inconsistency - Scene Drift): मौजूदा विधियाँ अक्सर हर शॉट के लिए बैकग्राउंड को पुन: उत्पन्न करती हैं, जिससे लाइटिंग, बनावट (texture), और स्थानिक लेआउट (spatial layout) में सूक्ष्म लेकिन संचित विचलन होता है। यह लंबे वृत्तांतों (जैसे, घंटों लंबे) में दृश्य सामंजस्य को तोड़ देता है।
झटकेदार शॉट-टू-शॉट ट्रांज़िशन (Jarring Shot-to-Shot Transitions): अधिकांश पाइपलाइन स्वतंत्र क्लिप बनाती हैं और उन्हें जोड़ देती है। इसके परिणामस्वरूप पात्रों का अचानक प्रकट होना या गायब होना (जैसे, एक पात्र अचानक बिना किसी हलचल के गायब हो जाता है या प्रकट हो जाता है) होता है और इसमें सिनेमाई तरलता (cinematic fluidity) की कमी होती है, विशेष रूप से मल्टी-सब्जेक्ट परिदृश्यों में।
स्केलेबिलिटी (Scalability): वर्तमान अत्याधुनिक मॉडल सैकड़ों शॉट्स या घंटों लंबे वृत्तांतों पर निरंतरता बनाए रखने में संघर्ष करते हैं, जो अक्सर छोटे क्लिप्स (4-16 सेकंड) तक ही सीमित होते हैं।

2. कार्यप्रणाली (Methodology)

InfinityStory एक एंड-टू-एंड फ्रेमवर्क प्रस्तावित करता है जो एक पदानुक्रमित मल्टी-एजेंट सिस्टम (hierarchical multi-agent system) और दो मुख्य तकनीकी नवाचारों पर आधारित है: लोकेशन-ग्राउंडेड बैकग्राउंड इंजेक्शन (Location-Grounded Background Injection) और सिनेमैटिक मल्टी-सब्जेक्ट ट्रांज़िशन सिंथेसिस (CMTS)।

A. मल्टी-एजेंट नैरेटिव प्लानिंग (Multi-Agent Narrative Planning)

यह प्रणाली एक उच्च-स्तरीय कहानी विनिर्देश (specification) को एक पदानुक्रमित संरचना में विभाजित करती है: चैप्टर $\to$ लोकेशन्स $\to$ सीन्स $\to$ शॉट्स।

चैप्टर एजेंट (Chapter Agent): कहानी को प्रमुख प्लॉट बीट्स में तोड़ता है और पात्रों के संबंधों को परिभाषित करता है।
लोकेशन एजेंट (Location Agent): विशिष्ट बैकग्राउंड विवरणों के साथ पुन: प्रयोज्य लोकेशन्स (जैसे, "महल", "जंगल") की एक स्थिर लाइब्रेरी बनाता है। महत्वपूर्ण रूप से, यह विशिष्ट दृश्यों को विशिष्ट लोकेशन्स से बांधता है ताकि बैकग्राउंड स्थिरता सुनिश्चित हो सके।
सीन एजेंट (Scene Agent): दृश्यों को पात्रों और लोकेशन्स को सौंपता है, और बाधाओं को लागू करता है (जैसे, आस-पास के दृश्यों के बीच स्थानों को बदलना)।
शॉट एजेंट (Shot Agent): दृश्यों को व्यक्तिगत शॉट्स में विभाजित करता है। यह दो प्रकार के जनरेशन के बीच बारी-बारी से काम करता है:
- विषम शॉट (Odd Shots - Narrative): एक कीफ्रेम का उपयोग करके इमेज-टू-वीडियो (I2V) के माध्यम से उत्पन्न किए जाते हैं।
- सम शॉट (Even Shots - Transitions): क्रमिक नैरेटिव शॉट्स को जोड़ने के लिए फर्स्ट-लास्ट-फ्रेम-टू-वीडियो (FLF2V) के माध्यम से उत्पन्न किए जाते हैं।

B. लोकेशन इंजेक्शन के माध्यम से बैकग्राउंड निरंतरता (Background Consistency via Location Injection)

बैकग्राउंड ड्रिफ्ट को रोकने के लिए, लेखक बैकग्राउंड जनरेशन को फोरग्राउंड डायनेमिक्स से अलग करते हैं:

कैनोनिकल बैकग्राउंड्स (Canonical Backgrounds): एक टेक्स्ट-टू-इमेज (T2I) मॉडल लाइब्रेरी के प्रत्येक स्थान के लिए एक निश्चित, उच्च-गुणवत्ता वाला बैकग्राउंड इमेज ( $B_\ell$ ) उत्पन्न करता है।
कीफ्रेम फ्यूजन (Keyframe Fusion): प्रत्येक शॉट के लिए, एक इमेज-टू-इमेज (I2I) मॉडल निश्चित बैकग्राउंड ( $B_\ell$ ) को पात्र संदर्भ छवियों के साथ फ्यूज करके एक सुसंगत कीफ्रेम ( $K_k$ ) बनाता है।
वीडियो जनरेशन:
- नैरेटिव शॉट्स: फ्यूज किए गए कीफ्रेम ( $K_k$ ) का उपयोग करके I2V के माध्यम से उत्पन्न किए जाते हैं।
- ट्रांज़िशन शॉट्स: FLF2V का उपयोग करके उत्पन्न किए जाते हैं, जो पिछले शॉट के अंतिम फ्रेम और अगले शॉट के फ्यूज किए गए कीफ्रेम ( $K_{k+1}$ ) को एंडपॉइंट के रूप में लेते हैं। चूंकि दोनों एंडपॉइंट एक ही निश्चित बैकग्राउंड साझा करते हैं, इसलिए ट्रांज़िशन स्वाभाविक रूप से सीन की पहचान को बनाए रखता है।
मेमोरी गेटिंग (Memory Gating): एक क्रॉस-शॉट मेमोरी मॉड्यूल पहचान और लेआउट जानकारी को संचित करता है ताकि लंबी अनुक्रमों में ड्रिफ्ट को सीमित किया जा सके।

C. सिनेमैटिक मल्टी-सब्जेक्ट ट्रांज़िशन सिंथेसिस (CMTS)

अचानक पात्र परिवर्तनों को हल करने के लिए, लेखक एक विशेष ट्रांज़िशन मॉडल पेश करते हैं:

ट्रांज़िशन लॉजिक: सम-इंडेक्स वाले शॉट्स को स्पष्ट मेटाडेटा ( $\tau_k$ ) के साथ ट्रांज़िशन के रूप में माना जाता है जो पात्र के प्रवेश, निकास या प्रतिस्थापन का वर्णन करता है (जैसे, "पात्र A बाईं ओर से अंदर आता है")।
सिंथेटिक डेटासेट निर्माण: चूंकि विशिष्ट मल्टी-सब्जेक्ट ट्रांज़िशन के लिए वास्तविक दुनिया का डेटा दुर्लभ है, इसलिए उन्होंने 10,000 ट्रांज़िशन वीडियो का एक सिंथेटिक डेटासेट बनाया।
- पाइपलाइन: मल्टी-एजेंट प्लानिंग $\to$ वीडियो जनरेशन (Wan2.2) $\to$ VLM फ़िल्टरिंग (Qwen3-VL का उपयोग करके यह सुनिश्चित करने के लिए कि पहले/अंतिम फ्रेम में पात्रों की गिनती 0-से-N या N-से-0 ट्रांज़िशन के लिए वैध है)।
- परिणाम: लगभग 3,980 उच्च-गुणवत्ता वाले वीडियो का एक क्यूरेटेड डेटासेट जो प्रवेश, निकास और प्रतिस्थापन परिदृश्यों को कवर करता है।
मॉडल ट्रेनिंग: इस डेटासेट का उपयोग करके FLF2V मॉडल (Wan2.1-14B पर आधारित) को LoRA के माध्यम से फाइन-ट्यून किया गया है ताकि अचानक कट के बजाय सुचारू, कोरियोग्राफ की गई गतिविधियों को सीखा जा सके।

3. मुख्य योगदान (Key Contributions)

सिनेमैटिक मल्टी-सब्जेक्ट ट्रांज़िशन सिंथेसिस (CMTS): स्पष्ट मूवमेंट सुपरविजन के साथ सुचारू, मल्टी-सब्जेक्ट शॉट ट्रांज़िशन (प्रवेश/निकास/प्रतिस्थापन) को व्यवस्थित रूप से संबोधित करने वाला पहला तरीका, जो सिंगल-सब्जेक्ट सीमाओं से आगे जाता है।
बैकग्राउंड-कंसिस्टेंट जनरेशन पाइपलाइन: "लोकेशन इंजेक्शन" का उपयोग करने वाला एक अभिनव दृष्टिकोण जो दृश्यों को निश्चित बैकग्राउंड से बांधता है, जिससे लंबी जनरेशन में सीन ड्रिफ्ट प्रभावी रूप रूप से समाप्त हो जाता है।
लार्ज-स्केल सिंथेटिक डेटासेट: 10,000 एनोटेटेड मल्टी-सब्जेक्ट ट्रांज़िशन अनुक्रमों का एक क्यूरेटेड डेटासेट, जिसे मजबूत ट्रांज़िशन मॉडल को प्रशिक्षित करने के लिए VLMs द्वारा फ़िल्टर किया गया है।
स्केलेबल फ्रेमवर्क: एक एंड-टू-एंड सिस्टम जो सुसंगत कहानी संरचना, सुसंगत पात्रों और स्थिर वातावरण के साथ एक घंटे लंबे वृत्तांतों को उत्पन्न करने में सक्षम है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन TinyStories डेटासेट (10 मल्टी-कैरेक्टर कहानियों) पर VBench मेट्रिक्स का उपयोग करके किया गया।

कुल प्रदर्शन: InfinityStory ने सभी बेसलाइन के बीच सर्वश्रेष्ठ औसत रैंक (2.80) प्राप्त की।
निरंतरता मेट्रिक्स (Consistency Metrics):
- बैकग्राउंड कंसिस्टेंसी: 88.94 (सभी मॉडलों में उच्चतम, जो MovieAgent के 79.84 से काफी बेहतर है)।
- सब्जेक्ट कंसिस्टेंसी: 82.11 (उच्चतम, अगले सर्वश्रेष्ठ से ~3.5 अंक अधिक)।
तुलना: इसने दृश्य सामंजस्य बनाए रखने में MovieAgent, VideoGen-of-Thought, और StoryAdapter जैसे मजबूत बेसलाइन को पीछे छोड़ दिया।
ट्रेड-ऑफ़ (Trade-offs): इमेज क्वालिटी और एस्थेटिक स्कोर कुछ बेसलाइन की तुलना में थोड़े कम थे। लेखक इसे 480p रेजोल्यूशन (बेस जनरेटर के 720p के मुकाबले) और इमेज-एडिटिंग (I2I) फ्यूजन स्टेप द्वारा पेश किए गए मामूली आर्टिफ़ेक्ट्स के कारण बताते हैं।
एब्लेशन स्टडीज (Ablation Studies): बैकग्राउंड इंजेक्शन को हटाने से सब्जेक्ट कंसिस्टेंसी (-3.6) और बैकग्राउंड कंसिस्टेंसी (-1.6) में महत्वपूर्ण गिरावट आई। मल्टी-कैरेक्टर ट्रांज़िशन को अक्षम करने से मोशन स्मूथनेस और एस्थेटिक क्वालिटी कम हो गई।

5. महत्व (Significance)

InfinityStory स्टोरीटेलिंग के लिए जेनरेटिव AI में एक महत्वपूर्ण छलांग है। "सीन ड्रिफ्ट" की समस्या को हल करके और सुचारू, मल्टी-कैरेक्टर ट्रांज़िशन पेश करके, यह वीडियो जनरेशन को छोटे, खंडित क्लिप्स से सिनेमैटिक, लॉन्ग-फॉर्म नैरेटिव की ओर ले जाता है।

व्यावहारिक प्रभाव: यह मैन्युअल फ्रेम-दर-फ्रेम एडिटिंग के बिना शिक्षा, मनोरंजन और डिजिटल मीडिया के लिए सुसंगत, एक घंटे लंबे वीडियो बनाने में सक्षम बनाता है।
तकनीकी प्रगति: यह प्रदर्शित करता है कि केवल प्रॉम्प्ट इंजीनियरिंग या लॉन्ग-कॉन्टेक्स्ट अटेंशन मैकेनिज्म पर निर्भर रहने के बजाय स्पष्ट संरचनात्मक बाधाएं (लोकेशन बाइंडिंग) और विशेष प्रशिक्षण डेटा (सिंथेटिक ट्रांज़िशन डेटासेट) अधिक प्रभावी हैं।
भविष्य की दिशा: यह कार्य समृद्ध चरित्र गतिशीलता और स्थिर वर्ल्ड-बिल्डिंग के साथ जटिल, बहु-घंटे की फिल्में बनाने में सक्षम भविष्य की प्रणालियों के लिए आधार तैयार करता है।