कल्पना कीजिए एक ऐसी दुनिया की जहाँ कंप्यूटर एक साधारण वाक्य जैसे "एक बिल्ली स्केटबोर्ड चला रही है" को हाई-डेफिनिशन वीडियो में बदलकर, फ्रेम-दर-फ्रेम फिल्में बना सकते हैं। यह जादू एक प्रकार की आर्टिफिशियल इंटेलिजेंस के कारण होता है जिसे डिफ्यूजन ट्रांसफॉर्मर (Diffusion Transformer) कहा जाता है। इसे एक डिजिटल कलाकार के रूप में सोचें जो शुद्ध स्टैटिक नॉइज़ (static noise) के कैनवास से शुरुआत करता है और धीरे-धीरे, कदम-दर-कदम, इसे तब तक साफ करता है जब तक कि एक स्पष्ट तस्वीर उभर न आए। इन तस्वीरों को वास्तविक दिखाने और उन्हें सुचारू रूप से चलाने के लिए, AI को न केवल छवि को, बल्कि यह भी समझने की आवश्यकता है कि चीजें समय के साथ कैसे बदलती हैं।

हालाँकि, इसमें एक पेंच है। AI जितना अधिक स्मार्ट और यथार्थवादी होता जाता है, उसे अपने स्वयं के निर्देशों को याद रखने के लिए उतने ही अधिक "मस्तिष्क बल" (brain power) की आवश्यकता होती है। कंप्यूटर विज्ञान की दुनिया में, इसे मेमोरी (memory) कहा जाता है। कल्पना कीजिए कि आप एक उत्कृष्ट कृति (masterpiece) पेंट करने की कोशिश कर रहे हैं, लेकिन हर बार जब आप एक नया ब्रशस्ट्रोक जोड़ते हैं, तो आपको अपनी पेंटिंग का पूरा इतिहास अपने दिमाग में रखना पड़ता है। यदि पेंटिंग बहुत बड़ी हो जाती है, तो आपका मस्तिष्क इसे समाहित नहीं कर पाता। सबसे उन्नत वीडियो बनाने वाले AI के लिए, एक एकल वीडियो बनाने के लिए आवश्यक "निर्देश" (weights) और "विचार" (activations) इतने विशाल होते हैं कि वे एक ही कार्यालय में पाए जाने वाले सबसे शक्तिशाली सुपरकंप्यूटरों में भी फिट नहीं होते। यह एक दीवार खड़ी कर देता है: शोधकर्ता इन विशाल AI को नए करतब सिखाना चाहते हैं, लेकिन उनके कंप्यूटर काम शुरू करने से पहले ही जगह खत्म कर देते हैं।

यह MegaSlide-DiT की कहानी है, जो एक चतुर नया सिस्टम है जिसे उस दीवार को तोड़ने के लिए डिज़ाइन किया गया है। शोधकर्ताओं ने एक सरल प्रश्न पूछा: क्या होगा यदि कंप्यूटर को एक ही समय में पूरी पेंटिंग अपने दिमाग में रखने की आवश्यकता न हो? एक 105-बिलियन-पैरामीटर वाले AI को एक सिंगल ग्राफिक्स कार्ड पर डालने के बजाय (जिसके लिए एक टेराबाइट से अधिक स्थान की आवश्यकता होगी), उन्होंने एक ऐसा सिस्टम बनाया है जहाँ AI अपनी दीर्घकालिक स्मृति (long-term memory) को कंप्यूटर की मुख्य RAM (वर्कस्टेशन की "डेस्क") में रखता है और अगले कदम के लिए केवल उसी छोटे से हिस्से को निकालता है जिसकी उसे आवश्यकता होती है।

इसे काम करने योग्य बनाने के लिए, उन्हें यह भी बदलना पड़ा कि AI वीडियो को कैसे "देखता" है। सामान्य तौर पर, एक वीडियो को समझने के लिए, AI पूरे क्लिप के हर एक पिक्सेल की तुलना दूसरे हर पिक्सेल से करने की कोशिश करता है, जैसे कि एक छात्र एक वाक्य को समझने के लिए एक ही समय में किताब के हर पन्ने को पढ़ने की कोशिश कर रहा हो। यह अविश्वसनीय रूप से धीमा और मेमोरी-खपत वाला है। MegaSlide-DiT इस विकल्प के रूप में 3D Deformable Slide Attention सिस्टम का उपयोग करता है। कल्पना कीजिए कि पूरी किताब पढ़ने के बजाय, AI अपनी आँखों को कहानी के साथ स्लाइड करना सीख जाता है, जिससे वह केवल पास के चलते हुए पात्रों और उनके तत्काल परिवेश के साथ उनकी अंतःक्रिया पर ध्यान केंद्रित करता है। वह गति (motion) का पीछा करने के लिए अपने फोकस को "स्लाइड" करना सीखता है, और स्थिर पृष्ठभूमि (static background) को अनदेखा करता है।

परिणाम क्या है? टीम ने सफलतापूर्वक एक सिंगल हाई-एंड वर्कस्टेशन (1.5 TB RAM के साथ) पर एक 105-बिलियन-पैरामीटर वीडियो मॉडल को अनुकूलित किया। उन्होंने मॉडल को शून्य से नहीं बनाया, बल्कि उन्होंने साबित किया कि आप बिना किसी विशाल सुपरकंप्यूटर क्लस्टर के इन विशाल AI को नई चीजें सिखा सकते हैं। ग्राफिक्स कार्ड में डेटा को जस्ट-इन-टाइम (just-in-time) स्ट्रीम करके और अपने "स्लाइडिंग" अटेंशन ट्रिक का उपयोग करके, वे 1080p रिज़ॉल्यूशन पर 256-फ्रेम वीडियो जेनरेट करने में सफल रहे। हालाँकि यह सिस्टम पूरी तरह से उत्तम नहीं है—यह कभी-कभी बहुत तेज़ दृश्य परिवर्तन या एक-दूसरे से दूर स्थित वस्तुओं के साथ संघर्ष करता है—यह दिखाता है कि उच्च-गुणवत्ता वाले वीडियो AI का भविष्य केवल अनंत बजट वाले तकनीकी दिग्गजों के पास नहीं, बल्कि एक बहुत अच्छे वर्कस्टेशन और एक चतुर विचार वाले शोधकर्ताओं के पास भी हो सकता है।

समस्या: "बहुत बड़ा होने" की दीवार

शोधकर्ताओं ने सबसे पहले उन दो विशाल बाधाओं की पहचान की जो सामान्य कंप्यूटरों को इन विशाल वीडियो मॉडलों को संभालने से रोकती हैं।

पहला है, पैरामीटर मेमोरी वॉल (Parameter Memory Wall)। 105 बिलियन पैरामीटर वाले मॉडल को चलाने के लिए, आपको "वेट्स" (सीखे गए ज्ञान) को विभिन्न स्वरूपों में संग्रहीत करने की आवश्यकता होती है। आपको गणना करने के लिए हाफ-प्रिसिजन वेट्स, गणित को स्थिर रखने के लिए फुल-प्रिसिजन "मास्टर" वेट्स, और कुशलता से सीखने के लिए ऑप्टिमाइज़र के लिए दो सेट "मोमेंटम" नंबरों की आवश्यकता होती है। पेपर गणना करता है कि 105-बिलियन-पैरामीटर मॉडल के लिए, यह लगभग 1.47 TB डेटा जोड़ता है। एक टॉप-टियर ग्राफिक्स कार्ड (जैसे NVIDIA H200) में केवल लगभग 141 GB की अपनी सुपर-फास्ट मेमोरी होती है। यह एक लाइब्रेरी को जूते के डिब्बे में फिट करने की कोशिश करने जैसा है।

दूसरा है, एक्टिवेशन मेमोरी वॉल (Activation Memory Wall)। जब AI एक वीडियो को प्रोसेस करता है, तो वह इसे "टोकन" नामक छोटे टुकड़ों में तोड़ देता है। 1080p रिज़ॉल्यूशन पर 256-फ्रेम का वीडियो 2 मिलियन से अधिक टोकन बनाता है। मानक AI अटेंशन मैकेनिज्म हर टोकन को दूसरे हर टोकन से जोड़ने की कोशिश करते हैं। इसके लिए आवश्यक मेमोरी टोकनों की संख्या के वर्ग ($O(N^2)$) के साथ बढ़ती है। इतने लंबे वीडियो के लिए, केवल AI के "विचारों" को रखने के लिए आवश्यक मेमोरी ग्राफिक्स कार्ड की पूरी मेमोरी से कहीं अधिक होगी, जिससे कंप्यूटर क्रैश (मेमोरी खत्म होना, या "OOM") हो जाएगा।

समाधान: "जस्ट-इन-टाइम" डिलीवरी सिस्टम

टीम का समाधान, MegaSlide-DiT, सिस्टम-इंजीनियरिंग के एक नुस्खे पर निर्भर करता है: ग्राफिक्स कार्ड पर पूरे मॉडल को न रखें।

इसके बजाय, वे ग्राफिक्स कार्ड (GPU) को एक तेज़, स्टेटलेस वर्कर के रूप में देखते हैं जो केवल वही रखता है जिसकी उसे AI के वर्तमान लेयर के लिए आवश्यकता होती है। 1.47 TB का विशाल मॉडल डेटा कंप्यूटर की मुख्य सिस्टम RAM (DDR5) में रहता है, जो धीमी है लेकिन बहुत बड़ी है (उनके सेटअप में 1.5 TB)।

यह प्रक्रिया चरण-दर-चरण कैसे काम करती है, यहाँ दिया गया है:

1. शेड्यूलर (The Scheduler): कंप्यूटर का मुख्य प्रोसेसर (CPU) एक मैनेजर के रूप में कार्य करता है। वह जानता है कि AI को वीडियो को लेयर-दर-लेयर प्रोसेस करने की आवश्यकता है।
2. स्ट्रीमिंग (Streaming): इससे पहले कि ग्राफिक्स कार्ड वर्तमान लेयर पर काम पूरा करे, CPU मुख्य RAM से अगली लेयर के वेट्स को ग्राफिक्स कार्ड पर भेजना शुरू कर देता है। यह बैकग्राउंड में होता है।
3. स्वैप (The Swap): जैसे ही ग्राफिक्स कार्ड वर्तमान लेयर को समाप्त करता है, वह पुराने वेट्स को बाहर निकाल देता है और अभी-अभी डिलीवर किए गए नए वेट्स को प्राप्त कर लेता है।
4. अपडेट (The Update): एक बार जब ग्राफिक्स कार्ड "ग्रेडिएंट्स" (मॉडल को कैसे सुधारें) की गणना पूरी कर लेता है, तो वह उन नंबरों को CPU को वापस भेज देता है। CPU फिर मानक गणितीय निर्देशों (AVX-512) का उपयोग करके मुख्य RAM में विशाल मास्टर वेट्स को अपडेट करता है।

इस "स्ट्रीमिंग" दृष्टिकोण का अर्थ है कि ग्राफिक्स कार्ड को कभी भी पूरे मॉडल को रखने की आवश्यकता नहीं होती है। यह केवल वर्तमान लेयर के लिए वेट्स का एक छोटा सा हिस्सा (लगभग 2 GB) और वह वीडियो डेटा रखता है जिसे वह वर्तमान में प्रोसेस कर रहा है।

"स्लाइडिंग" अटेंशन: गति का पीछा करना

दूसरा प्रमुख नवाचार 3D Deformable Slide Attention (3D-DSA) है।

एक मानक वीडियो मॉडल में, AI संदर्भ को समझने के लिए एक ही समय में पूरे वीडियो को देखता है। यह $O(N^2)$ की समस्या है। MegaSlide-DiT इसे बदलकर AI को अपने फोकस को "स्लाइड" करने की अनुमति देता है।

• Deformable (विकृति योग्य): एक निश्चित बॉक्स (जैसे खिड़की) के बजाय, AI अपने "विंडो" को गतिमान वस्तुओं का पीछा करने के लिए खींचना और शिफ्ट करना सीखता है। यदि एक गेंद स्क्रीन पर लुढ़क रही है, तो AI का अटेंशन विंडो गेंद के साथ चलता है।
• 3D: यह समय (फ्रेम्स), ऊंचाई और चौड़ाई में एक साथ यह करता है।
• Local (स्थानीय): यह पूरे वीडियो के बजाय केवल टोकन के एक छोटे पड़ोस (लोकल विंडो) को देखता है।

पेपर स्पष्ट करता है कि यह एक अलग "ऑप्टिकल फ्लो" मैप (गति का तकनीकी मानचित्र) नहीं बनाता है। इसके बजाय, AI अंतर्निहित रूप से (implicitly) सीखता है कि कहाँ देखना है। यह एक कैमरा ऑपरेटर की तरह है जो गणितीय रूप से धावक की गति की गणना करने के बजाय, स्वाभाविक रूप से धावक का पीछा करने के लिए पैन करता है। यह मेमोरी और गणना की जटिलता को क्वाड्रेटिक से लीनियर ($O(N)$) में बदल देता है, जिसका अर्थ है कि जैसे-जैसे वीडियो लंबा होता है, आवश्यक मेमोरी विस्फोट के बजाय धीरे-धीरे बढ़ती है।

उन्होंने क्या पाया: परिणाम

टीम ने एक NVIDIA H200 GPU (141 GB मेमोरी) और 1.5 TB DDR5 RAM वाले सिंगल वर्कस्टेशन पर अपने सिस्टम का परीक्षण किया। उन्होंने इसकी तुलना दो अन्य दृष्टिकोणों से की: एक "Dense" मॉडल जो सब कुछ GPU पर रखने की कोशिश करता है (जो तुरंत क्रैश हो गया) और एक "Swin" मॉडल जो निश्चित, बिना चलते हुए विंडोज का उपयोग करता है।

1. यह एक सिंगल मशीन पर काम करता है:
सबसे महत्वपूर्ण खोज यह है कि उन्होंने सिंगल मशीन पर 105-बिलियन-पैरामीटर मॉडल को सफलतापूर्वक अनुकूलित किया।

• मेमोरी उपयोग: MegaSlide-DiT सिस्टम ने 256-फ्रेम वीडियो के लिए लगभग 115 GB GPU मेमोरी का उपयोग किया। "Dense" मॉडल केवल 64 फ्रेम पर ही आउट ऑफ मेमोरी (OOM) हो गया।
• गति: प्रशिक्षण का एक चरण (फॉरवर्ड और बैकवर्ड पास) लगभग 3.1 सेकंड का था। "Async" स्ट्रीमिंग ट्रिक (जहाँ डेटा ट्रांसफर के दौरान कंप्यूटर काम करता है) के बिना, गति काफी कम हो गई, और दक्षता (MFU) 61% से गिरकर 28% रह गई। यह साबित करता है कि डेटा ट्रांसफर के समय को छिपाना महत्वपूर्ण है।

2. गुणवत्ता तुलनीय है:
उन्होंने वीडियो की गुणवत्ता का परीक्षण VBench बेंचमार्क का उपयोग करके किया, जो यह मापता है कि वीडियो टेक्स्ट प्रॉम्प्ट से कितनी अच्छी तरह मेल खाता है और समय के साथ वीडियो कितना सुसंगत है।

• 64 फ्रेम पर, MegaSlide-DiT का प्रदर्शन "Dense" मॉडल (जो 256 फ्रेम नहीं चला सका) के लगभग समान था।
• 256 फ्रेम पर, MegaSlide-DT ने टेम्पोरल कंसिस्टेंसी (समय के साथ निरंतरता) में "Swin" मॉडल (फिक्स्ड विंडोज) को पीछे छोड़ दिया। फिक्स्ड विंडोज़ ने "ब्लॉक आर्टिफैक्ट्स" पैदा किए और मोशन को सुचारू रूप से ट्रैक करने में विफल रहे, जबकि डिफॉर्मेबल अटेंशन ने स्वाभाविक रूप से गति का पीछा किया।

3. "सीखा हुआ" भाग मायने रखता है:
उन्होंने एक प्रयोग में, जिसमें उन्होंने स्लाइडिंग विंडोज के "सीखने" को बंद कर दिया (AI को फिक्स्ड विंडोज का उपयोग करने के लिए मजबूर किया), वीडियो की गुणवत्ता गिर गई। टेम्पोरल कंसिस्टेंसी स्कोर 0.83 से गिरकर 0.67 हो गया। यह सुझाव देता है कि यह सीखना कि कहाँ देखना है, लंबे वीडियो के लिए आवश्यक है।

4. स्केलिंग अप (Scaling Up):
उन्होंने सिद्धांतों की जांच करने के लिए एक H100 NVL (एक थोड़ा छोटा GPU जिसमें 94 GB मेमोरी है) पर अपने सिस्टम के छोटे संस्करणों का भी परीक्षण किया।

• उन्होंने पुष्टि की कि "Dense" मॉडल मेमोरी सीमाओं के कारण 256 फ्रेम पर क्रैश हो जाता है, जबकि MegaSlide-DiT सफलतापूर्वक स्केल करता है।
• उन्होंने पाया कि फिक्स्ड विंडोज वाला "Swin" मॉडल वास्तव में स्ट्रक्चर्ड मोशन डेटा पर डाइवर्ज (diverge) हो गया (सीखने में विफल रहा), जबकि डिफॉर्मेबल ऑफसेट्स वाला MegaSlide-DiT बेहतर होता गया।
• 28-बिलियन-पैरामीटर मॉडल के लिए फॉरवर्ड पास पर उनका एसिंक स्ट्रीमिंग मेथड 2.11x की स्पीडअप तक पहुँच गया।

सीमाएं और इसका अर्थ

पेपर सावधानीपूर्वक यह नोट करता है कि यह सिस्टम क्या नहीं करता है।

• यह बैंडविड्थ सीमाओं को हल नहीं करता: सिस्टम अभी भी इस बात से सीमित है कि CPU और GPU के बीच डेटा कितनी तेज़ी से घूम सकता है (PCIe)। यदि मॉडल बहुत बड़ा है या वीडियो बहुत लंबा है, तो ट्रांसफर का समय अभी भी इसे धीमा कर सकता है।
• इसे बहुत अधिक RAM की आवश्यकता है: 105B मॉडल चलाने के लिए आपको अभी भी 1.5 TB RAM की आवश्यकता है। यह महंगा है और केवल हाई-एंड वर्कस्टेशन पर उपलब्ध है, उपभोक्ता लैपटॉप पर नहीं।
• लोकल बनाम ग्लोबल: क्योंकि AI केवल स्थानीय पड़ोस को देखता है, यह कभी-कभी लंबी दूरी के कनेक्शनों को मिस कर देता है। उदाहरण के लिए, यदि दो वस्तुएं एक-दूसरे से दूर हैं और उन्हें इंटरैक्ट करने की आवश्यकता है, तो लोकल अटेंशन उन्हें मिस कर सकता है।
• "फ्रॉम स्क्रैच" ट्रेनिंग नहीं: पेपर एक प्री-ट्रेन्ड मॉडल के अनुकूलन (adaptation/fine-tuning) को प्रदर्शित करता है। उन्होंने एक सिंगल GPU पर 105B मॉडल को शून्य से प्रशिक्षित नहीं किया; ऐसा करने में बहुत अधिक समय लगता और अधिक संसाधनों की आवश्यकता होती।

निष्कर्ष

MegaSlide-DiT यह सिद्ध करता है कि दुनिया के सबसे बड़े वीडियो AI मॉडलों के साथ काम करने के लिए आपको सुपरकंप्यूटर के विशाल क्लस्टर की आवश्यकता नहीं है। मुख्य सिस्टम RAM में मेमोरी के "भारी काम" को स्थानांतरित करके और एक चतुर "स्लाइडिंग" अटेंशन मैकेनिज्म का उपयोग करके जो गति का पीछा करता है, शोधकर्ता एक सिंगल, हाई-एंड वर्कस्टेशन पर इन विशाल मॉडलों को फाइन-ट्यून कर सकते हैं। यह उच्च-रिज़ॉल्यूशन वीडियो जनरेशन को लोकतांत्रिक बनाने की दिशा में एक व्यावहारिक कदम है, जो दिखाता है कि स्मार्ट इंजीनियरिंग के साथ, "मेमोरी वॉल" एक अंत नहीं है, बल्कि एक दरवाज़ा है जिसे बस एक अलग चाबी की आवश्यकता है।