💻 computer science

DSV: Exploiting Dynamic Sparsity to Accelerate Large-Scale Video DiT Training

यह शोध पत्र DSV को प्रस्तुत करता है, जो एक दो-चरणीय सन्निकटन एल्गोरिदम (two-stage approximation algorithm) और हाइब्रिड स्पैरसिटी-अवेयर कॉन्टेक्स्ट पैरेललिज्म (hybrid sparsity-aware context parallelism) के माध्यम से अनुभवजन्य रूप से देखे गए डायनेमिक अटेंशन स्पैरसिटी का लाभ उठाकर बड़े पैमाने पर वीडियो डिफ्यूजन ट्रांसफॉर्मर प्रशिक्षण को त्वरित करता है, जिससे जनरेशन की गुणवत्ता से समझौता किए बिना 3.02x तक उच्च थ्रूपुट प्राप्त होता है।

मूल लेखक: Xin Tan, Yuetao Chen, Yimin Jiang, Xing Chen, Kun Yan, Nan Duan, Yibo Zhu, Daxin Jiang, Hong Xu

प्रकाशित 2026-03-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xin Tan, Yuetao Chen, Yimin Jiang, Xing Chen, Kun Yan, Nan Duan, Yibo Zhu, Daxin Jiang, Hong Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को फिल्में बनाना सिखाने की कोशिश कर रहे हैं। यह रोबोट, जिसे वीडियो डिटी (Video DiT) कहा जाता है, अविश्वसनीय रूप से प्रतिभाशाली है, लेकिन इसकी एक बड़ी समस्या है: यह धीमा है।

जब रोबोट एक वीडियो को समझने की कोशिश करता है, तो वह हर एक पिक्सेल (या "टोकन") को देखता है और यह समझने के लिए कि वे एक-दूसरे से कैसे संबंधित हैं, हर दूसरे पिक्सेल के साथ उसकी तुलना करता है। यदि आपके पास एक छोटा वीडियो है, तो यह ठीक है। लेकिन यदि आपके पास एक हाई-डेफिनिशन, लंबी फिल्म है, तो रोबोट को खरबों तुलनाएं करनी होंगी। यह एक स्टेडियम में हर व्यक्ति को खेल शुरू होने से पहले दूसरे हर व्यक्ति से मिलवाने जैसा है। इसमें बहुत समय लगता है, और रोबोट अटक जाता है।

यह पेपर एक नई प्रणाली पेश करता है जिसे DSV (डायनेमिक स्पैरसिटी वीडियो) कहा जाता है, जो इसे बिना रोबोट को कम बुद्धिमान बनाए 3 गुना तेज़ कर देता है। यह कैसे काम करता है, इसके लिए रोज़मर्रा के उदाहरणों का उपयोग करते हैं:

1. समस्या: "अति-सतर्क" रोबोट

पुराने तरीके में, रोबोट जुनूनी रूप से विस्तृत होता है। वह सोचता है, "मुझे पक्का होने के लिए हर फ्रेम को दूसरे हर फ्रेम के साथ चेक करने की ज़रूरत है।"

हकीकत: उन तुलनाओं में से अधिकांश का कोई महत्व नहीं है। यदि आप सड़क पर चलती हुई एक कार देख रहे हैं, तो कार को उस पेड़ की परवाह नहीं होती जो 10 सेकंड पहले बैकग्राउंड में था। रोबोट अपना 95% समय उन चीजों को चेक करने में बर्बाद करता है जिनका कोई महत्व नहीं है।

2. खोज: "यह रैंडम नहीं है, यह डायनेमिक है"

शोधकर्ताओं ने कुछ बहुत ही दिलचस्प देखा। रोबोट स्वाभाविक रूप से अधिकांश चीजों को अनदेखा तो करता है, लेकिन यह कोई सरल पैटर्न नहीं है।

पुराना विचार: "शायद रोबलेट वर्तमान वाले पिक्सेल के बगल वाले 5 पिक्सेल को ही देखता है?" (एक विंडो की तरह)।
खोज: नहीं! रोबोट का ध्यान डायनेमिक (गतिशील) है। कभी-कभी वह दूर देखता है; कभी-कभी वह पास देखता है। "महत्वपूर्ण" चीजें सीन और इस आधार पर बदलती रहती हैं कि रोबोट ने कितनी देर प्रशिक्षण लिया है। यह एक जासूस की तरह है जो जानता है कि किस सुराग का पीछा करना है, लेकिन सुराग अनिश्चित रूप से इधर-उधर घूमते रहते हैं।

3. समाधान: "स्मार्ट असिस्टेंट" (DSV)

रोबोट को सब कुछ चेक करने के लिए मजबूर करने के बजाय, DSV उसे एक स्मार्ट असिस्टेंट देता है जो भारी काम शुरू करने से पहले ही भविष्यवाणी करता है कि कौन से सुराग महत्वपूर्ण हैं।

यहाँ तीन जादू के नुस्खे दिए गए हैं जिनका उपयोग DSV करता है:

A. "लो-रैंक प्रेडिक्टर" (भविष्य बताने वाला क्रिस्टल बॉल)

रोबोट द्वारा कठिन गणित करने से पहले, एक छोटा, सस्ता "क्रिस्टल बॉल" (एक लो-रैंक प्रेडिक्टर) डेटा को देखता है और अनुमान लगाता है: "हे, इस विशिष्ट क्षण के लिए, रोबोट को केवल इन 10% पिक्सेल्स पर ध्यान देने की आवश्यकता है। बाकी को अनदेखा करें!"

उदाहरण: कल्पना कीजिए कि आप एक भीड़ भरे मॉल में अपने दोस्त को ढूंढ रहे हैं। हर एक व्यक्ति के पास जाकर "क्या आप मेरे दोस्त हैं?" पूछने के बजाय, आप एक त्वरित नज़र (प्रेडिक्टर) का उपयोग करके उस व्यक्ति को देखते हैं जिसने लाल टोपी पहनी है। फिर आप केवल लाल टोपी वाले व्यक्ति से बात करते हैं। आपने 90% समय बचा लिया।

B. "ग्रुप हडल" (क्वेरी ग्रुपिंग)

शोधकर्ताओं ने देखा कि वीडियो में पड़ोसी आमतौर पर एक ही चीज़ों पर ध्यान देते हैं।

उदाहरण: यदि आप मॉल में अपने दोस्त के बगल में खड़े हैं, तो आप दोनों शायद एक ही स्टोर की खिड़की को देख रहे हैं। आप दोनों अलग-अलग खिड़की को चेक करने के लिए जाने के बजाय, एक साथ खड़े होते हैं और एक बार में काम पूरा करते हैं। DSV पास के पिक्सेल्स को ग्रुप करता है ताकि वे काम साझा कर सकें, जिससे रोबोट और भी तेज़ हो जाता है।

C. "डायनेमिक टीम लीडर" (हाइब्रिड पैरेललिज्म)

जब आप एक साथ 128 सुपर-कंप्यूटरों पर एक रोबोट को प्रशिक्षित करते हैं, तो आपको काम को विभाजित करना पड़ता है। आमतौर पर, आप बस वीडियो को आधा कर देते हैं। लेकिन क्योंकि वीडियो के अलग-अलग हिस्सों के लिए "महत्वपूर्ण" भाग अलग होते हैं, इसलिए कुछ कंप्यूटर कठिन काम करने में फंस जाते हैं जबकि अन्य खाली बैठे रहते हैं।

समाधान: DSV एक स्मार्ट टीम लीडर की तरह काम करता है। यह लगातार देखता रहता है कि कौन व्यस्त है और कौन खाली है। यदि एक कंप्यूटर एक जटिल दृश्य के साथ संघर्ष कर रहा है, तो यह कुछ "आसान" काम को खाली बैठे कंप्यूटरों में स्थानांतरित कर देता है। यह ताश के पत्तों को इस तरह से पुनर्गठित करता है कि सभी एक ही समय में काम पूरा कर लें।

4. दो-चरणों वाला प्रशिक्षण

DSV केवल सीधे तौर पर शॉर्टकट नहीं लेता है। यह दो चरणों में प्रशिक्षित होता है:

चरण 1 (सीखने का चरण): रोबोट सामान्य रूप से सीखता है, लेकिन "स्मार्ट असिस्टेंट" को भी यह अनुमान लगाने में बेहतर होने के लिए प्रशिक्षित किया जाता है कि कौन से सुराग महत्वपूर्ण हैं।
चरण 2 (स्पीड चरण): एक बार जब असिस्टेंट अनुमान लगाने में अच्छा हो जाता है, तो रोबोट "स्पीड मोड" में स्विच कर देता है। यह केवल उन महत्वपूर्ण सुरागों के लिए गणित करता है जिन्हें असिस्टेंट ने पहचाना है।

परिणाम

इस प्रणाली का उपयोग करके, शोधकर्ता निम्नलिखित करने में सक्षम थे:

3x तेज़ प्रशिक्षण: जिस काम में पहले 3 दिन लगते थे, अब उसमें केवल 1 दिन लगता है।
लंबे वीडियो को संभालना: वे 520,000 "टोकन" (विशाल सीक्वेंस) वाले वीडियो पर प्रशिक्षण दे सकते हैं जो पहले सिस्टम को क्रैश कर देते थे।
कोई गुणवत्ता हानि नहीं: रोबोट जो फिल्में बनाता है वे बिल्कुल उतनी ही अच्छी दिखती हैं जितनी कि धीमी वाली वर्ज़न। मानव परीक्षार्थी अंतर नहीं बता सके।

संक्षेप में: DSV रोबोट को उन चीजों को चेक करने में समय बर्बाद करने से रोकता है जिनका कोई महत्व नहीं है। यह रोबोट को क्या महत्वपूर्ण है, इसका "अंतर्ज्ञान" देता है, उसके दोस्तों को मिलकर काम करने के लिए समूह बनाता है, और टीम का प्रबंधन करता है ताकि कोई भी कभी बोर या अभिभूत न हो। परिणाम? सुपर-फास्ट मूवी-मेकिंग AI।

यहाँ शोध पत्र "DSV: Large-Scale Video DiT Training को गति देने के लिए Dynamic Sparsity का लाभ उठाना" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

संदर्भ (Context): उच्च-गुणवत्ता वाले वीडियो जेनरेशन के लिए डिफ्यूजन ट्रांसफॉर्मर (DiTs) अत्याधुनिक आर्किटेक्चर हैं। हालाँकि, उच्च-डेफिनिशन और लंबी अवधि के वीडियो पर इन्हें प्रशिक्षित करना एक गंभीर स्केलेबिलिटी बाधा (bottleneck) का सामना करता है।
बाधा (The Bottleneck): प्राथमिक सीमा 3D फुल अटेंशन मैकेनिज्म है, जिसकी टाइम कॉम्प्लेक्सिटी इनपुट टोकन लंबाई के सापेक्ष क्वाड्रेटिक ( $O(N^2)$ ) होती है। उच्च-रिज़ॉल्यूशन वाले वीडियो (जैसे 100k–500k टोकन की लेटेंट सीक्वेंस) के लिए, अटेंशन कंप्यूटेशन प्रशिक्षण समय का 95% तक हिस्सा ले लेता है और इसके लिए विशेष कॉन्टेक्स्ट पैरेललिज्म (CP) की आवश्यकता होती है जो महत्वपूर्ण कम्युनिकेशन ओवरहेड उत्पन्न करता है।
अंतराल (The Gap): मौजूदा स्पार्स अटेंशन विधियाँ (जैसे स्लाइडिंग विंडोज़, फिक्स्ड पैटर्न) वीडियो DiTs के लिए अप्रभावी हैं क्योंकि:

डायनेमिक स्पैरसिटी (Dynamic Sparsity): लार्ज लैंग्वेज मॉडल्स (LLMs) के विपरीत (जो प्रेडिक्टेबल पैटर्न जैसे कि अटेंशन सिंक्स या लोकल विंडोज दिखाते हैं), वीडियो DiT अटेंशन स्पैरसिटी डायनेमिक होती है। क्रिटिकल की-वैल्यू (KV) पेयर्स फिक्स्ड लोकैलिटी नियमों का पालन नहीं करते हैं और अटेंशन हेड्स, ब्लॉक्स और ट्रेनिंग स्टेप्स के अनुसार बदलते रहते हैं।
नेइव स्पैरसिटी की अक्षमता (Inefficiency of Naive Sparsity): टॉप- $k$ पेयर्स चुनने के लिए केवल फुल अटेंशन स्कोर को कंप्यूट करना ऑप्टिमाइज्ड फ्यूज्ड कर्नेल्स (जैसे FlashAttention) को बाधित करता है और भारी मेमोरी ओवरहेड ( $O(N^2)$ ) का कारण बनता है, जिससे प्रदर्शन में होने वाले लाभ निष्प्रभावी हो जाते हैं।

2. कार्यप्रणाली: DSV फ्रेमवर्क (Methodology: The DSV Framework)

लेखकों ने DSV का प्रस्ताव दिया है, जो मॉडल की गुणवत्ता बनाए रखते हुए स्वाभाविक अटेंशन स्पैरसिटी का गतिशील रूप से लाभ उठाकर प्रशिक्षण को तेज करता है। DSV तीन मुख्य घटकों से बना है:

A. एल्गोरिदम: लो-रैंक प्रेडिक्शन के साथ टू-स्टेज ट्रेनिंग

DSV $QK^T$ मैट्रिक्स को पूरी तरह से कंप्यूट करने के बजाय दो-चरणीय दृष्टिकोण का उपयोग करता है:

चरण 1 (प्रोफाइलिंग और प्रेडिक्शन): मॉडल सामान्य रूप से (फुल अटेंशन के साथ) प्रशिक्षित होता है, जबकि साथ ही प्रत्येक अटेंशन हेड के लिए लो-रैंक प्रेडिक्टर्स ( $W^Q_{lr}, W^K_{lr}$ ) को प्रशिक्षित किया जाता है। ये प्रेडिक्टर्स एक लो-डायमेंशनल प्रोजेक्शन ( $d_{lr} \ll d_k$ ) का उपयोग करके $QK^T$ स्कोर का अनुमान लगाते हैं। लॉस फंक्शन यह सुनिश्चित करता है कि स्कोर का सापेक्ष परिमाण (relative magnitude) सुरक्षित रहे।
चरण 2 (स्पार्स एक्जीक्यूशन): एक बार जब प्रेडिक्टर्स सटीक हो जाते हैं, तो सिस्टम स्पार्स मोड में प्रवेश करता है।
- डायनेमिक एक्टिवेशन: एक "OP डिस्पैचर" स्पैरसिटी स्तरों की निगरानी करता है। यदि किसी ब्लॉक की स्पैरसिटी एक थ्रेशोल्ड (जो स्पीडअप बनाम मेमोरी ओवरहेड के ऑफलाइन प्रोफाइलिंग द्वारा निर्धारित होता है) से अधिक हो जाती है, तो यह स्पार्स अटेंशन पर स्विच हो जाता है।
- क्रिटिकल KV एस्टीमेशन: फुल अटेंशन के बजाय, सिस्टम केवल क्रिटिकल KV पेयर्स (वे जो ~90% अटेंशन स्कोर में योगदान देते हैं) को चुनने के लिए लो-रैंक प्रेडिक्टर्स का उपयोग करता है।

B. कर्नेल: कुशल एस्टीमेशन और स्पार्स अटेंशन

हार्डवेयर बाधाओं को संभालने के लिए, DSV कस्टम कर्नेल्स पेश करता है:

फ्यूज्ड MM और Top- $k$ : एक कस्टम CUDA कर्नेल लो-रैंक मैट्रिक्स मल्टीप्लिकेशन और Top- $k$ सिलेक्शन को फ्यूज करता है। यह $O(N^2)$ अटेंशन मैट्रिक्स को भौतिक रूप से बनाए बिना (materialize किए बिना) इन-सीटू (in-situ) टॉप- $k$ इंडेक्स को अपडेट करता है, जिससे मेमोरी कॉम्प्लेक्सिटी $O(N^2)$ से घटकर $O(N \cdot k)$ हो जाती है।
क्वेरी ग्रुपिंग (Query Grouping): इस अवलोकन का लाभ उठाते हुए कि 3D स्पेस में आसन्न (adjacent) टोकन्स समान क्रिटिकल KV पेयर्स साझा करते हैं, DSV क्वेरीज को समूहों (जैसे $2\times2\times2$ क्यूब्स) में समूहित करता है। यह एक "प्रॉक्सि" क्वेरी के लिए क्रिटिकल KV इंडेक्स कंप्यूट करता है और उन्हें समूह के लिए पुनः उपयोग करता है, जिससे मेमोरी एक्सेस कोलेसिंग और टेंसर कोर यूटिलाइजेशन अधिकतम होता है।

C. पैरेललिज्म: हाइब्रिड स्पैरसिटी-अवेयर कॉन्टेक्स्ट पैरेललिज्म (CP)

मानक CP रणनीतियाँ (हेड-वाइज या सीक्वेंस-वाइज) डायनेमिक स्पैरसिटी के तहत विफल हो जाती हैं क्योंकि अलग-अलग हेड्स के अलग-अलग स्पैरसिटी स्तर होते हैं, जिससे लोड इम्बैलेंस (स्ट्रैग्लर्स) होता है।

स्पार्स हेड-वाइज CP (HCP): कंप्यूटेशनल लोड को संतुलित करने के लिए उनके विशिष्ट स्पैरसिटी स्तरों के आधार पर अटेंशन हेड्स को डायनेमिक रूप से GPUs को पुन: आवंटित करता है।
स्पार्स सीक्वेंस-वाइज CP (SCP): अन्य डिवाइसेस से सभी KV पेयर्स एकत्र करने के बजाय, GPUs केवल क्रिटिकल KV पेयर्स का आदान-प्रदान करते हैं, जिससे कम्युनिकेशन वॉल्यूम काफी कम हो जाता है।
हाइब्रिड ऑप्टिमाइजेशन: DSV प्रत्येक ब्लॉक के लिए अनुकूलतम HCP और SCP डिग्री ( $g_h, g_s$ ) के मिश्रण को निर्धारित करने के लिए एक ऑप्टिमाइजेशन समस्या को फॉर्म्युलेट करता है, जो मेमोरी बाधाओं का सम्मान करते हुए अधिकतम निष्पादन समय (कंप्यूट + कम्युनिकेशन) को कम करता है।

3. मुख्य योगदान (Key Contributions)

अनुभवजन्य खोज (Empirical Discovery): यह शोध पत्र पहली बार व्यवस्थित रूप से वीडियो DiTs में अटेंशन स्पैरसिटी को चित्रित करता है, जो यह प्रकट करता है कि यह LLMs के विपरीत डायनेमिक, हेयरोजीनियस (हेड्स/ब्लॉक्स के बीच भिन्न) और प्रशिक्षण के दौरान विकसित होने वाली है।
DSV फ्रेमवर्क: एक नया प्रशिक्षण ढांचा जो मूल DiT आर्किटेक्चर को बदले बिना अडैप्टिव स्पार्स कंप्यूटेशन, स्पेशलाइज्ड फ्यूज्ड कर्नेल्स और हाइब्रिड पैरेललिज्म को एकीकृत करता है।
सिस्टम दक्षता: यह सिद्ध करता है कि मॉडल की गुणवत्ता से समझौता किए बिना डायनेमिक स्पैरसिटी का लाभ उठाया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन 128 NVIDIA H800 GPUs तक और 0.8B से 30B पैरामीटर्स वाले मॉडल्स और 520k टोकन तक की सीक्वेंस लेंथ पर किया गया।

ट्रेनिंग थ्रूपुट (Training Throughput): DSV फुल अटेंशन बेसलाइन्स की तुलना में 3.02× अधिक थ्रूपुट और WA-L (विंडो-बेस्ड अटेंशन) की तुलना में 1.38–1.54× अधिक थ्रूपुट प्राप्त करता है।
लेटेंसी रिडक्शन (Latency Reduction): एंड-टू-एंड ट्रेनिंग लेटेंसी में 3.5× तक की कमी आती है।
इन्फरेंस स्पीडअप (Inference Speedup): इन्फरेंस को फुल अटेंशन की तुलना में 2.0–3.5× तेज किया गया है।
मॉडल गुणवत्ता (Model Quality):
- लॉस कन्वर्जेंस (Loss Convergence): DSV फुल अटेंशन (FA) के कन्वर्जेंस रेट और फाइनल लॉस के बराबर है।
- वीडियो गुणवत्ता: मात्रात्मक मेट्रिक्स (FVD, VBench) दिखाते हैं कि DSV, FA के बराबर या उससे थोड़ा बेहतर प्रदर्शन करता है।
- ह्यूमन इवैल्यूएशन: ब्लाइंड यूजर स्टडीज पुष्टि करते हैं कि DSV द्वारा जनरेट किए गए वीडियो FA के समान हैं और विंडो-बेस्ड मेथड्स से काफी बेहतर हैं।
स्केलेबिलिटी (Scalability): सिस्टम 128 GPUs और 520k टोकन लेंथ तक कुशलतापूर्वक स्केल करता है, जहाँ फुल अटेंशन अक्सर मेमोरी या कम्युनिकेशन बाधाओं के कारण विफल हो जाता है।

5. महत्व (Significance)

लॉन्ग-वीडियो जेनरेशन को सक्षम बनाना: DSV उस कम्प्यूटेशनल बाधा को हटा देता है जो उच्च-डेफिनिशन, लंबी अवधि के वीडियो पर DiTs को प्रशिक्षित करने से रोकती है, जो फिल्म पोस्ट-प्रोडक्शन और मल्टी-कैमरा इवेंट कैप्चर जैसे अनुप्रयोगों के लिए महत्वपूर्ण है।
स्पार्स अटेंशन में प्रतिमान परिवर्तन (Paradigm Shift): यह स्टेटिक, ह्यूरिस्टिक-आधारित स्पैरसिटी (जैसे स्लाइडिंग विंडोज़) से आगे बढ़कर डायनेमिक, लर्नड स्पैरसिटी की ओर बढ़ता है, जो यह साबित करता है कि जेनेरेटिव वीडियो मॉडल्स में अटेंशन पैटर्न भाषा मॉडल्स से भिन्न होते हैं और उनके लिए अडैप्टिव समाधानों की आवश्यकता होती है।
सिस्टम-AI को-डिज़ाइन (System-AI Co-Design): यह कार्य हाइलाइट करता है कि डिस्ट्रिब्यूटेड ट्रेनिंग में स्पैरसिटी के पूर्ण लाभों को प्राप्त करने के लिए एल्गोरिदम (लो-रैंक प्रेडिक्शन), कर्नेल्स (फ्यूज्ड Top- $k$ ) और सिस्टम पैरेललिज्म (हाइब्रिड CP) का सह-डिज़ाइन (co-design) आवश्यक है।

संक्षेप में, DSV वीडियो DiT ट्रेनिंग की क्वाड्रेटिक कॉम्प्लेक्सिटी के लिए एक मजबूत, स्केलेबल समाधान प्रदान करता है, जो जेनरेशन क्वालिटी से समझौता किए बिना लंबे सीक्वेंस पर बड़े मॉडल्स के प्रशिक्षण और तेज़ इटरेशन साइकिल को सक्षम बनाता है।