💻 computer science

S $^2$ Q-VDiT: Accurate Quantized Video Diffusion Transformer with Salient Data and Sparse Token Distillation

यह शोध पत्र S $^2$ Q-VDiT का प्रस्ताव करता है, जो वीडियो डिफ्यूजन ट्रांसफॉर्मर्स के लिए एक पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है जो लंबे टोकन अनुक्रमों के कारण होने वाले कैलिब्रेशन वेरिएंस और लर्निंग चुनौतियों से निपटने के लिए हेसियन-अवेयर सैलिएंट डेटा सिलेक्शन और अटेंशन-गाइडेड स्पार्स टोकन डिस्टिलेशन का उपयोग करके W4A6 क्वांटाइजेशन के तहत लॉसलेस प्रदर्शन प्राप्त करता है।

मूल लेखक: Weilun Feng, Haotong Qin, Chuanguang Yang, Xiangqi Li, Han Yang, Yuqi Li, Zhulin An, Libo Huang, Michele Magno, Yongjun Xu

प्रकाशित 2026-03-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Weilun Feng, Haotong Qin, Chuanguang Yang, Xiangqi Li, Han Yang, Yuqi Li, Zhulin An, Libo Huang, Michele Magno, Yongjun Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक अति-प्रतिभाशाली, विश्व-स्तरीय शेफ (AI मॉडल) है जो आपकी कल्पना की किसी भी चीज़ का अविश्वसनीय रूप से यथार्थवादी वीडियो बना सकता है—जैसे सूर्यास्त के समय सर्फिंग करता हुआ पांडा या टोक्यो में एक रोबोट डीजे। यह शेफ अद्भुत है, लेकिन वे बहुत विशाल भी हैं। वे अपने साथ सामग्रियों से भरी एक विशाल रसोई लेकर चलते हैं (अरबों पैरामीटर्स) और एक अकेला व्यंजन पकाने में बहुत समय लगता है और इसके लिए एक विशाल, महंगे चूल्हे (बहुत अधिक कंप्यूटर पावर और मेमोरी) की आवश्यकता होती है।

अधिकांश लोग इस विशाल रसोई का खर्च नहीं उठा सकते। वे इस शेफ को एक छोटे, पोर्टेबल लंचबॉक्स (जैसे कि स्मार्टफोन या एक मानक लैपटॉप) में रखना चाहते हैं ताकि वे चलते-फिरते खाना बना सकें।

समस्या यह है कि यदि आप शेफ की विशाल रेसिपी बुक को लंचबॉक्स में फिट होने के लिए सिकोड़ने की कोशिश करते हैं, तो भोजन का स्वाद आमतौर पर बहुत खराब हो जाता है। स्वाद धुंधला हो जाता है, बनावट गायब हो जाती है, और वीडियो एक धुंधले मलबे जैसा दिखने लगता है। ऐसा तब होता है जब हम इन वीडियो AI मॉडलों को "कंप्रेस" (संकुचित) करने की कोशिश करते हैं।

यहाँ S2Q-VDiT आता है, जो इस पेपर का नया समाधान है। इसे एक मास्टर शेफ के सहायक के रूप में सोचें जो जानता है कि भोजन का स्वाद खराब किए बिना लंचबॉक्स को कैसे पैक किया जाए। वे इसे दो सरल तरीकों से करते हैं:

1. "स्मार्ट शॉपिंग लिस्ट" (Salient Data Selection)

आमतौर पर, जब आप किसी रेसिपी को सिकोड़ने की कोशिश करते हैं, तो आप नए, छोटे संस्करण का परीक्षण करने के लिए बस सामग्रियों की एक मुट्ठी रैंडम सामग्री उठा लेते हैं। लेकिन वीडियो AI के लिए, "सामग्री" (डेटा सैंपल) बहुत बड़ी और जटिल होती है। यदि आप गलत सामग्री चुनते हैं, तो पूरा लंचबॉक्स विफल हो जाएगा।

लेखकों ने महसूस किया कि सभी सामग्रियां समान नहीं होती हैं। वीडियो के कुछ क्षण उबाऊ होते हैं (जैसे केवल एक स्थिर आकाश), जबकि अन्य महत्वपूर्ण होते हैं (जैसे अचानक विस्फोट या किसी पात्र के चेहरे के भावों में बदलाव)।

पुराना तरीका: संकुचन का परीक्षण करने के लिए रैंडम सामग्री चुनना।
S2Q-VDiT का तरीका: वे एक "Hessian-aware" स्कैनर (एक फैंसी गणितीय उपकरण) का उपयोग करके सबसे महत्वपूर्ण क्षणों को खोजते हैं। वे पूछते हैं: "इनमें से कौन सा वीडियो फ्रेम मॉडल को खराब कर देगा यदि हम इसे सिकोड़ देते हैं?" और "कौन से फ्रेम मॉडल को सबसे अधिक सिखाते हैं?"
उपमा: सूप के 100 चम्मच रैंडम चखने के बजाय कि क्या वह नमकीन है, वे केवल उस एक चम्मच को चखते हैं जिसमें सबसे अधिक नमक और सबसे अधिक स्वाद होता है। यह सुनिश्चित करता है कि "सिकुड़ी हुई" रेसिपी एकदम सही है क्योंकि इसका परीक्षण सबसे महत्वपूर्ण हिस्सों पर किया गया था।

2. "सितारों पर स्पॉटलाइट" (Sparse Token Distillation)

वीडियो AI मॉडल एक वीडियो को हजारों छोटे टुकड़ों में तोड़ देते हैं जिन्हें "टोकन" कहा जाता है (जैसे पिक्सेल, लेकिन समय और स्थान के लिए)। जब मॉडल एक वीडियो को देखता है, तो वह उन सभी पर ध्यान देता है। लेकिन यहाँ रहस्य है: मॉडल वास्तव में उनमें से केवल कुछ ही पर ध्यान देता है।

कल्पना कीजिए कि एक मूवी सीन में बैकग्राउंड में 1,000 लोग हैं और फोरग्राउंड में एक मुख्य अभिनेता है। मॉडल अपनी 90% ऊर्जा मुख्य अभिनेता पर खर्च करता है और भीड़ पर मुश्किल से नज़र डालता है।

पुराना तरीका: मॉडल को सिकोड़ते समय, पुराने तरीके भीड़ के हर व्यक्ति और मुख्य अभिनेता दोनों के साथ समान व्यवहार करते थे। वे बैकग्राउंड की भीड़ को मुख्य अभिनेता जितना ही कठिनता से कंप्रेस करने की कोशिश करते थे, जिससे प्रयास बर्बाद होता था और फोकस बिगड़ जाता था।
S2Q-VDiT का तरीका: वे मॉडल के "अटेंशन मैप" (स्पॉटलाइट) को देखते हैं और महसूस करते हैं, "हे, इन टोकन में से केवल शीर्ष 10% ही वास्तव में मायने रखते हैं!"
उपमा: पूरे स्टेडियम को समान रूप से सिकोड़ने के बजाय, वे मुख्य अभिनेता पर एक स्पॉटलाइट डालते हैं। वे कहते हैं, "हम मुख्य अभिनेता के विवरण को क्रिस्टल क्लियर रखेंगे, लेकिन हम बैकग्राउंड की भीड़ को सुरक्षित रूप से धुंधला कर सकते हैं क्योंकि कोई भी उन पर ध्यान नहीं दे रहा है।" यह उन्हें महत्वपूर्ण हिस्सों की गुणवत्ता खोए बिना मॉडल को बड़े पैमाने पर सिकोड़ने की अनुमति देता है।

परिणाम?

इन दो ट्रिक्स का उपयोग करके, लेखक वीडियो AI मॉडल को 4 गुना तक सिकोड़ने में सफल रहे (एक विशाल को लंचबॉक्स में फिट करना) और इसे 1.3 गुना तेज़ बनाया, जबकि वीडियो की गुणवत्ता मूल विशाल संस्करण के लगभग समान बनी रही।

संक्षेप में:
उन्होंने केवल आधी सामग्री फेंक नहीं दी; उन्होंने सर्वश्रेष्ठ सामग्री चुनी और केवल शो के सितारों पर ध्यान केंद्रित किया। यह हमें ऐसे उपकरणों पर सुपर-स्मार्ट वीडियो AI चलाने की अनुमति देता है जो पहले इन्हें संभालने में सक्षम नहीं थे, जिससे उच्च-गुणवत्ता वाला वीडियो जनरेशन उन लोगों के लिए भी सुलभ हो जाता है जिनके पास विशाल सुपरकंप्यूटर नहीं हैं।

यहाँ शोध पत्र "S2Q-VDiT: Accurate Quantized Video Diffusion Transformer with Salient Data and Sparse Token Distillation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वीडियो डिफ्यूजन ट्रांसफॉर्मर (V-DMs) वीडियो जनरेशन के लिए अत्याधुनिक प्रतिमान (paradigm) बन गए हैं, लेकिन अरबों पैरामीटर्स और टोकन अनुक्रमों की घातीय वृद्धि (स्थानिक $\times$ टेम्पोरल आयामों के कारण) के कारण इनका परिनियोजन (deployment) भारी कम्प्यूटेशनल और मेमोरी लागत से बाधित है।

जबकि पोस्ट-ट्रेनिंग क्वांटाइजेशन (PTQ) मॉडल संपीड़न (compression) के लिए एक मानक समाधान है, V-DMs पर इसे सीधे लागू करना दो महत्वपूर्ण चुनौतियों का सामना करता है जो इमेज डिफ्यूजन मॉडल्स (I-DMs) की तुलना में महत्वपूर्ण प्रदर्शन गिरावट का कारण बनती हैं:

उच्च कैलिब्रेशन डेटा वेरिएंस (High Calibration Data Variance): V-DMs को लंबे टोकन अनुक्रमों की आवश्यकता होती है, जो निश्चित कम्प्यूटेशनल बजट के तहत संसाधित किए जा सकने वाले कैलिब्रेशन नमूनों की संख्या को गंभीर रूप से सीमित कर देता है (जैसे, I-DMs के हजारों के मुकाबले दर्जनों नमूने)। मौजूदा रैंडम या यूनिफॉर्म सैंपलिंग रणनीतियाँ प्रतिनिधि डेटा चुनने में विफल रहती हैं, जिससे क्वांटाइजेशन प्रदर्शन अस्थिर हो जाता है।
अकुशल टोकन अनुकूलन (Inefficient Token Optimization): V-DMs स्पार्स अटेंशन पैटर्न (sparse attention patterns) प्रदर्शित करते हैं, जहाँ टोकन का एक छोटा उपसमूह अंतिम आउटपुट को महत्वपूर्ण रूप से प्रभावित करता है। मानक PTQ विधियाँ लॉस एलाइनमेंट के दौरान सभी टोकन के साथ समान व्यवहार करती हैं, जिससे अप्रासंगिक टोकनों पर अनुकूलन क्षमता बर्बाद होती है और वे महत्वपूर्ण टोकनों पर ध्यान केंद्रित करने में विफल रहती हैं।

2. कार्यप्रणाली: S2Q-VDiT (Methodology: S2Q-VDiT)

लेखकों ने S2Q-VDiT प्रस्तावित किया है, जो विशेष रूप से V-DMs के लिए डिज़ाइन किया गया एक पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है। इसमें दो मुख्य घटक शामिल हैं:

A. हेसियन-अवेयर सेलिएंट डेटा सिलेक्शन (Hessian-aware Salient Data Selection - SDS)

कैलिब्रेशन डेटा संवेदनशीलता को संबोधित करने के लिए, लेखकों ने उच्च गुणवत्ता वाले कैलिब्रेशन नमूनों को चुनने के लिए एक सिद्धांतपूर्ण विधि पेश की है। उन्होंने दो आयामों के आधार पर एक एकीकृत सेलिएंस स्कोर (salience score) को परिभाषित किया है:

डिफ्यूजन सेलिएंस ( $C_{diff}$ ): यह डिनोइजिंग प्रक्रिया में एक टाइमस्टेप की सूचनात्मकता (informativeness) को मापता है। यह क्रमिक लेटेंट रिप्रेजेंटेशन के बीच सामान्यीकृत अंतर ( $||x_t - x_{t-1}||^2 / ||x_t||^2$ ) की गणना करता है। उच्च मान उन स्टेप्स को दर्शाते हैं जहाँ महत्वपूर्ण जानकारी जोड़ी जाती है।
क्वांटाइजेशन सेलिएंस ( $C_{quant}$ ): यह क्वांटाइजेशन गड़बड़ी (perturbations) के प्रति एक नमूने की संवेदनशीलता को मापता है। क्वांटाइजेशन लॉस और हेसियन मैट्रिक्स सन्नति ( $X^T X$ ) के टेलर विस्तार का उपयोग करते हुए, वे इसे $||x_t^T x_t||^2$ के रूप में परिभाषित करते हैं। उच्च मान उन नमूनों को दर्शाते जहाँ क्वांटाइजेशन त्रुटियां सबसे अधिक हानिकारक होंगी।

अंतिम चयन मीट्रिक सामान्यीकृत डिफ्यूजन और क्वांटाइजेशन सेलिएंस स्कोर का गुणनफल है:
$C_{sample} = C_{diff} \cdot C_{quant}$
यह सुनिश्चित करता है कि चयनित डेटासेट में ऐसे नमूने शामिल हैं जो डिफ्यूजन प्रक्रिया के लिए सूचनात्मक और क्वांटाइजेशन के प्रति संवेदनशील दोनों हैं, जिससे कैलिब्रेशन की मजबूती (robustness) अधिकतम होती है।

B. अटेंशन-गाइडेड स्पार्स टोकन डिस्टिलेशन (Attention-guided Sparse Token Distillation - STD)

अनुकूलन चुनौती को हल करने के लिए, लेखक V-DM अटेंशन मैप्स में अंतर्निहित स्पर्सिटी (sparsity) का लाभ उठाते हैं।

अवलोकन (Observation): अटेंशन हीटमैप्स प्रकट करते हैं कि टोकन का एक छोटा हिस्सा (जैसे, शीर्ष 10%) अधिकांश अटेंशन वेट वहन करता है।
तंत्र (Mechanism): सभी टोकनों पर समान रूप से क्वांटाइजेशन लॉस को कम करने के बजाय, यह विधि टोकन-वाइज अटेंशन डिस्ट्रीब्यूशन के आधार पर लॉस फंक्शन को पुन: भारित (reweight) करती है।
कार्यान्वयन (Implementation): प्रत्येक टोकन $j$ के लिए, मल्टी-हेड अटेंशन मैप से अटेंशन वेट को एकत्रित करके और उन्हें सामान्यीकृत करके एक वेटिंग फैक्टर $\lambda_j$ की गणना की जाती है। क्वांटाइजेशन लॉस बनता है:
$L_{quant} = \frac{1}{n} \sum_{j=1}^{n} \lambda_j ||\theta_f(x_{j,:}) - \theta_q(x_{j,:})||^2$
यह अनुकूलन प्रक्रिया को सबसे प्रभावशाली टोकनों पर फुल-प्रिसिजन मॉडल के साथ क्वांटाइज्ड मॉडल को संरेखित करने को प्राथमिकता देने के लिए मजबूर करता है, जिससे कम महत्वपूर्ण टोकनों से होने वाले शोर (noise) को प्रभावी ढंग से अनदेखा किया जाता है।

3. मुख्य योगदान (Key Contributions)

V-DM विशिष्ट चुनौतियों की पहचान: शोध पत्र अनुभवजन्य रूप से प्रदर्शित करता है कि V-DM क्वांटाइजेशन कैलिब्रेशन डेटा चयन के प्रति अत्यधिक संवेदनशील है और यूनिफॉर्म टोकन उपचार के कारण अक्षमताओं से ग्रस्त है, जो I-DMs में कम प्रमुख मुद्दे हैं।
नवीन कैलिब्रेशन रणनीति (SDS): हेसियन-अवेयर सेलिएंट डेटा सिलेक्शन का परिचय, जो डिफ्यूजन सूचनात्मकता और क्वांटाइजेशन संवेदनशीलता दोनों को संयुक्त रूप से अनुकूलित करता है, कम-डेटा शासन (low-data regimes) में प्रदर्शन भिन्नता को काफी कम करता है।
नवीन अनुकूलन रणनीति (STD): अटेंशन-गाइडेड स्पार्स टोकन डिस्टिलेशन का प्रस्ताव, जो अटेंशन मैप्स के आधार पर टोकन लॉस को गतिशील रूप से पुन: भारित करता है, जिससे सीमित कैलिब्रेशन डेटा के साथ बेहतर अभिसरण (convergence) सक्षम होता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह फ्रेमवर्क आक्रामक क्वांटाइजेशन सेटिंग्स (W4A6 और यहाँ तक कि W4A4) के तहत बड़े पैमाने के V-DMs (2B से 13B पैरामीटर्स) पर लॉसलेस या लगभग लॉसलेस प्रदर्शन प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन प्रमुख वीडियो जनरेशन मॉडल्स पर S2Q-VDiT का मूल्यांकन किया: CogVideoX-2B, CogVideoX-5B, और HunyuanVideo-13B।

क्वांटाइजेशन सेटिंग्स: W4A6 (4-बिट वेट्स, 6-बिट एक्टिवेशन्स) और अत्यंत चुनौतीपूर्ण W4A4 (4-बिट वेट्स, 4-बिट एक्टिवेशन्स) पर परीक्षण किया गया।
प्रदर्शन मेट्रिक्स: VBench बेंचमार्क सुइट (इमेजिंग क्वालिटी, एस्थेटिक क्वालिटी, मोशन स्मूथनेस, आदि) और EvalCrafter का उपयोग करके मूल्यांकन किया गया।
मुख्य निष्कर्ष:
- W4A6: S2Q-VDiT ने सभी मॉडल्स पर लॉसलेस प्रदर्शन प्राप्त किया, जो अक्सर विशिष्ट मेट्रिक्स (जैसे, CogVideoX-5B पर सीन कंसिस्टेंसी) में फुल-प्रिसिजन (FP) बेसलाइन्स के बराबर या उससे थोड़ा बेहतर रहा। इसने Q-DiT, PTQ4DiT, ViDiT-Q और SmoothQuant जैसे मौजूदा बेसलाइन्स को काफी पीछे छोड़ दिया।
- W4A4: इस अल्ट्रा-लो-बिट सेटिंग में जहाँ अन्य विधियाँ विफल रहीं (असंगत या स्थिर चित्र उत्पन्न करते हुए), S2Q-VDiT ने ~95% मूल प्रदर्शन बनाए रखा। उदाहरण के लिए, CogVideoX-2B पर, इसने 33.79 के FP स्कोर की तुलना में 34.23 का सीन कंसिस्टेंसी स्कोर प्राप्त किया, जबकि अगली सर्वश्रेष्ठ विधि का स्कोर केवल 12.21 था।
- दक्षता (Efficiency): इस पद्धति ने कैलिब्रेशन समय में नगण्य ओवरहेड (बेसलाइन्स की तुलना में केवल ~0.2 घंटे और 2GB अतिरिक्त मेमोरी) के साथ 3.9 $\times$ मॉडल संपीड़न और 1.3 $\times$ इन्फरेंस त्वरण (acceleration) प्राप्त किया।

5. महत्व (Significance)

लो-बिट वीडियो जनरेशन की व्यवहार्यता: यह कार्य सिद्ध करता है कि विजुअल फिडेलिटी (visual fidelity) से समझौता किए बिना 4-बिट वेट्स और 6-बिट एक्टिवेशन्स का उपयोग करके संसाधन-बाधित हार्डवेयर (जैसे, कंज्यूमर GPUs) पर उच्च-गुणवत्ता वाला वीडियो जनरेशन संभव है।
PTQ में प्रतिमान परिवर्तन (Paradigm Shift): यह PTQ के फोकस को विशुद्ध रूप से आर्किटेक्चरल क्वांटाइज़र डिज़ाइन से हटाकर डेटा-सेंट्रिक (सेलिएंट डेटा सिलेक्शन) और ऑप्टिमाइज़ेशन-सेंट्रिक (स्पार्स टोकन डिस्टिलेशन) रणनीतियों की ओर ले जाता है।
सामान्यीकरण (Generalizability): SDS और STD जैसी तकनीकों को मौजूदा PTQ फ्रेमवर्क्स के साथ संगत दिखाया गया है, जो यह सुझाव देता है कि प्रदर्शन में सुधार के लिए उन्हें अन्य क्वांटाइजेशन पाइपलाइनों में एकीकृत किया जा सकता है।
व्यावहारिक परिनियोजन (Practical Deployment): मॉडल स्टोरेज को लगभग 4 $\times$ कम करके और इन्फरेंस को तेज करके, S2Q-VDiT बड़े पैमाने के वीडियो जनरेशन मॉडल्स को वास्तविक दुनिया के अनुप्रयोगों में तैनात करने का मार्ग प्रशस्त करता है जहाँ मेमोरी और लेटेंसी महत्वपूर्ण बाधाएं हैं।