Not All Tokens Need 40 Steps: Heterogeneous Step Allocation in Diffusion Transformers for Efficient Video Generation
यह शोध पत्र हेटेरोजेनियस स्टेप एलोकेशन (HSA) को प्रस्तुत करता है, जो एक ट्रेनिंग-फ्री इन्फरेंस एल्गोरिदम है जो एक नवीन KV-कैश सिंक्रोनाइज़ेशन मैकेनिज्म और कैश्ड यूलर अपडेट के माध्यम से वैश्विक संदर्भ और गुणवत्ता बनाए रखते हुए, कम-वेग वाले टोकन को गतिशील रूप से कम डिनोइजिंग स्टेप्स असाइन करके वीडियो जनरेशन के लिए डिफ्यूजन ट्रांसफॉर्मर्स को त्वरित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, उच्च-बजट वाले फिल्म निर्माण का निर्देशन कर रहे हैं। इस फिल्म में, हर एक पात्र, पृष्ठभूमि का पेड़ और फर्श पर धूल का हर एक कण एक अभिनेता है। एक मानक डिफ्यूजन ट्रांसफॉर्मर (वह AI मॉडल जो वीडियो बना रहा है) में, निर्देशक इन सभी "अभिनेताओं" के साथ बिल्कुल एक जैसा व्यवहार करता है।
यदि स्क्रिप्ट में दृश्य को सटीक बनाने के लिए 40 राउंड रिहर्सल (डिनोइजिंग स्टेप्स) का निर्देश दिया गया है, तो निर्देशक बैकग्राउंड की दीवार को भी 40 बार रिहर्सल करने के लिए मजबूर करता है, स्थिर पेड़ को भी 40 बार, और स्क्रीन पर दौड़ते हुए हीरो को भी 40 बार।
समस्या यह है कि दीवार और पेड़ शायद ही हिलते हैं। उन्हें 40 रिहर्सल की आवश्यकता नहीं है; वे 5 रिहर्सल में भी काम चला सकते थे। लेकिन AI उन उबाऊ हिस्सों को भी 40 बार रिहर्सल कराने में भारी मात्रा में समय और ऊर्जा बर्बाद करता है, जबकि हीरो (जो तेजी से दौड़ रहा है और अपना आकार बदल रहा है) को भी वही 40 राउंड मिलते हैं। यह बिल्कुल वैसा ही है जैसे किसी सुपरस्टार अभिनेता और कार्डबोर्ड के कटआउट को एक ही प्रति घंटा मजदूरी देना, जबकि दोनों का काम अलग है।
समाधान: हेट्रोजेनियस स्टेप एलोकेशन (HSA)
इस पेपर के लेखक, अर्नी चू और विशाल पटेल, इस मूवी सेट को चलाने का एक स्मार्ट तरीका प्रस्तावित करते हैं जिसे हेट्रोजेनियस स्टेप एलोकेशन (HSA) कहा जाता है।
HSA को एक स्मार्ट निर्देशक के रूप में सोचें जो अभिनेताओं को देखता है और कहता है:
- "तुम, बैकग्राउंड की दीवार? तुम उबाऊ और स्थिर हो। तुम्हें केवल 5 रिहर्सल की आवश्यकता है।"
- "तुम, दौड़ते हुए हीरो? तुम गतिशील और जटिल हो। तुम्हें पूरे 40 रिहर्सल की आवश्यकता है।"
- "तुम, झूमते हुए पेड़? तुम्हें 20 रिहर्सल की आवश्यकता है।"
इससे बहुत सारा समय बचता है क्योंकि AI उबाऊ हिस्सों पर ऊर्जा बर्बाद करना बंद कर देता है।
दो पेचीदा समस्याएँ जिन्हें उन्होंने हल किया
आप सोच सकते हैं, "ठीक है, लेकिन यदि दीवार 5 राउंड के बाद रिहर्सल करना बंद कर देती है, तो उसे कैसे पता चलेगा कि राउंड 40 में हीरो क्या कर रहा है? उन्हें एक ही दृश्य में रहने के लिए एक-दूसरे को देखना होगा।"
पेपर में इन दो समस्याओं को हल करने के लिए दो चतुर तरीके दिए गए हैं:
1. "घोस्ट मेमोरी" ट्रिक (KV-कैश सिंक्रोनाइज़ेशन)
AI में, अभिनेताओं को तालमेल बनाए रखने के लिए एक-दूसरे को "देखने" की आवश्यकता होती है (इसे अटेंशन कहा जाता है)। आमतौर पर, यदि कोई अभिनेता रिहर्सल करना बंद कर देता है, तो वह कमरे से गायब हो जाता है, और अन्य लोग उन्हें देख नहीं पाते।
- समाधान: AI दीवार और पेड़ की एक "घोस्ट मेमोरी" (कैश) रखता है। भले ही वे सक्रिय रूप से रिहर्सल नहीं कर रहे हों, उनके "भूत" (घोस्ट्स) कमरे में मौजूद रहते हैं। सक्रिय अभिनेता (हीरो) अभी भी निष्क्रिय अभिनेताओं के घोस्ट्स को देख सकते हैं ताकि उन्हें पता रहे कि वे कहाँ हैं।
- परिणाम: हीरो तीव्रता से रिहर्सल कर पाता है और साथ ही यह भी जानता है कि दीवार कहाँ है, बिना दीवार को वास्तव में कोई काम किए।
2. "टाइम ट्रैवल" ट्रिक (कैशड यूलर अपडेट)
जब दीवार ब्रेक ले रही होती है, तो उसकी स्थिति का क्या होता है? क्या वह बस जम जाती है?
- समाधान: AI याद रखता है कि पिछली बार दीवार कितनी चली थी और उसकी गति क्या थी। यह दीवार की स्थिति को छोड़े गए समय के माध्यम से "फास्ट-फॉरवर्ड" करने के लिए एक सरल गणितीय सूत्र का उपयोग करता है। यह ऐसा ही है जैसे कहना, "दीवार पिछले सेकंड में 1 इंच चली थी; मैं बस गणना कर लूँगा कि वह अब कहाँ है, बिना उसे वास्तव में हिलाए।"
- परिणाम: दीवार को बैकग्राउंड में तुरंत अपडेट किया जाता है, बिना AI को उसके लिए जटिल सिमुलेशन चलाने पड़े।
परिणाम: तेज़, सस्ता, और उतना ही बेहतर
शोधकर्ताओं ने शक्तिशाली वीडियो बनाने वाले AI मॉडल्स (जैसे Wan-2 और LTX-2) पर इनका परीक्षण किया। उन्हें यह मिला:
- गति: वे वीडियो बनाने में लगने वाले समय को 50% या यहाँ तक कि 75% तक कम कर सके (यानी इसे मूल समय के केवल 25% समय में पूरा कर सके)।
- गुणवत्ता: इतना समय कम करने के बावजूद, वीडियो लगभग मूल संस्करणों जैसे ही दिखे। "हीरो" अभी भी स्पष्ट था, और "दीवार" भी ठोस बनी रही।
- तुलना: पिछले तरीकों ने पूरे रिहर्सल के राउंड को एक साथ स्किप करके गति बढ़ाने की कोशिश की थी। उन तरीकों के कारण वीडियो बिखर जाता था (जैसे कोई इमारत ढह रही हो) जब वे बहुत तेज़ गति से चलते थे। HSA ने वीडियो को स्थिर रखा क्योंकि इसने केवल उन्हीं हिस्सों को छोड़ा जिन्हें काम की आवश्यकता नहीं थी।
संक्षेप में
यह पेपर इस बारे में है कि हर पिक्सेल के साथ एक जैसा व्यवहार न करें। यह महसूस करते हुए कि एक वीडियो के कुछ हिस्से उबाऊ और स्थिर होते हैं जबकि अन्य रोमांचक और गतिशील होते हैं, AI उबाऊ हिस्सों पर समय बर्बाद करना बंद कर सकता है। यह सब कुछ सिंक में रखने के लिए "घोस्ट मेमोरीज" और "मैथ शॉर्टकट्स" का उपयोग करता है, जिससे हम बहुत कम समय में उच्च-गुणवत्ता वाले वीडियो बना सकते हैं।
यह एक कार के हर एक पेंच को समान सटीकता के साथ मशीन करने वाले कारखाने और एक ऐसे कारखाने के बीच का अंतर है जो अपना 90% समय इंजन पर और केवल 10% समय सीट कवर को पकड़ने वाले पेंचों पर खर्च करता है। कार अभी भी पूरी तरह से काम करती है, लेकिन इसे बहुत तेज़ी से बनाया जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।