GF-DiT: Scheduling Parallelism for Diffusion Transformer Serving
GF-DiT एक पॉलिसी-प्रोग्रामेबल रनटाइम है जो GPU पैरेललिज्म को एक गतिशील रूप से शेड्यूलेबल संसाधन के रूप में मानकर डिफ्यूजन ट्रांसफॉर्मर सर्विंग दक्षता को बढ़ाता है, जो वर्कलोड विषमता के अनुकूल होने के लिए एसिंक्रोनस निष्पादन और ग्रुप-फ्री कलेक्टिव्स का उपयोग करता है और स्टैटिक पैरेललिज्म दृष्टिकोणों की तुलना में थ्रूपुट, लेटेंसी और सेवा गुणवत्ता में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक व्यस्त रेस्टोरेंट की रसोई में शेफ जटिल, बहु-कोर्स भोजन (जैसे कि इमेज या वीडियो जेनरेट करने वाले डिफ्यूजन ट्रांसफॉर्मर्स) बनाने की कोशिश कर रहे हैं। पुराने तरीके में, जब कोई ग्राहक ऑर्डर देता है, तो मैनेजर उस विशिष्ट ऑर्डर के लिए पूरे समय के लिए शेफ की एक निश्चित टीम (fixed team) असाइन कर देता है।
यदि कोई ग्राहक एक विशाल 10-कोर्स का भोज (banquet) ऑर्डर करता है, तो मैनेजर उसे 8 शेफ असाइन कर सकता है। यदि कोई दूसरा ग्राहक एक साधारण सलाद ऑर्डर करता है, तो उसे भी 8 शेफ मिल सकते हैं, या शायद वे 8 शेफ तब तक इंतजार करने के लिए मजबूर हो जाते हैं जब तक कि भोज समाप्त न हो जाए। यह वह "स्टेटिक" (static) दृष्टिकोण है जिसका उपयोग वर्तमान सिस्टम में किया जाता है: एक टीम, एक ही आकार, हमेशा के लिए।
यह पेपर GF-DiT पेश करता है, जो इस रसोई को चलाने का एक नया तरीका है जो इस बात पर ध्यान देता है कि किसी व्यंजन के लिए असाइन किए गए शेफों की संख्या को ऑन द फ्लाई (तुरंत) बदला जा जा सकता है।
यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
1. समस्या: "अटक गई" रसोई (The "Stuck" Kitchen)
पुराने सिस्टम में, यदि एक लंबा, जटिल वीडियो जनरेशन अनुरोध (वह "भोज") पक रहा है, तो वह पूरे समय जीपीयू (शेफ) की एक बड़ी टीम को थामे रखता है।
- बाधा (The Bottleneck): जबकि वह बड़ी टीम लंबे कार्य में व्यस्त होती है, तभी छोटे, सरल अनुरोधों (जैसे त्वरित टेक्स्ट-टू-इमेज प्रॉम्प्ट) की एक लहर आती है। उन्हें लाइन में इंतजार करना पड़ता है, भले ही बड़े दल के पास ऐसे क्षण हों जब वे बहुत भारी काम नहीं कर रहे होते।
- बर्बादी (The Waste): कभी-कभी, एक छोटे कार्य को शेफों की एक बड़ी टीम दे दी जाती है। शेफ अंततः एक-दूसरे को सामग्री पास करने के लिए इंतजार करते हुए खड़े रह जाते हैं, जिससे ऊर्जा बर्बाद होती है और काम धीमा हो जाता है।
2. समाधान: इलास्टिक पैरेललिज्म (The "Dynamic Staffing" System)
GF-DiT नियमों को बदल देता है। एक निश्चित टीम असाइन करने के बजाय, यह शेफों की संख्या को एक लचीले संसाधन (flexible resource) के रूप में देखता है जिसे तुरंत इधर-उधर किया जा सकता है।
- उपमा (The Analogy): एक स्मार्ट किचन मैनेजर की कल्पना करें जो खाना पकाने की प्रगति पर नज़र रखता है। जब "भोज" उस चरण में पहुँचता है जहाँ उसे सब्जियाँ काटने के लिए केवल एक शेफ की आवश्यकता होती है, तो मैनेजर तुरंत 7 शेफों को हटाकर "सलाद" ग्राहकों की मदद के लिए लगा देता है। जैसे ही भोज को स्टेक को भूनने (एक भारी चरण) की आवश्यकता होती है, उन शेफों को वापस बुलाया जाता है।
- परिणाम: छोटे अनुरोध तुरंत पूरे हो जाते क्योंकि वे लंबे अनुरोधों के कारण रुके नहीं रहते। लंबे अनुरोधों को तब मदद मिलती है जब उन्हें जरूरत होती है, लेकिन वे संसाधनों पर कब्जा नहीं जमाते जब उन्हें उनकी आवश्यकता नहीं होती।
3. उन्होंने इसे कैसे संभव बनाया: "मैजिक क्लिपबोर्ड" (The "Magic Clipboard")
आप पूछ सकते हैं, "क्या आप वास्तव में खाना गिराए बिना या अफरा-तफरी मचाए बिना शेफों को इतनी तेज़ी से इधर-उधर कर सकते हैं?"
पेपर एक चतुर ट्रिक पेश करता है जिसे ग्रुप-फ्री कलेक्टिव्स (Group-Free Collectives) कहा जाता है।
- पुराना तरीका (The "Process Group"): पारंपरिक रूप से, शेफों के एक समूह को एक-दूसरे को ट्रे पास करने के लिए, आपको उन्हें औपचारिक रूप से परिचय देने, नाम टैग बांटने और संचार लाइन स्थापित करने में काफी समय (सैकड़ों मिलीसेकंड) खर्च करना पड़ता था। यदि आप ऐसा हर बार शेफ को स्थानांतरित करते समय करते, तो रसोई केवल "नमस्ते" कहने के लिए घंटों रुक जाती।
- GF-DiT का तरीका (The "Logical Descriptor"): GF-DiT इन औपचारिक परिचय को छोड़ देता है। यह एक हल्का "लॉजिकल डिस्क्रिप्टर" (जैसे एक त्वरित मानसिक नोट या डिजिटल क्लिपबोर्ड) का उपयोग करता है जो कहता है, "शेफ 0 और शेफ 1 अब मिलकर काम कर रहे हैं।"
- जादू: यह सेटअप माइक्रोसेकंड्स (0.06 मिलीसेकंड) में होता है, न कि सैकड़ों मिलीसेकंड में। यह इतना तेज़ है कि रसोई टीम का परिचय देने के लिए कभी नहीं रुकती; वे बस तुरंत एक साथ काम करना शुरू कर देते हैं।
4. "ट्रैजेक्टरी" की अवधारणा (The "Trajectory" Concept)
यह सिस्टम इसलिए काम करता है क्योंकि डिफ्यूजन ट्रांसफॉर्मर्स (AI मॉडल) की एक अनुमानित संरचना होती है। वे केवल "खाना नहीं पकाते"; वे चरणों के एक विशिष्ट पथ (ट्रैजेक्टरी) का पालन करते हैं:
- तैयारी (Prep): प्रॉम्प्ट पढ़ना (Encoder)।
- पकाना (Cooking): स्टेप-बाय-स्टेप इमेज को रिफाइन करने का भारी काम (Denoising)।
- प्लेटिंग (Plating): अंतिम परिणाम को देखने योग्य इमेज में बदलना (Decoder)।
GF-DiT कुकिंग प्रक्रिया को इन छोटे, स्वतंत्र चरणों में तोड़ देता है। हर चरण के अंत में, सिस्टम एक पल के लिए रुकता है और पूछता है: "क्या हमें अगले चरण के लिए अभी भी 8 शेफों की आवश्यकता है, या क्या हम 2 पर आ सकते हैं?" यह सिस्टम को वर्तमान मांग के अनुसार पूरी तरह से अनुकूलित होने की अनुमति देता है।
5. परिणाम: एक बहुत तेज़ रसोई (A Much Faster Kitchen)
लेखकों ने वास्तविक इमेज और वीडियो जनरेशन कार्यों पर इस सिस्टम का परीक्षण किया। पुराने "फिक्स्ड टीम" तरीके की तुलना में, GF-DiT ने हासिल किया:
- 6 गुना अधिक थ्रूपुट (Throughput): रसोई उसी समय में 6 गुना अधिक ग्राहकों को सेवा दे सकती है।
- 95% कम औसत प्रतीक्षा समय: ग्राहकों को उनका भोजन बहुत जल्दी मिलता है।
- 90% कम मिस किए गए डेडलाइन: लगभग कोई भी ऑर्डर लेट नहीं होता।
- तुरंत सेटअप: टीम को पुनर्गठित करने में लगने वाला समय लगभग एक सेकंड (778 ms) से गिरकर एक मिलीसेकंड के बहुत छोटे हिस्से (60 µs) पर आ गया।
सारांश
GF-DiT इमेज और वीडियो जेनरेटर के लिए एक स्मार्ट ऑपरेटिंग सिस्टम है। यह कंप्यूटिंग पावर को एक निश्चित असाइनमेंट के रूप में मानना बंद करता है और इसे एक लचीले वर्कफोर्स के रूप में देखता है। एक सुपर-फास्ट "बिना परिचय की आवश्यकता वाले" संचार पद्धति का उपयोग करके, यह तुरंत संसाधनों को वहां पुनर्वितरित कर सकता है जहां उनकी सबसे अधिक आवश्यकता है, यह सुनिश्चित करता है कि छोटे कार्य लंबे कार्यों के पीछे न फंसें, और बड़े कार्यों को वह शक्ति मिले जिसकी उन्हें आवश्यकता है बिना इसे बर्बाद किए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।