DiLaServe: High SLO Attainment Serving for Diffusion Language Models
DiLaServe डिफ्यूजन लैंग्वेज मॉडल्स के लिए एक क्लस्टर-स्तरीय सर्विंग सिस्टम है जो डेडलाइन-अवेयर शेड्यूलिंग, कॉन्फिडेंस-थ्रेशोल्ड एडजस्टमेंट के माध्यम से एडेप्टिव लोड कंट्रोल और एप्रोक्सिमेट KV कैशिंग से होने वाली स्टेप-लेवल हेटेरोजेनिटीिटी को ध्यान में रखते हुए डायनेमिक क्लस्टर रीकॉन्फ़िगरेशन के माध्यम से न्यूनतम सटीकता हानि के साथ SLO प्राप्ति में 56.6 प्रतिशत अंकों तक सुधार करता है और लेटेंसी को 46% तक कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त रेस्टोरेंट चला रहे हैं जहाँ शेफ (AI मॉडल्स) को एक बार में एक शब्द करके एक कहानी लिखनी है। पुराने तरीके में (जिसे "ऑटोरिग्रेसिव" मॉडल कहा जाता है), एक शेफ एक शब्द लिखता है, उस पर विचार करता है, फिर अगला शब्द लिखता है, और इसी तरह चलता रहता है। यह धीमा है क्योंकि वे एक समय में केवल एक ही काम कर सकते हैं।
हाल ही में, एक नए प्रकार का शेफ आया है: डिफ्यूजन लैंग्वेज मॉडल (DLM)। एक-एक शब्द लिखने के बजाय, यह शेफ पूरे पेज के निरर्थक शब्दों (मास्क्ड वर्ड्स) को देखता है और एक ही "स्वीप" (एक बार के प्रयास) में कई शब्दों को एक साथ ठीक करने की कोशिश करता है। यह बहुत तेज़ है, जैसे संपादकों की एक टीम एक ही समय में पूरे पैराग्राफ को ठीक करती है।
लेकिन, इसमें एक पेंच है। नया शेफ थोड़ा पूर्णतावादी (perfectionist) है। किसी शब्द को ठीक करने से पहले, वह खुद से पूछता है, "क्या मैं 90% सुनिश्चित हूँ कि यह सही है?" यदि उसे पर्याप्त भरोसा नहीं है, तो वह उस शब्द को वैसा ही छोड़ देता है और अगले स्वीप में फिर से कोशिश करता है। यदि वह बहुत आश्वस्त है, तो वह उसे तुरंत ठीक कर देता है।
समस्या:
यदि शेफ बहुत ज्यादा नखरेबाज (उच्च आत्मविश्वास) है, तो उसे कहानी पूरी करने में बहुत समय लगेगा (उच्च लेटेंसी/विलंबता)। यदि वह बहुत जल्दबाजी करता है (कम आत्मविश्वास), तो वह जल्दी तो खत्म कर देगा लेकिन शायद कुछ अर्थहीन लिख देगा (कम गुणवत्ता)।
इसके अलावा, रेस्टोरेंट में शेफों की संख्या सीमित है। कभी रसोई खाली होती है, और कभी ऑर्डर्स की बाढ़ आ जाती है। यदि आप एक शेफ को बहुत जटिल ऑर्डर दे देते हैं, तो वह घबरा जाता है। यदि आप एक सुपर-फास्ट शेफ को बहुत सारे सरल ऑर्डर दे देते हैं, तो आप उनकी क्षमता को बर्बाद करते हैं।
समाधान: DiLaServe
यह पेपर एक स्मार्ट "रेस्टोरेंट मैनेजर" पेश करता है जो विशेष रूप से इन डिफ्यूजन शेफों के लिए बनाया गया है। यह कैसे काम करता है, इसके लिए रोजमर्रा के उदाहरणों का उपयोग किया गया है:
1. "कॉन्फिडेंस नॉब" (गति बनाम गुणवत्ता)
कल्पना कीजिए कि शेफ के पास एक डायल है जिस पर "कॉन्फिडेंस" (आत्मविश्वास) लिखा है।
- इसे 10 पर घुमाएं (उच्च आत्मविश्वास): शेफ केवल उन शब्दों को ठीक करता है जिनके बारे में वह पूरी तरह आश्वस्त है। कहानी एकदम सटीक होगी, लेकिन इसे पूरा करने में लंबा समय लगेगा।
- इसे 5 पर घुमाएं (कम आत्मविश्वास): शेफ उन शब्दों को भी ठीक करता है जिन्हें वह केवल अंदाज़ से लिख रहा है। यह बहुत तेज़ है, लेकिन कहानी अजीब हो सकती है।
DiLaServe का जादू: यह पूरे दिन के लिए केवल एक सेटिंग नहीं चुनता। यह घड़ी पर नज़र रखता है।
- यदि किसी ग्राहक का ऑर्डर देर से चल रहा है, तो DiLaServe शेफ के कान में फुसफुसाता है, "अरे, हम पीछे चल रहे हैं! अपना कॉन्फिडेंस थोड़ा कम कर दो ताकि तुम जल्दी काम खत्म कर सको।"
- यदि रसोई शांत है, तो यह कहता है, "अपना समय लो, कॉन्फिडेंस बढ़ा दो ताकि सब कुछ एकदम परफेक्ट हो।"
- परिणाम: यह गति और गुणवत्ता के बीच गतिशील रूप से संतुलन बनाता है, जिससे यह सुनिश्चित होता है कि कोई भी ग्राहक बहुत लंबे समय तक इंतज़ार न करे और कहानी भी अच्छी बनी रहे।
2. "लोड बैलेंसर" (भीड़ का प्रबंधन)
कल्पना कीजिए कि आपके पास शेफों की एक टीम है। कुछ अकेले काम करने वाले कुक हैं (एक GPU का उपयोग करने वाले), और कुछ सुपर-टीमें हैं जो एक विशाल ऑर्डर पर मिलकर काम करती हैं (मल्टीपल GPU का उपयोग करने वाली, जिसे "टेन्सर पैरेललिज्म" कहा जाता है)।
- सुपर-टीमें बड़े और जटिल ऑर्डर्स के लिए बेहतरीन हैं क्योंकि वे उन्हें जल्दी पूरा करती हैं।
- अकेले कुक ऑर्डर्स की भारी बाढ़ को संभालने के लिए बेहतर हैं क्योंकि आप एक साथ अधिक संख्या में उन्हें रख सकते हैं।
DiLaServe का जादू: यह लगातार आने वाले ऑर्डर्स की गिनती करता है।
- यदि रेस्टोरेंट शांत है, तो यह ऑर्डर्स को सुपर-टीमों के पास भेजता है ताकि वे उन्हें तेजी से पूरा कर सकें।
- यदि रेस्टोरेंट में भीड़ है, तो यह अकेले कुक की ओर स्विच कर देता है ताकि वे ऑर्डर्स की भारी मात्रा को संभाल सकें, भले ही प्रत्येक व्यक्तिगत ऑर्डर में थोड़ा अधिक समय लगे।
- यह रसोई को जाम होने से भी रोकता है। यदि बहुत से लोग एक साथ खाना बनाने की कोशिश कर रहे हैं, तो यह शेफ को अपना कॉन्फिडेंस कम करने (तेजी से काम करने) के लिए कहता है ताकि पूरी लाइन चलती रहे और जाम न लगे।
3. "स्मार्ट शेड्यूलर" (ऑर्डर्स को इधर-उधर करना)
एक सामान्य रसोई में, एक बार जब शेफ एक ऑर्डर शुरू करता है, तो वह उसे पूरा करता है। लेकिन DiLaServe शेफों को बीच में ही ऑर्डर बदलने की अनुमति देता है।
- यदि शेफ A एक कठिन ऑर्डर में फंस गया है, और शेफ B खाली है, तो DiLaSere तुरंत वह ऑर्डर शेफ B को सौंप सकता है।
- चूंकि डिफ्यूजन मॉडल "स्टेप्स" (शब्दों के एक बैच को ठीक करना) में काम करता है, इसलिए यह हैंड-ऑफ (काम सौंपना) बहुत सस्ता और तेज़ है। यह एक वेटर द्वारा धीरे चल रही लाइन से प्लेट उठाकर तेज़ लाइन में रखने जैसा है, बिना सूप गिराए।
4. "रीसाइक्लिंग बिन" (अनुमानित KV कैशिंग)
आमतौर पर, जब एक शेफ कहानी लिखता है, तो उसे संदर्भ सही रखने के लिए अब तक लिखे गए सब कुछ को याद रखना पड़ता है। इसमें बहुत अधिक मानसिक ऊर्जा (मेमोरी) लगती है।
- DiLaServe एक ट्रिक का उपयोग करता है जिसे Approximate KV Caching कहा जाता है। यह यह कहने जैसा है कि, "हमें हर बार नया वाक्य लिखते समय कहानी के पहले पैराग्राफ को फिर से पढ़ने की आवश्यकता नहीं है; हम बस उसका सार याद रख सकते हैं।"
- यह बहुत सारा समय बचाता है। DiLaServe जानता है कि इस मेमोरी को कब "रिफ्रेश" करना है ताकि कहानी भ्रमित न हो, जिससे यह सुनिश्चित होता है कि शेफ कुशल बने रहें।
परिणाम
इस पेपर ने वास्तविक दुनिया के डेटा का उपयोग करके पुराने, कठोर सिस्टम के मुकाबले इस सिस्टम का परीक्षण किया।
- सफलता दर: DiLaServe पुराने सिस्टमों की तुलना में 56% अधिक बार ग्राहकों की समय सीमा (SLOs) को पूरा कर पाया।
- गति: इसने कुल प्रतीक्षा समय को 46% कम कर दिया।
- गुणवत्ता: कहानियाँ केवल थोड़ी कम सटीक थीं (1% से भी कम की गिरावट), जो ग्राहकों को अनंत काल तक इंतज़ार कराने के बदले में एक बहुत छोटी कीमत है।
संक्षेप में: DiLaServe एक स्मार्ट मैनेजर है जो जानता है कि शेफ को कब तेज़ काम करने के लिए प्रेरित करना है और कब उन्हें परफेक्ट होने देना है, और यह सुनिश्चित करने के लिए कि सबको जल्दी खाना मिले और रसोई भी न थके, यह चलते-फिरते रसोई के स्टाफ को व्यवस्थित करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।