HeraSys: Collaborative Serving of Multiple LLM Workflows via Fine-Grained End-to-End Optimization
HeraSys एक LLM सर्विंग सिस्टम है जो स्ट्रक्चरल नोड मर्जिंग के माध्यम से क्रॉस-वर्कफ्लो कम्प्यूटेशनल रेडंडेंसी को समाप्त करके और टेल लेटेंसी को महत्वपूर्ण रूप से कम करने के साथ-साथ थ्रूपुट बढ़ाने के लिए एक लोड-अवेयर जॉइंट शेड्यूलिंग पॉलिसी का उपयोग करके समवर्ती मल्टी-टेनेंट वर्कफ्लो के एंड-टू-एंड प्रदर्शन को अनुकूलित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक हलचल भरी रसोई की कल्पना करें जहाँ शेफ की एक टीम एक साथ सैकड़ों जटिल भोजन बनाने की कोशिश कर रही है। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, ये "भोजन" वे कार्य हैं जो लार्ज लैंग्वेज मॉडल्स (LLMs) द्वारा किए जाते हैं—वे सुपर-स्मार्ट कंप्यूटर दिमाग जो कहानियाँ लिखते हैं, सवालों के जवाब देते हैं और समस्याओं को हल करते हैं। आमतौर पर, जब आप AI से कुछ करने के लिए कहते हैं, तो इसे एक एकल, अलग ऑर्डर की तरह माना जाता है। लेकिन वास्तविक दुनिया में, एप्लिकेशन अधिक विस्तृत 'बंक्वेट्स' (भव्य भोज) की तरह बनते जा रहे हैं: एक एकल अनुरोध में जानकारी खोजना, एक डेटाबेस की जाँच करना और फिर एक सारांश लिखना शामिल हो सकता है, वह भी एक ही बार में। इन्हें "वर्कफ्लो" (workflows) कहा जाता है।
समस्या यह है कि जब बहुत से लोग एक ही समय में ऐसे जटिल बंक्वेट्स का ऑर्डर देते हैं, तो रसोई में अराजकता मच जाती है। यदि दो ग्राहक एक ही सामग्री को काटने के लिए कहते हैं, तो रसोई उसे दो बार काट सकती है, जिससे समय और ऊर्जा बर्बाद होती है। इससे भी बुरा यह है कि यदि एक ग्राहक एक भारी, धीमी गति से पकने वाला स्टू (stew) ऑर्डर करता है, तो शेफ उसमें फंस सकते हैं, जिससे बाकी सभी लोग अपने त्वरित सलाद के परोसे जाने का इंतज़ार करते रह जाते हैं। यह AI को "सर्व करने" (serving) की चुनौती है: आप जटिल, ओवरलैपिंग अनुरोधों की बाढ़ को कैसे प्रबंधित करते हैं बिना सिस्टम को रुकने दिए या कुछ लोगों को हमेशा के लिए इंतज़ार कराने दिए?
यहीं पर HeraSys नामक एक नई प्रणाली आती है। सोचिए कि HeraSys एक क्रांतिकारी किचन मैनेजर की तरह है जो केवल एक समय में एक ऑर्डर को नहीं देखता, बल्कि पूरे किचन फ्लोर पर नज़र रखता है ताकि यह देख सके कि विभिन्न ऑर्डर एक-दूसरे की मदद कैसे कर सकते हैं। हर अनुरोध को एक अलग द्वीप की तरह मानने के बजाय, HeraSys ओवरलैप (सामंजस्य) की तलाश करता है। यदि दो अलग-अलग ग्राहकों को एक ही दस्तावेज़ का विश्लेषण करने या एक ही टूल का उपयोग करने की आवश्यकता है, तो HeraSys कहता है, "हे, चलो इसे एक बार करते हैं और परिणाम साझा करते हैं!" यह एक ट्रैफिक पुलिसकर्मी की तरह भी कार्य करता है, यह सुनिश्चित करता है कि त्वरित, सरल ऑर्डर धीमे, भारी ऑर्डरों के पीछे न फंस जाएं, और धीमे ऑर्डरों को ध्यान मिलने से वंचित न रहना पड़े।
HeraSys के पीछे के शोधकर्ताओं ने एक ऐसी प्रणाली बनाई है जो इन जटिल AI कार्यों को छोटे, सूक्ष्म टुकड़ों में विभाजित करती है। उन्होंने पाया कि डुप्लिकेट चरणों को मर्ज करके और स्मार्ट तरीके से यह निर्धारित करके कि किसे किचन के संसाधनों (जैसे शक्तिशाली कंप्यूटर चिप्स) का उपयोग मिलेगा, वे पूरे सिस्टम को बहुत तेज़ बना सकते हैं। अपने परीक्षणों में, उन्होंने दिखाया कि HeraSys सबसे धीमी अनुरोधों को पूरा करने में लगने वाले समय को 2.17 गुना तक कम कर सकता है (यानी वे दोगुने से भी अधिक तेज़ थे) और कुल कार्यों की संख्या को मौजूदा सर्वोत्तम प्रणालियों की तुलना में 1.85 गुना तक बढ़ा सकता है।
यह पेपर पुराने तरीके के विरुद्ध तर्क देता है, जहाँ सिस्टम प्रत्येक अनुरोध को एक स्वतंत्र, अलग कार्य मानते हैं। वे दिखाते हैं कि यह "अलगाव" अनावश्यक बर्बादी और बाधाएं पैदा करता है। इसके बजाय, वे एक सहयोगात्मक दृष्टिकोण का प्रस्ताव करते जहाँ सिस्टम सक्रिय रूप से साझा कार्य की तलाश करता है। वे "पहले आओ, पहले पाओ" जैसे सरल शेड्यूलिंग नियमों के भी विरुद्ध तर्क देते हैं, जो लंबे कार्यों को दूसरों को रोकने का कारण बन सकते हैं, या "सबसे छोटा काम पहले" (shortest job first) के विरुद्ध भी, जो लंबे कार्यों को हमेशा के लिए इंतज़ार करा सकता है। HeraSys एक संतुलित, "लोड-अवेयर" (भार-जागरूक) रणनीति का सुझाव देता है जो भारी कार्यों के लिए कुछ संसाधन सुरक्षित रखता है जबकि त्वरित कार्यों को प्राथमिकता देता है, जिससे सभी के लिए निष्पक्षता और गति सुनिश्चित होती है।
वास्तविक हार्डवेयर पर व्यापक प्रयोगों के माध्यम से मापे गए परिणाम बताते हैं कि यह सूक्ष्म, सहयोगात्मक दृष्टिकोण एक महत्वपूर्ण प्रगति है। डुप्लिकेट चरणों को फ्यूज करके और कार्यों को कैसे समूहीकृत और निष्पादित किया जाए इसे गतिशील रूप से समायोजित करके, HeraSys औसत प्रतीक्षा समय को कम रखने के साथ-साथ उन "टेल" (अंत) को रोकने में सक्षम है जो अक्सर जटिल AI सिस्टम में देरी का कारण बनते हैं। यह कुछ ऐसा है जैसे यह महसूस करना कि यदि आप घर साफ करने के लिए दोस्तों के एक समूह को व्यवस्थित कर रहे हैं, तो आपको केवल प्रत्येक व्यक्ति को एक कमरा आवंटित नहीं करना चाहिए; आपको यह देखना चाहिए कि दो लोग एक ही गलियारे में वैक्यूम कर रहे हैं और उन्हें मिलकर काम करने के लिए कहना चाहिए, जबकि यह सुनिश्चित करना चाहिए कि खिड़की धोने वाला व्यक्ति वैक्यूम क्लीनर के लिए इंतज़ार में न फंसा रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।