Kalypso: Relational LLM Serving
कालिप्सो (Kalypso) एक रिलेशनल एलएलएम (LLM) सर्विंग सिस्टम है जो क्वेरी-अवेयर पाइपलाइन्ड निष्पादन और ऑपरेटर्स के बीच KV-कैश स्टेट्स को पुन: उपयोग करने के लिए एडेप्टिव मेमोरी शेड्यूलिंगिंग को पेश करके सिमेंटिक क्वेरी निष्पादन दक्षता में सुधार करता है, जिससे पारंपरिक रिक्वेस्ट-सेंट्रिक दृष्टिकोणों की तुलना में 4.57x तक की गति वृद्धि प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर मेडिकल नोट्स, कानूनी अनुबंधों या उत्पाद समीक्षाओं जैसी अव्यवस्थित, असंरचित जानकारी को एक मानव विशेषज्ञ की तरह पढ़, समझ और तर्क कर सकते हैं। यह लार्ज लैंग्वेज मॉडल्स (LLMs) का वादा है, जो कई आधुनिक उपकरणों के पीछे के सुपर-स्मार्ट AI मस्तिष्क हैं। हालाँकि, ये मॉडल भूखे दिग्गजों की तरह हैं: उन्हें प्रत्येक वाक्य को पढ़ने के लिए विचार करने हेतु भारी मात्रा में कंप्यूटर मेमोरी की आवश्यकता होती है। जब आप किसी कंप्यूटर को दस्तावेजों का एक बड़ा ढेर प्रोसेस करने के लिए कहते हैं, तो वह आमतौर पर हर एक अनुरोध को एक अलग, अलग घटना के रूप में मानता है। वह एक दस्तावेज़ पढ़ता है, एक प्रश्न का उत्तर देता है, सब कुछ भूल जाता है, और फिर अगले दस्तावेज़ के लिए फिर से शुरुआत करता है। यह "शून्य से शुरुआत करने वाला" दृष्टिकोण अविश्वसनीय रूप से धीमा है और कंप्यूटर की महंगी मेमोरी का बहुत सारा हिस्सा बर्बाद करता है, खासकर जब आप कार्यों की एक जटिल श्रृंखला करने की कोशिश कर रहे हों, जैसे कि एक सूची को फ़िल्टर करना, फिर परिणामों का सारांश निकालना, और अंत में उन्हें अन्य डेटा के साथ जोड़ना। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या हम इन AI दिग्गजों को यह सिखा सकते हैं कि वे जो अभी सीखा है उसे याद रखें और अगले चरण के लिए उसका उपयोग करें, बजाय इसके कि वे तुरंत उसे भूल जाएं?
यही वह समस्या है जिसे पेपर "Kalypso: Relational LLM Serving" हल करता है। लेखक Kalypso नामक एक नया सिस्टम पेश करते हैं, जो इन AI अनुरोधों के लिए एक स्मार्ट ट्रैफिक कंट्रोलर की तरह काम करता है। AI दिग्गज को हर कदम के बीच सब कुछ भूल जाने देने के बजाय, Kalypso काम को इस तरह व्यवस्थित करता है कि AI अपने "विचारों" (जिसे KV-cache कहा जाता है) को एक कार्य से दूसरे कार्य पर जाते समय जीवित रख सके। इसे एक रिले रेस की तरह समझें जहाँ धावक बैटन गिराकर शुरू से शुरू नहीं करते; इसके बजाय, वे बैटन को सीधे अगले धावक को सौंप देते हैं, जिससे गति बनी रहती है। पेपर दिखाता है कि ऐसा करके, Kalypso वर्तमान तरीकों की तुलना में जटिल डेटा क्वेरी को 4.57 गुना तेज़ बना सकता है, बिना AI द्वारा दिए गए उत्तरों को बदले। यह साबित करता है कि प्रश्न की संरचना को समझकर और कंप्यूटर की मेमोरी को सावधानीपूर्वक प्रबंधित करके, हम इन शक्तिशाली AI उपकरणों को बहुत अधिक कुशल और कम बर्बादी वाला बना सकते हैं।
समस्या: "भुलक्कड़" दिग्गज
यह समझने के लिए कि Kalypso क्यों एक बड़ी बात है, हमें यह देखना होगा कि आज ये AI मॉडल कैसे काम करते हैं। कल्पना करें कि आप एक बहुत कठिन परीक्षा दे रहे एक छात्र हैं। हर बार जब आपको एक नया प्रश्न मिलता है, तो आपको उन तथ्यों को याद करने के लिए पहले पृष्ठ से पूरी पाठ्यपुस्तक को फिर से पढ़ना पड़ता है जिनकी आपको आवश्यकता है। इसमें बहुत समय लगेगा, है ना? वास्तव में वर्तमान AI सिस्टम यही करते हैं। जब एक कंप्यूटर को 1,000 दस्तावेजों की सूची को प्रोसेस करने की आवश्यकता होती है, तो वह आमतौर पर उन्हें एक-एक करके (या छोटे बैचों में) AI को भेजता है, और प्रत्येक को एक बिल्कुल नया अनुरोध मानता है।
AI मॉडल के पास एक विशेष मेमोरी होती है जिसे KV-cache कहा जाता है। यह एक रफ-नोट या स्क्रैचपैड की तरह है जहाँ मॉडल वाक्य के महत्वपूर्ण हिस्सों को लिख लेता है ताकि उसे हर बार नया शब्द बनाने के लिए उन्हें फिर से कैलकुलेट न करना पड़े। यह स्क्रैचपैड बहुत बड़ा होता है और कंप्यूटर की बहुत सारी मेमोरी लेता है। एक मानक सिस्टम में, एक बार अनुरोध पूरा हो जाने के बाद, अगले व्यक्ति के लिए जगह बनाने के लिए उस स्क्रैचपैड को साफ कर दिया जाता है।
पेपर इस दृष्टिकोण में एक बड़ी खामी बताता है: अक्सर, AI कार्यों की एक श्रृंखला कर रहा होता है। उदाहरण के लिए, एक सिस्टम पहले "लाल जूतों" को खोजने के लिए उत्पादों की सूची को फ़िल्टर कर सकता है, और फिर उन लाल जूतों के विवरण का सारांश निकाल सकता है। AI यह तय करने के लिए कि क्या वे लाल जूते हैं, "लाल जूता #1" के विवरण को पढ़ता है। फिर, उसे उस विवरण का सारांश लिखने के लिए उसी विवरण को फिर से पढ़ने की आवश्यकता होती है। एक मानक सिस्टम में, AI पहला भाग भूल जाता है और उसे पूरे विवरण को फिर से शुरू से पढ़ना पड़ता है। यह एक किताब पढ़ने, उसे बंद करने और फिर हाशिए में नोट लिखने के लिए उसी पन्ने को फिर से खोलने जैसा है। यह समय और मेमोरी दोनों बर्बाद करता है।
समाधान: Kalypso की रिले रेस
लेखक Relational LLM Serving नामक सोचने का एक नया तरीका प्रस्तावित करते हैं। अनुरोधों को अलग-थलग घटनाओं के रूप में देखने के बजाय, Kalypso पूरे "क्वेरी प्लान" (query plan)—उस मानचित्र को देखता है कि डेटा को कैसे प्रवाहित होना चाहिए। वह महसूस करता है कि यदि AI ने अभी-अभी किसी चीज़ को फ़िल्टर करने के लिए एक वाक्य पढ़ा है, तो उसे बोर्ड को साफ किए बिना तुरंत उसी मेमोरी का उपयोग उसका सारांश बनाने के लिए करना चाहिए।
इसे साकार करने के लिए, Kalypso एक व्यस्त रसोई में एक चतुर प्रबंधक की तरह कार्य करता है। कल्पना करें कि एक रसोई है जहाँ शेफ (AI ऑपरेटर्स) व्यंजन तैयार कर रहे हैं।
- पुराना तरीका (Request-Centric): प्रबंधक शेफ A को एक टिकट देता है। शेफ A व्यंजन बनाता है, उसे प्लेट में सजाता है, और सामग्री फेंक देता है। फिर प्रबंधक शेफ B को एक टिकट देता है, जिसे फिर से सामग्री लेने और शुरू से खाना पकाने के लिए जाना पड़ता है।
- Kalypso का तरीका (Pipelined): प्रबंधक देखता है कि शेफ A एक व्यंजन समाप्त करने वाला है। इंतजार करने के बजाय, प्रबंधक शेफ B से कहता है, "तैयार रहो, शेफ A तुम्हें प्लेट सौंपने वाला है!" शेफ B, शेफ A के काम खत्म करते ही, बिना रुके उसी सामग्री और उपकरणों का उपयोग करके अपने काम पर लग जाता है।
यह "पाइपलाइनिंग" मुख्य जादू है। लेकिन एक पेच है: रसोई में काउंटर स्पेस (GPU मेमोरी) सीमित है। यदि प्रबंधक बहुत सारे शेफ को एक साथ खाना पकाने के लिए अनुमति देता है, तो काउंटर अव्यवस्थित हो जाता है, और उन्हें नई चीजों के लिए जगह बनाने के लिए सामग्री फेंकनी पड़ती है। इसे मेमोरी प्रेशर (Memory Pressure) कहा जाता है। यदि काउंटर बहुत भर जाता है, तो सिस्टम को अगला शेफ उपयोग करने से पहले "स्क्रैचपैड" (KV-cache) को फेंकने के लिए मजबूर होना पड़ता है, जिससे पूरा उद्देश्य ही विफल हो जाता है।
जादुई ट्रिक: एडेप्टिव शेड्यूलिंग (Adaptive Scheduling)
Kalypso की वास्तविक सफलता इसका एडेप्टिव शेड्यूलर है। यह केवल सबको एक साथ खाना पकाने की अनुमति नहीं देता; यह लगातार काउंटर स्पेस पर नज़र रखता है।
- यदि काउंटर बहुत भर रहा है, तो यह पहले शेफों की गति धीमी कर देता है ताकि दूसरा शेफ उपयोग करने से पहले सामग्री फेंकी न जाए।
- यदि काउंटर खाली है और दूसरे शेफ भोजन का इंतजार कर रहे हैं, तो यह पहली लाइन को चालू रखने के लिए पहले शेफ की गति बढ़ा देता है।
पेपर इसे एक संतुलन के रूप में वर्णित करता है। सिस्टम को यह अनुमान लगाना होता है कि एक कार्य को कितनी मेमोरी की आवश्यकता होगी (जैसे यह अनुमान लगाना कि एक रेसिपी में कितनी सामग्री लगेगी)। यदि वह गलत अनुमान लगाता है और बहुत अधिक रिजर्व कर लेता है, तो रसोई खाली बैठी रहती है। यदि वह बहुत कम अनुमान लगाता है, तो उसके पास जगह खत्म हो सकती है और उसे कार्य फिर से शुरू करना पड़ सकता है। Kalypso इन अनुमानों को मौके पर ही समायोजित करने के लिए एक स्मार्ट एल्गोरिदम का उपयोग करता है, जिससे प्रक्रिया के विभिन्न चरणों के बीच मेमोरी बजट को स्थानांतरित किया जा सके ताकि कोई भी काम के लिए भूखा न रहे और कोई भी काउंटर को जाम न करे।
उन्होंने क्या पाया: दिग्गज को तेज़ बनाना
शोधकर्ताओं ने चार अलग-अलग वास्तविक दुनिया के कार्यों पर Kalypso का परीक्षण किया, जिसमें विकिपीडिया लेखों में तथ्यों की जाँच करने से लेकर मेडिकल रिकॉर्ड मिलाने और कानूनी अनुबंधों का विश्लेषण करने तक शामिल थे। उन्होंने इसकी तुलना मौजूदा सिस्टम से की जो "शून्य से शुरुआत करने वाले" तरीके का उपयोग करते हैं।
परिणाम प्रभावशाली थे। Kalypso ने केवल चीजों को थोड़ा तेज़ नहीं बनाया; इसने उन्हें काफी तेज़ बना दिया।
- ContractNLI (कानूनी अनुबंधों का विश्लेषण) नामक कार्य के लिए, Kalypso मौजूदा सर्वश्रेष्ठ सिस्टम (Lotus) की तुलना में 4.57 गुना तेज़ था।
- MEDEC (मेडिकल एरर डिटेक्शन) के लिए, यह 1.54 गुना तेज़ था।
- BioDEX (मेडिकल लेखों को मिलाना) के लिए, यह 1.29 गुना तेज़ था।
महत्वपूर्ण रूप से, पेपर नोट करता है कि Kalypso ने AI द्वारा दिए गए उत्तरों को बदले बिना यह स्पीडअप हासिल किया। इसने कोई "चीटिंग" या शॉर्टकट का उपयोग नहीं किया जिससे परिणामों की गुणवत्ता कम हो सके। इसने केवल उत्तर प्राप्त करने की प्रक्रिया को अधिक कुशल बनाया। सिस्टम ने यह भी दिखाया कि यह विभिन्न प्रकार के वर्कलोड को अच्छी तरह से संभाल सकता है, भले ही कंप्यूटर की मेमोरी कम हो। वास्तव में, जब मेमोरी कम की गई, तो Kalypso तेज़ बना रहा जबकि अन्य सिस्टम नाटकीय रूप रूप से धीमे हो गए।
यह क्यों मायने रखता है
पेपर निष्कर्ष निकालता है कि AI को "क्वेरी प्लान" के प्रति जागरूक बनाकर और इसकी मेमोरी को एक स्मार्ट ट्रैफिक कंट्रोलर की तरह प्रबंधित करके, हम प्रदर्शन में भारी लाभ प्राप्त कर सकते हैं। यह केवल कुछ सेकंड बचाने के बारे में नहीं है; यह इन जटिल AI कार्यों को सस्ते हार्डवेयर पर चलाने या डेटा की विशाल मात्रा को प्रोसेस करने को संभव बनाने के बारे में है जो पहले बहुत धीमा था।
लेखक सावधानीपूर्वक नोट करते हैं कि यह एक सिस्टम ऑप्टिमाइज़ेशन है, न कि AI की बुद्धिमत्ता में बदलाव। उन्होंने AI को स्मार्ट नहीं बनाया; उन्होंने बस इसे अपना समय और मेमोरी बर्बाद करने से रोका। AI को अलग-थलग अनुरोधों के संग्रह के बजाय एक जुड़े हुए पाइपलाइन के रूप में मानकर, Kalypso दिखाता है कि AI दक्षता का भविष्य सूचना के प्रवाह को प्रबंधित करने में है, न कि केवल बड़े मॉडल बनाने में। यह एक याद दिलाता है कि कभी-कभी, एक दिग्गज को तेज़ी से चलाने का सबसे अच्छा तरीका उसे यह सिखाना है कि वह अभी कहाँ था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।