RequestRouter: Request-Boundary Routing for Efficient Single-GPU LLM Inference
RequestRouter एक हल्का, रिक्वेस्ट-बाउंड्री कंट्रोलर है जो सिंगल-जीपीयू एलएलएम सर्विंग के लिए इष्टतम इन्फरेंस मोड्स (जैसे कि क्वांटाइजेशन, स्पेक्युलेटिव डिकोडिंग, या प्रीफिक्स कैशिंग) को गतिशील रूप से चुनता है, जो फुल-प्रिसिजन इन्फरेंस के लगभग समान सटीकता बनाए रखते हुए नगण्य ओवरहेड के साथ महत्वपूर्ण विलंबता और ऊर्जा की कमी प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस टेक्स्ट जेनरेट करने, सवालों के जवाब देने और समस्याओं को हल करने के लिए लार्ज लैंग्वेज मॉडल्स पर निर्भर करती है। ये सिस्टम शक्तिशाली हैं, लेकिन ये बिजली के भी भूखे हैं। हर बार जब कोई उपयोगकर्ता कोई प्रश्न पूछता है, तो कंप्यूटर को उत्तर देने के लिए अरबों गणनाएं करनी पड़ती हैं, एक ऐसी प्रक्रिया जो महत्वपूर्ण ऊर्जा की खपत करती है और समय लेती है। जो लोग इन सिस्टम्स को चलाते हैं, उनके लिए चुनौती यह है कि कंप्यूटर को बिना शक्ति बर्बाद किए यथासंभव तेज़ी से कैसे चलाया जाए। वर्तमान में, अधिकांश सिस्टम हर अनुरोध के लिए एक ही, निश्चित सेटिंग का उपयोग करते हैं, चाहे कार्य सरल हो या जटिल। यह एक भारी ट्रक को शहर की एक गली पार करने के लिए या देश के पार यात्रा करने के लिए, दोनों ही स्थितियों में हाईवे की गति पर चलाने जैसा है; यह काम तो करता है, लेकिन अक्सर अक्षम होता है। शोधकर्ता अब कंप्यूटर की सेटिंग्स को हाथ में लिए विशिष्ट कार्य से मिलाने के तरीके खोज रहे हैं, जिससे मॉडल की अंतर्निहित बुद्धिमत्ता को बदले बिना ऊर्जा बचाने और प्रतिक्रियाओं को तेज़ करने की उम्मीद है।
न्यूयॉर्क यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए 'रिक्वेस्ट-रूटर' (RequestRouter) नामक एक नया दृष्टिकोण विकसित किया है। हर अनुरोध को एक ही धीमी, ऊर्जा-गहन प्रक्रिया से गुजारने के बजाय, उनका सिस्टम एक हल्के ट्रैफ़िक कंट्रोलर की तरह कार्य करता है। कंप्यूटर द्वारा उत्तर उत्पन्न करना शुरू करने से पहले, यह कंट्रोलर अनुरोध के बारे में कुछ सरल विवरण देखता है, जैसे कि उपयोगकर्ता के प्रश्न की लंबाई कितनी है, उत्तर कितनी लंबी होने की उम्मीद है, और क्या प्रश्न हाल के अन्य प्रश्नों के साथ एक सामान्य शुरुआती वाक्यांश साझा करता है। इन सुरागों के आधार पर, कंट्रोलर तुरंत उपलब्ध विकल्पों के मेनू में से उस विशिष्ट अनुरोध को संसाधित करने का सबसे कुशल तरीका चुन लेता है। इन विकल्पों में ऊर्जा बचाने के लिए कम सटीक संख्याओं (lower precision numbers) के साथ मॉडल को चलाना, पीढ़ी को तेज़ करने के लिए अगले शब्दों का अनुमान लगाने वाली तकनीक का उपयोग करना, या बातचीत के उन हिस्सों का पुन: उपयोग करना शामिल है जिन्हें पहले ही कैलकुलेट किया जा चुका है। यह सिस्टम मॉडल को फिर से प्रशिक्षित नहीं करता है या उसके आर्किटेक्चर को नहीं बदलता है; यह बस उपलब्ध मौजूद उपकरणों में से काम के लिए सबसे अच्छा उपकरण चुनता है।
शोधकर्ताओं ने इस विचार का परीक्षण एक शक्तिशाली ग्राफिक्स कार्ड पर किया, जो इन मॉडल्स को चलाने के लिए उपयोग किया जाने वाला एक सामान्य हार्डवेयर है, जिसमें एक मानक आठ-बिलियन-पैरामीटर वाला लैंग्वेज मॉडल उपयोग किया गया। उन्होंने विभिन्न प्रकार के अनुरोधों के साथ हजारों परीक्षण किए, जिनमें छोटी, त्वरित बातचीत से लेकर लंबी, जटिल बातचीत तक शामिल थी। उन्होंने मानक विधि (एक ही अन-ऑप्टिमाइज्ड सेटिंग का उपयोग करने वाली) के मुकाबले अपने स्मार्ट कंट्रोलर के प्रदर्शन की तुलना की। परिणाम चौंकाने वाले थे। औसतन, कंट्रोलर ने सिस्टम को मानक विधि की तुलना में दोगुना तेज़ बनाया जबकि प्रति शब्द उत्पन्न होने वाली ऊर्जा का आधा से भी कम हिस्सा उपयोग किया। एक अधिक कठोर परीक्षण में, जहाँ उन्होंने परिणामों की पुष्टि करने के लिए एक ही अनुरोध को कई बार दोहराया, कंट्रोलर ने अभी भी लगभग दो गुना गति वृद्धि और ऊर्जा के उपयोग में महत्वपूर्ण कमी बनाए रखी। कंट्रोलर निर्णय लेने में भी अत्यंत तेज़ था, एक रास्ता चुनने में पांच हजारवें मिलीसेकंड से भी कम समय लगा, जो एक ऐसा विलंब है जो उपयोगकर्ता के लिए प्रभावी रूप से अदृश्य है।
महत्वपूर्ण रूप से, शोधकर्ताओं ने पाया कि ये दक्षता लाभ गुणवत्ता की कीमत पर नहीं आए। उन्होंने मॉडल की समझ और उत्तर देने की क्षमता को मापने के लिए डिज़ाइन किए गए विभिन्न बेंचमार्क पर इस सिस्टम का परीक्षण किया। स्मार्ट कंट्रोलर ने मानक विधि की लगभग पूरी सटीकता को बनाए रखा, ९९ प्रतिशत से अधिक प्रदर्शन बरकरार रखा। यह महत्वपूर्ण है क्योंकि कुछ तेज़, ऊर्जा-बचत करने वाली विधियाँ कभी-कभी मॉडल को कम सटीक बना सकती हैं। कंट्रोलर कठिन प्रश्नों को सबसे विश्वसनीय सेटिंग्स की ओर भेजकर और सरल कार्यों को तेज़, अधिक कुशल मोड की ओर भेजकर इन खामियों से बचने के लिए एक सरल नियम-आधारित नीति (rule-based policy) का उपयोग करता है। अध्ययन ने उनके सरल नियम-आधारित कंट्रोलर की तुलना अधिक जटिल, सीखे हुए सिस्टम से भी की जो आर्टिफिशियल इंटेलिजेंस का उपयोग करके सबसे अच्छी सेटिंग का अनुमान लगाने की कोशिश करते हैं। उन्होंने पाया कि जटिल सिस्टम निर्णय लेने में बहुत धीमे थे, जिससे इतना विलंब हुआ कि उन्होंने ऊर्जा बचत को ही समाप्त कर दिया। सरल, नियम-आधारित दृष्टिकोण सबसे व्यावहारिक समाधान साबित हुआ, जो गति, ऊर्जा और गुणवत्ता का सबसे अच्छा संतुलन प्रदान करता है।
यह कार्य सुझाव देता है कि कुशल आर्टिफिशियल इंटेलिजेंस का भविष्य नए, स्मार्ट मॉडल बनाने या नए हार्डवेयर के आविष्कार की आवश्यकता नहीं रखता है। इसके बजाय, आने वाले अनुरोधों की संरचना पर ध्यान देकर और उन्हें सही प्रोसेसिंग मोड के साथ मिलाकर महत्वपूर्ण सुधार किए जा सकते हैं। शोधकर्ताओं ने प्रदर्शित किया कि अनुकूलन तकनीकों को स्थायी सेटिंग्स के बजाय, चयन योग्य विकल्पों के रूप में मानकर, वे पर्याप्त दक्षता प्राप्त कर सकते हैं। यह दृष्टिकोण आउटपुट की गुणवत्ता का सम्मान करता है और इन सिस्टमों को चलाने की ऊर्जा लागत को काफी कम कर देता है। यह बड़े भाषा मॉडल्स को अधिक टिकाऊ बनाने के लिए एक स्पष्ट मार्ग प्रदान करता है, यह दिखाते हुए कि कभी-कभी ऊर्जा बचाने का सबसे प्रभावी तरीका कड़ी मेहनत करना नहीं, बल्कि स्मार्ट तरीके से काम करना है—अर्थात प्रत्येक विशिष्ट कार्य के लिए सही उपकरण चुनना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।