Beyond Accuracy and Cost: Latency-Aware LLM Query Routing for Dynamic Workloads
यह शोध पत्र एक विलंबता-जागरूक (latency-aware) क्वेरी रूटिंग प्रणाली का प्रस्ताव करता है जो 'टाइम-टू-फर्स्ट-टोकन' के लिए एक हल्के अनुमानक (lightweight estimator) को सटीकता, लागत और विलंबता के लिए एक संयुक्त अनुकूलन रणनीति के साथ एकीकृत करता है, जिससे मानक लोड-बैलेंसिंग विधियों की तुलना में प्रतिक्रिया समय बढ़ाए बिना सटीकता-लागत उपयोगिता में 40% तक का सुधार प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आपके पास शेफ की एक टीम है, जिनमें से प्रत्येक का कौशल स्तर और कीमत अलग-अलग है। कुछ मास्टर शेफ हैं जो एक मिशलिन-स्टार मील तैयार कर सकते हैं लेकिन वे बहुत अधिक शुल्क लेते हैं और उन्हें समय भी अधिक लगता है। अन्य त्वरित, किफायती लाइन कुक हैं जो पलक झपकते ही एक अच्छा बर्गर बना सकते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "शेफ" लार्ज लैंग्वेज मॉडल्स (LLMs) हैं—वे दिमाग जो कहानियाँ लिखते हैं, गणित की समस्याओं को हल करते हैं, या समाचारों का सारांश प्रस्तुत करते हैं। जब आप कोई प्रश्न पूछते हैं, तो एक "राउटर" तय करता है कि कौन सा शेफ उस काम को करेगा। लक्ष्य सरल है: सबसे कम कीमत पर सबसे अच्छा उत्तर प्राप्त करना।
लेकिन एक पेंच है जिसे अब तक अधिकांश राउटरों ने अनदेखा किया है: कतार (लाइन)। भले ही आप सही शेफ को चुन लें, यदि वे पहले से ही अन्य ऑर्डरों के बोझ तले दबे हुए हैं, तो आपका भोजन रसोई में युगों तक पड़ा रह सकता है। एआई की दुनिया में, इस प्रतीक्षा समय को "लेटेंसी" (latency) कहा जाता है। यदि आप किसी चैटबॉट से सवाल पूछते हैं जब वह व्यस्त हो, तो आप मिनटों तक घूमते हुए कर्सर को देखते रह सकते हैं। यह एक समस्या है क्योंकि कभी-कभी आपको एक अच्छे उत्तर की नहीं, बल्कि एक तुरंत मिलने वाले उत्तर की आवश्यकता होती है। मुख्य सवाल जिसे शोधकर्ता हल करने की कोशिश कर रहे हैं वह यह है: हम एक बेहतरीन उत्तर पाने के लिए, कम खर्च में, जल्दी से सही शेफ को कैसे चुनें, तब भी जब रसोई में अफरा-तफरी मची हो?
यहाँ कार्नेगी मेलन यूनिवर्सिटी और माइक्रोसॉफ्ट के शोधकर्ताओं द्वारा किया गया एक नया अध्ययन आता है जो ठीक इसी समस्या को ठीक करने की कोशिश करता है। उन्होंने महसूस किया कि वर्तमान प्रणालियाँ गुणवत्ता और लागत को संतुलित करने में तो बेहतरीन हैं, लेकिन वे "लेटेंसी-अग्नोस्टिक" (latency-agnostic) हैं, जिसका अर्थ है कि वे इस बात के प्रति अंधे हैं कि वास्तव में कतार कितनी लंबी है। इसे ठीक करने के लिए, टीम ने एक चतुर, हल्का "सिम्युलेटर" बनाया जो एक डिजिटल क्रिस्टल बॉल की तरह काम करता है। केवल यह अनुमान लगाने के बजाय कि सर्वर कितना व्यस्त है, यह सिम्युलेटर वास्तविक समय में रसोई की निगरानी करता है। यह देखता है कि कितने ऑर्डर प्रतीक्षा कर रहे हैं, वर्तमान व्यंजन बनाने में कितना समय लग रहा है, और यहाँ तक कि रसोई का स्टाफ अपना काम कैसे बैच में करता है। फिर यह सटीक भविष्यवाणी करता है कि आपके विशिष्ट ऑर्डर को भोजन का पहला निवाला (जिसे वे "टाइम-टू-फर्स्ट-टोकन" कहते हैं) मिलने में कितना समय लगेगा।
इस भविष्यवाणी को अपने रूटिंग सिस्टम में फीड करके, शोधकर्ताओं ने एक स्मार्ट डिस्पैचर बनाया जो न केवल मेनू की कीमत या शेफ की प्रतिष्ठा को देखता है; बल्कि वह प्रतीक्षा समय को भी देखता है। उन्होंने विभिन्न प्रकार के प्रश्नों और रसोई की बदलती अव्यवस्था के साथ इस प्रणाली का परीक्षण किया। परिणाम उत्साहजनक थे: उनके नए तरीके ने मानक तरीकों की तुलना में "उत्तरों के मूल्य" (गुणवत्ता, लागत और गति का संतुलन) में 40% तक सुधार किया, और यह सब मौजूदा लोड-बैलेंसिंग तकनीकों की तरह कम प्रतीक्षा समय बनाए रखते हुए किया। संक्षेप में, उन्होंने एक तरीका खोज लिया जिससे वे कतार पर ध्यान देकर एआई चैटबॉट्स को तेज़, सस्ता और स्मार्ट बना सके।
उनके नवाचार का मूल एक उपकरण है जिसे वे "सर्विंग फ्रेमवर्क सिमुलेशन" (SFS) कहते हैं। इसे एक व्यस्त राजमार्ग के ट्रैफिक कंट्रोलर की तरह समझें। पुराने तरीके शायद केवल यह गिनते हैं कि सड़क पर कितने वाहन हैं और यात्रा के समय का अनुमान लगाते हैं। लेकिन SFS अधिक स्मार्ट है; यह वास्तविक ड्राइविंग स्थितियों का अनुकरण करता है। यह जानता है कि कुछ वाहन तेज़ लेकिन भारी होते हैं (जैसे लंबी, जटिल प्रश्न), जबकि अन्य हल्के लेकिन संख्या में अधिक होते हैं। यह भी जानता है कि राजमार्ग के अपने विशिष्ट नियम हैं कि वाहन कैसे मर्ज होते हैं और कितनी गति से चल सकते हैं। इन नियमों का अनुकरण करके, SFS सटीक रूप से भविष्यवाणी कर सकता है कि एक नया वाहन निकास मार्ग (exit ramp) तक कब पहुँचेगा।
शोधकर्ताओं ने पाया कि केवल सड़क पर वाहनों की संख्या के आधार पर अनुमान लगाना (एक विधि जिसे वे "थ्रूपुट-आधारित अनुमान" कहते हैं) अक्सर गलत भविष्यवाणियों की ओर ले जाता है। यदि राजमार्ग धीमे, भारी ट्रकों से भरा है, तो एक नया वाहन फंस सकता है, भले ही कुल वाहनों की संख्या बहुत अधिक न हो। उनका सिमुलेशन, हालांकि, इस "ट्रैफिक जाम" प्रभाव को ध्यान में रखता है। उन्होंने विभिन्न कार्यों पर अपने सिस्टम का परीक्षण किया, छोटे लेख लिखने से लेकर लंबी रिपोर्टों का सारांश बनाने तक, और पाया कि यह पुराने तरीकों से लगातार बेहतर प्रदर्शन करता है। उनके सिमुलेशन में, उनके दृष्टिकोण ने "ऑनटाइम-यूटिलिटी" (OnTimeUtility)—एक स्कोर जो यह मापता है कि उत्तर कितना अच्छा था, उसकी लागत कितनी थी, और क्या वह समय पर पहुँचा—को मौजूदा सर्वश्रेष्ठ बेसलाइनों की तुलना में 33% से 40% तक सुधारा।
उनकी एक सबसे दिलचस्प खोज यह है कि यह सिस्टम "बर्स्टी" (bursty) ट्रैफिक को कैसे संभालता है। कल्पना करें कि अचानक ऑर्डरों की बाढ़ आ जाती है, जैसे दोपहर के भोजन के समय की भीड़। पुराने सिस्टम अक्सर अभिभूत हो जाते हैं और सभी को सबसे सस्ते, धीमे शेफ के पास भेज देते हैं, जिससे भारी देरी होती है। हालाँकि, नया सिस्टम लोड को गतिशील रूप से बदल देता है। यह एक सरल प्रश्न को एक तेज़, सस्ते मॉडल को भेज सकता है क्योंकि कतार छोटी है, जबकि एक जटिल, तत्काल प्रश्न को एक शक्तिशाली मॉडल के पास भेज सकता है जिसके पास थोड़ी लंबी कतार है लेकिन वह कुल मिलाकर काम को तेज़ी से पूरा कर सकता है। यह लचीलापन इसे उच्च मांग के दौरान भी उच्च प्रदर्शन बनाए रखने की अनुमति देता है।
टीम ने यह भी दिखाया कि उनका सिम्युलेटर स्वयं अविश्वसनीय रूप से तेज़ है। सिमुलेशन चलाने और निर्णय लेने में इसे एक मिलीसेकंड से भी कम समय लगता है, जिसका अर्थ है कि यह उस सिस्टम को धीमा नहीं करता है जिसे यह मदद करने की कोशिश कर रहा है। यह महत्वपूर्ण है क्योंकि यदि राउटर को निर्णय लेने में बहुत अधिक समय लगता है, तो यह समय बचाने के उद्देश्य को ही विफल कर देता है। उन्होंने सत्यापित किया कि उनकी भविष्यवाणियां सटीक थीं, जिसमें उनके परीक्षणों में त्रुटि दर 5% से कम थी, जो पुराने, सरल अनुमान लगाने वाले तरीकों में देखी गई 85% की त्रुटि दर की तुलना में एक महत्वपूर्ण सुधार है।
अंततः, यह पेपर सुझाव देता है कि कुशल एआई का भविष्य केवल बड़े मॉडल बनाने या सस्ते मॉडल खोजने के बारे में नहीं है; यह एक बेहतर ट्रैफिक मैनेजर बनने के बारे में है। "कौन सा मॉडल सबसे अच्छा है" के ज्ञान को "कतार कितनी लंबी है" की वास्तविकता के साथ जोड़कर, हम ऐसे सिस्टम बना सकते हैं जो भारी लोड के तहत भी तुरंत प्रतिक्रिया देने वाले महसूस होते हैं। हालांकि परिणाम सिमुलेशन और नियंत्रित प्रयोगों से आते हैं, लेखक मानते हैं कि यह दृष्टिकोण वास्तविक दुनिया में एआई सेवाओं को अधिक विश्वसनीय और उपयोगकर्ता के अनुकूल बनाने के लिए एक व्यावहारिक मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।