STREAM: Multi-Tier LLM Inference Middleware with Dual-Channel HPC Token Streaming
STREAM एक मल्टी-टियर इन्फरेंस मिडलवेयर है जो स्थानीय, संस्थागत HPC और क्लाउड LLM संसाधनों को एक नवीन डुअल-चैनल आर्किटेक्चर के माध्यम से एकीकृत करता है, जो फायरवॉल के माध्यम से सब-सेकंड टोकन स्ट्रीमिंग को सक्षम बनाता है, जिससे खंडित इन्फरेंस समाधानों के लिए एक लागत प्रभावी, निजी और उच्च-प्रदर्शन वाला विकल्प मिलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप बहुत बुद्धिमान, लेकिन बहुत अलग तरह के पुस्तकालयाध्यक्षों (librarians) से उत्तर प्राप्त करने की कोशिश कर रहे हैं। आपके पास तीन विकल्प हैं, लेकिन प्रत्येक में एक शर्त है:
- स्थानीय पुस्तकालयाध्यक्ष (आपका कंप्यूटर): वे मुफ्त हैं, वे आपके रहस्य जानते हैं, और वे आपके घर में ही मौजूद हैं। लेकिन वे छोटे हैं और एक बार में केवल एक किताब के कुछ पन्ने ही याद रख सकते हैं। यदि आप उन्हें पूरी विश्वकोश (encyclopedia) पढ़ने के लिए कहेंगे, तो वे घबरा जाएंगे।
- विश्वविद्यालय पुस्तकालय (HPC सेंटर): यह एक विशाल, अत्यंत शक्तिशाली पुस्तकालय है जिसमें बड़े कंप्यूटर हैं। यह छात्रों और शोधकर्ताओं के लिए मुफ्त है, और यह बड़ी किताबों को संभाल सकता है। लेकिन यह एक उच्च-सुरक्षा वाली बाड़ के पीछे बंद है। आप वहां जाकर पुस्तकालयाध्यक्ष से आमने-सामने बात नहीं कर सकते; आपको एक अनुरोध भेजना होगा, उनके द्वारा पूरी किताब पढ़ने का इंतज़ार करना होगा, और फिर वे आपको उत्तर डाक से भेज देंगे। यह त्वरित बातचीत के लिए धीमा और जटिल है।
- फैंसी क्लाउड लाइब्रेरी: उनके पास दुनिया के सबसे स्मार्ट पुस्तकालयाध्यक्ष हैं और वे तुरंत किसी भी सवाल का जवाब दे सकते हैं। लेकिन वे आपके द्वारा बोले गए हर एक शब्द के लिए आपसे शुल्क लेते हैं, और वे आपकी बातचीत की एक प्रति अपने पास हमेशा के लिए रख सकते हैं।
STREAM एक नया "स्मार्ट कॉन्सिएर्ज" (Smart Concierge) है जो आपको इन तीनों पुस्तकालयों से एक साथ जोड़ता है, जिससे वे एक सहज सेवा की तरह महसूस होते हैं। यह यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. स्मार्ट ट्रैफिक पुलिस (रूटिंग)
जब आप कोई प्रश्न पूछते हैं, तो STREAM कॉन्सिएर्ज केवल अनुमान नहीं लगाता। इसके पास एक छोटा, तेज़ "न्यायाधीश" (एक छोटा AI) है जो पहले आपके प्रश्न को देखता है।
- यदि आप पूछते हैं, "2+2 क्या है?" या "मुझे एक चुटकुला सुनाओ," तो न्यायाधीश इसे स्थानीय पुस्तकालयाध्यक्ष के पास भेज देता है क्योंकि यह आसान और मुफ्त है।
- यदि आप मध्यम-कठिनाई वाला प्रश्न पूछते हैं, तो यह इसे विश्वविद्यालय पुस्तकालय को भेज देता है।
- यदि आप कुछ अविश्वसनीय रूप से जटिल पूछते हैं जिसके लिए जीन-स्तर के मस्तिष्क की आवश्यकता है, तो यह इसे फैंसी क्लाउड लाइब्रेरी को भेज देता है।
यह आपके पैसे बचाता है क्योंकि आप महंगी क्लाउड लाइब्रेरी का उपयोग तभी करते हैं जब आपको वास्तव में इसकी आवश्यकता होती है।
2. "गुप्त सुरंग" (डुअल-चैनल स्ट्रीमिंग)
यही इस पेपर का सबसे बड़ा जादू है। आमतौर पर, विश्वविद्यालय पुस्तकालय इतना सुरक्षित होता है कि आप उनके साथ लाइव, वास्तविक समय में चैट नहीं कर सकते। आपको पूरा उत्तर लिखे जाने तक प्रतीक्षा करनी पड़ती है और फिर देखना पड़ता है।
STREAM सुरक्षा बाड़ को बिना नियमों को तोड़े बायपास करने के लिए एक दो-लेन वाला राजमार्ग बनाता है:
- लेन 1 (कंट्रोल प्लेन): यह एक सुरक्षित फोन कॉल की तरह है। आप विश्वविद्यालय पुस्तकालय को बताते हैं, "हे, मेरे पास आपके लिए एक प्रश्न है।" पुस्तकालय आपकी बात स्वीकार करता है और काम शुरू कर देता है।
- लेन 2 (डेटा प्लेन): यह एक गुप्त, एक-तरफ़ा सुरंग है। जैसे ही विश्वविद्यालय का पुस्तकालयाध्यक्ष उत्तर लिखता है, वे शब्दों को एक सुरंग में फुसफुसाते हैं जो क्लाउड में एक रिले स्टेशन तक जाता है। आप भी उस रिले स्टेशन से जुड़े हुए हैं, शब्दों को सुनने के लिए प्रतीक्षा कर रहे हैं।
परिणाम: पूरे उत्तर के आने के लिए 11 सेकंड (एक पत्र का इंतज़ार करने की तरह) प्रतीक्षा करने के बजाय, आप 0.54 सेकंड में पहला शब्द सुनते हैं। यह एक वास्तविक बातचीत जैसा महसूस होता है, भले ही "मस्तिष्क" एक बंद इमारत के भीतर हो। सुरंग इतनी सुरक्षित है कि रिले स्टेशन चलाने वाला व्यक्ति भी नहीं पढ़ सकता कि क्या फुसफुसाया जा रहा है; शब्द एक गुप्त कोड की तरह एन्क्रिप्टेड हैं।
3. "मेमोरी समराइज़र" (कॉन्टेक्स्ट अवेयरनेस)
कल्पित कीजिए कि आप एक लंबी बातचीत कर रहे हैं। अंततः, आपका स्थानीय पुस्तकालयाध्यक्ष अपनी अल्पकालिक स्मृति (short-term memory) में स्थान समाप्त कर देता है। आमतौर पर, यह सिस्टम को चैट के हर नए प्रश्न को महंगे क्लाउड लाइब्रेरी तक भेजने के लिए मजबूर करता है, भले ही नया प्रश्न सरल क्यों न हो।
STREAM के पास एक विशेष ट्रिक है: जैसे-जैसे बातचीत लंबी होती जाती है, यह चुपचाप चैट के पुराने हिस्सों को एक संक्षिप्त नोट में सारांशित (summarize) कर देता है। यह बातचीत के सबसे हालिया हिस्सों को पुस्तकालयाध्यक्ष की याददाश्त में ताज़ा रखता है, लेकिन पुराने हिस्से को संकुचित (compress) कर देता है। यह आपको मुफ्त स्थानीय पुस्तकालयाध्यक्ष के साथ बहुत लंबे समय तक बातचीत जारी रखने की अनुमति देता है, बजाय इसके कि चैट इतिहास बहुत लंबा होने के कारण आपको महंगे स्तर पर भेज दिया जाए।
4. "यूनिवर्सल एडाप्टर" (HPC-as-API)
अंत में, STREAM एक यूनिवर्सल पावर एडाप्टर की तरह कार्य करता है। आमतौर पर, विश्वविद्यालय पुस्तकालय का उपयोग करने के लिए, आपको एक तकनीकी विशेषज्ञ होने की आवश्यकता है जो जटिल सुरक्षा प्रणालियों को नेविगेट करना जानता हो। STREAM इस सारी जटिलता को लपेटकर एक सरल, मानक "प्लग" के रूप में प्रस्तुत करता है जिसे कोई भी सामान्य ऐप उपयोग कर सकता है। आपको यह जानने की ज़रूरत नहीं है कि विश्वविद्यालय पुस्तकालय कैसे काम करता है; आप बस प्लग करते हैं, और यह काम करता है।
निचोड़ (The Bottom Line)
यह पेपर दिखाता है कि इस "स्मार्ट कॉन्सिएर्ज" का उपयोग करके:
- आप अपना डेटा जहाँ भी संभव हो निजी और स्थानीय रख सकते हैं।
- आप मुफ्त में शक्तिशाली विश्वविद्यालय सुपरकंप्यूटरों का उपयोग कर सकते हैं, बिना उत्तर के लिए दिनों तक प्रतीक्षा किए।
- आप महंगे क्लाउड सेवाओं का उपयोग केवल तभी करते हैं जब प्रश्न वास्तव में दूसरों की तुलना में बहुत कठिन हो।
यह तीन टूटे हुए, अलग-थलग विकल्पों को एक सुचारू, तेज़ और लागत प्रभावी अनुभव में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।