M*: A Modular, Extensible, Serving System for Multimodal Models
यह शोध पत्र M* को प्रस्तुत करता है, जो एक मॉड्यूलर और विस्तार योग्य सर्विंग सिस्टम है जो कंपोजिट मल्टीमॉडल मॉडल्स को डेटाफ्लो ग्राफ के रूप में निरूपित करता है ताकि लचीले घटक संयोजन और वितरित अनुकूलन को सक्षम किया जा सके, जिससे टेक्स्ट-टू-इमेज, टेक्स्ट-टू-स्पीच और रोबोटिक प्लानिंग जैसे विविध कार्यों में मौजूदा फ्रेमवर्क की तुलना में महत्वपूर्ण विलंबता (लेटेंसी) और थ्रूपुट सुधार प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हाई-टेक किचन चला रहे हैं।
पुराना तरीका (मौजूदा सिस्टम):
लंबे समय से, AI मॉडल साधारण, सिंगल-लेन असेंबली लाइनों की तरह थे। यदि आप एक केक बनाना चाहते थे (टेक्स्ट जेनरेट करना), तो हर सामग्री एक ही रास्ते से जाती थी: मिश्रण, बेक, फ्रॉस्ट, सर्व। vLLM जैसे सिस्टम विशेष रूप से इसी "टेक्स्ट-ओनली" असेंबली लाइन के लिए बनाए गए थे। वे केक बनाने में अविश्वसनीय रूप से तेज़ थे।
लेकिन अब, AI एक नए युग में प्रवेश कर रहा है। हम अब केवल केक नहीं बना रहे हैं; हम एक कंपोजिट किचन (Composite Kitchen) चला रहे हैं। हमारे पास ऐसे मॉडल हैं जो:
- एक फोटो देख सकते हैं और उसका वर्णन कर सकते हैं (विज़न)।
- एक आवाज़ सुन सकते हैं और दूसरी आवाज़ में जवाब दे सकते हैं (स्पीच)।
- एक वीडियो देख सकते हैं और अनुमान लगा सकते हैं कि आगे क्या होगा (वर्ल्ड मॉडल्स)।
- एक कमांड के आधार पर रोबोटिक हाथ को नियंत्रित कर सकते हैं (रोबोटिक्स)।
ये नए "कंपोजिट" मॉडल थोड़े जटिल होते हैं। वे एक सीधी रेखा का पालन नहीं करते। कभी-कभी उन्हें अपना काम चेक करने के लिए वापस लूप में जाने की आवश्यकता होती है (जैसे इमेज को रिफाइन करने के लिए डिफ्यूजन मॉडल)। कभी-कभी उन्हें एक साथ तीन समानांतर रास्तों में विभाजित होने की आवश्यकता होती है (जैसे तीन अलग-अलग कोणों से एक तस्वीर की जांच करना)। कभी-कभी उन्हें रीयल-टाइम में ऑडियो स्ट्रीम करने की आवश्यकता होती, एक बार में एक शब्द।
पुराने किचन सिस्टम (vLLM, SGLang) इन जटिल, मल्टी-टास्क मॉडल्स को उनकी सरल, सीधी-लाइन वाली असेंबली लाइनों में फिट करने की कोशिश करते थे। यह एक करतब दिखाने वाले कलाकार (जगलिंग एक्ट) को कन्वेयर बेल्ट में फिट करने की कोशिश करने जैसा था। यह काम तो करता था, लेकिन यह धीमा, बोझिल था और इसके टुकड़ों को आपस में जोड़ने के लिए बहुत सारे कस्टम "ग्लू" कोड की आवश्यकता होती थी।
नया समाधान: M*
यह पेपर M* को पेश करता है, जो इन जटिल AI किचनों के लिए एक नया ऑपरेटिंग सिस्टम है। मॉडल्स को एक सीधी रेखा में मजबूर करने के बजाय, M* उन्हें एक डायनेमिक मैप (Dynamic Map) या एक फ्लोचार्ट की तरह मानता है।
यहाँ बताया गया है कि M* कैसे काम करता है, सरल उपमाओं का उपयोग करके:
1. "वॉक ग्राफ" (मैप)
पुराने दिनों में, किचन मैनेजर को हर डिश की सटीक रेसिपी पता होनी चाहिए थी। M* में, मॉडल क्रिएटर बस किचन का एक मैप (ग्राफ) बना देता है।
- नोड्स (Nodes): ये स्टेशन हैं (जैसे, "विज़न स्टेशन," "लैंग्वेज स्टेशन," "ऑडियो स्टेशन")।
- वॉक्स (Walks): ये किसी ग्राहक के ऑर्डर द्वारा तय किए जाने वाले विशिष्ट मार्ग हैं।
- ऑर्डर A (Text-to-Image): लैंग्वेज स्टेशन से शुरू होकर → आर्ट स्टेशन पर 50 बार लूप करता है → प्रिंटर पर समाप्त होता है।
- ऑर्डर B (Speech-to-Speech): माइक स्टेशन से शुरू होकर → दो रास्तों में विभाजित होता है → वापस मर्ज होता है → स्पीकर तक जाता है।
M* इसे वॉक ग्राफ (Walk Graph) कहता है। यह सिस्टम को यह समझने की अनुमति देता है कि विभिन्न कार्यों के लिए एक ही किचन के माध्यम से अलग-अलग रास्ते लेने की आवश्यकता होती है, बिना हर बार किचन के लेआउट को दोबारा लिखे।
2. "कंडक्टर" (ट्रैफिक कंट्रोलर)
एक बार मैप बन जाने के बाद, M* के पास एक कंडक्टर (Conductor) होता है। यह एक स्मार्ट ट्रैफिक कंट्रोलर है जिसे इस बात से कोई फर्क नहीं पड़ता कि खाना क्या है, उसे बस यह पता है कि उसे कहाँ जाना है।
- यदि किसी अनुरोध को वापस लूप में जाने की आवश्यकता है (जैसे इमेज को रिफाइन करना), तो कंडक्टर उसे लूप के प्रारंभ में वापस भेज देता है।
- यदि किसी अनुरोध को तीन भागों में विभाजित होने की आवश्यकता है (जैसे सुरक्षा, शैली और कंटेंट की जांच करना), तो कंडक्टर एक साथ तीन अलग-अलग शेफ को तीन प्रतियां भेजता है।
- यदि कोई ऑडियो स्ट्रीम कर रहा है, तो कंडक्टर यह सुनिश्चित करता है कि शेफ पूरा वाक्य खत्म होने का इंतज़ार करने के बजाय पहला शब्द तुरंत सौंप दे।
3. लचीली सीटिंग (प्लेसमेंट)
पुराने सिस्टम में, यदि आपके पास एक बड़ा शेफ (एक बड़ा AI मॉडल) था, तो आपको उन्हें एक बड़ी मेज (एक GPU) पर रखना पड़ता था। यदि आपके पास एक छोटा सहायक (एक छोटा एनकोडर) था, तो उन्हें एक छोटी मेज पर बैठना पड़ता था।
M* आपको किचन को डिसएग्रीगेट (Disaggregate) करने की अनुमति देता है। आप "विज़न शेफ" को एक कंप्यूटर पर, "लैंग्वेज शेफ" को दूसरे पर और "ऑडियो शेफ" को तीसरे पर रख सकते हैं। वे एक-दूसरे से तुरंत बात कर सकते हैं। इसका मतलब है कि आप उस हिस्से को स्केल कर सकते हैं जो धीमा है, बिना उन हिस्सों पर पैसा बर्बाद किए जो तेज़ हैं।
उन्होंने क्या साबित किया? (परिणाम)
लेखकों ने पांच अलग-अलग प्रकार के जटिल मॉडल्स पर M* का पुराने सिस्टम (vLLM-Omni, SGLang-Omni, VoxServe) के मुकाबले परीक्षण किया। यहाँ क्या हुआ:
- इमेज जनरेशन (BAGEL): टेक्स्ट को इमेज में बदलते समय, M* पुराने सिस्टम की तुलना में 20% से 50% तेज़ था। इसने इमेज को रिफाइन करने के लिए आवश्यक जटिल "लूप्स" को बहुत अधिक कुशलता से संभाला।
- स्पीच (Qwen3-Omni & Orpheus): स्पीच जेनरेट करते समय, M* रीयल-टाइम प्रदर्शन में 2.9 गुना तक तेज़ था और एक साथ 2.7 गुना अधिक अनुरोधों को संभाल सकता था। यह एक धीमी, अटकती हुई रेडियो से एक स्पष्ट, लाइव ब्रॉडकास्ट में स्विच करने जैसा था।
- रोबोटिक्स (V-JEPA 2): रोबोट प्लानिंग के लिए भविष्य के वीडियो फ्रेम्स की भविष्यवाणी करते समय, M* 12.5 गुना तक तेज़ था। पुराना सिस्टम हर स्टेप पर सब कुछ फिर से कैलकुलेट करने के लिए मजबूर था; M* ने पिछले स्टेप्स को याद रखा और बस नए अपडेट्स को प्रोसेस किया।
निचोड़ (The Bottom Line)
M* एक यूनिवर्सल सिस्टम है जो हर AI मॉडल को एक ही कठोर आकार में ढालने की कोशिश करना बंद कर देता है। इसके बजाय, यह मॉडल को अपना स्वयं का आकार (ग्राफ) परिभाषित करने देता है और फिर उस आकार को चलाने के लिए एक लचीला, हाई-स्पीड इंजन बनाता है।
यह एक कठोर असेंबली लाइन और एक स्मार्ट, अनुकूलन योग्य वर्कशॉप के बीच का अंतर है, जो टोस्टर बनाने के बजाय कार बनाने पर टूट जाती है, जबकि वर्कशॉप समान गति और दक्षता के साथ टोस्टर से लेकर रॉकेट तक कुछ भी बना सकती है। पेपर का दावा है कि यह डेवलपर्स को न्यूनतम प्रयास के साथ इन जटिल, मल्टी-मोडल मॉडल्स को तैनात करने की अनुमति देता है और साथ ही बेहतर प्रदर्शन भी प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।