MARS: Efficient, Adaptive Co-Scheduling for Heterogeneous Agentic Systems
MARS एक कुशल, अनुकूलन योग्य सह-शेड्यूलिंग प्रणाली है जो प्रवेश (admission) को निष्पादन (execution) से अलग करके और स्टेट रिटेंशन (state retention) को अनुकूलित करके, स्वायत्त LLM एजेंटों के लिए विषम GPU-CPU संसाधनों को वैश्विक स्तर पर समन्वित करती है, जिससे उच्च थ्रूपुट बनाए रखते हुए एंड-टू-एंड विलंबता (latency) को महत्वपूर्ण रूप से कम किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त, हाई-टेक किचन चलाते हैं। अतीत में, यह किचन केवल सरल, एक-बार वाले व्यंजन (जैसे एक सिंगल टेक्स्ट रिस्पॉन्स) ही बनाता था। यहाँ केवल शेफ (GPUs) ही मायने रखते थे, और लक्ष्य केवल प्रति घंटे अधिक से अधिक व्यंजन बनाना था।
लेकिन आज, किचन बदल गया है। अब यह ऑटोनॉमस एजेंट्स (autonomous agents) चलाता है—सोचिए ये ऐसे सुपर-शेफ हैं जो सिर्फ एक डिश नहीं बनाते, बल्कि किसी समस्या को हल करने के लिए एक जटिल यात्रा पर निकलते हैं। वे थोड़ा खाना पका सकते हैं, फिर सामग्री लेने के लिए पेंट्री की ओर दौड़ सकते हैं (टूल का उपयोग करना), रेसिपी बुक चेक कर सकते हैं (एक फाइल पढ़ना), वापस चूल्हे पर आ सकते हैं, थोड़ा और पका सकते हैं, और काम पूरा होने तक इस लूप को दर्जनों बार दोहरा सकते हैं।
यह पेपर MARS पेश करता है, जो एक नया "किचन मैनेजर" है जिसे विशेष रूप से इस अराजक, बहु-चरणीय (multi-step) कुकिंग स्टाइल के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
समस्या: पुराना किचन टूट रहा था
पुराने किचन मैनेजर्स (मौजूदा AI सिस्टम) "एक-बार वाले व्यंजन" के युग के लिए डिज़ाइन किए गए थे। जब उन्हें इन नए, जटिल एजेंट सफरों का सामना करना पड़ा, तो उन्होंने तीन बड़ी गलतियाँ कीं:
- "रुकने और चलने" का जाल (The "Stop-and-Go" Trap): जब एक शेफ खाना पकाने के लिए रुककर पेंट्री की ओर जाता है (CPU टूल निष्पादन), तो पुराना मैनेजर या तो जगह बचाने के लिए शेफ के नोट्स (KV cache) फेंक देता था या उन्हें हमेशा के लिए रख लेता था, जिससे काउंटर जाम हो जाता था। यदि नोट्स फेंक दिए जाते थे, तो शेफ को वापस आने पर पूरी रेसिपी फिर से लिखनी पड़ती थी, जिससे बहुत सारा समय बर्बाद होता था।
- "बड़ा ऑर्डर" का अवरोध (The "Big Order" Blockage): यदि कोई बहुत बड़ा, जटिल ऑर्डर (एक लंबा कॉन्टेक्स्ट) आता, तो वह चूले पर कब्जा कर लेता और उसके पीछे चल रहे सभी छोटे, त्वरित ऑर्डर्स को ब्लॉक कर देता, भले ही वे छोटे ऑर्डर्स तैयार हों।
- "अंधा मोड़" (The "Blind Spot"): मैनेजर केवल चूल्हे (GPU) को देखता था। उसे यह दिखाई नहीं देता था कि पेंट्री (CPU) जाम है। इसलिए, वह शेफ को चूल्हे की ओर भेजता रहता था भले ही पेंट्री भरी हुई हो, जिससे ट्रैफिक जाम लग जाता था जहाँ शेफ सामग्री के इंतजार में खाली खड़े रहते थे।
समाधान: MARS (स्मार्ट किचन मैनेजर)
MARS इसे ठीक करता है क्योंकि यह एक सेंट्रल नर्वस सिस्टम की तरह काम करता है जो सब कुछ देख सकता है—चूल्हा और पेंट्री दोनों—और उन्हें पूरी तरह से समन्वयित करता है।
1. "एकीकृत सूचना प्रवाह" (द वॉकी-टॉकी)
अनुमान लगाने के बजाय, MARS के पास चूल्हे और पेंट्री को जोड़ने वाला एक लाइव फीड है।
- यह कैसे काम करता है: हर बार जब एक शेफ पेंट्री जाने के लिए रुकता है, या सामग्री लेकर वापस आता है, तो तुरंत एक सिग्नल भेजा जाता है। मैनेजर को ठीक पता होता है कि शेफ क्यों रुका और वह कब वापस आएगा।
- लाभ: मैनेजर को कभी अनुमान नहीं लगाना पड़ता। उन्हें पता होता है कि शेफ के नोट्स के लिए कितनी काउंटर स्पेस (मेमोरी) रखनी है और नए ऑर्डर्स के लिए जगह कब खाली करनी है।
2. "बाहरी नियंत्रण प्लेन" (द बाउंसर)
इससे पहले कि कोई नया ऑर्डर किचन में प्रवेश करे, MARS चेक करता है कि क्या किचन वास्तव में इसे संभाल सकता है।
- यह कैसे काम करता है: यह दो चीजों को देखता है: क्या चूल्हा खाली है? क्या पेंट्री खाली है? यदि पेंट्री टूल टास्क के कारण जाम है, तो MARS कहता है, "अभी कोई नया ऑर्डर नहीं," भले ही चूल्हा खाली हो। यह किचन को बहुत अधिक ऑर्डर्स से अभिभूत होने से रोकता है।
- लाभ: यह किचन को एक साथ बहुत अधिक ऑर्डर्स स्वीकार करने से रोकता है, जिससे पूरी व्यवस्था ध्वस्त हो सकती है जहाँ कुछ भी पूरा नहीं हो पाता।
3. "आंतरिक एजेंट-केंद्रित शेड्यूलर" (द स्मार्ट डिस्पैचर)
एक बार ऑर्डर्स अंदर आने के बाद, MARS तय करता है कि अगला कौन पकेगा। यह केवल "पहले आओ, पहले पाओ" की लाइन का पालन नहीं करता है।
- यह कैसे काम करता है:
- प्राथमिकता (Priority): यदि एक शेफ एक त्वरित, इंटरैक्टिव स्टेप के बीच में है, तो MARS उसे पहले जाने देता है। यदि एक शेफ एक विशाल, धीमी रेसिपी पर अटका हुआ है, तो MARS दूसरों को पूरा करने देने के लिए उसे थोड़े समय के लिए रोक सकता है, जिससे "बड़े ऑर्डर" का अवरोध नहीं होता।
- "वार्म रिज्यूम" ट्रिक (The "Warm Resume" Trick): MARS बुद्धिमानी से तय करता है कि शेफ के नोट्स (KV cache) को काउंटर पर रखना है या नहीं। यदि शेफ 2 सेकंड में वापस आने वाला है, तो MARS नोट्स रखता है (समय बचाने के लिए)। यदि वे 20 मिनट के लिए गए हैं, तो MARS दूसरों के लिए जगह बनाने के लिए नोट्स हटा देता है। वह नोट्स तभी रखता है जब वास्तव में समय की बचत होती है।
परिणाम: तेज़ और सुचारू
पेपर ने वास्तविक दुनिया के परिदृश्यों (जैसे एक कोडिंग असिस्टेंट जो सॉफ्टवेयर लिखता और टेस्ट करता है) में MARS का परीक्षण किया।
- गति (Speed): नियंत्रित परीक्षणों में MARS ने पुराने सिस्टमों की तुलना में एजेंटों को अपने कार्य 5.94 गुना तेजी से पूरे करने में मदद की। एक वास्तविक कोडिंग सेटअप में, इसने कार्य पूरा करने की गति को 1.87 गुना बढ़ा दिया।
- विश्वसनीयता (Reliability): जबकि पुराने सिस्टम इतने जाम हो जाते थे कि वे कार्यों को पूरा करना ही बंद कर देते थे (उच्च "थ्रूपुट" लेकिन शून्य "गुडपुट"), MARS ने किचन को सुचारू रूप से चलते रहने दिया, यह सुनिश्चित करते हुए कि कार्य वास्तव में समय पर पूरे हों।
सारांश
MARS को एक ऐसे किचन मैनेजर के रूप में देखें जो केवल यह नहीं गिनता कि चूल्हे पर कितने बर्तन हैं, बल्कि जो पूरे रेस्टोरेंट के प्रवाह को समझता है। चूल्हा और पेंट्री दोनों को एक साथ देखकर, और यह तय करके कि अगला कौन पकेगा और किन नोट्स को रखना है, MARS यह सुनिश्चित करता है कि जटिल, बहु-चरणीय AI एजेंट ट्रैफिक जाम में फंसे बिना कुशलता से काम कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।