Towards Scalable Customization and Deployment of Multi-Agent Systems for Enterprise Applications
यह शोध पत्र एक एकीकृत दो-चरणीय ढांचे का प्रस्ताव करता है जो उन्नत मॉडल अनुकूलन तकनीकों को स्पेक्युलेटिव डिकोडिंग और FP8 क्वांटाइजेशन जैसे इन्फरेंस अनुकूलनों के साथ जोड़ता है ताकि एंटरप्राइज अनुप्रयोगों के लिए LLM-आधारित मल्टी-एजेंट सिस्टम के स्केलेबल, लागत-कुशल और सुदृढ़ परिनियोजन को सक्षम बनाया जा सके, जिससे 4.48x थ्रूपुट स्पीडअप प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त, उच्च-स्तरीय कार डीलरशिप चलाते हैं। आपके पास पाँच प्रतिभाशाली, विशेषज्ञ विशेषज्ञों की एक टीम (एक मल्टी-एजेंट सिस्टम) है जो ग्राहक को टेस्ट ड्राइव शेड्यूल करने में मदद करने के लिए मिलकर काम करती है।
- द अंडरस्टैंडर (समझने वाला): यह सुनता है कि ग्राहक क्या चाहता है।
- द प्लानर (योजनाकार): यह आगे बढ़ने के लिए सबसे अच्छे कदम तय करता है।
- द इवैल्यूएटर (मूल्यांकनकर्ता): यह एक सुरक्षा गार्ड के रूप में कार्य करता है, यह जाँचता है कि योजना सुरक्षित और तार्किक है या नहीं।
- द एक्जीक्यूटर (निष्पादक): यह वास्तव में अपॉइंटमेंट बुक करता है।
- द एक्सप्लेनर (व्याख्या करने वाला): यह ग्राहक को अंतिम विवरण बताता है।
अतीत में, इस टीम को एक "सुपर-एक्सपर्ट" (एक विशाल AI मॉडल) द्वारा चलाया जाता था। हालांकि सुपर-एक्सपर्ट अविश्वसनीय रूप से स्मार्ट था, लेकिन वह धीमा, महंगा था और उसे चलाने के लिए बहुत अधिक ऑफिस स्पेस (कंप्यूटिंग पावर) की आवश्यकता होती थी। यदि कोई ग्राहक जटिल प्रश्न पूछता, तो टीम को सुपर-एक्सपर्ट को पाँच अलग-अलग बार बुलाना पड़ता था, जिससे लंबा प्रतीक्षा समय और उच्च बिल आते थे।
इस पेपर के लेखकों (कैपिटल वन से) ने यह चाहा कि टीम की बुद्धिमत्ता बनी रहे लेकिन इसे तेज़, सस्ता और चलाना आसान बनाया जा सके। उन्होंने इसे दो मुख्य चरणों में किया: एक नए इंटर्न को प्रशिक्षित करना और वर्कफ़्लो को अनुकूलित करना।
चरण 1: एक नए इंटर्न को प्रशिक्षित करना (एजेंटिक मॉडल कस्टमाइजेशन)
एक छोटे, तेज़ "इंटर्न" (एक कॉम्पैक्ट AI मॉडल) को काम करने के लिए सुपर-एक्सपर्ट पर निर्भर रहने के बजाय, उन्होंने एक छोटा, तेज़ "इंटर्न" प्रशिक्षित करने का निर्णय लिया। लेकिन उन्होंने केवल इंटर्न को एक पाठ्यपुस्तक नहीं दी; उन्होंने एक चतुर तीन-चरणीय प्रशिक्षण शिविर का उपयोग किया:
चरण 1: कॉन्टेक्स्टुअल क्रैश कोर्स (कंटीन्यूअस प्रीट्रेनिंग):
आमतौर पर, जब आप किसी नए कर्मचारी को एक विशिष्ट उद्योग (जैसे कार बिक्री) सिखाते हैं, तो वे सामान्य अंग्रेजी बोलना भूल सकते हैं या अपनी सामान्य बुद्धिमत्ता खो सकते हैं। इसे ठीक करने के लिए, लेखकों ने हर पाठ से पहले इंटर्न को "कॉन्टेक्स्ट क्लूस" (संदर्भ संकेत) दिए। कल्पना कीजिए कि आप एक किताब का अध्याय पढ़ रहे हैं, लेकिन शुरू करने से पहले, आप पिछले अध्याय का एक त्वरित सारांश पढ़ते हैं। इसने इंटर्न को सुचारू रखा और कार डीलरशिप के नियम सीखते समय उन्हें अपने सामान्य कौशल भूलने से रोका।चरण 2: मास्टर की छाया में (सुपरवाइज्ड फाइन-ट्यूनिंग):
इंटर्न ने सुपर-एक्सपर्ट को हजारों वास्तविक ग्राहक बातचीत संभालते हुए देखा। हालाँकि, सुपर-एक्सपर्ट कभी-कभी छोटी गलतियाँ करता था या ऐसे उत्तर देता था जो तकनीकी रूप से सही तो थे लेकिन परफेक्ट नहीं थे। इसे ठीक करने करने के लिए, उन्होंने एक और भी स्मार्ट "जज" AI का उपयोग किया जिसने सुपर-एक्सपर्ट के काम की समीक्षा की और उत्तरों को परफेक्ट तरीके से फिर से लिखा। इंटर्न ने इन परफेक्ट पुनर्गठित उत्तरों से सीखा, न कि कच्चे उत्तरों से।चरण 3: ग्राहक वास्तव में क्या पसंद करते हैं, यह सीखना (प्रेफरेंस ऑप्टिमाइजेशन):
कभी-कभी, किसी प्रश्न के उत्तर देने के दो तरीके होते हैं। एक सुरक्षित है, और एक जोखिम भरा है। इंटर्न को यह सीखने की आवश्यकता थी कि ग्राहक किसे पसंद करते हैं। टीम ने इंटर्न को उत्तरों के जोड़े दिखाए: "यह अच्छा है (चुना गया)" बनाम "यह बुरा है (अस्वीकृत)"। इंटर्न ने "चुने गए" रास्ते को चुनना सीखा, जिससे उसका व्यवहार व्यवसाय की वास्तविक इच्छाओं के अनुरूप हो गया।
परिणाम: अब उनके पास एक छोटा, तेज़ इंटर्न था जो काम करने में विशाल सुपर-एक्सपर्ट जितना ही अच्छा था, लेकिन यह बहुत हल्का और प्रबंधित करने में आसान था।
चरण 2: वर्कफ़्लो को सुपरचार्ज करना (इन्फ्रेंस ऑप्टिमाइजेशन)
एक तेज़ इंटर्न के साथ भी, सिस्टम अभी भी थोड़ा धीमा था क्योंकि कंप्यूटर जानकारी को कैसे प्रोसेस करता था। उन्होंने दो "टर्बो बूस्ट" जोड़े:
"गेस एंड चेक" ट्रिक (स्पेक्टिवल डिकोडिंग):
सामान्यतः, AI एक बार में एक शब्द लिखता है, और हर एक अक्षर के बाद अपना काम जाँचता है। यह एक वाक्य टाइप करने और हर एक अक्षर के बाद 'एंटर' दबाने जैसा है। लेखकों ने एक छोटा "ड्राफ्ट असिस्टेंट" (एक बहुत छोटा AI) जोड़ा जो मुख्य इंटर्न द्वारा लिखने से पहले अगले कुछ शब्दों का अनुमान लगाता है। मुख्य इंटर्न फिर जल्दी से जाँचता है कि क्या वे अनुमान सही हैं। यदि वे सही हैं, तो वह एक साथ उन सभी को स्वीकार कर लेता है। यह ऐसा है जैसे ड्राफ्ट असिस्टेंट ने पूरे वाक्य को एक नैपकिन पर लिख दिया है, और इंटर्न बस उस पर "अनुमोदित" की मुहर लगा देता है। इससे बहुत सारा समय बचता है।"लाइटवेट यूनिफॉर्म" (FP8 क्वांटाइजेशन):
AI मॉडल आमतौर पर भारी "कपड़े" (उच्च-परिशुद्धता गणितीय संख्याएं) पहनते हैं जो बहुत अधिक मेमोरी लेते हैं। लेखकों ने इन भारी कपड़ों को "लाइटवेट यूनिफॉर्म" (एक विशिष्ट प्रकार का संकुचित गणित जिसे FP8 कहा जाता है) से बदल दिया। इसने मॉडल को आधा मेमोरी उपयोग करने और दोगुना तेज़ चलने में मदद की, बिना यह भुलाए कि इंटर्न को अपना काम कैसे करना है।
अंतिम परिणाम
स्मार्ट इंटर्न को "गेस एंड चेक" ट्रिक और "लाइटवेट यूनिफॉर्म" के साथ जोड़कर, टीम ने कुछ अद्भुत हासिल किया:
- गति: सिस्टम अब मूल सेटअप की तुलना में 4.48 गुना तेज़ है।
- गुणवत्ता: नया सिस्टम डंब (मूर्ख) नहीं हुआ; वास्तव में इसने जटिल, कठिन स्थितियों (जैसे लंबी बातचीत या असामान्य अनुरोधों) को मूल विशाल मॉडल से भी बेहतर तरीके से संभाला।
- लागत: क्योंकि यह तेज़ है और कम मेमोरी का उपयोग करता है, इसलिए इसे चलाना बहुत कम लागत वाला है।
बड़ा सबक:
यह पेपर हमें सिखाता है कि जटिल समस्याओं को हल करने के लिए आपको एक विशाल, धीमे मस्तिष्क की आवश्यकता नहीं है। यदि आप एक छोटे मस्तिष्क को सावधानीपूर्वक प्रशिक्षित करते हैं (सही डेटा और शिक्षण विधियों का उपयोग करके) और उसे सही उपकरण देते हैं (जैसे "गेस एंड चेक" ट्रिक), तो आप एक ऐसा सिस्टम बना सकते हैं जो अविश्वसनीय रूप से तेज़ और अविश्वसनीय रूप से स्मार्ट दोनों हो। यह केवल कठिन काम करने के बारे में नहीं, बल्कि स्मार्ट काम करने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।