Simthesizer: An Agent-Driven Simulation Framework for LLM Serving Systems
यह शोध पत्र Borg को प्रस्तुत करता है, जो एक एजेंट-संचालित फ्रेमवर्क है जो एक कंपोजेबल डायनेमिक ग्राफ और एक कोडिंग एजेंट का उपयोग करके एक एकीकृत LLM सर्विंग सिम्युलेटर को स्वचालित रूप से विकसित करता है, जिससे मौजूदा उपकरणों की तुलना में विकास समय में काफी कमी आती है और थ्रूपुट सटीकता में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स शक्तिशाली उपकरण बन गए हैं जो कोड लिखने, जटिल समस्याओं को हल करने और बातचीत करने में सक्षम हैं। हालाँकि, इन मॉडल्स को चलाना केवल एक बटन दबाने जितना सरल नहीं है; इसके लिए सूचना के प्रवाह को प्रबंधित करने, यह निर्णय लेने कि किन अनुरोधों को पहले संसाधित किया जाए, और कंप्यूटिंग शक्ति को कुशलतापूर्वक आवंटित करने के लिए एक परिष्कृत प्रणाली की आवश्यकता होती है। 'सर्विंग' (serving) के रूप में ज्ञात यह क्षेत्र वह इंजन रूम है जो इन बुद्धिमान प्रणालियों को लाखों उपयोगकर्ताओं के लिए सुचारू रूप से चलाने में मदद करता है। क्योंकि यह तकनीक अत्यंत तीव्र गति से विकसित हो रही है, जहाँ नए मॉडल और विधियाँ निरंतर सामने आ रही हैं, इंजीनियर अपने विचारों का परीक्षण करने के लिए भौतिक मशीनें बनाने का इंतज़ार नहीं कर सकते। इसके बजाय, वे कंप्यूटर सिमुलेशन पर भरोसा करते हैं—ये वर्चुअल प्रयोगशालाएँ हैं जहाँ वे करोड़ों डॉलर हार्डवेयर पर खर्च करने से पहले यह अनुमान लगा सकते हैं कि एक नए सिस्टम डिज़ाइन का प्रदर्शन कैसा होगा।
वर्षों तक, इन वर्चुअल प्रयोगशालाओं को कठोर, पूर्व-निर्मित संरचनाओं की तरह बनाया गया था। शोधकर्ता एक ही, निश्चित पाइपलाइन में हर संभावित परिदृश्य को मैन्युअल रूप से कोड करते थे। यह तब तक अच्छी तरह काम करता था जब तकनीक धीरे-धीरे बदलती थी, लेकिन आर्टिफिशियल इंटेलिजेंस का परिदृश्य नाटकीय रूप रूप से बदल गया है। इन मॉडल्स के उपयोग के नए तरीके उभरे हैं, जैसे कि "एजेंटिक" (agentic) वर्कफ़्लो जहाँ एक एकल अनुरोध कई निर्णयों और टूल कॉल्स की एक श्रृंखला को सक्रिय करता है, या "डिसएग्रिगेटेड" (disaggregated) सिस्टम जहाँ प्रोसेसिंग के विभिन्न हिस्से अलग-अलग मशीनों पर होते हैं। ये आधुनिक व्यवहार पुराने, कठोर पाइपलाइनों में फिट नहीं बैठते। हर बार जब कोई नया फीचर आता था, तो इंजीनियरों को सिम्युलेटर को उखाड़ना पड़ता था और उसे शून्य से फिर से बनाना पड़ता था, जो एक धीमी और त्रुटिपूर्ण प्रक्रिया थी जिसने वर्चुअल मॉडल्स को उन वास्तविक प्रणालियों से पीछे छोड़ दिया जिनका उन्हें प्रतिनिधित्व करना था।
दक्षिण कोरिया के KAIST के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए एक नया दृष्टिकोण पेश किया है, जिसे 'सिंथेसाइज़र' (Simthesizer) कहा जाता है। हर नए फीचर के लिए नया सिम्युलेटर बनाने के बजाय, उन्होंने एक लचीला ढांचा तैयार किया है जो एक कंप्यूटर प्रोग्राम को स्वयं सिम्युलेटर लिखने की अनुमति देता है। इस प्रणाली के केंद्र में वर्कफ़्लो का एक गतिशील मानचित्र (dynamic map) है, जहाँ प्रक्रिया का प्रत्येक चरण एक नोड है जिसे कभी भी जोड़ा, हटाया या पुनर्गठित किया जा सकता है। यह मानचित्र स्थिर नहीं है; यह एक जीवंत संरचना है जो पूरे सिस्टम को ध्वस्त किए बिना नए तरीकों को अपनाने के लिए बढ़ सकती है। इसे सफल बनाने के लिए, शोधकर्ताओं ने एक कोडिंग एजेंट, जो एक विशेष आर्टिफिशियल इंटेलिजेंस सहायक है, को निर्माता के रूप में नियुक्त किया। जब एक शोधकर्ता किसी नए फीचर के लिए अनुरोध करता है, तो एजेंट उस अनुरोध को पढ़ता है, सिमुलेशन के नियमों को समझता है, और मानचित्र में इसे एकीकृत करने के लिए आवश्यक कोड लिखता है।
यह प्रक्रिया सख्त सुरक्षा घेरों (guardrails) द्वारा निर्देशित होती है ताकि एजेंट गलतियाँ न करे। सिस्टम यह मांग करता है कि एजेंट पहले इस बात का स्पष्ट विवरण (specification) लिखे कि नया फीचर क्या करेगा, फिर यह तय करे कि वह मौजूदा संरचना में कहाँ फिट बैठता है, और अंत में कोड लिखे। नया फीचर स्वीकार करने से पहले, सिस्टम यह सुनिश्चित करने के लिए कि वह सही ढंग से व्यवहार कर रहा है, वास्तविक दुनिया के डेटा या स्थापित साक्ष्यों के विरुद्ध उसके कार्य की जाँच करता है। यह विधि सिम्युलेटर को उस तकनीक के साथ विकसित होने की अनुमति देती है जिसका यह मॉडल है। अपने परीक्षणों में, शोधकर्ताओं ने एजेंट को सिम्युलेटर में तीन जटिल फीचर्स जोड़ने के लिए कहा: मेमोरी उपयोग को कम करने की एक विधि, अगले शब्दों का अनुमान लगाकर टेक्स्ट जनरेशन को तेज करने की एक तकनीक, और एक नए प्रकार के मॉडल आर्किटेक्चर के लिए समर्थन। एजेंट ने इन विस्तारों को सफलतापूर्वक बनाया, और परिणामी सिमुलेशन उल्लेखनीय रूप से सटीक थे।
जब शोधकर्ताओं ने इन नए सिमुलेशन के प्रदर्शन की तुलना वास्तविक हार्डवेयर पर चल रहे वास्तविक सिस्टम के विरुद्ध की, तो परिणाम चौंकाने वाले थे। इस नए ढांचे का उपयोग करके बनाए गए विस्तारों ने औसत 2.51 प्रतिशत की त्रुटि के साथ वास्तविक दुनिया के थ्रूपुट (throughput) से मेल खाया। इसके विपरीत, जब उसी कोडिंग एजेंट ने मौजूदा सिम्युलेटर में अपने पुराने, कठोर तरीकों का उपयोग करके वही फीचर्स जोड़ने की कोशिश की, तो त्रुटि दर बढ़कर 6.03 प्रतिशत हो गई। नया सिस्टम न केवल अधिक सटीक था, बल्कि काफी तेज़ भी था। यह एक अग्रणी प्रतिस्पर्धी की तुलना में 284.96 गुना और दूसरे की तुलना में 23.19 गुना तेज़ चला। यह गति इस तथ्य से आती है कि नए सिस्टम को हर छोटे बदलाव के लिए पूरे सिमुलेशन इंजन को फिर से चलाने की आवश्यकता नहीं होती है; यह केवल मानचित्र के उस विशिष्ट भाग को अपडेट करता है जिसे बदलने की आवश्यकता होती है।
शोधकर्ताओं ने प्रदर्शित किया कि यह दृष्टिकोण केवल उनके द्वारा उपयोग किए गए शुरुआती एजेंट के साथ ही नहीं, बल्कि विभिन्न प्रकार के कोडिंग एजेंटों के साथ भी काम करता है, जो यह सुझाव देता है कि यह विधि सुदृढ़ और सामान्यीकरण योग्य (generalizable) है। एक लचीले, कंपोजेबल इंफ्रास्ट्रक्चर को एक स्वचालित निर्माता के साथ जोड़कर, सिंथेसाइज़र आर्टिफिशियल इंटेलिजेंस के तीव्र विकास और इसका अध्ययन करने के लिए उपयोग किए जाने वाले उपकरणों के बीच के अंतर को पाटता है। यह एक ऐसे क्षेत्र के साथ तालमेल बिठाने का तरीका प्रदान करता है जो मानव इंजीनियरों द्वारा अपने उपकरणों को मैन्युअल रूप से अपडेट करने की क्षमता से भी तेज़ बदलता है, यह सुनिश्चित करते हुए कि कंप्यूटिंग के भविष्य को डिजाइन करने के लिए उपयोग किए जाने वाले वर्चुअल मॉडल सटीक, विश्वसनीय और आने वाली किसी भी चीज़ के लिए तैयार रहें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।