Benchmarking LLM Serving Systems for Agentic AI Workloads with XPerf
यह शोध पत्र XPerf को प्रस्तुत करता है, जो एक बेंचमार्किंग फ्रेमवर्क है जो नॉन-डिटरमिनिस्टिक कंट्रोल फ्लो की चुनौतियों से पार पाने के लिए एक फाइन-ग्रेन्ड ट्रेस रिप्ले दृष्टिकोण का उपयोग करके विविध एजेंटिक एआई वर्कलोड्स के तहत एलएलएम (LLM) सर्विंग सिस्टम्स के पुनरुत्पादनीय लोड-टेस्टिंग और विस्तृत प्रदर्शन प्रोफाइलिंग को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के तेजी से बदलते परिदृश्य में, सॉफ्टवेयर की एक नई पीढ़ी उभरी है जो केवल सवालों के जवाब देने से कहीं अधिक करती है; यह कार्य करती है। ये प्रोग्राम, जिन्हें 'एजेंट' कहा जाता है, जटिल कार्यों को छोटे चरणों में विभाजित कर सकते हैं, जानकारी एकत्र करने के लिए डिजिटल उपकरणों का उपयोग कर सकते हैं, और जो वे पाते हैं उसके आधार पर निर्णय ले सकते हैं। एक मानक चैटबॉट के विपरीत, जो हर प्रतिक्रिया के बाद नए प्रॉम्प्ट का इंतजार करता है, एक एजेंट एक शोध परियोजना की योजना बना सकता है, डेटा के लिए वेब खोज सकता है, उस डेटा का विश्लेषण करने के लिए कोड लिख सकता है, और फिर परिणामों के आधार पर अपने दृष्टिकोण को परिष्कृत कर सकता है। इस प्रक्रिया में सोचने और कार्य करने का एक निरंतर चक्र शामिल है, जहाँ सॉफ्टवेयर अपनी यात्रा का मार्गदर्शन करने के लिए एक ही सत्र में कई बार लार्ज लैंग्वेज मॉडल का आह्वान करता है।
इन एजेंटों को वास्तविक दुनिया में उपयोगी बनाने के लिए, उन्हें चलाने वाले कंप्यूटर सिस्टम का अविश्वसनीय रूप से तेज़ और कुशल होना आवश्यक है। इन सिस्टमों को 'सर्विंग इंजन' कहा जाता है, जो भाषा मॉडल की गणनाओं को संसाधित करने के लिए जिम्मेदार होते हैं। हालाँकि, इन इंजनों के प्रदर्शन का परीक्षण करना कठिन है क्योंकि एजेंट द्वारा लिया जाने वाला मार्ग अप्रत्याशित होता है। जिस तरह एक मनुष्य किसी दिन किसी समस्या को पांच चरणों में हल कर सकता है और दूसरे दिन दस चरणों में, एक एजेंट की यात्रा हर बार बदल जाती है, भले ही उसे बिल्कुल समान शुरुआती निर्देश दिए गए हों। यह अनिश्चितता इंजीनियरों के लिए यह जानना कठिन बना देती है कि क्या कोई सिस्टम वास्तव में तेज़ है या वह केवल भाग्यशाली था कि एक विशेष परीक्षण सरल हुआ।
इस समस्या को हल करने के लिए, इलिनोइस विश्वविद्यालय और आईबीएम रिसर्च के शोधकर्ताओं ने XPerf नामक एक नया टूल विकसित किया है। यह सिस्टम इंजीनियरों को यह रिकॉर्ड करने की अनुमति देता है कि एक एजेंट वास्तविक कार्य के दौरान कौन सा सटीक पथ अपनाता है और फिर उसी पथ को बार-बार चलाकर विभिन्न कंप्यूटर सिस्टमों का परीक्षण करने की अनुमति देता है। निर्णयों और कार्यों के विशिष्ट क्रम को कैप्चर करके, XPerf संयोग के तत्व को हटा देता है। यह सुनिश्चित करता है कि जब कोई इंजीनियर एक नया सॉफ्टवेयर अपडेट परीक्षण करता है, तो वे एक अलग, यादृच्छिक चरणों के सेट के विरुद्ध तुलना नहीं कर रहे होते हैं, बल्कि बिल्कुल उसी वर्कलोड के विरुद्ध तुलना कर रहे होते हैं। यह सटीकता बाधाओं (bottlenecks) की पहचान करने और यह समझने के लिए महत्वपूर्ण है कि कोई सिस्टम दबाव में धीमा क्यों हो जाता है।
शोधकर्ताओं ने आठ अलग-अलग प्रकार के एजेंट अनुप्रयोगों का अध्ययन करने के लिए XPerf का उपयोग किया, जिनमें कोड लिखने और सॉफ्टवेयर को डीबग करने वाले टूल्स से लेकर गहन शोध करने और जटिल प्रश्न पूछने वाले सिस्टम तक शामिल हैं। उन्होंने पाया कि ये अनुप्रयोग मानक चैटबॉट्स की तुलना में बहुत अलग व्यवहार करते हैं। जबकि एक सामान्य बातचीत में कुछ बार-बार होने वाले संदेश शामिल हो सकते हैं, एक एजेंट उपयोगकर्ता के एक एकल अनुरोध को पूरा करने के लिए भाषा मॉडल को दर्जनों आंतरिक कॉल ट्रिगर कर सकता है। कुछ मामलों में, एक कोडिंग एजेंट के एक एकल अनुरोध के परिणामस्वरूप भाषा मॉडल को औसतन सत्रह अलग-अलग कॉल हुए, और कुछ अनुरोधों ने लगभग चालीस कॉल ट्रिगर किए। इस जटिलता का अर्थ है कि सिस्टम को कार्यों के एक जाल को प्रबंधित करना होगा, जहाँ एक चरण तब तक शुरू नहीं हो सकता जब तक पिछला चरण समाप्त न हो जाए।
उनके परीक्षण से एक प्रमुख खोज यह थी कि इन सिस्टमों का प्रदर्शन इस बात के प्रति अत्यधिक संवेदनशील है कि अनुरोधों को कैसे संभाला जाता है। शोधकर्ताओं ने देखा कि जब कई एजेंट एक साथ चलते हैं, तो सिस्टम अक्सर पिछले चरणों के संदर्भ (context) को याद रखने में संघर्ष करता है। भाषा मॉडल लघु-कालिक स्मृति के एक रूप का उपयोग करते हैं जिसे 'कैश' (cache) कहा जाता है ताकि पहले से संसाधित की गई जानकारी को दोबारा न पढ़ना पड़े। हालाँकि, जब सिस्टम भारी लोड के अधीन होता है, तो यह कभी-कभी नए अनुरोधों के लिए जगह बनाने के लिए पुरानी जानकारी को निकाल देता है, भले ही उस जानकारी की कुछ ही क्षणों में फिर से आवश्यकता हो। यह कंप्यूटर को सब कुछ शून्य से पुनर्गणना करने के लिए मजबूर करता है, जिससे समय और ऊर्जा बर्बाद होती है। अध्ययन ने दिखाया कि यह "थ्रैशिंग" (thrashing) प्रभाव सिस्टम को काफी धीमा कर सकता है, जिससे कुछ अनुप्रयोगों की गति अनुरोधों की संख्या बढ़ने पर लगभग चालीस प्रतिशत तक गिर जाती है।
टीम ने यह भी परीक्षण किया कि कई कंप्यूटर प्रोसेसरों को प्रबंधित करने की विभिन्न रणनीतियाँ कितनी प्रभावी हैं। उन्होंने पाया कि काम को सभी उपलब्ध प्रोसेसरों में समान रूप से फैलाने से हमेशा सर्वोत्तम परिणाम नहीं मिलते हैं। वास्तव में, एक ऐसी रणनीति जो एक ही एजेंट की यात्रा के सभी चरणों को एक ही प्रोसेसर पर रखती थी, बहुत अधिक कुशल थी। इस दृष्टिकोण ने सिस्टम को आवश्यक संदर्भ को मेमोरी में रखने की अनुमति दी, जिससे जानकारी को पुनर्गणना करने की आवश्यकता समाप्त हो गई। XPerf का उपयोग करके विभिन्न परिस्थितियों में ठीक उसी वर्कलोड को फिर से चलाकर, शोधकर्ता स्पष्ट रूप से देख सके कि यह लक्षित दृष्टिकोण काम को बेतरतीब ढंग से फैलाने के मानक तरीके की तुलना में प्रसंस्करण की गति में तीन गुना से अधिक सुधार करता है।
केवल गति मापने के अलावा, XPerf ने कंप्यूटर हार्डवेयर के आंतरिक कामकाज की विस्तृत झलक भी प्रदान की। शोधकर्ता देख सके कि कंप्यूटर की कितनी मेमोरी का उपयोग किया जा रहा था और प्रोसेसर चिप्स कितनी मेहनत कर रहे थे। उन्होंने पाया कि जब सिस्टम को खराब मेमोरी प्रबंधन के कारण पुनर्गणना करने के लिए मजबूर किया गया, तो कंप्यूटर के प्रोसेसर कड़ी मेहनत कर रहे थे लेकिन उपयोगी परिणाम नहीं दे रहे थे। यह उच्च प्रयास के साथ कम दक्षता का मामला था। विवरण का यह स्तर इंजीनियरों को न केवल यह समझने में मदद करता है कि सिस्टम धीमा क्यों है, बल्कि यह भी कि वह वास्तव में क्यों धीमा है, जिससे वे उस विशिष्ट सॉफ़्टवेयर भाग को ठीक कर सकें जो समस्या का कारण बन रहा है।
अध्ययन ने यह भी रेखांकित किया कि एजेंट को कैसे डिज़ाइन किया गया है, यह उस कंप्यूटर जितना ही महत्वपूर्ण है जिस पर वह चलता है। पाया गया कि कुछ अनुप्रयोग अन्य की तुलना में बहुत अधिक कुशल थे, इसलिए नहीं कि वे अधिक स्मार्ट थे, बल्कि इसलिए क्योंकि उन्हें कंप्यूटर की मेमोरी के साथ बेहतर ढंग से काम करने के लिए डिज़ाइन किया गया था। उदाहरण के लिए, एक शोध उपकरण जो प्रत्येक संदेश के साथ एक बदलता हुआ टाइमस्टैम्प जोड़ता था, उसने अनजाने में अपनी मेमोरी को पुनः उपयोग करने की क्षमता को नष्ट कर दिया, जिससे सिस्टम को हर बार शून्य से शुरू करने के लिए मजबूर होना पड़ा। इस अनावश्यक परिवर्तन को हटाकर, शोधकर्ता सिस्टम की दक्षता में उल्लेखनीय सुधार करने में सक्षम रहे। यह सुझाव देता है कि सॉफ्टवेयर लिखने के तरीके में छोटे बदलाव प्रदर्शन पर बड़ा प्रभाव डाल सकते हैं।
अंततः, XPerf आर्टिफिशियल इंटेलिजेंस एजेंटों की दुनिया के लिए एक विश्वसनीय दर्पण के रूप में कार्य करता है। यह डेवलपर्स को यादृच्छिक भिन्नता के विरूपण के बिना अपने सिस्टम को स्पष्ट रूप से देखने की अनुमति देता है। इन जटिल अनुप्रयोगों का परीक्षण, मापन और समझ प्रदान करके, यह टूल यह सुनिश्चित करने में मदद करता है कि एआई सॉफ्टवेयर की अगली पीढ़ी मजबूत, तेज़ और वास्तविक दुनिया के उपयोग की मांगों के लिए तैयार हो। शोधकर्ताओं ने इस टूल को सार्वजनिक रूप से उपलब्ध कराया है, इस उम्मीद में कि यह सभी के लिए बेहतर सिस्टम के विकास को गति देगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।