TokenPowerSandbox: Evidence-Gated CPU-First Screening for Energy-Aware LLM Serving
TokenPowerSandbox एक साक्ष्य-गेटेड (evidence-gated), CPU-प्रथम स्क्रीनिंग फ्रेमवर्क है जो व्याख्या योग्य प्रोजेक्शन (interpretable projection) को सीमित GPU प्रोबिंग के साथ जोड़ता है ताकि LLM सर्विंग के लिए उच्च ऊर्जा भविष्यवाणी सटीकता प्राप्त की जा सके, जबकि स्पष्ट रूप से लेटेंसी प्रदर्शन को प्रमाणित करने में ऊर्जा मॉडलों की सीमाओं को प्रदर्शित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब एक लार्ज लैंग्वेज मॉडल किसी प्रश्न का उत्तर देता है, तो वह एक विशेष कंप्यूटर चिप पर भारी मात्रा में गणितीय कार्य करता है। यह प्रक्रिया बिजली की खपत करती है, और ऊर्जा की खपत की मात्रा इस बात पर निर्भर करती है कि प्रश्न कितना लंबा है, एक साथ कितने लोग प्रश्न पूछ रहे हैं, और लोड को संभालने के लिए सॉफ़्टवेयर को कैसे ट्यून किया गया है। इन प्रणालियों को चलाने वाली कंपनियों के लिए, यह जानना अत्यंत महत्वपूर्ण है कि एक विशिष्ट सेटिंग की लागत कितनी होगी। वे पैसा बचाना चाहते हैं और अपने पर्यावरणीय पदचिह्न (environmental footprint) को कम करना चाहते हैं, लेकिन उन्हें अपने उपयोगकर्ताओं को यह भी वादा करना होता है कि उत्तर तेजी से दिखाई देंगे। चुनौती यह है कि वास्तविक हार्डवेयर पर हर संभव सेटिंग का परीक्षण करना धीमा और महंगा है, जबकि एक मानक कंप्यूटर का उपयोग करके परिणामों का अनुमान लगाना अक्सर खतरनाक रूप से गलत हो सकता है।
शोधकर्ताओं ने इस समस्या को हल करने के लिए 'टोकनपावरसैंडबॉक्स' (TokenPower ) नामक एक नई विधि विकसित की है। वास्तविक हार्डवेयर को एक सस्ते अनुमान से बदलने के बजाय, टीम ने एक सख्त कार्यप्रवाह बनाया जो कंप्यूटर भविष्यवाणियों को अस्थायी विचारों के रूप में मानता है जिन्हें वास्तविक दुनिया के साक्ष्य द्वारा सिद्ध किया जाना चाहिए। उन्होंने एक ऐसा सिस्टम बनाया जो पहले एक मानक कंप्यूटर का उपयोग करके स्पष्ट रूप से खराब विकल्पों को बाहर निकालता है, फिर वास्तविक चिप पर एक बहुत छोटा, त्वरित माप लेता है ताकि यह जांचा जा सके कि क्या भविष्यवाणी सही है, और अंत में केवल सबसे आशाजनक उम्मीदवारों पर ही पूर्ण, संपूर्ण परीक्षण चलाता है। यह दृष्टिकोण सुनिश्चित करता है कि निर्णय विश्वासपूर्ण अनुमानों के बजाय सत्यापित तथ्यों पर आधारित हों जो विशिष्ट स्थितियों में गलत हो सकते हैं।
शोधकर्ताओं ने इस प्रणाली का परीक्षण एक उच्च श्रेणी के ग्राफिक्स कार्ड, NVIDIA H100 पर, एक विशिष्ट भाषा मॉडल को चलाकर किया। उन्होंने एक मानक कंप्यूटर पर एक सरल मॉडल बनाना शुरू किया जो पाठ की लंबाई और उपयोगकर्ताओं की संख्या के आधार पर ऊर्जा उपयोग का अनुमान लगा सके। यह सुनिश्चित करने के लिए कि यह मॉडल निष्पक्ष हो, उन्होंने इसे छह अलग-अलग वर्कलोड के एक छोटे सेट पर प्रशिक्षित किया। इसके बाद, उन्होंने मॉडल की सेटिंग्स को लॉक कर दिया ताकि वह कुछ भी नया न सीख सके, और इसका परीक्षण वर्कलोड के एक पूरी तरह से अलग सेट पर किया जिसे उसने पहले कभी नहीं देखा था। ऊर्जा के मामले में परिणाम प्रभावशाली थे: कंप्यूटर के अनुमान वास्तविक चिप पर उपयोग की गई ऊर्जा के लगभग छह प्रतिशत के भीतर थे, और इसने लगभग हर मामले में सही ढंग से रैंक किया कि कौन सी सेटिंग्स सबसे कुशल थीं।
हालाँकि, अध्ययन ने एक महत्वपूर्ण सीमा को उजागर किया जिसे एक साधारण औसत छिपा देता। जबकि कंप्यूटर ऊर्जा का अनुमान लगाने में उत्कृष्ट था, वह यह अनुमान लगाने में विफल रहा कि हल्के लोड के दौरान उत्तर का पहला शब्द आने में कितना समय लगेगा। कम ट्रैफिक वाली इन स्थितियों में, कंप्यूटर के अनुमान बहुत गलत थे। शोधकर्ताओं ने अपनी प्रणाली में एक सुरक्षा तंत्र बनाया ताकि इस स्थिति को संभाला जा सके। सिस्टम को यह स्वीकार करने के लिए प्रोग्राम किया गया है कि वह अपनी क्षमता से बाहर है। यदि ट्रैफिक बहुत कम है, तो सिस्टम गति के बारे में भविष्यवाणी करने से इनकार कर देता है और इसके बजाय एक वास्तविक माप की मांग करता है। इस "परहेज" (abstention) नियम ने टीम को आत्मविश्वास के झूठे अहसास के आधार पर एक महंगी गलती करने से बचाया।
सर्वश्रेष्ठ सेटिंग्स खोजने के लिए, टीम ने बारह विभिन्न कॉन्फ़िगरेशन की तुलना की। केवल कंप्यूटर वाले स्क्रीन ने सही ढंग से पहचाना कि किन सेटिंग्स में सबसे कम ऊर्जा का उपयोग हुआ, लेकिन वह यह पहचानने में पूरी तरह विफल रहा कि कौन सी सेटिंग्स उपयोगकर्ताओं की आवश्यकताओं को पूरा करने के लिए पर्याप्त तेज़ थीं। वास्तव में, गति के लिए कंप्यूटर की रैंकिंग वास्तविकता के लगभग विपरीत थी। एक संक्षिप्त, त्वरित माप चरण जोड़कर, टीम इस समस्या को ठीक करने में सफल रही। इस संक्षिप्त वास्तविक हार्डवेयर चेक ने गति की रैंकिंग को सुधारा और सफलतापूर्वक उस एकल सर्वश्रेष्ठ कॉन्फ़िगरेशन की पहचान की जो ऊर्जा-कुशल और पर्याप्त तेज़ दोनों था। इस त्वरित जांच के बिना, वे एक ऐसी सेटिंग चुन लेते जो कागज पर अच्छी दिखती लेकिन वास्तविक उपयोगकर्ताओं के लिए बहुत धीमी होती।
अंतिम चरण यह सिद्ध करना था कि चुना गया सेटिंग वास्तव में काम करता है। शोधकर्ताओं ने अपनी पसंद को लॉक कर दिया और उसी हार्डवेयर पर एक पूर्व-चयनित विशेषज्ञ बेसलाइन के विरुद्ध इसे चलाया। नया सेटिंग जनरेट किए गए प्रति हजार शब्दों पर लगभग 1.4 प्रतिशत कम ऊर्जा का उपयोग करता है और पहले शब्द के आगमन के समय को 21 प्रतिशत से अधिक कम कर देता है। ये संख्याएँ छोटी लग सकती हैं, लेकिन विशाल डेटा केंद्रों की दुनिया में, वे महत्वपूर्ण बचत का प्रतिनिधित्व करती हैं। अध्ययन ने यह दावा नहीं किया कि यह सभी कंप्यूटरों या सभी मॉडलों के लिए समस्या को हल करता है, न ही इसने कई चिप्स के जटिल नेटवर्क के लिए काम करने का दावा किया। इसके बजाय, इसने सुरक्षित रूप से निर्णय लेने के लिए एक विश्वसनीय आधार स्थापित किया।
इस कार्य का मुख्य सबक यह है कि सस्ते अनुमान तभी उपयोगी होते हैं जब उन्हें अपनी सीमाओं की स्पष्ट समझ के साथ जोड़ा जाए। एक कंप्यूटर किसी कार्य की ऊर्जा लागत का उच्च सटीकता के साथ अनुकरण कर सकता है, लेकिन यह अभी तक उन जटिल देरी का अनुकरण नहीं कर सकता जो एक व्यस्त सिस्टम में होती हैं। शोधकर्ताओं ने दिखाया कि एक सरल मॉडल को कुछ लक्षित, वास्तविक दुनिया के चेक के साथ जोड़कर, और यह जानकर कि सिस्टम को कब अनुमान लगाना बंद करना है, आप समय और पैसा बर्बाद किए बिना सर्वोत्तम सेटिंग्स पा सकते हैं। यह विधि ऊर्जा बचाने और सेवाओं को तेज़ रखने के बीच संतुलन बनाने का एक भरोसेमंद तरीका प्रदान करती है, जिससे यह सुनिश्चित होता है कि अंतिम निर्णय उम्मीद के बजाय साक्ष्य पर आधारित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।