Provenance-Aware Evaluation of Cloud and Local Large Language Models for Cybersecurity Workloads
यह शोध पत्र एक साइबर सुरक्षा अनुमान परियोजना का ऑडिट करता है ताकि यह प्रदर्शित किया जा सके कि इसके प्रकाशित क्लाउड-बनाम-लोकल ऊर्जा तुलनाएँ उत्पत्ति संबंधी दोषों के कारण अमान्य हैं, जिनमें मापों के रूप में छद्म रूप धारण की गई लेखा पहचान और आयामी विसंगतियाँ शामिल हैं, जिससे भविष्य के मूल्यांकनों के लिए एक कठोर, उत्पत्ति-जागरूक प्रोटोकॉल स्थापित होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल दुनिया में, लार्ज लैंग्वेज मॉडल्स सुरक्षा टीमों के लिए शक्तिशाली उपकरण बन गए हैं, जो उन्हें फिशिंग ईमेल को छाँटने, सॉफ्टवेयर कमजोरियों को समझाने और साइबर हमलों का जवाब देने में मदद करते हैं। ये आर्टिफिशियल इंटेलिजेंस सिस्टम वाक्य में अगले शब्द की भविष्यवाणी करके काम करते हैं, लेकिन ऐसा करने के लिए वे बिजली की भी खपत करते हैं। जैसे-जैसे संगठन यह तय कर रहे हैं कि इन मॉडल्स को अपने स्वयं के सर्वर पर चलाना है या विशाल क्लाउड प्रदाताओं से किराए पर लेना है, एक महत्वपूर्ण प्रश्न उठता है: पर्यावरण के लिए कौन सा विकल्प बेहतर है? इसका उत्तर देने के लिए, शोधकर्ताओं को प्रत्येक अनुरोध (रिक्वेस्ट) द्वारा उपयोग की गई ऊर्जा को मापना होगा। हालाँकि, ऊर्जा को मापना मीटर पढ़ने जितना सरल नहीं है। इसके लिए यह जानना आवश्यक है कि वास्तव में किस हार्डवेयर का उपयोग किया गया था, वह कितनी देर चला, और विशिष्ट कार्य क्या किए गए थे। बिना इस स्पष्ट रिकॉर्ड के कि कोई संख्या कहाँ से आई और उसकी गणना कैसे की गई, दो अलग-अलग प्रणालियों के बीच तुलना करना एक कार के स्पीडोमीटर की रीडिंग की तुलना साइकिल कितनी तेज चल सकती है इसके अनुमान से करने जैसा है।
ऑकलैंड यूनिवर्सिटी ऑफ टेक्नोलॉजी की एक शोध टीम ने एक विशिष्ट साइबर सुरक्षा परियोजना पर बारीकी से नज़र डालकर इस समस्या की जांच करने का निर्णय लिया जो पहले ही पूरी हो चुकी थी। उन्होंने नए प्रयोग नहीं किए और न ही नए उपकरणों के साथ बिजली को मापा। इसके बजाय, उन्होंने ऑडिटर्स (लेखा परीक्षकों) के रूप में कार्य किया, मौजूदा फाइलों, लॉग्स और रिपोर्टों की जांच की ताकि यह देखा जा सके कि मूल अध्ययन में किए गए ऊर्जा संबंधी दावों पर वास्तव में भरोसा किया जा सकता है या नहीं। उनका लक्ष्य हर संख्या को उसके स्रोत तक ट्रैक करना था, यह जाँच करना कि क्या डेटा वास्तविकता का प्रत्यक्ष अवलोकन था या धारणाओं पर आधारित एक गणना। उन्होंने पाया कि अध्ययन दो बहुत ही अलग चीजों की तुलना करने की कोशिश कर रहा था: एक क्लाउड सेवा जिसके आंतरिक कामकाज छिपे हुए हैं, और एक स्थानीय कंप्यूटर जहाँ शोधकर्ता प्रक्रियाओं को देख सकते थे लेकिन उन्होंने डेटा रिकॉर्ड करने के तरीके में एक मौलिक गलती की थी।
शोधकर्ताओं ने पाया कि क्लाउड वाले हिस्से के लिए ऊर्जा के आंकड़े बिजली का माप नहीं थे। क्लाउड स्प्रेडशीट में मौजूद 360 रिकॉर्डों में, प्रत्येक ऊर्जा मान मॉडल द्वारा उत्पन्न शब्दों की कुल संख्या को एक निश्चित संख्या से गुणा करके निकाला गया था। इसका अर्थ यह था कि ऊर्जा का आंकड़ा एक गणितीय पहचान (identity) थी, जो टेक्स्ट पर लागू किया गया एक नियम था, न कि किसी इलेक्ट्रिकल मीटर से ली गई रीडिंग। क्लाउड प्रदाता ने कोई भी डेटा साझा नहीं किया कि उनके सर्वरों ने इन अनुरोधों के लिए वास्तव में कितनी शक्ति का उपयोग किया था। फलस्वरूप, शब्दों की संख्या और ऊर्जा लागत के बीच का मजबूत संबंध गणना पद्धति का एक परिणाम (artifact) था, न कि क्लाउड द्वारा खपत की गई बिजली का भौतिक अवलोकन।
स्थानीय प्रयोगों के लिए स्थिति अलग थी लेकिन उतनी ही समस्याग्रस्त थी, जहाँ मॉडल शोधकर्ताओं के अपने कंप्यूटरों पर चल रहा था। यहाँ, टीम ने कार्बन उत्सर्जन का अनुमान लगाने के लिए डिज़ाइन किए गए एक सॉफ्टवेयर टूल का उपयोग किया। इस टूल ने सही ढंग से गणना की कि कितने किलोग्राम कार्बन डाइऑक्साइड समकक्ष (CO2 equivalent) उत्पादित हुआ। हालाँकि, शोधकर्ताओं ने इस कार्बन संख्या को इस तरह व्यवहार किया जैसे कि यह किलोवाट-घंटे में विद्युत ऊर्जा का माप हो। उन्होंने कार्बन वजन को एक हजार से गुणा किया और उसे ऊर्जा कहा, और फिर उस गलत संख्या का उपयोग बिजली की लागत की गणना करने के लिए किया। यह इकाइयों का भ्रम था, जो सेब की थैली को तौलने और फिर यह दावा करने के समान है कि वजन से आपको स्विमिंग पूल में पानी की मात्रा पता चल जाएगी। इस त्रुटि के कारण, स्थानीय ऊर्जा संख्याओं की तुलना क्लाउड संख्याओं से नहीं की जा सकती थी, और न ही उन्हें बिजली की खपत के वास्तविक माप के रूप में विश्वसनीय माना जा सकता था।
ऑडिट से यह भी पता चला कि अध्ययन के दोनों पक्ष एक ही चीज़ का परीक्षण नहीं कर रहे थे। क्लाउड अनुरोधों में एक अलग प्रकार का मॉडल शामिल था और उनमें उत्तर बहुत लंबे होने की अनुमति थी, जबकि स्थानीय अनुरोधों को छोटी लंबाई पर काट दिया गया था। स्थानीय अध्ययन में सॉफ्टवेयर के सटीक संस्करणों और हार्डवेयर सेटिंग्स का स्पष्ट रिकॉर्ड भी नहीं था, जिससे यह जानना असंभव हो गया कि क्या परिणाम दोहराने पर भी वही रहेंगे। इसके अलावा, अध्ययन में यह सत्यापित करने का कोई तरीका शामिल नहीं था कि सुरक्षा कार्य वास्तव में सही ढंग से हल किए गए थे या नहीं, केवल यह कि वे पूरे हुए थे। यह जाने बिना कि उत्तर अच्छे थे या नहीं, यह कहना असंभव है कि उपयोग की गई ऊर्जा कुशल थी या बर्बाद हुई।
जब शोधकर्ताओं ने डेटा के इतिहास को ट्रैक करने के लिए एक सख्त ढांचे, जिसे 'प्रोवेनेंस' (provenance) कहा जाता है, को लागू किया, तो उन्होंने पाया कि संग्रह (archive) इस रैंकिंग का समर्थन नहीं कर सकता कि कौन सा परिनियोजन (deployment) अधिक ऊर्जा-कुशल था। क्लाउड संख्याएं टेक्स्ट की लंबाई पर आधारित अनुमान थीं, और स्थानीय संख्याएं एक यूनिट कन्वर्जन त्रुटि पर आधारित थीं। अध्ययन यह निर्धारित नहीं कर सका कि क्लाउड बेहतर था, स्थानीय सेटअप बेहतर था, या क्या वे वास्तव में तुलनीय भी थे। शोधकर्ताओं ने निष्कर्ष निकाला कि भविष्य के अध्ययनों को अलग तरह से डिज़ाइन किया जाना चाहिए। उन्हें दोनों प्रणालियों के लिए एक ही कार्यों का उपयोग करना होगा, उचित मीटरों या सत्यापित डेटा के साथ बिजली को मापना होगा, और साक्ष्य की एक स्पष्ट, अटूट श्रृंखला रखनी होगी जो यह दिखाए कि प्रत्येक संख्या कैसे प्राप्त की गई थी। जब तक ऐसा अध्ययन नहीं किया जाता, तब तक एक दृष्टिकोण के दूसरे के मुकाबले पर्यावरणीय लाभों के दावे अप्रामाणिक रहेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।