RMF: A Risk Measurement Framework for Machine Learning Models

तकनीकी सारांश: RMF: मशीन लर्निंग मॉडल के लिए एक जोखिम मापन ढांचा (Risk Measurement Framework)

समस्या विवरण
मशीन लर्निंग (ML) मॉडल, विशेष रूप से डीप लर्निंग सिस्टम, स्वायत्त ड्राइविंग (autonomous driving) और चिकित्सा निदान जैसे सुरक्षा- और सुरक्षा-महत्वपूर्ण अनुप्रयोगों में तेजी से तैनात किए जा रहे हैं। यह प्रसार प्रतिकूल मशीन लर्निंग (adversarial machine learning) से जुड़े महत्वपूर्ण जोखिमों को जन्म देता है, जहाँ न्यूरल नेटवर्क (NNs) को दुर्भावनापूर्ण रूप से प्रभावित किया जा सकता है। विशेष रूप से, यह शोध पत्र पॉइजनिंग हमलों (बैकडोर हमलों का एक उपसमुच्चय) से जुड़े जोखिम को मापने की चुनौती को संबोधित करता है जो इन्फरेंस (inference) के दौरान इमेज लेबल्स को गलत वर्गीकृत करने के लिए न्यूरल नेटवर्क को प्रेरित करते हैं। जबकि इन खतरों का अस्तित्व अच्छी तरह से प्रलेखित है, हमले से होने वाले क्षति के विस्तार और इसे निष्पादित करने के लिए हमलावर द्वारा आवश्यक प्रयास को मापने के लिए मानकीकृत तरीकों की कमी है। लेखकों का तर्क है कि ऐसे मापन के बिना, ML सिस्टम के सुरक्षा प्रदर्शन का वस्तुनिष्ठ रूप से आकलन करना या सार्थक जोखिम मान प्राप्त करना कठिन है।

कार्यप्रणाली (Methodology)
यह शोध पत्र सूचना सुरक्षा जोखिम मापन के लिए ISO/IEC 27004:2016 मानक पर आधारित एक जोखिम मापन ढांचा (RMF) प्रस्तावित करता है। कार्यप्रणाली एक संरचित प्रक्रिया का पालन करती है:

1. विशेषता परिभाषा (Attribute Definition): ढांचा जोखिम को मापने के लिए विशिष्ट विशेषताओं को परिभाषित करता है, जिन्हें दो मुख्य समूहों में वर्गीकृत किया गया है:

   • हमलावर का प्रयास (Attacker's Effort): इसमें हमलावर का ज्ञान (व्हाइट-बॉक्स बनाम ब्लैक-बॉक्स), हमलावर का लक्ष्य (लक्ष्य प्राप्त करने के चरण), हमला विशिष्टता (विशिष्ट या यादृच्छिक लेबल को लक्षित करने के चरण), हमला समय (प्रशिक्षण और इन्फरेंस अवधि), और कंप्यूटेशनल संसाधन (CPU/GPU उपयोग) शामिल हैं।
   • क्षति का विस्तार (Extent of Damage): इसे मानक ML मेट्रिक्स जैसे कि सटीकता (Accuracy), F1-स्कोर, औसत परिशुद्धता (Average Precision), और औसत रिकॉल (Average Recall) का उपयोग करके मापा जाता है।

2. मापन प्रक्रिया (Measurement Process):

   • डेटा संग्रह: ढांचा एक लक्षित NN पर बैकडोर हमलों को निष्पादित करने के लिए एडवर्सरियल रोबस्टनेस टूलबॉक्स (ART) का उपयोग करता है।
   • आधार माप (Base Measures): सिस्टम हमले के दौरान प्रशिक्षण समय, हार्डवेयर संसाधन खपत और हमलावर द्वारा लिए गए प्रक्रियात्मक चरणों की संख्या जैसे कच्चे डेटा को रिकॉर्ड करता है।
   • व्युत्पन्न माप (Derived Measures): मापन फंक्शन इन आधार मापों को एकत्रित करते हैं।
     • क्षति की गणना: क्षति को मापने के लिए, ढांचा ML मेट्रिक्स को उलट देता है (उदाहरण के लिए, यदि सटीकता घटकर 0.06 हो जाती है, तो इसे 0.94 में बदल दिया जाता है)। यह उलटाव (inversion) यह सुनिश्चित करता है कि एक कम मूल मेट्रिक (उच्च क्षति) के परिणामस्वरूप उच्च क्षति स्कोर प्राप्त हो। इन उलटे गए मूल्यों को एक समग्र "क्षति के विस्तार" को बनाने के लिए एकीकृत किया जाता है।
     • प्रयास की गणना: प्रयास की गणना के लिए, ढांचा हमला समय, कंप्यूटेशनल संसाधनों और कुल चरणों (ज्ञान, लक्ष्य और विशिष्टता से प्राप्त) को एक समग्र "हमलावर के प्रयास" को बनाने के लिए एकत्रित करता है।

3. जोखिम व्याख्या (Risk Interpretation): ढांचा क्षति और प्रयास को एक एकल स्केलर जोखिम मान में संयोजित नहीं करता है। इसके बजाय, यह उन्हें चार अलग-अलग मूल्यों (क्षति, समय, संसाधन, चरण) के रूप में मानता है जिन्हें व्यक्तिगत रूप से व्याख्यायित किया जाना चाहिए। लेखक नोट करते हैं कि इकाइयों की परिवर्तनशीलता (सेकंड, MB, प्राकृतिक संख्याएं) और विभिन्न हमलों के प्रकारों के लिए तुलनीय आधारभूत डेटा की कमी के कारण प्रयास का मानकीकरण वर्तमान में असंभव है।

केस स्टडी और परिणाम
ढांचे का मूल्यांकन 133,000 जर्मन सड़क संकेतों (70 लेबल) के डेटासेट पर प्रशिक्षित एक कनवल्शनल न्यूरल नेटवर्क (CNN) से संबंधित एक केस स्टडी के माध्यम से किया गया था।

• सेटअप: एक क्लीन-लेबल बैकडोर हमला एक लक्षित लेबल (लेबल 10) को विशिष्ट लेबल में गलत वर्गीकृत करने के लिए 50% प्रशिक्षण डेटा को पॉइजन करके निष्पादित किया गया था।
• हार्डवेयर: प्रयोग एक AMD Ryzen 7 5800X CPU और एक NVIDIA GeForce RTX 3060 Ti GPU पर चलाया गया था।
• निष्कर्ष:
  • क्षति: हमले के कारण प्रदर्शन में भारी गिरावट आई। मूल सटीकता 0.94 से घटकर 0.06 रह गई। गणना किया गया समग्र "क्षति का विस्तार" 4.62 था।
  • प्रयास: हमले के लिए 21 कुल चरणों (ज्ञान, लक्ष्य और विशिष्टता को मिलाकर) की आवश्यकता थी, इसे निष्पादित करने में 1037.23 सेकंड लगे, और इसने 9% CPU और 8137.81 MB GPU मेमोरी का उपयोग किया।
  • जोखिम वर्गीकरण: यूरोपीय दूरसंचार मानकों संस्थान (ETSI) के जोखिम वर्गीकरण के आधार पर, परिणामों को क्रिटिकल रिस्क (गंभीर जोखिम) के रूप में वर्गीकृत किया गया था। काउंटरमेजर की कमी ने अपेक्षाकृत कम हमलावर प्रयास के साथ अधिकतम क्षति की अनुमति दी।

मुख्य योगदान
यह शोध पत्र तीन प्राथमिक योगदान देता है:

1. विशेषता प्रस्ताव: यह मात्रात्मक और गुणात्मक विशेषताओं (कंप्यूटेशनल संसाधनों और विशिष्ट हमले के चरणों सहित) का एक सेट प्रस्तावित करता है जिसे ML सुरक्षा के मापन विधियों के दौरान स्थापित किया जाना है।
2. मापन फंक्शन: यह क्षति के विस्तार और हमलावर के प्रयास को दर्शाने वाले मानों की गणना करने के लिए विशिष्ट फंक्शन विकसित करता है, जो ISO/IEC 2704:2016 दिशानिर्देशों का पालन करता है।
3. मूल्यांकन और व्याख्या: यह एक केस स्टडी के माध्यम से इन गणना किए गए मूल्यों का मूल्यांकन करता है, जो यह दर्शाता है कि हमले के अंतिम जोखिम की व्याख्या कैसे की जाए, बिना किसी विशिष्ट काउंटरमेजर का प्रस्ताव दिए।

महत्व और दावे
लेखक इस कार्य को न्यूरल नेटवर्क के विकास चरण के दौरान, उनके परिनियोजन (deployment) से पहले, जोखिमों को मापने में सक्षम बनाकर सुरक्षा प्रदर्शन में सुधार करने के एक उपकरण के रूप में रखते हैं। शोध पत्र स्पष्ट रूप से कहता है कि यह कोई काउंटरमेजर प्रस्तावित नहीं करता है; इसका एकमात्र ध्यान जोखिम के मापन और मूल्यांकन पर है।

RMF का महत्व इसकी क्षमता में निहित है:

• एक मानकीकृत तरीके से संभावित क्षति को मात्रात्मक बनाना।
• एक हमलावर द्वारा निवेश किए जाने वाले संसाधनों और चरणों को वस्तुनिष्ठ रूप से मापना।
• यह उजागर करना कि काउंटरमेजर के बिना, बैकडोर हमले कम हमलावर प्रयास के साथ गंभीर जोखिम (जैसे स्वायत्त वाहनों में स्टॉप साइन को स्पीड लिमिट साइन के रूप में गलत वर्गीकृत करना) का परिणाम दे सकते हैं।

लेखक विनम्रतापूर्वक निष्कर्ष निकालते हैं कि हालांकि ढांचा एक नियंत्रित वातावरण में जोखिम को सफलतापूर्वक मापता है, लेकिन विभिन्न हमलों के बीच जोखिमों की तुलना करने या एक व्यापक जोखिम मैट्रिक्स बनाने की क्षमता वर्तमान में तुलनीय डेटा की कमी के कारण सीमित है। भविष्य के कार्यों के लिए अधिक हमलों को मापना आवश्यक है ताकि एक ऐसा डेटासेट बनाया जा सके जो अधिक विशिष्ट काउंटरमेजर विकास और बेहतर जोखिम मानकीकरण की अनुमति दे सके।