Effective Segregation of Duties in Agentic Enterprise Authorization: Evaluating Shared-Dependence Risk in Maker–Checker Controls
यह शोध पत्र AI-संचालित प्राधिकरण में नाममात्र की पहचान पृथक्करण और वास्तविक स्वतंत्र आश्वासन के बीच अंतर करने के लिए प्रभावी कर्तव्यों के पृथक्करण (Effective Segregation of Duties - SoD) की अवधारणा प्रस्तुत करता है, जो एक बड़े पैमाने के P2P बेंचमार्क के माध्यम से यह प्रदर्शित करता है कि प्रभावी जोखिम न्यूनीकरण केवल प्रधान विशिष्टता के बजाय साक्ष्य मध्यस्थता और विषम चेकर मॉडलों पर निर्भर करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़े संगठनों की दुनिया में, बैंकों से लेकर सरकारी एजेंसियों तक, चीजों को सुरक्षित रखने के लिए एक मौलिक नियम है: किसी एक व्यक्ति के पास अकेले ही किसी लेनदेन को शुरू करने और उसे पूरा करने की शक्ति नहीं होनी चाहिए। 'कर्तव्यों के पृथक्करण' (separation of duties) के रूप में ज्ञात यह सिद्धांत यह सुनिश्चित करता है कि यदि कोई व्यक्ति कोई गलती करता है या अनुचित कार्य करने का प्रयास करता है, तो कुछ भी हानिकारक होने से पहले दूसरा व्यक्ति उसे पकड़ लेगा। दशकों तक, इस प्रणाली ने एक-दूसरे के काम की जांच करने के लिए दो अलग-अलग मनुष्यों पर भरोसा किया। आज, हालांकि, इनमें से कई कार्यों को आर्टिफिशियल इंटेलिजेंस (AI) एजेंटों को सौंपा जा रहा है। ये ऐसे सॉफ्टवेयर प्रोग्राम हैं जो दस्तावेज़ पढ़ सकते हैं, निर्णय ले सकते हैं, और यहाँ तक कि वित्तीय हस्तांतरण भी कर सकते हैं। सुरक्षा विशेषज्ञों के सामने सवाल अब केवल दो अलग-अलग AI प्रोग्राम होने के बारे में नहीं है, बल्कि इस बारे में है कि क्या वे दो प्रोग्राम वास्तव में स्वतंत्र हैं। यदि दोनों एजेंट एक ही अंतर्निहित तकनीक, एक ही सूचना स्रोतों, या सोचने के एक ही तरीके पर निर्भर हैं, तो वे एक ही समय में बिल्कुल एक ही गलती कर सकते हैं, जिससे सुरक्षा जांच बेकार हो जाती है।
एक हालिया अध्ययन ने इसी सटीक परिदृश्य का परीक्षण करने के लिए एक प्रयोग किया। शोधकर्ताओं ने वास्तविक दुनिया के खरीद नियमों (procurement rules) पर आधारित एक सिम्युलेटेड वातावरण बनाया, जहाँ एक AI एजेंट जो "मेकर" (बनाने वाला) के रूप में कार्य करता था, एक खरीदारी का प्रस्ताव देता था, और दूसरा AI एजेंट जो "चेकर" (जांचकर्ता) के रूप में कार्य करता था, तय करता था कि उसे मंजूरी देनी है या नहीं। लक्ष्य यह देखना था कि चेकर कितनी बार एक खराब प्रस्ताव को रोकने में विफल रहता है। टीम ने इन दो एजेंटों को सेट अप करने के विभिन्न तरीकों का परीक्षण किया। कुछ मामलों में, दोनों एजेंटों ने एक ही प्रकार के AI मॉडल का उपयोग किया। अन्य मामलों में, उन्होंने अलग-अलग मॉडल का उपयोग किया। उन्होंने यह भी परीक्षण किया कि क्या चेकर को मेकर के तर्क (reasoning) को देखने की अनुमति थी या उसे सीधे कच्चे तथ्यों को देखना था, और क्या चेकर को मेकर द्वारा चुनी गई जानकारी पर निर्भर रहना था या वह मूल, अनफ़िल्टर्ड डेटा तक पहुँच सकता था।
परिणाम स्पष्ट थे। जब सिस्टम को उच्चतम स्तर की साझा निर्भरता के साथ सेट किया गया था—जहाँ दोनों एजेंटों ने एक ही AI मॉडल का उपयोग किया, चेकर देख सकता था कि मेकर का तर्क क्या था, और चेकर केवल मेकर द्वारा चुनी गई जानकारी ही देख पाता था—तो सुरक्षा प्रणाली साठ प्रतिशत से अधिक समय विफल रही। इन स्थितियों में, दूसरे एजेंट ने पहले एजेंट की गलतियों से सहमति जता दी, जिससे असुरक्षित लेनदेन आगे बढ़ गए। हालाँकि, जब शोधकर्ताओं ने इन साझा निर्भरताओं को कम करने के लिए सेटअप बदला, तो परिणाम नाटकीय रूप से सुधर गए। चेकर के लिए एक अलग AI मॉडल का उपयोग करके, मेकर के तर्क को छिपाकर, और चेकर को मूल स्रोत डेटा तक सीधी पहुँच देकर, विफलता दर घटकर केवल तेरह प्रतिशत से थोड़ा ऊपर रह गई। इसका अर्थ यह है कि केवल दो अलग-अलग AI एजेंट होना पर्याप्त नहीं है; वे कैसे जुड़े हुए हैं और वे क्या जानकारी देखते हैं, यह उनकी पहचान से कहीं अधिक महत्वपूर्ण है।
अध्ययन ने यह भी देखा कि सुरक्षा जांच कितनी बार अच्छे काम में बाधा डालती है। एक सुरक्षा जांच जो हर प्रस्ताव को खारिज कर देती है, यहाँ तक कि सुरक्षित प्रस्तावों को भी, बेकार है क्योंकि यह व्यवसाय को रुकने से रोकती है। शोधकर्ताओं ने पाया कि बेहतर सेटअप ने इस समस्या को पैदा नहीं किया। जिन प्रणालियों ने अधिक खराब प्रस्तावों को पकड़ा, उन्होंने उल्लेखनीय रूप से अधिक अच्छे प्रस्तावों को खारिज नहीं किया। यह सुझाव देता है कि ऐसे AI सुरक्षा चेक बनाए जा सकते हैं जो सख्त और कुशल दोनों हों, बशर्ते उन्हें उन विशिष्ट जालों से बचने के लिए डिज़ाइन किया जाए जो उन्हें एक साथ विफल करते हैं।
सबसे महत्वपूर्ण निष्कर्षों में से एक यह था कि सूचना दो एजेंटों के बीच कैसे प्रवाहित होती है। सबसे बड़ा सुधार तब आया जब चेकर को मेकर द्वारा प्रदान किए गए सारांश के बजाय मूल साक्ष्य तक सीधी पहुँच दी गई। जब मेकर डेटा के लिए एक बिचौलिए के रूप में कार्य करता था, तो विफलता दर बहुत अधिक थी। यह इंगित करता है कि पहला एजेंट अनजाने में, या जानबूझकर, उन विवरणों को फ़िल्टर कर सकता है जो गलती को पहचानने के लिए आवश्यक होते हैं। बिचौलिए को हटाकर और दूसरे एजेंट को कच्चे तथ्यों को देखने देकर, सिस्टम बहुत अधिक विश्वसनीय हो गया। इसी तरह, दूसरे एजेंट से पहले एजेंट के लिखित स्पष्टीकरण को छिपाने से त्रुटियों को कम करने में मदद मिली, जिससे पता चला कि दूसरा एजेंट तथ्यों पर टिके रहने के बजाय पहले एजेंट के आत्मविश्वास या तर्क से प्रभावित हो रहा था।
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या दो अलग-अलग प्रकार के AI मॉडल को एक साथ जोड़ने पर क्या होता है। उन्होंने पाया कि चेकर के लिए एक अलग मॉडल का उपयोग करने से इस संभावना में काफी कमी आई कि दोनों एक ही खराब प्रस्ताव पर विफल होंगे। हालाँकि, वे इस बात पर सावधानीपूर्वक ध्यान देते हैं कि यह परिणाम उनके द्वारा उपयोग किए गए मॉडलों के जोड़े के लिए विशिष्ट था। यह गारंटी नहीं देता है कि कोई भी दो अलग-अलग AI मॉडल हमेशा अच्छी तरह से काम करेंगे, लेकिन यह साबित करता है कि मॉडलों को मिलाना साझा त्रुटियों की श्रृंखला को तोड़ने के लिए एक शक्तिशाली रणनीति है। अध्ययन ने एक व्यावहारिक चुनौती को भी रेखांकित किया: मॉडल के संयोजनों में से एक तकनीकी गड़बड़ियों के प्रति अधिक संवेदनशील था जिससे उसके उत्तर अपठनीय हो जाते थे। इसने शोधकर्ताओं को याद दिलाया कि सुरक्षा केवल बुद्धिमत्ता के बारे में नहीं है, बल्कि विश्वसनीयता के बारे में भी है। यदि सुरक्षा जांच एक स्पष्ट उत्तर नहीं दे सकती है, तो वह अपना काम नहीं कर सकती।
अंततः, यह कार्य इस बारे में हमारी सोच को बदल देता है कि स्वचालित प्रणालियों में सुरक्षा कैसे होनी चाहिए। यह दिखाता है कि "दो अलग-अलग लोग" का पुराना नियम स्वचालित रूप से "दो अलग-अलग AI एजेंटों" में परिवर्तित नहीं होता है। यदि दो एजेंट अपने सोचने के तरीके, अपनी जानकारी या अपने निर्माण में बहुत समान हैं, तो वे संभवतः एक साथ विफल हो जाएंगे। वास्तविक सुरक्षा के लिए एक ऐसा विचारशील डिज़ाइन आवश्यक है जो दूसरे एजेंट को समस्या को एक अलग दृष्टिकोण से देखने के लिए मजबूर करे, जिसमें अलग-अलग उपकरणों और अलग-अलग जानकारी का उपयोग हो। अध्ययन निष्कर्ष निकालता है कि संगठन केवल इसलिए यह मानकर नहीं चल सकते कि उनके AI सुरक्षा चेक काम कर रहे हैं क्योंकि उनके पास दो एजेंट हैं। उन्हें उन चेक्स के वास्तविक प्रदर्शन को मापना होगा, यह सुनिश्चित करते हुए कि दूसरा एजेंट वास्तव में स्वतंत्र है और पहले एजेंट की गलतियों को पकड़ने में सक्षम है। केवल सुरक्षा को एक संरचनात्मक लेबल के बजाय एक मापने योग्य परिणाम के रूप में मानकर ही हम अपने सबसे संवेदनशील निर्णयों के लिए इन शक्तिशाली नए उपकरणों पर भरोसा कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।