Cross-Vendor Sola ISPM Benchmark: Evaluating Agentic AI for Federated Identity Security Reasoning
यह शोध पत्र क्रॉस-वेंडर सोला ISPM बेंचमार्क प्रस्तुत करता है जो खंडित मल्टी-क्लाउड पहचान प्रणालियों में एजेंटिक एआई (Agentic AI) की तर्क करने की क्षमता का मूल्यांकन करता है, यह प्रदर्शित करते हुए कि स्पष्ट संबंधपरक संदर्भ प्रदान करने से क्रॉस-वेंडर सुरक्षा विश्लेषण में उत्तर की सटीकता में महत्वपूर्ण सुधार होता है और विफलता दर में कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक विशाल, आधुनिक कार्यालय भवन की कल्पना करें जहाँ प्रत्येक विभाग एक अलग भाषा और एक अलग फाइलिंग सिस्टम का उपयोग करता है। एचआर (HR) विभाग कर्मचारियों के रिकॉर्ड एक किताब में रखता है, आईटी सुरक्षा टीम एक डिजिटल लेजर का उपयोग करती है, क्लाउड स्टोरेज टीम एक अलग मानचित्र का उपयोग करती है, और मार्केटिंग टीम एक पूरी तरह से अलग ऐप का उपयोग करती है।
अतीत में, यदि आप जानना चाहते थे कि "तिजोरी तक किसकी पहुँच है?" तो आप बस एक व्यक्ति से पूछ सकते थे। लेकिन आज, "तिजोरी" डिजिटल है, और चाबियाँ सभी अलग-अलग प्रणालियों में बिखरी हुई हैं। उत्तर खोजने के लिए, आपको एचआर की किताब, आईटी लेजर और क्लाउड मैप के बीच के कड़ियों को जोड़ना होगा।
यह शोध पत्र यह पेश करता है कि क्या एक एआई (AI) जासूस इन पहेलियों को सुलझाने के लिए पर्याप्त स्मार्ट है या नहीं।
समस्या: "अनुवाद में खो जाने" का अंतर (The "Lost in Translation" Gap)
लेखक इसे "कोरिलेशन गैप" (Correlation Gap) कहते हैं।
कल्पना कीजिए कि आप एक संदिग्ध को खोजने की कोशिश कर रहे एक जासूस हैं। आपके पास संदिग्ध के चेहरे की फोटो है (एचआर सिस्टम में उनका नाम) और उनकी कार का विवरण है (क्लाउड सिस्टम में उनकी आईडी)। लेकिन पुलिस डेटाबेस यह नहीं जानता कि एचआर बुक में "जॉन डो" वही व्यक्ति है जो कार रजिस्ट्री में "जे. डो" है।
वर्तमान एआई मॉडल उन जासूसों की तरह हैं जो एक अकेली किताब पढ़ने में बहुत अच्छे हैं लेकिन अलग-अलग भाषाओं में सुरागों को जोड़ने में बहुत खराब हैं। वे उत्तर का अनुमान तो लगा सकते हैं, लेकिन वे अक्सर भटक जाते हैं क्योंकि वे यह नहीं समझ पाते कि सिस्टम एक-दूसरे से कैसे बात करते हैं।
समाधान: "सोला बेंचमार्क" (The "Sola Benchmark")
शोधकर्ताओं ने इस विशिष्ट समस्या पर एआई एजेंटों का परीक्षण करने के लिए एक प्रशिक्षण मैदान (बेंचमार्क) बनाया।
- सेटअप: उन्होंने 8 विभिन्न वास्तविक दुनिया के प्लेटफार्मों (जैसे AWS, Google, Microsoft और HR सॉफ्टवेयर) का उपयोग करके एक वास्तविक, अव्यवस्थित वातावरण बनाया।
- परीक्षण: उन्होंने एआई को 50 जटिल प्रश्न दिए, जैसे: "उन सभी कर्मचारियों को खोजें जिन्हें पिछले महीने निकाला गया था लेकिन अभी भी हमारे क्लाउड सर्वर तक पहुँच प्राप्त है।"
- चुनौती: इस उत्तर को देने के लिए, एआई को यह करना होगा:
- निकाले गए लोगों को खोजने के लिए एचआर सूची को देखना होगा।
- उस सूची को आइडेंटिटी प्रोवाइडर (जैसे Okta) की भाषा में अनुवादित करना होगा।
- यह देखने के लिए क्लाउड प्रोवाइडर (जैसे AWS) के साथ क्रॉस-रेफरेंस करना होगा कि किसके पास अभी भी चाबियाँ हैं।
- भ्रमित हुए बिना इन सभी कड़ियों को जोड़ना होगा।
प्रयोग: जासूस को एक नक्शा देना
शोधकर्ताओं ने यह देखने के लिए कि किस चीज़ ने उनकी सबसे अधिक मदद की, एआई का परीक्षण पांच अलग-अलग स्थितियों में किया:
- कोई संदर्भ नहीं (No Context): जासूस को आँखों पर पट्टी बांधकर इमारत में छोड़ दिया गया है, बिना किसी मानचित्र या सूची के। उन्हें अंदाज़ा लगाना है और हर दरवाज़े पर दस्तक देनी है।
- केवल स्कीमा (Schema Only): जासूस को कमरों की सूची और उनके अंदर क्या है, यह मिलता है, लेकिन कोई नक्शा नहीं कि कमरे एक-दूसरे से कैसे जुड़ते हैं।
- स्कीमा + ग्राफ (Schema + Graph): जासूस को कमरों की सूची साथ ही एक नक्शा मिलता है जो दिखाता है कि कौन से दरवाजे वास्तव में कहाँ जुड़ते हैं। (जैसे, "एचआर बिल्डिंग का दरवाजा A सीधे क्लाउड बिल्डिंग के दरवाजा B तक जाता है")।
- स्कीमा + उदाहरण (Schema + Examples): जासूस को कमरों की सूची और कुछ उदाहरण मिलते हैं कि अन्य जासूसों ने इसी तरह की पहेलियों को कैसे सुलझाया।
- पूर्ण संदर्भ (Full Context): जासूस को कमरों की सूची, नक्शा, उदाहरण और एक मार्गदर्शिका (guidebook) मिलती है।
परिणाम: नक्शा सारा अंतर पैदा कर देता है
निष्कर्ष स्पष्ट और आश्चर्यजनक थे:
- अंधाधुंध अनुमान विफल रहता है: जब एआई के पास कोई मदद नहीं थी (No Context), तो उसे संघर्ष करना पड़ा। उसने कई गलतियाँ कीं और चीजों को समझने के लिए बहुत सारे सवाल पूछे।
- "ग्राफ" जादुई तत्व है: एआई के प्रदर्शन में सबसे बड़ी उछाल तब आई जब उसे सिक्योरिटी ग्राफ (वह नक्शा जो दिखाता है कि सिस्टम कैसे जुड़ते हैं) दिया गया।
- सटीकता में वृद्धि: पूर्ण मानचित्र और उदाहरणों के साथ, सही उत्तर पाने की एआई की क्षमता लगभग 34% बढ़ गई।
- दक्षता में वृद्धि: एआई ने अनुमान लगाना और अनावश्यक प्रश्न पूछना बंद कर दिया। इसने उन "यात्राओं" (trips) को लगभग 70% कम कर दिया जिनकी उसे आवश्यकता थी।
- स्मार्ट लेकिन खोया हुआ: शोध पत्र ने पाया कि एआई मॉडल वास्तव में काफी स्मार्ट हैं। बिना किसी मदद के भी, वे अक्सर उत्तर का सामान्य विचार (जैसे, "हाँ, एक जोखिम है") पकड़ सकते हैं। लेकिन बिना मदद के, वे यह साबित करने के लिए विशिष्ट साक्ष्य नहीं ढूंढ सके (जैसे, "यहाँ वे सटीक 12 लोग हैं जो जोखिम में हैं")।
मुख्य निष्कर्ष (The Takeaway)
शोध पत्र यह निष्कर्ष निकालता है कि एआई सुरक्षा तर्क (security reasoning) में अनिवार्य रूप से "मूर्ख" नहीं है; यह केवल सही संदर्भ के बिना "अंधा" है।
इसे एक ड्राइवर को जीपीएस (GPS) देने जैसा समझें। ड्राइवर (एआई) जानता है कि गाड़ी कैसे चलानी है और कहाँ जाना है, लेकिन बिना जीपीएस के (यह दिखाने वाले संरचित मानचित्र के कि सिस्टम कैसे जुड़ते हैं), वह रास्ता भटक जाएगा, गलत मोड़ लेगा और समय बर्बाद करेगा। एक बार जब आप उन्हें जीपीएस देते हैं, तो वे पूरी तरह से गाड़ी चलाते हैं, तेजी से पहुँचते हैं, और जानते हैं कि उन्हें कौन सी सड़कें लेनी हैं।
लेखकों ने यह बेंचमार्क यह साबित करने के लिए बनाया है कि वास्तविक दुनिया की सुरक्षा में एआई के उपयोगी होने के लिए, हम केवल उससे प्रश्न नहीं पूछ सकते; हमें उसे वह संबंधपरक मानचित्र (relational map) देना होगा जो डिजिटल दुनिया के सभी विभिन्न हिस्सों को जोड़ता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।