Coverage and Complementarity of Three Agentic AI Risk Taxonomies Across 131 Real World Incidents
यह शोध पत्र चिकित्सकों के लिए साक्ष्य-आधारित मार्गदर्शन प्रदान करने और भविष्य के फ्रेमवर्क संशोधनों के लिए विशिष्ट अंतरालों की पहचान करने हेतु, 131 वास्तविक-दुनिया की घटनाओं के माध्यम से तीन प्रमुख एजेंटिक एआई जोखिम वर्गीकरणों (OWASP-ASI, MSFT-AIRT, और NIST AI RMF) की कवरेज और पूरकता का अनुभवजन्य मूल्यांकन करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आर्टिफिशियल इंटेलिजेंस केवल प्रश्न पूछने के उत्तर देने से आगे बढ़कर वास्तव में कार्य करने में सक्षम हो गया है। ये अब केवल चैटबॉट्स नहीं हैं जो किसी प्रॉम्प्ट का इंतज़ार करते हैं; ये स्वायत्त एजेंट (autonomous agents) हैं जो एक लक्ष्य को प्राप्त करने के लिए चरणों का एक क्रम बना सकते हैं, डिजिटल उपकरणों का उपयोग कर सकते हैं, पिछले संवादों को याद रख सकते हैं, और बहुत कम मानवीय सहायता के साथ अन्य सॉफ़्टवेयर के साथ समन्वय कर सकते हैं। इस बदलाव ने जोखिमों का एक नया परिदृश्य बना दिया है। जब एक साधारण चैटबॉट गलती करता है, तो वह कुछ अजीब कह सकता है। लेकिन जब एक स्वायत्त एजेंट गलती करता है, तो वह किसी कंपनी का डेटाबेस डिलीट कर सकता है, पैसे गलत खाते में ट्रांसफर कर सकता है, या एक भरोसेमंद सलाहकार के रूप में कार्य करते हुए खतरनाक गलत सूचना फैला सकता है। इन जोखिमों को प्रबंधित करने के लिए, विशेषज्ञों ने इन प्रणालियों की विफलताओं को वर्गीकृत करने के लिए तीन अलग-अलग "नियमपुस्तिकाएँ" या वर्गीकरण (taxonomies) बनाई हैं। एक सूची विफलता के दृश्य परिणाम पर ध्यान केंद्रित करती है, दूसरी इस बात पर कि वह विशिष्ट रूप से यांत्रिक रूप से कैसे हुई, और तीसरी इस बात पर कि परियोजना के जीवन के किस चरण में त्रुटि हुई। लंबे समय तक, संगठनों को यह अनुमान लगाने के लिए मजबूर होना पड़ा कि कौन सी नियमपुस्तिका का उपयोग करना सबसे अच्छा है, बिना इस बात के प्रमाण के कि वे वास्तविक दुनिया की आपदाओं के विरुद्ध वास्तव में कितनी प्रभावी थीं।
एक शोधकर्ता ने इस अनिश्चितता को दूर करने के लिए इन नियमपुस्तिकाओं को वैज्ञानिक उपकरणों की तरह कैलिब्रेट करने के उद्देश्य से अध्ययन करने का निर्णय लिया। एक नई विफलता की सूची बनाने के बजाय, उन्होंने वर्तमान में उपयोग किए जाने वाले तीन सबसे प्रमुख ढांचों (frameworks) को लिया और उनका परीक्षण स्वायत्त एजेंटों से जुड़ी 131 वास्तविक घटनाओं के संग्रह के विरुद्ध किया। ये घटनाएं 2014 से 2026 तक की दस्तावेजीकृत AI विफलताओं के एक सार्वजनिक डेटाबेस से ली गई थीं, जिनमें सेल्फ-ड्राइविंग वाहनों की दुर्घटनाओं से लेकर ऐसे AI कोडिंग असिस्टेंट शामिल थे जिन्होंने गलती से प्रोडक्शन सर्वर डिलीट कर दिए थे। शोधकर्ता ने प्रत्येक घटना के विवरण को सावधानीपूर्वक पढ़ा और प्रत्येक के तीन ढांचों में से प्रत्येक में स्वतंत्र रूप से उसे फिट करने का प्रयास किया। लक्ष्य यह देखना था कि क्या ये ढांचे विफलताओं को पकड़ पाते हैं, क्या वे इस बात पर सहमत होते हैं कि क्या हुआ था, और वे कहाँ पूरी तरह से चूक रहे हैं।
अध्ययन में पाया गया कि हालांकि कोई भी एकल नियमपुस्तिका हर एक घटना को नहीं पकड़ सकी, लेकिन तीनों का एक साथ उपयोग करने से दस्तावेजीकृत विफलताओं का लगभग 97 प्रतिशत हिस्सा कवर हो गया। कवरेज का यह उच्च स्तर यह सुझाव देता है कि ये तीन ढांचे एक-दूसरे के प्रतिस्पर्धी नहीं हैं, बल्कि एक-दूसरे के पूरक हैं। वे बस एक ही समस्या को अलग-अलग कोणों से देखते हैं। एक ढांचा, जिसे सुरक्षा कार्यकारियों (security executives) के लिए डिज़ाइन किया गया है, परिणाम पर ध्यान केंद्रित करता है: दृश्य क्षति क्या थी? एक अन्य, जिसे सुरक्षा इंजीनियरों की एक टीम द्वारा बनाया गया है, तंत्र (mechanism) पर ध्यान केंद्रित करता है: सिस्टम ठीक कैसे टूटा? तीसरा, एक सरकारी मानक, प्रक्रिया पर ध्यान केंद्रित करता है: परियोजना के जीवन चक्र के किस चरण में प्रबंधक को इसे रोकने के लिए हस्तक्षेप करना चाहिए था? शोध ने दिखाया कि ये दृष्टिकोण विशिष्ट हैं। उदाहरण के लिए, एक घटना जहाँ एक AI एजेंट को डेटा चुराने के लिए बहकाया गया था, उसे पहले ढांचे द्वारा "ट्रस्ट एक्सप्लॉइटेशन" (विश्वास का शोषण) विफलता के रूप में, दूसरे द्वारा "प्रॉम्प्ट इंजेक्शन" हमले के रूप में, और तीसरे द्वारा परियोजना जीवन चक्र के "प्रबंधन" चरण के रूप में वर्णित किया जा सकता है। इनमें से कोई भी विवरण गलत नहीं है; वे बस अलग-अलग प्रश्नों के उत्तर दे रहे हैं।
हालाँकि, अध्ययन ने उन विशिष्ट अंतरालों को भी उजागर किया जहाँ वर्तमान नियमपुस्तिकाएं कमज़ोर पड़ती हैं। लगभग 20 प्रतिशत घटनाओं को सुरक्षा-केंद्रित ढांचे के तहत किसी भी श्रेणी में स्पष्ट रूप से नहीं रखा जा सका। ये छूटी हुई घटनाएं तीन स्पष्ट विषयों में केंद्रित थीं। पहला विषय उन एजेंटों से संबंधित था जो सलाहकार के रूप में कार्य करते थे लेकिन आत्मविश्वास के साथ गलत जानकारी देते थे, जैसे कि एक चैटबॉट जिसने एक वास्तविक प्रोफेसर के खिलाफ यौन उत्पीड़न का आरोप गढ़ा या एक वित्तीय बॉट जिसने खतरनाक निवेश सलाह दी। दूसरा विषय मनुष्यों द्वारा तकनीक के दुरुपयोग से संबंधित था, जैसे कि छात्रों द्वारा परीक्षाओं में अनुचित लाभ प्राप्त करने के लिए AI का उपयोग करना या स्कैमर्स द्वारा दूसरों का रूप धारण करने के लिए इसका उपयोग करना, जहाँ AI ने अपने डिज़ाइन के अनुसार ही कार्य किया लेकिन मानव उपयोगकर्ता ने नुकसान पहुँचाया। तीसरा विषय व्यापक सामाजिक विफलताओं से संबंधित था, जैसे कि एक ब्राउज़र एक्सटेंशन जिसने निजी AI बातचीत को एकत्र किया या एक कंपनी द्वारा AI निगरानी का उपयोग करना जिससे नागरिक अधिकारों को खतरा पैदा हुआ। इन मामलों में, विफलता कोड में नहीं थी, बल्कि इस बात में थी कि तकनीक को समाज में कैसे शामिल किया गया या लोगों द्वारा इसका उपयोग कैसे किया गया।
शोधकर्ता ने निष्कर्ष निकाला कि इस समस्या को हल करने के लिए क्षेत्र को चौथी या पांचवीं नियमपुस्तिका की आवश्यकता नहीं है। इसके बजाय, समाधान यह समझने में निहित है कि मौजूदा उपकरण अलग-अलग कार्यों के लिए बनाए गए हैं। बोर्ड ऑफ डायरेक्टर्स के साथ संवाद करने वाले सुरक्षा नेताओं को व्यावसायिक प्रभाव समझाने के लिए परिणाम-केंद्रित सूची का उपयोग करना चाहिए। उल्लंघन (breach) की जांच करने वाली तकनीकी टीमों को मूल कारण खोजने के लिए तंत्र-केंद्रित सूची का उपयोग करना चाहिए। नियामकों और ऑडिटरों को यह जांचने के लिए कि क्या सही समय पर सही सुरक्षा उपाय मौजूद थे, प्रक्रिया-केंद्रित सूची का उपयोग करना चाहिए। अध्ययन ने यह भी सुझाव दिया कि इन ढांचों के निर्माता इसमें पहचाने गए अंतरालों के लिए विशिष्ट श्रेणियां जोड़कर इसमें सुधार कर सकते हैं, जैसे कि "सलाहकारी भूमिकाओं में मतिभ्रम (hallucinations)" के लिए एक समर्पित खंड या "एजेंट की विफलता और मानव दुरुपयोग" के बीच एक स्पष्ट अंतर। इन उपकरणों को विभिन्न पेशेवरों की विशिष्ट आवश्यकताओं के अनुरूप मैप करके, यह शोध स्वायत्त AI सुरक्षा की जटिल दुनिया में नेविगेट करने के लिए एक व्यावहारिक मार्गदर्शिका प्रदान करता है, जो विकल्पों के भ्रमित करने वाले प्रसार को एक स्पष्ट, साक्ष्य-आधारित रणनीति में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।