TrustX Agent Risk Classification Framework (ARC): Risk-Tiering Internally Created Agentic AI Systems
यह शोधपत्र ट्रस्टएक्स एजेंट रिस्क क्लासिफिकेशन फ्रेमवर्क (ARC) का परिचय देता है, जो एक संरचित उपकरण है जो बारह-आयामी स्कोरिंग रूब्रिक और मौजूदा स्वायत्तता मॉडलों का उपयोग करता है ताकि एजेंटिक एआई प्रणालियों के सात प्रकारों को तीन जोखिम स्तरों में वर्गीकृत किया जा सके, जिसमें संबंधित शासन नियंत्रण भी शामिल हैं, जिसे विशेष रूप से आंतरिक रूप से निर्मित एजेंटिक एआई के अनूठे जोखिमों को प्रबंधित करने के लिए चिकित्सकों, डेवलपर्स और नियामकों के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया की कल्पना एक हलचल भरे शहर के रूप में करें। लंबे समय तक, "AI नागरिक" ज्यादातर मददगार लाइब्रेरियन या कैलकुलेटर की तरह थे: वे एक शेल्फ पर बैठे रहते थे, किसी सवाल का इंतज़ार करते थे और जवाब देते थे। लेकिन हाल ही में, एक नए प्रकार के नागरिक आए हैं: एजेंटिक AI (Agentic AI)। ये केवल लाइब्रेरियन नहीं हैं; ये छोटे, सुपर-स्मार्ट इंटर्न की तरह हैं जो न केवल जानकारी खोज सकते हैं बल्कि काम भी कर सकते हैं—जैसे उड़ान बुक करना, कोड लिखना, रोबोट चलाना, या यहाँ तक कि बैंक खातों का प्रबंधन करना। वे योजना बना सकते हैं, कार्य कर सकते हैं, और बिना किसी इंसान के हर सेकंड हाथ पकड़ने के आगे बढ़ सकते हैं।
समस्या क्या है? शहर की पुरानी नियम पुस्तिकाएं (जैसे NIST फ्रेमवर्क या EU AI एक्ट) लाइब्रेरियन के लिए लिखी गई थीं। उन्हें इन नए, ऊर्जावान इंटर्न को संभालने का तरीका नहीं पता जो अनजाने में कोई फ़ाइल डिलीट कर सकते हैं, कोई रहस्य चुरा सकते हैं, या गलतियों की एक श्रृंखला शुरू कर सकते हैं।
यहाँ हन्ना लियू, रिया सक्सेना और शिव अस्थाना (रिस्पॉन्सिबल एआई इंस्टीट्यूट से) आते हैं। उन्होंने एक नया टूल बनाया है जिसे ट्रस्टएक्स एजेंट रिस्क क्लासिफिकेशन फ्रेमवर्क (TrustX ARC) कहा जाता है। ARC को एक हाई-टेक "रिस्क रडार" के रूप में समझें जो विशेष रूप से इन नए AI इंटर्न को स्कैन करने और उन्हें तीन सुरक्षा क्षेत्रों में वर्गीकृत करने के लिए डिज़ाइन किया गया है: लो (Low), मीडियम (Medium), और हाई (High)।
12-पॉइंट सेफ्टी स्कैन
यह पता लगाने के लिए कि एक AI इंटर्न कितना खतरनाक हो सकता है, ARC केवल अनुमान नहीं लगाता। यह एक 12-डायमेंशन स्कोरिंग रूब्रिक चलाता है। एक 12-प्रश्नों वाली चेकलिस्ट की कल्पना करें, जैसे:
- स्वायत्तता (Autonomy): क्या AI को हर एक कदम के लिए इंसान के "हाँ" कहने की ज़रूरत होती है, या यह अपने आप चलता रहता है?
- ब्लास्ट रेडियस (Blast Radius): यदि यह AI गलती करता है, तो क्या यह केवल एक व्यक्ति को परेशान करता है, या यह पूरी कंपनी के नेटवर्क को क्रैश कर देता है?
- रिवर्सिबिलिटी (Reversibility): यदि AI कुछ तोड़ देता है, तो क्या आप "अनडू" (undo) बटन दबा सकते हैं, या नुकसान स्थायी है?
- डेटा संवेदनशीलता (Data Sensitivity): क्या AI सार्वजनिक मौसम रिपोर्ट पढ़ रहा है, या यह टॉप-सीक्रेट "क्राउन ज्वेल" फाइलों को खंगाल रहा है?
प्रत्येक प्रश्न को एक स्कोर दिया जाता है: 1 (लो), 2 (मीडियम), या 3 (हाई)।
"क्रिटिकल डायमेंशन" नियम: खतरे को छिपाना संभव नहीं
यह उनकी खोज का सबसे महत्वपूर्ण हिस्सा है, और यह एक फायर अलार्म की तरह है। कई जोखिम प्रणालियों में, यदि आपके पास एक बड़ी समस्या और दस छोटी समस्याएं हैं, तो सिस्टम उनका औसत निकाल सकता है और कह सकता है, "चलो, यह ज्यादातर ठीक है।"
इस पेपर के लेखक स्पष्ट रूप से इस विचार को अस्वीकार करते हैं। उनका तर्क है कि आप किसी आपदा का औसत निकालकर उसे खत्म नहीं कर सकते। उनका फ्रेमवर्क एक "क्रिटिकल डायमेंशन" दृष्टिकोण का उपयोग करता है। इसका मतलब है कि यदि उन 12 प्रश्नों में से कोई भी एक प्रश्न "3" (हाई रिस्क) प्राप्त करता है, तो पूरे सिस्टम को उच्चतम खतरे के क्षेत्र में डाल दिया जाता है, चाहे अन्य 11 प्रश्न कितने भी सुरक्षित क्यों न हों।
उदाहरण के लिए, उनके इलस्ट्रेटिव उदाहरणों में, उन्होंने एक "डिसीजन सपोर्ट सिस्टम" (जैसे एक मेडिकल AI जो डॉक्टरों की मदद करता है) को देखा। भले ही इसके अधिकांश स्कोर कम (1) थे, लेकिन इसमें एक "3" था क्योंकि यह संवेदनशील, विनियमित चिकित्सा डेटा को संभालता था। इस एक "3" के कारण, फ्रेमवर्क सुझाव देता है कि इसे टियर 3: हाई रिस्क सिस्टम के रूप में माना जाना चाहिए। एक साधारण औसत इस खतरे को छिपा देता, लेकिन ARC इसे पकड़ लेता है।
AI इंटर्न के सात प्रकार
फ्रेमवर्क इन एजेंटों को सात श्रेणियों में वर्गीकृत करता है, और परिणाम आश्चर्यजनक हैं:
- ऑटोनॉमस एजेंट्स (Autonomous Agents): ये "बॉस" हैं। वे लक्ष्य निर्धारित करते हैं और सब कुछ खुद करते हैं। पेपर के सिमुलेशन में, इनका औसत स्कोर 2.33 था और इन्हें टियर 3 (हाई रिस्क) के रूप में वर्गीकृत किया गया। ये एक सेल्फ-ड्राइविंग कार की तरह हैं जो कभी दिशा पूछने के लिए नहीं रुकती।
- कोडिंग असिस्टेंट्स (Coding Assistants): ये "प्रोग्रामर" हैं। पेपर एक विशेष समस्या नोट करता है: क्योंकि ये कंप्यूटर पर चलने वाला कोड लिखते हैं, इसलिए उन्हें नियमों के एक विशेष "एक्सटेंशन" की आवश्यकता होती है। यहाँ तक कि एक साधारण "ऑटो-कंप्लीट" टूल (जो केवल कोड का सुझाव देता है) को टियर 2 (मीडियम रिस्क) के रूप में स्कोर किया गया क्योंकि यह आंतरिक, गोपनीय कोड को संभालता है।
- डिसीजन सपोर्ट सिस्टम्स (Decision Support Systems): जैसा कि उल्लेख किया गया है, भले ही वे ज्यादातर केवल बात करते हों, यदि वे निजी डेटा को छूते हैं, तो वे टियर 3 में चले जाते हैं।
- AI एम्बेडेड/फिजिकल एजेंट्स (AI Embedded/Physical Agents): ये रोबोट और सेल्फ-ड्राइविंग कारें हैं। क्योंकि वे लोगों को चोट पहुँचा सकते हैं या भौतिक चीजों को नुकसान पहुँचा सकते हैं, और आप कार दुर्घटना को हमेशा "अनडू" नहीं कर सकते, इसलिए वे टियर 3 हैं।
- नॉलेज असिस्टेंट्स (Knowledge Assistants): ये "रिसर्चर्स" (जैसे चैटबॉट्स) हैं। आमतौर पर, वे टियर 2 होते हैं, लेकिन यदि वे बहुत अधिक याद रखते हैं या गुप्त डेटा को छूते हैं, तो वे टियर 3 बन सकते हैं।
- टूल-यूज़िंग एजेंट्स (Tool-Using Agents): ये "कनेक्टर्स" हैं जो अन्य ऐप्स से बात करते हैं। क्योंकि वे अनजाने में बाहरी दुनिया को डेटा लीक कर सकते हैं, इसलिए वे टियर 3 हैं।
- ट्रांजैक्शन/कॉमर्स एजेंट्स (Transaction/Commerce Agents): ये पैसों का लेन-देन संभालते हैं। आश्चर्यजनक रूप से, पेपर के उदाहरण में, वे टियर 2 (मीडियम रिस्क) में आए क्योंकि उन्हें आमतौर पर अभी भी मानवीय अनुमोदन (human approval) की आवश्यकता होती है। हालांकि, लेखक चेतावनी देते हैं कि यदि इन एजेंटों को अधिक स्वतंत्रता मिलती है, तो वे आसानी से हाई रिस्क बन सकते हैं।
पेपर किन चीजों को खारिज करता है
लेखक स्पष्ट हैं कि उनका टूल क्या नहीं है।
- यह सभी AI समस्याओं को हल करने वाला कोई जादुई डंडा नहीं है।
- यह कोई अंतिम, अपरिवर्तनीय कानून नहीं है। पेपर स्वीकार करता है कि यह फ्रेमवर्क एक "स्ट्रक्चर्ड, रिपीटेबल इंस्ट्रूमेंट" है जिसे AI के स्मार्ट होने के साथ अपडेट करने की आवश्यकता होगी।
- यह मानवीय निर्णय का विकल्प नहीं है। स्कोर इस बात पर आधारित हैं कि उपयोगकर्ता प्रश्नों का उत्तर कैसे देता है, और लेखक स्वीकार करते हैं कि "स्कोरिंग सब्जेक्टिविटी" (व्यक्तिपरकता) एक सीमा है।
- यह यह दावा नहीं करता कि हाई-रिस्क AI कभी नहीं बनाया जाना चाहिए। इसके बजाय, यह तर्क देता है कि यदि आप हाई-रिस्क AI बनाते हैं, तो आपको इसे सुरक्षित रखने के लिए "कठोर" (rigorous) नियंत्रणों (जैसे थर्ड-पार्टी वैलिडेशन और बोर्ड-लेवल अप्रूवल) की आवश्यकता है।
वे कितने आश्वस्त हैं?
पेपर इसे मौजूदा नियमों और वास्तविक दुनिया की घटनाओं (जैसे 2025 का "IDEsaster" जहाँ कोडिंग टूल्स में कमजोरियां पाई गईं) के आधार पर एक प्रस्तावित फ्रेमवर्क के रूप में प्रस्तुत करता है। वे अपने काम को दिखाने के लिए इलस्ट्रेटिव उदाहरणों और सिम्युलेटेड स्कोरिंग का उपयोग करते हैं। वे यह दावा नहीं करते कि उन्होंने अभी तक दुनिया के हर AI का परीक्षण किया है; बल्कि, वे सुझाव देते हैं कि यह तरीका एक आवश्यक कदम है क्योंकि वर्तमान नियम AI के बढ़ने की गति के साथ "पिछड़" रहे हैं।
मुख्य निष्कर्ष (The Takeaway)
लेखकों का मानना है कि इस "रिस्क रडार" का उपयोग करके, कंपनियां और नियामक अनुमान लगाना बंद कर सकते हैं। अपने AI इंटर्न के सुरक्षित होने की उम्मीद करने के बजाय, वे उन्हें 12-पॉइंट स्कैन से गुजार सकते हैं। यदि AI किसी भी श्रेणी में "3" प्राप्त करता है, तो लाइट लाल हो जाती है, और सख्त नियम लागू हो जाते हैं। यह सुनिश्चित करने का एक तरीका है कि जैसे-जैसे AI अधिक शक्तिशाली होता जाता है, हमारे सुरक्षा जाल भी मजबूत होते जाएं।
जैसा कि पेपर के अंत में कहा गया है, यह फ्रेमवर्क एक "व्यावहारिक मील का पत्थर" (practical stepping stone) होने के लिए है। यह अंतिम मंजिल नहीं है, लेकिन यह पहले वाले नक्शों की तुलना में बहुत बेहतर नक्शा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।