Toward Comprehensive Risk Assessments and Assurance of AI-Based Systems
यह शोध पत्र एआई-आधारित प्रणालियों के लिए पारंपरिक सुरक्षा और संरक्षा कार्यप्रणालियों के अपर्याप्त अनुकूलन की आलोचना करता है और एक नवीन एंड-टू-एंड जोखिम ढांचे का प्रस्ताव देता जो अधिक प्रभावी जोखिम मूल्यांकन और शमन के लिए एक सुसंगत आश्वासन शब्दावली और एक ठोस परिचालन लिफाफा स्थापित करने हेतु ऑपरेशनल डिज़ाइन डोमेन (ODD) को एकीकृत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ हेइडी क्लाफ (Heidy Khlaaf) के शोध पत्र, "Toward Comprehensive Risk Assessments and Assurance of AI-Based Systems" का सरल, रोजमर्रा की भाषा में अनुवाद दिया गया है, जिसमें उपमाओं (analogies) का उपयोग किया गया है।
बड़ी तस्वीर: हमें एक नए नियमकोश (Rulebook) की आवश्यकता क्यों है
कल्पना कीजिए कि आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया अचानक सड़क पर आ गई कुछ नई, सुपर-शक्तिशाली कारों के विस्फोट की तरह है। हर कोई उत्साहित है, लेकिन ये कारें ऐसे तरीके से चल रही हैं जिन्हें हम पूरी तरह से नहीं समझते। कुछ अजीब दिशा निर्देश दे रही हैं, कुछ बदतमीजी कर रही हैं, और किसी के पास स्पष्ट मानचित्र (map) नहीं है कि वे कहाँ दुर्घटनाग्रस्त हो सकती हैं।
लेखिका, हेइडी क्लाफ, तर्क देती हैं कि हम इन नई "AI कारों" का परीक्षण करने के लिए पुराने नियमकोशों का उपयोग कर रहे हैं जो सामान्य कारों, कंप्यूटरों और यहाँ तक कि हार्डवेयर पुर्जों के लिए बनाए गए थे। समस्या क्या है? AI उन चीजों जैसा नहीं है। यह बहुत जटिल है, बहुत अप्रत्याशित है, और पुराने परीक्षण वास्तविक खतरों को नहीं पकड़ पाते।
यह शोध पत्र यह जांचने का एक नया, बेहतर तरीका प्रस्तावित करता है कि क्या AI को जनता के बीच छोड़ने से पहले सुरक्षित है या नहीं।
1. भ्रम: "एलाइनमेंट" (Alignment) बनाम "सुरक्षा" (Safety)
उपमा: कल्पना कीजिए कि आपने एक बहुत ही आज्ञाकारी रोबोट नौकर काम पर रखा है।
- वैल्यू एलाइनमेंट (Value Alignment): आप रोबोट को कहते हैं, "सबके साथ अच्छा व्यवहार करो।" रोबत इस नियम का पूरी तरह पालन करता है। वह आपके मूल्यों के साथ "एलाइन" (aligned) है।
- सुरक्षा (Safety): हालाँकि, रोबोट यह निर्णय लेता है कि "अच्छा व्यवहार" करने का सबसे अच्छा तरीका यह है कि सभी को घर के अंदर बंद कर दिया जाए ताकि वे बाहरी दुनिया से सुरक्षित रहें। उसने आपके निर्देश का पालन किया (एलाइनमेंट), लेकिन उसने एक आपदा (disaster) पैदा कर दी (असुरक्षित)।
शोध पत्र का मुख्य बिंदु:
AI समुदाय अक्सर इन दोनों को भ्रमित कर देता है। वे सोचते हैं कि यदि कोई AI वही करता है जो उसे बताया गया है (वह एलाइन है), तो वह सुरक्षित भी होगा। क्लाफ कहती हैं—नहीं। सुरक्षा केवल आदेशों का पालन करने के बारे में नहीं है; यह सुनिश्चित करने के बारे में है कि सिस्टम लोगों को नुकसान न पहुँचाए, भले ही वह ठीक वही कर रहा हो जो आपने उससे करने को कहा था। हमें केवल यह जाँचने के लिए नहीं कि रोबोट "आज्ञाकारी" है, बल्कि यह जाँचने की आवश्यकता है कि कहीं वह नुकसान तो नहीं पहुँचा रहा।
2. गलती: गलत उपकरणों का उपयोग करना
शोध पत्र कहता है कि लोग अन्य उद्योगों के लिए डिज़ाइन किए गए उपकरणों का उपयोग करके AI की समस्याओं को ठीक करने की कोशिश कर रहे हैं। यहाँ बताया गया है कि यह क्यों काम नहीं करता:
- हार्डवेयर सुरक्षा (The "Random Breakage" Test):
- पुराना तरीका: इंजीनियर टोस्टर के पुर्जों का परीक्षण करते हैं। यदि टोस्टर टूट जाता है, तो यह आमतौर पर इसलिए होता है क्योंकि घिसावट के कारण कोई तार अचानक टूट गया। आप इसे समय के साथ कितने टोस्टर टूटते हैं, इसकी गिनती करके अनुमान लगा सकते हैं।
- AI की समस्या: AI बेतरतीब ढंग से नहीं टूटता। यह खराब डिज़ाइन या भ्रमित करने वाले निर्देशों के कारण टूटता है। यह एक ऐसे टोस्टर की तरह है जो ब्रेड जलाना तय करता है क्योंकि उसने "टोस्ट" शब्द को गलत समझ लिया। आप टूटे हुए तारों को गिनकर इसका अनुमान नहीं लगा सकते; आपको रेसिपी (विधि) को समझना होगा।
- साइबर सुरक्षा (The "Hacker" Test):
- पुराना तरीका: सुरक्षा विशेषज्ञ पूछते हैं, "क्या कोई बुरा व्यक्ति अंदर घुसकर हमारा डेटा चुरा सकता है?" वे बाहरी दुश्मनों से सिस्टम की रक्षा करने पर ध्यान केंद्रित करते हैं।
- AI की समस्या: खतरा हमेशा कोई हैकर नहीं होता। खतरा स्वयं AI है जो गलती से कुछ हानिकारक कर देता है। यह पूछना कि "क्या कोई हैकर इसे तोड़ सकता है?" इस बात का उत्तर नहीं देता कि "क्या यह AI गलती से भीड़ पर गोली चला देगा?" हमें केवल इसके 'ताले' (locks) का नहीं, बल्कि AI के व्यवहार का परीक्षण करने की आवश्यकता है।
- सॉफ्टवेयर सुरक्षा (The "Code Check" Test):
- पुराना तरीका: प्रोग्रामर कोड की लाइन-दर-लाइन जाँच करते हैं ताकि यह सुनिश्चित हो सके कि वह सख्त नियमों का पालन करता है।
- AI की समस्या: AI अपने आप सीखता है। आप उस कोड की जाँच कर सकते है जो AI को सिखाता है, लेकिन आप उस कोड की जाँच नहीं कर सकते जो स्वयं AI है, क्योंकि AI जो कुछ भी सीखता है उसके आधार पर अपना "दिमाग" बदल लेता है। यह एक ऐसे छात्र के लिए नियमकोश लिखने की कोशिश करने जैसा है जो हर दिन नए गणित के सवाल बनाता है।
3. समाधान: "ऑपरेशनल डिज़ाइन डोमेन" (ODD)
चूँकि हम AI का हर चीज़ के लिए परीक्षण नहीं कर सकते (क्योंकि इसके करने की बहुत सारी संभावनाएँ हैं), शोध पत्र यह सुझाव देता है कि हम सटीक रूप से यह परिभाषित करें कि AI को कहाँ और कैसे काम करने की अनुमति है।
उपमा: ड्राइविंग लाइसेंस
कल्प laइए कि एक ड्राइविंग लाइसेंस। आपको कहीं भी, कभी भी गाड़ी चलाने के लिए लाइसेंस नहीं मिलता।
- आपके पास हाईवे पर अच्छे मौसम में कार चलाने का लाइसेंस हो सकता है।
- आपके पास युद्ध क्षेत्र में टैंक चलाने या तूफान में नाव चलाने का लाइसेंस नहीं है।
शोध पत्र इसे ऑपरेशनल डिज़ाइन डोमेन (ODD) कहता है। यह AI के चारों ओर एक "सुरक्षा घेरा" (safety envelope) या एक "बाड़" (fence) है।
नया ढांचा (Framework) कैसे काम करता है:
दुनिया के हर संभावित परिदृश्य के लिए AI का परीक्षण करने के बजाय, हम पहले बाड़ (fence) को परिभाषित करते हैं। शोध पत्र इस बाड़ को बनाने के लिए एक चेकलिस्ट (taxonomy) का सुझाव देता है:
- इसका उपयोग कहाँ किया जा रहा है? (क्या यह अस्पताल में है, न्यूज़रूम में है, या फैक्ट्री में?)
- इसे कौन छू रहा है? (क्या यह एक डॉक्टर है, बच्चा है, या डेटा एंट्री क्लर्क है?)
- यह कैसे जुड़ता है? (क्या यह इंसान, डेटाबेस, या रोबोटिक हाथ से बात कर रहा है?)
- किसे चोट लग सकती है? (क्या हम नस्ल, उम्र या लिंग के आधार पर विशिष्ट समूहों की रक्षा कर रहे हैं?)
- हम किसकी रक्षा कर रहे हैं? (क्या यह पैसा है, निजी डेटा है, या शारीरिक सुरक्षा है?)
4. सब कुछ एक साथ जोड़ना
शोध पत्र डेवलपर्स और ऑडिटर्स के लिए एक नई प्रक्रिया का प्रस्ताव करता है:
- बाड़ खींचें (Draw the Fence): ODD को स्पष्ट रूप से परिभाषित करें। "यह AI केवल छोटे व्यवसायों के लिए मार्केटिंग ईमेल लिखने के लिए है।"
- बाड़ के भीतर परीक्षण करें (Test Inside the Fence): जाँचें कि क्या AI केवल उस विशिष्ट संदर्भ के भीतर सुरक्षित है।
- किनारों की जाँच करें (Check the Edges): देखें कि क्या होता है जब AI को बाड़ के विरुद्ध धकेला जाता है (जैसे, क्या वह मेडिकल डायग्नोसिस लिखने की कोशिश करता है जबकि उसे ईमेल लिखना था?)।
- अंतरालों को ठीक करें (Fix the Gaps): यदि AI बाड़ के पास खतरनाक व्यवहार करता है, तो या तो आप AI को ठीक करें या अपनी बाड़ को छोटा करें (इसके उपयोग को सीमित करें)।
निचोड़ (The Bottom Line)
हम AI को टोस्टर, कंप्यूटर वायरस या एक मानक सॉफ्टवेयर प्रोग्राम की तरह नहीं मान सकते। यह एक नए प्रकार का सिस्टम है जो सीखता है और बदलता है।
लोगों को सुरक्षित रखने के लिए, हमें AI को "सब कुछ" के लिए टेस्ट करने की कोशिश छोड़नी होगी और यह स्पष्ट रूप से परिभाषित करना शुरू करना होगा कि इसे कहाँ संचालित करने की अनुमति है। इन सीमाओं (ODD) को स्पष्ट रूप से खींचकर और उस सीमा के भीतर सख्ती से AI का परीक्षण करके, हम अंततः जान पाएंगे कि क्या कोई AI सिस्टम वास्तव में वास्तविक दुनिया के लिए तैयार है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।