Sources of Risk in AI Systems Revisited: FCAIR-O, a Faceted Causal Framework and Lightweight Ontology for Risk Management and Assurance
यह शोध पत्र FCAIR-O को प्रस्तुत करता है, जो एक संशोधित वैचारिक ढांचे और हल्के ऑन्टोलॉजी (ontology) के रूप में है जो आठ ऑर्थोगोनल पहलुओं के साथ एक संरचित, बारह-नोड वाले कारणत्मक बैकबोन (causal backbone) को स्थापित करके मौजूदा एआई जोखिम मॉडलों में भूमिकाओं के संलयन (role conflation) को हल करता है ताकि यांत्रिक पता लगाने की क्षमता (mechanistic traceability), उत्तरदायित्व और जोखिम प्रबंधन आश्वासन में सुधार किया जा सके।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस अब केवल एक उपकरण नहीं है जो शेल्फ पर रखा रहता है; यह दैनिक जीवन के ताने-बाने में बुना हुआ है, जो ऋण (लोन) देने, बीमारियों का निदान करने और यहाँ तक कि कार चलाने जैसे निर्णय ले रहा है। जब ये सिस्टम अच्छी तरह काम करते हैं, तो वे अदृश्य होते हैं। जब वे विफल होते हैं, तो इसके परिणाम तत्काल और गंभीर हो सकते हैं। इंजीनियरों और नियामकों के लिए चुनौती लंबे समय से यह रही है कि इन विफलताओं के बारे में कैसे बात की जाए। अक्सर, जोखिमों की सूचियाँ अलग-अलग चीजों को मिला देती हैं: वे "निष्पक्षता की कमी" को एक "टूटे हुए सेंसर" और एक "हैकर हमले" के साथ इस तरह सूचीबद्ध कर सकती हैं जैसे कि वे सभी एक ही प्रकार की समस्या हों। यह भ्रम यह समझने में कठिनाई पैदा करता है कि समस्या कहाँ ठीक करनी है। क्या समस्या कोड की है, डेटा की है, सिस्टम का उपयोग करने वाले व्यक्ति की है, या उस कंपनी के नियमों की है जिसका वह पालन करती है? स्पष्ट अंतर के बिना, सुरक्षा उपाय पूरी तरह से लक्ष्य से चूक सकते हैं।
इसे हल करने के लिए, दो शोधकर्ताओं, मोरिट्ज़ श्नाइडर और आंद्रे स्टिमर्स ने, यह मानचित्रण करने का एक नया तरीका विकसित किया है कि चीजें कहाँ गलत होती हैं। वे अपने स्वयं के 2022 के पिछले कार्य पर निर्माण कर रहे हैं, जिसने पहली बार इन जोखिमों को व्यवस्थित करने का प्रयास किया था, लेकिन आर्टिफिशियल इंटेलिजेंस की दुनिया तब से बहुत तेजी से बदली है। अब नए प्रकार के सिस्टम मौजूद हैं जो कोड लिख सकते हैं, पिछली बातचीत को याद रख सकते हैं और वास्तविक समय में इंटरनेट से जानकारी निकाल सकते हैं। ये क्षमताएं नए प्रकार के खतरे पैदा करती हैं जिन्हें पुराने चेकलिस्ट केवल वर्णित नहीं कर सकते। शोधकर्ताओं ने महसूस किया कि लोगों को सुरक्षित रखने के लिए, उन्हें एक ऐसे मानचित्र की आवश्यकता है जो समस्या के कारण को उसके द्वारा पहुँचाए गए नुक्सान से, और उसे रोकने के लिए बनाए गए नियमों से अलग करता हो।
उनके कार्य का परिणाम FCAIR-O नामक एक ढांचा (फ्रेमवर्क) है। इसे एक अत्यधिक विस्तृत, संरचित जोखिम शब्दकोश के रूप में समझें। एक लंबी, भ्रमित करने वाली सूची के बजाय, शोधकर्ताओं ने आठ अलग-अलग "पक्षों" या आयामों वाला एक सिस्टम बनाया है। एक पक्ष उस स्तर का वर्णन करता है जहाँ समस्या हुई, जैसे कि कंप्यूटर चिप, सॉफ्टवेयर प्रोग्राम, मानव ऑपरेटर, या कंपनी का प्रबंधन। दूसरा पक्ष समयरेखा (टाइमलाइन) को ट्रैक करता है, विचार के पहले क्षण से लेकर सिस्टम के बंद होने के दिन तक। तीसरा पक्ष विशिष्ट प्रकार के नुकसान की पहचान करता है, जैसे कि शारीरिक चोट, गोपनीयता का नुकसान, या वित्तीय हानि। उन्हें एक साथ इन विभिन्न दृष्टिकोणों के माध्यम से किसी समस्या को देखने के लिए मजबूर करके, यह ढांचा गलत चीज़ पर दोष मढ़ने की सामान्य गलती को रोकता है। उदाहरण के लिए, यदि कोई सिस्टम अनुचित रूप से ऋण देने से मना कर देता है, तो ढांचा यह पहचानने में मदद करता है कि क्या त्रुटि सिस्टम को प्रशिक्षित करने के लिए उपयोग किए गए डेटा से आई थी, जिस तरह से कंपनी ने नियम निर्धारित किए थे, या उस विशिष्ट क्षण से आई थी जब निर्णय लिया गया था।
शोधकर्ताओं ने इस नए मानचित्र का परीक्षण वास्तविक दुनिया की आपदाओं और 'बाल-बाल बचने' (नियर-मिसेस) की घटनाओं को देखकर किया। उन्होंने एरिज़ोना में उबर के सेल्फ-ड्राइविंग कार की घातक दुर्घटना की जांच की, एक ऐसा मामला जहाँ एक पैदल यात्री से टक्कर हुई थी। अतीत में, लोग इसे केवल एक "ऑटोमेशन विफलता" कह सकते थे। नया ढांचा इसे विशिष्ट घटनाओं की एक श्रृंखला में तोड़ता है: कार के सेंसर ने व्यक्ति को देखा लेकिन उसकी गलत पहचान की; सॉफ्टवेयर को आपातकालीन ब्रेक को अक्षम करने के लिए प्रोग्राम किया गया था जबकि कंप्यूटर गाड़ी चला रहा था; मानव सुरक्षा चालक फोन देख रहा था; और कंपनी ने उन परिस्थितियों में सिस्टम का ठीक से परीक्षण नहीं किया था। इन अलग-अलग विफलताओं को अलग करके, ढांचा दिखाता है कि केवल एक हिस्से, जैसे कि सेंसर, को ठीक करना पर्याप्त नहीं होता। समाधान के लिए सॉफ्टवेयर लॉजिक, मानव निरीक्षण और कंपनी की सुरक्षा संस्कृति में बदलाव की आवश्यकता थी। शोधकर्ता तर्क देते हैं कि सच्ची सुरक्षा के लिए विवरण का यही स्तर आवश्यक है।
यह शोध पत्र यह भी संबोधित करता है कि कानून और मानक इस चित्र में कैसे फिट होते हैं। कानून अक्सर कहते हैं कि क्या किया जाना चाहिए, जैसे कि "एक मानव का लूप में होना चाहिए," लेकिन वे हमेशा यह स्पष्ट नहीं करते हैं कि उस मानव को प्रभावी होने के लिए मशीन के साथ कैसे बातचीत करनी चाहिए। शोधकर्ता दिखाते हैं कि केवल एक मानव की उपस्थिति सुरक्षा की गारंटी नहीं है यदि वह व्यक्ति विचलित या अभिभूत है। उनका ढांचा कानूनी नियमों को एक अलग परत के रूप में मानता है जो सीमाओं को निर्धारित करता है, जबकि तकनीकी विश्लेषण वास्तविक विफलता के तंत्र पर ध्यान केंद्रित करता है। यह अंतर महत्वपूर्ण है क्योंकि एक कंपनी कागजों पर सभी नियमों का पालन कर सकती है और फिर भी एक खतरनाक सिस्टम रख सकती है यदि अंतर्निहित तंत्र दोषपूर्ण है।
सबसे महत्वपूर्ण निष्कर्षों में से एक यह है कि शोधकर्ता यह दावा नहीं कर रहे हैं कि उन्होंने हर संभावित जोखिम को खोज लिया है। वे स्पष्ट रूप से कहते हैं कि यह एक वैचारिक उपकरण है, सोचने का एक तरीका है, न कि ब्रह्मांड के हर खतरे की अंतिम, अपरिवable सूची। वे स्वीकार करते हैं कि उनका कार्य 2026 तक के उपलब्ध दस्तावेजों और मामलों की समीक्षा पर आधारित है, और तकनीक विकसित होती रहेगी। वे यह भी नोट करते हैं कि उन्होंने यह साबित करने के लिए कि यह अन्य तरीकों की तुलना में बेहतर काम करता है, वास्तविक दुनिया के डेटा के बड़े पैमाने पर अपने ढांचे का परीक्षण नहीं किया। इसके बजाय, वे तर्क देते हैं कि इसका मूल्य उस स्पष्टता में है जो यह लाता है। जोखिमों की विभिन्न भूमिकाओं को अलग करके—क्या कारण बनता है, क्या नुकसान पहुँचाता है, और हम इसे कैसे रोकने की कोशिश करते हैं—वे एक ऐसी भाषा प्रदान करते हैं जिसे इंजीनियर, वकील और नियामक बिना एक-दूसरे को समझे बात किए उपयोग कर सकते हैं।
शोधकर्ताओं ने यह भी देखा कि आर्टिफिशियल इंटेलिजेंस के नए प्रकार, जैसे कि जो उपकरणों का उपयोग कर सकते हैं या स्वतंत्र रूप से कार्य कर सकते हैं, परिदृश्य को कैसे बदलते हैं। ये सिस्टम ऐसी गलतियाँ कर सकते हैं जो पुराने, सरल प्रोग्रामों से बहुत अलग होती हैं। एक सिस्टम जो कोड लिख सकता है वह अनजाने में महत्वपूर्ण फाइलों को हटा सकता है, या एक सिस्टम जो इंटरनेट तक पहुँच सकता है उसे निजी जानकारी प्रकट करने के लिए बहकाया जा सकता है। ढांचा इन जटिल परिदृश्यों को संभालने के लिए डिज़ाइन किया गया है, जो प्रारंभिक कमांड से लेकर अंतिम परिणाम तक त्रुटि के मार्ग का पता लगाता है, जिसमें उन लोगों द्वारा की गई गलतियाँ भी शामिल हैं जिन्होंने इसे बनाया या मॉनिटर किया।
अंततः, यह पत्र आर्टिफिशियल इंटेलिजेंस के जोखिमों को एक अस्पष्ट, डरावने बादल के रूप में देखने से रोकने का एक तरीका प्रदान करता है। यह बादल को संरचित प्रश्नों के एक सेट से बदल देता है। कौन जिम्मेदार है? वास्तव में क्या टूटा? हमारे पास क्या सबूत हैं? कौन से नियम लागू होते हैं? शोधकर्ताओं का सुझाव है कि इस संरचित दृष्टिकोण का उपयोग करके, समाज केवल खतरों को सूचीबद्ध करने से हटकर वास्तव में उन्हें समझने और प्रबंधित करने की ओर बढ़ सकता है। वे यह वादा नहीं करते हैं कि इससे सभी दुर्घटनाएं समाप्त हो जाएंगी, लेकिन वे तर्क देते हैं कि यह इन शक्तिशाली प्रणालियों को सुरक्षित और अधिक विश्वसनीय बनाने की दिशा में एक आवश्यक कदम है। यह कार्य स्पष्टता के लिए एक उपकरण के रूप में, भ्रम से भरे क्षेत्र में एक बेहतर तरीके से सोचने का प्रस्ताव है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।