From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems
यह शोध पत्र PHASE को प्रस्तुत करता है, जो एक प्रक्रिया-उन्मुख खतरा विश्लेषण ढांचा (process-oriented hazard analysis framework) है, जो मॉडल अपारदर्शिता और घटक अंतःक्रियाओं जैसी अनूठी चुनौतियों को संबोधित करने के लिए सिस्टम थ्योरेटिक प्रोसेस एनालिसिस (STPA) पद्धति को अनुकूलित करता है, ताकि तीन केस स्टडीज के माध्यम से सत्यापित लक्षित अनुकूलनों द्वारा AI विकास में सिस्टम-स्तरीय खतरों की पहचान और शमन किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जटिल घर में रिसाव (leak) को ठीक करने की कोशिश कर रहे हैं। अतीत में, सुरक्षा विशेषज्ञ केवल एक पाइप या एक वाल्व को अलग से देखते थे। वे पूछते थे, "क्या यह पाइप पर्याप्त मजबूत है?" यदि पाइप ठीक दिखता था, तो वे घोषणा कर देते थे कि घर सुरक्षित है। लेकिन अक्सर, घर में बाढ़ आ जाती थी क्योंकि वह पाइप एक कमजोर वाल्व से जुड़ा होता था, या क्योंकि पानी चालू करने वाले व्यक्ति को नए सिस्टम का उपयोग करना नहीं पता था।
यह शोध पत्र तर्क देता है कि आर्टिफिशियल इंटेलिजेंस (AI) उसी घर की तरह है। हम केवल AI के "मस्तिष्क" (मॉडल) की जांच करके उसे सुरक्षित नहीं कह सकते। हमें संपूर्ण प्रणाली (system) को देखना होगा: उन लोगों को जिन्होंने इसे बनाया, डेटा को जिसे उन्होंने इसमें डाला, उन नियमों को जो उन्होंने निर्धारित किए, और कैसे वास्तविक मनुष्य इसके साथ बातचीत करते हैं।
यहाँ शोधकर्ताओं ने क्या किया और उन्हें क्या मिला, इसका एक सरल विवरण दिया गया है, जिसमें रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है।
समस्या: "साइलो" (Silo) का जाल
वर्तमान में, जब हम AI की सुरक्षा की जांच करते हैं, तो हम अक्सर "साइलो" में काम करते हैं।
- डेटा टीम डेटा की जांच करती है।
- मॉडल टीम कोड की जांच करती है।
- यूजर टीम इंटरफ़ेस की जांच करती है।
वे आपस में शायद ही कभी इस बारे में बात करते हैं कि उनके हिस्से मिलकर पूरे सिस्टम को कैसे खराब कर सकते हैं। यह एक शेफ, एक वेटर और एक डिशवॉशर की तरह है जो अलग-अलग कमरों में काम कर रहे हैं; यदि भोजन ठंडा है, तो जब तक ग्राहक शिकायत न करे, किसी को नहीं पता होता कि दोष किसका है।
समाधान: STPA और PHASE
लेखकों ने एक सुरक्षा पद्धति ली जिसका उपयोग दशकों से परमाणु ऊर्जा संयंत्रों और हवाई जहाजों में किया जाता रहा है (जिसे STPA कहा जाता है) और इसे AI के लिए अनुकूलित किया। वे अपने नए AI-विशिष्ट संस्करण को PHASE (AI सिस्टम के लिए प्रक्रिया-उन्मुख खतरा विश्लेषण) कहते हैं।
STPA को एक घर के मास्टर ब्लूप्रिंट के रूप में सोचें। केवल यह जांचने के बजाय कि ईंटें मजबूत हैं या नहीं, यह ब्लूप्रिंट आपको पानी, बिजली और लोगों के हर रास्ते का पता लगाने के लिए मजबूर करता है ताकि आपदा होने से पहले ही देखा जा सके कि कहाँ समस्या हो सकती है।
उन्होंने इस ब्लूप्रिंट का परीक्षण तीन बहुत अलग "घरों" (AI सिस्टम) पर किया:
- एक मेडिकल चेतावनी प्रणाली (लिनियर रिग्रेशन): एक स्मोक डिटेक्टर की तरह जो आग (सेप्सिस) दिखने से पहले ही उसकी भविष्यवाणी कर देता है।
- एक ऑटोमेटेड इंसुलिन पंप (रीइन्फोर्समेंट लर्निंग): एक सेल्फ-ड्राइविंग कार की तरह जो आपके बटन दबाने का इंतज़ार किए बिना आपके इंसुलिन की खुराक को एडजस्ट करती है।
- एक AI आर्ट जनरेटर (ट्रांसफॉर्मर्स): एक जादुई ब्रश की तरह जो टेक्स्ट से चित्र बनाता है, जिसका उपयोग कलाकार स्टोरीबोर्ड बनाने के लिए करते हैं।
उन्होंने क्या खोजा (4 महाशक्तियाँ)
इस "ब्लूप्रिंट" दृष्टिकोण का उपयोग करके, शोधकर्ताओं ने पाया कि PHASE विश्लेषकों को चार विशेष महाशक्तियाँ देता है जो अन्य विधियों में छूट जाती हैं:
1. पूरी तस्वीर देखना (सिस्टम-स्तरीय पहचान)
- उपमा: एक कार दुर्घटना की कल्पना करें। एक पारंपरिक जांच कह सकती है, "ब्रेक ठीक काम कर रहे थे, और इंजन भी ठीक काम कर रहा था।" लेकिन PHASE पूछता है, "क्या ड्राइवर ने ब्रेक पर बहुत अधिक भरोसा किया? क्या सड़क कार की सेटिंग्स के लिए बहुत फिसलन भरी थी?"
- परिणाम: PHASE उन खतरों को पकड़ता है जो तब होते हैं जब सिस्टम के विभिन्न हिस्से आपस में क्रिया करते हैं। उदाहरण के लिए, एक मेडिकल AI 99% सटीक हो सकता है, लेकिन यदि डॉक्टर को यह समझ नहीं आता कि उसने अलर्ट क्यों दिया, तो वे या तो इसे अनदेखा कर सकते हैं या घबरा सकते हैं। खतरा गणित नहीं है; यह गणित और मानव के बीच का संबंध है।
2. "सामाजिक" खतरों को गिनना (केवल टूटे हुए पुर्जे नहीं)
- उपमा: यदि एक रोबोटिक हाथ टूट जाता है, तो वह एक तकनीकी विफलता है। लेकिन यदि एक रोबोटिक हाथ को केवल एक विशेष मोहल्ले के लोगों को काम पर रखने के लिए प्रोग्राम किया गया है, तो वह एक सामाजिक विफलता है।
- परिणाम: PHASE विश्लेषकों को उन "नुकसानों" (losses) को सूचीबद्ध करने के लिए मजबूर करता है जो केवल मृत्यु या टूटी हुई मशीनों के बारे में नहीं हैं। इसमें निजता का नुकसान, रचनात्मकता का नुकसान, या विश्वास का नुकसान शामिल है। यह स्वीकार करता है कि AI शारीरिक नुकसान के साथ-साथ सामाजिक तरीकों से भी लोगों को नुकसान पहुँचाता है।
3. "कमान किसके हाथ में है?" का मानचित्र (ट्रेसेबल जवाबदेही)
- उपमा: एक बड़े कार्यालय में, यदि कोई गलती होती है, तो हर कोई कहता है, "यह मैं नहीं था।" PHASE एक ऐसा मानचित्र बनाता है जो ठीक-ठीक दिखाता है कि किसके पास उस गलती को रोकने की शक्ति थी।
- परिणाम: यह जिम्मेदारी की एक स्पष्ट श्रृंखला बनाता है। यदि कोई AI हानिकारक छवि बनाता है, तो मानचित्र दिखाता है: क्या कलाकार ने गलत प्रॉम्प्ट टाइप किया? क्या सुरक्षा फ़िल्टर विफल रहा? क्या कंपनी ने पैसे बचाने के लिए फ़िल्टर को बहुत कम सेट किया था? यह यह दिखाकर "दोषारोपण के खेल" को रोकता है कि नियंत्रण कहाँ टूटा था।
4. "विकास के दर्द" पर नज़र रखना (इमर्जेंट खतरे)
- उपमा: एक बच्चा बढ़ता है और बदलता है। एक खिलौना जो 2 साल के बच्चे के लिए सुरक्षित था, वह 5 साल के बच्चे के लिए खतरनाक हो सकता है। AI भी ऐसा ही है; यह समय के साथ सीखता और बदलता है।
- परिणाम: पारंपरिक सुरक्षा जांच पहले दिन ली गई एक 'स्नैपशॉट' की तरह है। PHASE एक वीडियो कैमरा है। यह विश्लेषकों को उन नए खतरों को देखने में मदद करता है जो बाद में दिखाई देते हैं, जैसे कि जब AI को फिर से प्रशिक्षित किया जाता है, अपडेट किया जाता है, या उस तरह से उपयोग किया जाता है जिसकी रचनाकारों ने कभी कल्पना नहीं की थी।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि हमें AI को केवल एक "स्मार्ट कंप्यूटर प्रोग्राम" के रूप में देखना बंद करने की आवश्यकता है। हमें इसे एक सोशियोटेक्निकल सिस्टम (sociotechnical system) के रूप में मानना चाहिए—कोड, लोग, नियम और संस्कृति का एक मिश्रण।
PHASE गाइड का उपयोग करके, हम व्यक्तिगत हिस्सों को अलग-थलग करके जांचने के बजाय यह समझने की ओर बढ़ सकते हैं कि पूरी मशीन कैसे काम करती है (और यह कैसे खराब हो सकती है)। यह हमें ऐसा AI बनाने में मदद करता है जो न केवल तकनीकी रूप से सही है, बल्कि वास्तव में समाज के लिए सुरक्षित भी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।