Understanding as an Explicit and Assessable Component of Frontier AI Safety Decisions
यह शोध पत्र 'अस्योरेंस 2.0' (Assurance 2.0) ढांचे पर आधारित एक ऐसी कार्यप्रणाली का प्रस्ताव और परीक्षण करता है जो समझ के चार प्रमुख उद्देश्यों को परिभाषित करके और उनकी पर्याप्तता का मूल्यांकन करके निर्णय लेने वालों द्वारा एआई (AI) प्रणालियों की समझ को स्पष्ट और मूल्यांकन योग्य बनाती है, जिससे यह पाया गया कि यह दृष्टिकोण विशिष्ट परिनियोजन जोखिमों और अस्तित्व संबंधी सुरक्षा परिदृश्यों दोनों में इंजीनियरिंग कठोरता को सफलतापूर्वक प्रेरित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब इंजीनियर एक पुल, एक विमान या एक पावर प्लांट बनाते हैं, तो वे केवल इस उम्मीद पर नहीं रहते कि वह टिक जाएगा। वे एक 'सेफ्टी केस' (सुरक्षा मामला) तैयार करते हैं: एक विस्तृत, तार्किक तर्क जो यह सिद्ध करता है कि प्रणाली उपयोग के लिए सुरक्षित है, जिसे साक्ष्यों द्वारा समर्थित किया गया है और हर उस ज्ञात तरीके के विरुद्ध परखा गया है जिससे वह विफल हो सकती है। दशकों से, यह पद्धति जटिल तकनीक को नियंत्रण में रखने के लिए स्वर्ण मानक रही है। हालाँकि, फ्रंटियर आर्टिफिशियल इंटेलिजेंस (अग्रिम एआई) के उदय के साथ एक नई चुनौती सामने आई है। ये ऐसी प्रणालियाँ हैं जो इतनी उन्नत और तीव्र गति वाली हैं कि उन्हें तैनात करने का निर्णय लेने वाले लोगों को अक्सर एक विरोधाभास का सामना करना पड़ता है। उन्हें सुरक्षा के बारे में जीवन-मरण के निर्णय जल्दबाजी में लेने पड़ते हैं, और कभी-कभी वे उन्हीं एआई प्रणालियों द्वारा लिखे गए दस्तावेजों पर भरोसा करते हैं जिन्हें वे नियंत्रित करने की कोशिश कर रहे हैं। खतरा यह है कि एक सुरक्षा दस्तावेज़ कागज पर बिल्कुल सटीक दिख सकता है, जो सुसंगत तर्कों और प्रभावशाली डेटा से भरा हो सकता है, जबकि उसे थामे हुए मानव निर्णयकर्ता के पास वास्तव में क्या हो रहा है, इसकी वास्तविक समझ नहीं होती। उनके पास एक ऐसी फ़ाइल हो सकती है जो कहती है "सुरक्षित", लेकिन उनके पास उस गहरी, आंतरिक समझ का अभाव होता है जो यह जानने के लिए आवश्यक है कि क्या वह दावा सत्य है।
आर्केडिया इम्पैक्ट एआई गवर्नेंस टास्कफोर्स और सिटी सेंट जॉर्ज, यूनिवर्सिटी ऑफ लंदन के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने का प्रयास किया। उन्होंने एक मौलिक प्रश्न पूछा: हम एक जटिल एआई प्रणाली के बारे में निर्णय लेने वाले की समझ को कैसे स्पष्ट, मापने योग्य और बचाव योग्य बना सकते हैं? उनका कार्य सुझाव देता है कि केवल एक सुरक्षा दस्तावेज़ होना पर्याप्त नहीं है। इसके बजाय, निर्णय के लिए जिम्मेदार व्यक्ति को यह सिद्ध करने में सक्षम होना चाहिए कि वह वास्तव में प्रणाली, जोखिमों और सुरक्षा दावों के पीछे के तर्क को समझता है। उन्होंने इस समझ को खुले तौर पर लाने के लिए एक नई पद्धति विकसित की, जिससे एक अस्पष्ट आत्मविश्वास को एक संरचित, परीक्षण योग्य वास्तविकता में बदल दिया गया।
शोधकर्ताओं ने शुरुआत में चार विशिष्ट चीजों की पहचान की जिन्हें एक निर्णयकर्ता को एआई को सुरक्षित रूप से तैनात करने से पहले समझना आवश्यक है। पहला, उन्हें स्वयं सुरक्षा औचित्य (safety justification) को समझना होगा—तर्कों और साक्ष्यों की वह श्रृंखला जो दावा करती है कि प्रणाली सुरक्षित है। दूसरा, उन्हें वास्तविक दुनिया के संदर्भ में प्रणाली को समझना होगा, जिसमें यह शामिल है कि वह मनुष्यों और पर्यावरण के साथ कैसे परस्पर क्रिया करती है। तीसरा, उन्हें निर्णय को समझना होगा: वे क्या चुनने जा रहे हैं, वे इसे क्यों चुन रहे हैं, और यदि वे गलत हुए तो क्या होगा। अंत में, उन्हें यह समझना होगा कि उन्होंने निर्णय को फ्रेम करने का यही विशिष्ट तरीका क्यों चुना, न कि कोई अन्य। टीम ने तर्क दिया कि यदि एक निर्णयकर्ता इन चार तत्वों को स्पष्ट रूप से समझा नहीं सकता, तो वह कॉल लेने के लिए तैयार नहीं है, चाहे उसकी मेज पर कितने भी सुरक्षा रिपोर्ट क्यों न रखे हों।
इस विचार का परीक्षण करने के लिए, टीम ने दो मुख्य उपकरणों वाला एक व्यावहारिक ढांचा बनाया। पहला एक "अंडरस्टैंडिंग बेसिस" (समझ का आधार) है, जो एक मानक सुरक्षा मामले का एक संरचित विस्तार है। यह केवल दावों और साक्ष्यों को सूचीबद्ध करने से आगे बढ़कर स्पष्ट रूप से उन धारणाओं को मैप करता है जिन्हें बनाया जा रहा है, उन्हें सहारा देने वाले साक्ष्य, और समस्या को प्रबंधनीय बनाने के लिए उपयोग किए गए सरलीकरण। दूसरा उपकरण एक "पर्सनल अंडरस्टैंडिंग स्टेटमेंट" (व्यक्तिगत समझ विवरण) है। यह निर्णयकर्ता द्वारा लिखा गया एक दस्तावेज़ है, इंजीनियरों द्वारा नहीं। इसमें, प्रभारी व्यक्ति को चार प्रमुख तत्वों की अपनी समझ प्रदर्शित करनी होगी। वे केवल यह नहीं कह सकते कि, "मैं विशेषज्ञों पर भरोसा करता हूँ।" इसके बजाय, उन्हें यह दिखाना होगा कि वे अपने शब्दों में तर्क को समझा सकते हैं, यह अनुमान लगा सकते हैं कि स्थितियाँ बदलने पर प्रणाली कैसे व्यवहार करेगी, दोषों की तलाश करके तर्कों को चुनौती दे सकते हैं, और यदि नए साक्ष्य सामने आते हैं तो अपने चिंतन को संशोधित कर सकते हैं। महत्वपूर्ण रूप से, इस विवरण में उन्हें यह भी स्वीकार करना होगा कि वे क्या नहीं समझते हैं और यह समझाना होगा कि क्या ज्ञान का वह अंतराल वर्तमान निर्णय के लिए मायने रखता है।
टीम ने इस कार्यप्रणाली का परीक्षण दो बहुत अलग परिदृश्यों में किया। पहला एक यथार्थवादी, औद्योगिक मामला था जिसमें 'रोबोटकॉर्प' नामक एक काल्पनिक रोबोटिक्स कंपनी शामिल थी। कंपनी एक शक्तिशाली एआई कोडिंग एजेंट का उपयोग करके उन रोबोटों के लिए सॉफ्टवेयर लिखना चाहती थी जो मनुष्यों के साथ काम करते हैं। टीम ने स्वयं सुरक्षा इंजीनियरों और निर्णयकर्ताओं दोनों की भूमिका निभाई, और इस नई पद्धति को लागू करके देखा कि क्या यह काम करती है। उन्होंने पाया कि यह प्रक्रिया आश्चर्यजनक रूप से रचनात्मक थी। इसने केवल बॉक्स चेक नहीं किए; इसने सक्रिय रूप से प्रणाली की सुरक्षा में सुधार किया। जैसे ही निर्णयकर्ताओं ने अपनी समझ को व्यक्त करने का प्रयास किया, उन्हें सुरक्षा तर्कों में उन अंतरालों का पता चला जो छूट गए थे। उदाहरण के लिए, उन्होंने महसूस किया कि मूल सुरक्षा मामला इस धारणा पर आधारित था कि एआई कैसे व्यवहार करेगा, जो वास्तव में सिद्ध नहीं हुआ था। इन बिंदुओं को समझाने के लिए टीम को मजबूर करके, वे प्रणाली को फिर से डिजाइन करने में सक्षम हुए, नए नियंत्रण जोड़े और निर्णय के दायरे को पूर्ण तैनाती से बदलकर एक अधिक सतर्क, चरण-दर-चरण परीक्षण में बदल दिया। इस पद्धति ने इंजीनियरिंग को आगे बढ़ाया, एक अस्पष्ट सुरक्षा दावे को एक ठोस, मजबूत योजना में बदल दिया।
दूसा परीक्षण बहुत अधिक चरम था। टीम ने अपने तरीके को "यदि कोई भी इसे बनाता है, तो सब मर जाएंगे" (If Anyone Builds It, Everyone Dies) नामक एक उच्च-दांव वाले, सैद्धांतिक तर्क पर लागू किया। यह तर्क सुझाव देता है कि यदि एक अति-बुद्धिमान एआई बनाया जाता है, तो यह अनिवार्य रूप से मानव विलुप्ति का कारण बन सकता है। यहाँ अनिश्चितता अत्यधिक है, और परिणाम विनाशकारी हैं। शोधकर्ता यह देखना चाहते थे कि क्या उनका तरीका संदेह और गंभीरता के इतने उच्च स्तर को संभाल सकता है। उन्होंने पाया कि ढांचा अभी भी कायम रहा, लेकिन साक्ष्य की प्रकृति बदल गई। रोबोटिक्स मामले में, वे प्रत्यक्ष माप और विशिष्ट डेटा पर भरोसा कर सकते थे। विलुप्ति के परिदृश्य में, तर्क का "टैदरिंग" (जुड़ाव) कठोर संख्याओं के बजाय सैद्धांतिक संरचनाओं और व्यापक सहमति पर आधारित होना था। पद्धति ने सफलतापूर्वक उजागर किया कि समझ कहाँ पतली थी और तर्क कहाँ नाजुक थे, यह दिखाते हुए कि पूर्ण अनिश्चितता के बीच भी, अपनी समझ की गुणवत्ता को स्पष्ट और मापने योग्य बनाना संभव है।
अध्ययन से एक प्रमुख खोज यह थी कि समझ एक स्थिर अवस्था नहीं बल्कि एक गतिशील प्रक्रिया है। निर्णयकर्ता को समझने के लिए आवश्यक चार चीजें गहराई से जुड़ी हुई हैं। यदि टीम को सुरक्षा औचित्य में कोई दोष मिलता है, तो वे अक्सर सिस्टम की परिभाषा को बदलकर या निर्णय के ढांचे को समायोजित करके इसे ठीक कर सकते हैं। इस लचीलेपन ने उन्हें एक एकल, अव्यवहार्य तर्क पर अटकने के बजाय कुशलतापूर्वक समाधान खोजने की अनुमति दी। शोधकर्ताओं ने यह भी पाया कि इस पद्धति ने "फेलिसिटस फाल्सहुड्स" (उचित मिथ्या) की पहचान करने में मदद की। ये वे सरलीकरण या मॉडल हैं जो शाब्दिक रूप से सत्य नहीं हैं लेकिन निर्णय लेने के लिए पर्याप्त रूप से उपयोगी हैं। नई प्रक्रिया इन सरलीकरणों को प्रकाश में लाती है, जिससे टीम को यह जांचने की अनुमति मिलती है कि क्या वे अभी भी वैध हैं या वे किसी खतरे को छिपा रहे हैं।
अध्ययन ने वर्तमान एआई उद्योग में एक महत्वपूर्ण अंतर को भी उजागर किया। फ्रंटियर एआई डेवलपर्स अक्सर ऐसे सुरक्षा मामले प्रदान करते हैं जो उनके अपने आंतरिक वातावरण के अनुकूल होते हैं, यह मानते हुए कि उनके पास पूर्ण निरीक्षण और नियंत्रण है। जब कोई ग्राहक अपने स्वयं के उद्योग में इन मॉडलों का उपयोग करने का प्रयास करता है, तो वे धारणाएं अक्सर टूट जाती हैं। शोधकर्ताओं ने तर्क दिया कि डेवलपर्स को "कंपोनेंट सेफ्टी केसेस" (घटक सुरक्षा मामले) प्रदान करने की आवश्यकता है जो स्पष्ट रूप से यह बताएं कि सुरक्षा दावे को बनाए रखने के लिए किन धारणाओं की आवश्यकता है। इसके बिना, ग्राहक अपने स्वयं के सुरक्षा तर्कों को शून्य से बनाने की कोशिश करते हैं, जो एक कठिन और जोखिम भरा कार्य है। इसके अलावा, टीम ने नोट किया कि सुरक्षा आश्वासन प्रणाली स्वयं भी एक लक्ष्य हो सकती है। एक उन्नत एआई सुरक्षा दस्तावेजों या समीक्षा प्रक्रिया में हेरफेर कर सकता है ताकि एक खतरनाक प्रणाली को सुरक्षित दिखाया जा सके। नया तरीका, निर्णयकर्ता द्वारा व्यक्तिगत रूप से अपनी समझ प्रदर्शित करने की आवश्यकता के साथ, इस प्रकार के धोखे के खिलाफ एक रक्षा के रूप में कार्य करता है।
अंततः, शोध पत्र निष्कर्ष निकालता है कि हम उन्नत एआई के जोखिमों से बचने के लिए केवल सुरक्षा दस्तावेजों पर निर्भर नहीं रह सकते। दस्तावेज़ सुसंगत और प्रभावशाली हो सकते हैं भले ही उन्हें पढ़ने वाले लोग वास्तव में प्रणाली को नहीं समझते हों। प्रस्तावित पद्धति उस अंतर को पाटने का एक तरीका प्रदान करती है। निर्णयकर्ताओं को यह स्पष्ट रूप से बताने के लिए बाध्य करके कि वे क्या जानते हैं, वे क्या समझा सकते हैं, और वे ज्ञान के किस अंतराल को स्वीकार करने के लिए तैयार हैं, यह प्रक्रिया समझ को सुरक्षा मामले के एक मूर्त, मापने योग्य हिस्से में बदल देती है। यह गारंटी नहीं देता कि प्रत्येक एआई प्रणाली सुरक्षित होगी, लेकिन यह सुनिश्चित करता है कि निर्णय लेने वाले लोग अंधे होकर उड़ान नहीं भर रहे हैं। एक ऐसी दुनिया में जहाँ एआई प्रणालियाँ अधिक शक्तिशाली और जटिल होती जा रही हैं, यह स्पष्ट रूप से व्यक्त करने की क्षमता कि हम क्या समझते हैं—और हम क्या नहीं समझते—सबसे महत्वपूर्ण सुरक्षा विशेषता हो सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।