Practical Judgment, Virtue, and Intuition in the Use of Opaque AI-Enabled Systems
यह शोध पत्र यह तर्क देता है कि अपारदर्शी, स्वायत्त एआई प्रणालियों से जुड़ी नैतिक और कानूनी चिंताओं को व्यावहारिक निर्णय, सद्गुण और अंतर्ज्ञान जैसी गैर-मापन योग्य मानवीय क्षमताओं को प्राथमिकता देकर प्रभावी ढंग से कम किया जा सकता है, जिसमें सैन्य क्षेत्र का प्राथमिक उदाहरण के रूप में उपयोग करते हुए यह प्रदर्शित किया गया है कि कैसे ये गुण तकनीकी अपारदर्शिता और सामाजिक मानदंडों के बीच के अंतर को पाटते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक उच्च-दांव वाला वीडियो गेम खेल रहे हैं जहाँ नियम एक ऐसी भाषा में लिखे गए हैं जिसे आप नहीं जानते, और गेम इंजन एक "ब्लैक बॉक्स" है। आप इनपुट देख सकते हैं (आपके बटन दबाना) और आउटपुट देख सकते हैं (आपका पात्र कूदना), लेकिन आपको बिल्कुल भी पता नहीं है कि उस बॉक्स के अंदर के कोड ने उस कूदने के निर्णय के लिए क्या किया। अब, कल्पना कीजिए कि वही ब्लैक बॉक्स एक टैंक चला रहा है, एक ड्रोन उड़ा रहा है, या अपने आप में जीवन-मरण के निर्णय ले रहा है। यह ओपेक एआई (opaque AI) की दुनिया है: ऐसे सिस्टम जो काम तो करते हैं, लेकिन उनकी आंतरिक कार्यप्रणाली छिपी हुई, अप्रत्याशित और अक्सर मनुष्यों के लिए पूरी तरह से समझना असंभव होती है।
इस शोध पत्र के लेखक, नाथन गेब्रियल वुड और एंड्रयू पी. रेबेरा, चिंतित हैं। वे पूछते हैं: यदि हम यह नहीं देख सकते कि मशीन कैसे सोचती है, और यदि मशीन अपने आप कार्य कर सकती है, तो हम इसे भयानक गलतियाँ करने से कैसे रोक सकते हैं?
समस्या: "ब्लैक बॉक्स" और "ऑटोपायलट"
ओपेसिटी (अपारदर्शिता) को एक जादूगर के करतब की तरह समझें। आप खरगोश को प्रकट होते देखते हैं, लेकिन आप उसके पीछे की कार्यप्रणाली नहीं देख पाते। जब कोई मशीन "ओपेक" होती है, तो उसके निर्माता भी हमेशा यह नहीं समझा पाते कि उसने एक विशिष्ट आउटपुट क्यों चुना। यह तब डरावना हो जाता है जब इसमें स्वायत्तता (autonomy) जुड़ जाती है।
कल्प_िए एक सुरक्षा कैमरे (एक ओपेक सिस्टम) की जो किसी व्यक्ति को देखती है और उसे "खतरा" के रूप में चिह्नित करती है।
- परिदृश्य A (मानव नियंत्रण में): कैमरा उस व्यक्ति को चिह्नित करता है। एक मानव गार्ड फ्लैग देखता है, वीडियो देखता है, महसूस करता है कि वह सिर्फ स्विमवियर पहने एक व्यक्ति है (एक "नग्न सैनिक" वाली स्थिति), और अलार्म को रोकता है। मानव गलती को पकड़ लेता है।
- परिदृश्य B (स्वायत्त): कैमरा एक रोबोट सैनिक से जुड़ा हुआ है। वह स्विमवियर पहने व्यक्ति को खतरे के रूप में चिह्नित करता है, और बिना किसी से पूछे, रोबोट सैनिक गोली चला देता है। क्योंकि सिस्टम ओपेक है, इसलिए किसी को नहीं पता था कि वह यह गलती करेगा, और क्योंकि यह स्वायत्त है, इसलिए कोई मानव समय पर "स्टॉप" बटन दबाने के लिए वहां मौजूद नहीं था।
यह शोध पत्र तर्क देता है कि केवल बेहतर तकनीक (जैसे "एक्सप्लेनेबल एआई" या XAI) के साथ इसे ठीक करने की कोशिश करना पर्याप्त नहीं है। कभी-कभी, गणित समझाने के लिए बहुत जटिल होता है, या सिस्टम खुद को इतनी तेज़ी से बदल लेता है कि स्पष्टीकरण लिखे जाने से पहले ही बेकार हो जाते हैं।
समाधान: "सदाचारी पायलट" (The Virtuous Pilot)
ब्लैक बॉक्स को पारदर्शी बनाने की कोशिश करने के बजाय (जो कि असंभव हो सकता है), लेखक सुझाव देते हैं कि हमें उस चीज़ पर ध्यान केंद्रित करना चाहिए जो मशीनें नहीं कर सकतीं: मानवीय अंतर्ज्ञान और चरित्र।
वे प्रस्ताव देते हैं कि एक रहस्यमय, स्वायत्त मशीन के खिलाफ सबसे अच्छा बचाव एक ऐसा मानव है जिसमें व्यावहारिक निर्णय, सदाचार (virtue) और अंतर्ज्ञान हो।
इसे एक कुत्ते को प्रशिक्षित करने जैसा समझें। आप कुत्ते को एक कठोर नियम पुस्तिका के साथ प्रशिक्षित नहीं करते जैसे कि "यदि गेंद लाल है, तो लाओ; यदि गेंद नीली है, तो अनदेखा करो।" आप कुत्ते को अनुभव, दोहराव और विश्वास के बंधन के माध्यम से प्रशिक्षित करते हैं। अंततः, कुत्ता एक अजीब स्थिति में क्या करना है, यह जानता है क्योंकि उसमें "अच्छा निर्णय" आ गया है।
लेखक तर्क देते हैं कि सैन्य कर्मियों (और अन्य पेशेवरों) को इसी तरह प्रशिक्षित किया जाना चाहिए। उन्हें एक "सदाचारी चरित्र" विकसित करने की आवश्यकता है—ऐसे गुण जैसे साहस, ईमानदारी और संयम। यह उन्हें सक्षम बनाता है:
- "वाइब" (Vibe) को महसूस करने के लिए: जिस तरह एक कुशल पशु हैंडलर जानता है कि उसका जानवर कान की एक सूक्ष्म हरकत से भागने वाला है, उसी तरह एक कुशल मानव ऑपरेटर यह महसूस कर सकता है कि एक एआई सिस्टम अजीब व्यवहार कर रहा है, भले ही वह उसके कोड को न देख सके।
- "नग्न सैनिक" को पहचानने के लिए: मशीनें नहाते हुए व्यक्ति को देख सकती हैं और उसे "लक्ष्य" समझ सकती हैं। एक अच्छे निर्णय वाला मानव संदर्भ को देखता है और सोचता है, "रुको, यह खतरा नहीं है।"
- "ना" कहने का निर्णय लेने के लिए: सबसे महत्वपूर्ण निर्णय यह तय करना है कि क्या इस सिस्टम का उपयोग करना है।
निर्णय एक सीमित बैटरी है
यहाँ शोध पत्र में एक महत्वपूर्ण मोड़ है: निर्णय (Judgment) एक संसाधन है। यह एक बैटरी की तरह है।
हर बार जब आप एक कठिन निर्णय लेते हैं, तो आप अपनी "निर्णय बैटरी" का कुछ हिस्सा खर्च कर देते हैं। यदि आप थके हुए, तनावग्रस्त या अभिभूत हैं, तो आपकी बैटरी तेज़ी से खत्म होती है। यदि आपकी बैटरी शून्य पर पहुँच जाती है, तो आप खतरनाक गलतियाँ करने लगते हैं।
लेखक ओपेक एआई का उपयोग करने के लिए एक नया नियम सुझाते हैं: ब्लैक बॉक्स को तभी चालू करें जब आपकी निर्णय बैटरी खत्म होने वाली हो।
- यदि आपके पास पर्याप्त ऊर्जा और समय है, तो अपने स्वयं के मस्तिष्क का उपयोग करें।
- यदि स्थिति इतनी पागलपन भरी हो जाती है कि आप बर्नआउट होने वाले हैं और सब कुछ खुद करने की कोशिश करने के कारण एक घातक गलती करने वाले हैं, तभी आप कुछ कार्यों को ओपेक एआई को सौंप सकते हैं।
यह इसलिए नहीं है कि एआई को इसलिए ले लिया जाए क्योंकि वह "अधिक स्मार्ट" है। यह एआई को एक आपातकालीन बैकअप के रूप में उपयोग करने के बारे में है जब आपका मानव मस्तिष्क अपनी क्षमता के चरम पर हो। यदि आप एआई का उपयोग तब करते हैं जब आपके पास अभी भी पर्याप्त निर्णय क्षमता बची है, तो आप एक मूल्यवान मानवीय कौशल को बर्बाद कर रहे हैं और "डी-स्किलिंग" (खुद काम करना भूल जाना) का जोखिम उठा रहे हैं।
यह शोध पत्र क्या नहीं कह रहा है
यह जानना महत्वपूर्ण है कि यह शोध पत्र क्या वादा नहीं करता है:
- यह नहीं कहता कि एआई सुरक्षित है। लेखक स्वीकार करते हैं कि ये सिस्टम जोखिम भरे और अप्रत्याशित हैं।
- यह नहीं कहता कि हम "ब्लैक बॉक्स" को ठीक कर सकते हैं। उनका तर्क है कि कई आधुनिक एआई सिस्टम के लिए, पूर्ण पारदर्शिता असंभव है।
- यह नहीं कहता कि नियम बेकार हैं। नियमों और तकनीकी सुधारों की अभी भी आवश्यकता है, लेकिन वे अकेले पर्याप्त नहीं हैं।
- यह नहीं कहता कि हर कोई यह कर सकता है। शोध पत्र स्पष्ट रूप से कहता है कि यदि किसी व्यक्ति में आवश्यक चरित्र (ईमानदारी, आत्म-चिंतन, साहस) या निर्णय की कमी है, तो उन्हें इन प्रणालियों को तैनात करने की अनुमति नहीं दी जानी चाहिए। वास्तव में, उनके बॉस को उनसे यह निर्णय छीन लेना चाहिए।
"स्विस चीज़" (Swiss Cheese) सुरक्षा मॉडल
लेखक एक दृश्य विचार के साथ समाप्त करते हैं जिसे "स्विस चीज़ मॉडल" कहा जाता है। कल्पना कीजिए कि सुरक्षा स्विस चीज़ का एक ब्लॉक है। प्रत्येक परत (नियम, तकनीक, प्रशिक्षण) में छेद होते हैं। यदि छेद एक सीध में आ जाते हैं, तो आपदा आती है।
लेखक सुझाव देते हैं कि मानव सदाचार और निर्णय बस चीज़ का एक और स्लाइस हैं। वे हर छेद को नहीं भरेंगे, और वे हर आपदा को नहीं रोकेंगे। लेकिन जब आप उन्हें तकनीकी सुधारों और संस्थागत नियमों के ऊपर रखते हैं, तो छेद के एक सीध में आने की संभावना कम हो जाती है।
संक्षेप में: हम हमेशा मशीन के अंदर नहीं देख सकते, और हम हमेशा यह अनुमान नहीं लगा सकते कि वह क्या करेगी। लेकिन मनुष्यों को बुद्धिमान, ईमानदार और आत्म-जागरूक बनाकर, और केवल तभी उन्हें इन रहस्यमय मशीनों का उपयोग करने देकर जब वे वास्तव में अभिभूत हों, हम जोखिमों को त्रासदियों में बदलने से रोक सकते हैं। यह कोई जादुई समाधान नहीं है; यह सुनिश्चित करने का एक तरीका है कि 'ह्यूमन इन द लूप' (मानव जो नियंत्रण में है) समीकरण का सबसे स्मार्ट और सबसे सावधान हिस्सा बना रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।