Opening the Black Box or Responding to Demands? Rethinking and Reconstructing the European Standard of Algorithmic Explanation
यह शोध पत्र यूरोपीय संघ के वर्तमान एल्गोरिद्मिक स्पष्टीकरण मानक और मौजूदा शमन या प्रतिस्थापन दृष्टिकोणों की सीमाओं की आलोचना करता है, और इसके बजाय एक मांग-उन्मुख ढांचे का प्रस्ताव करता है जो अभिनेता नियंत्रण बिंदुओं के आधार पर स्पष्टीकरण आवश्यकताओं को वर्गीकृत करके मानक का पुनर्निर्माण करता है और उन्हें व्यवहार्य प्रतिस्थापन योजनाओं के माध्यम से साकार करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक दुनिया में, कंप्यूटर अनगिनत निर्णय लेते हैं जो हमारे दैनिक जीवन को आकार देते हैं, जैसे कि यह निर्धारित करना कि हमें ऋण मिलेगा या नहीं या यह तय करना कि हम कौन सी खबरें देखेंगे। दशकों तक, प्रचलित विचार यह था कि यदि कंप्यूटर कोई निर्णय लेता है, तो हमें उससे अपना काम दिखाने के लिए कहना चाहिए, ठीक वैसे ही जैसे एक छात्र अपने गणित के होमवर्क को यह साबित करने के लिए दिखाता है कि उसका उत्तर सही है। इस अवधारणा को एल्गोरिदम स्पष्टीकरण (algorithmic explanation) कहा जाता है, और यह यूरोपीय संघ और अन्य क्षेत्रों में गोपनीयता कानूनों का एक आधार स्तंभ है। कानून यह मानता है कि यदि कोई व्यक्ति किसी स्वचालित निर्णय से प्रभावित होता है, तो उसे उसके पीछे के तर्क को समझने का अधिकार है। हालाँकि, एक महत्वपूर्ण समस्या उभर कर आई है: निर्णय लेने वाले कंप्यूटर बदल गए हैं। पुराने सिस्टम स्पष्ट, चरण-दर-चरण नियमों का पालन करते थे जिन्हें आसानी से ट्रैक किया जा सकता था। आज के सबसे शक्तिशाली सिस्टम, जिन्हें अक्सर न्यूरल नेटवर्क कहा जाता है, विशाल डेटा से इस तरह सीखते हैं कि वे इतने जटिल और परस्पर जुड़े होते हैं कि उनके निर्माता भी हर आंतरिक चरण का पूर्ण मानचित्र नहीं बना सकते। यह एक "ब्लैक बॉक्स" की स्थिति पैदा करता है जहाँ इनपुट अंदर जाता है और निर्णय बाहर आता है, लेकिन बीच का रास्ता छिपा रहता है। जब कानून उस बॉक्स के अंदर देखने की मांग करता है जिसे तकनीक पूरी तरह से खोल नहीं सकती, तो सिस्टम टूट जाता है, जिससे भ्रम, कानूनी बचाव और विश्वास की कमी पैदा होती है।
चोंगकिंग, चीन में स्कूल ऑफ आर्टिफिशियल इंटेलिजेंस एंड लॉ में कार्यरत फेंग झी नामक एक शोधकर्ता ने इस गतिरोध को हल करने का एक नया तरीका प्रस्तावित किया है। एक ऐसे ब्लैक बॉक्स को खोलने के लिए मजबूर करने के बजाय जिसे खोला नहीं जा सकता, अध्ययन सुझाव देता है कि हमें आंतरिक तंत्र को देखने की मांग करने के बजाय ऐसे प्रश्न पूछना शुरू करना चाहिए जो उन लोगों के अनुकूल हों जो वास्तव में उत्तर दे सकते हैं। इस कार्य का मुख्य निष्कर्ष यह है कि हमें स्पष्टीकरण की मांग को समय के दो अलग-अलग क्षणों में विभाजित करने की आवश्यकता है, जो इस बात पर आधारित हो कि कंप्यूटर सिस्टम पर किसका नियंत्रण है। पहला क्षण वह है जब सिस्टम का निर्माण और सेटअप किया जा रहा होता है; दूसरा क्षण वह है जब सिस्टम वास्तव में किसी विशिष्ट व्यक्ति के लिए निर्णय ले रहा होता है। इन दो चरणों को अलग करके, लेखक का तर्क है कि हम कोड देखने की असंभव मांग को व्यावहारिक मांगों से बदल सकते हैं जो लोगों के अधिकारों की रक्षा करने में उतनी ही प्रभावी हैं।
यह शोध पत्र तर्क देता है कि वर्तमान दृष्टिकोण, जो पूछने वाले के आधार पर विवरण के विभिन्न स्तर प्रदान करने का प्रयास करता है, विफल हो जाता है क्योंकि इसके लिए अभी भी उसी असंभव तकनीकी उपलब्धि की आवश्यकता होती है: ब्लैक बॉक्स के भीतर झांकना। चाहे कोई उपयोगकर्ता सरल प्रश्न पूछे या जटिल, कंप्यूटर को उत्तर देने के लिए अपने आंतरिक तर्क को प्रकट करना ही होगा, जो अक्सर सटीकता खोए बिना या व्यापारिक रहस्य उजागर किए बिना नहीं कर पाता है। एक अन्य सामान्य विचार यह है कि यदि सिस्टम सुरक्षित लगता है या यदि इसे बनाने वाले लोग योग्य हैं तो बस उस पर भरोसा करें। लेखक इसे भी खारिज करते हैं, यह बताते हुए कि एक सिस्टम अच्छे लोगों द्वारा बनाया जा सकता है और फिर भी बाद में बुरे निर्णय ले सकता है, या केवल निर्माता पर भरोसा करना यह स्पष्ट नहीं करता कि किसी विशिष्ट व्यक्ति को ऋण देने से क्यों मना किया गया। अध्ययन सुझाव देता है कि केवल यह जांचना कि क्या अंतिम परिणाम को बाद में चुनौती दी जा सकती है, भी अपर्याप्त है, क्योंकि तब तक नुकसान हो चुका होगा और उसे सुधारना असंभव होगा।
इसे ठीक करने के लिए, शोध पत्र "टेम्पोरल नोड्स" (temporal nodes) पर आधारित एक ढांचा पेश करता है, जो वास्तव में वे विशिष्ट समय बिंदु हैं जब अलग-अलग लोग नियंत्रण की कमान संभालते हैं। पहला चरण "व्यवहार चरण" (behavior stage) है। यह तब होता है जब सिस्टम का उपयोग जनता के लिए किया जाता है। इस दौरान, डेवलपर्स और सिस्टम को तैनात करने वाली कंपनियों का पूर्ण नियंत्रण होता है। वे तय करते हैं कि किस डेटा का उपयोग करना है, मॉडल को कैसे प्रशिक्षित करना है, और सुरक्षा के क्या उपाय करने हैं। चूंकि उनके पास नियंत्रण है, इसलिए इस चरण में स्पष्टीकरण की मांग अंतिम निर्णय के बारे में नहीं, बल्कि जोखिम के बारे में होनी चाहिए। अध्ययन का प्रस्ताव है कि कोड दिखाने के बजाय, इन अभिनेताओं को यह विवरण देने के लिए बाध्य किया जाना चाहिए कि उन्होंने जोखिमों का आकलन कैसे किया और नुकसान को रोकने के लिए क्या कदम उठाए। उन्हें सिस्टम के गतिविधि लॉग (activity logs) का रिकॉर्ड भी रखना चाहिए। यह ध्यान को "गणित कैसे काम करता है?" से हटाकर "क्या आपने यह सुनिश्चित करने के लिए अपना काम किया कि यह सुरक्षित है?" पर ले जाता है। यदि बाद में कोई समस्या आती है, तो ये रिकॉर्ड नियामकों को पीछे जाकर यह देखने की अनुमति देते हैं कि क्या रचनाकारों ने नियमों का पालन किया था, जिससे बिना अनकहे गणित को समझे जिम्मेदारी का आवंटन प्रभावी रूप से किया जा सके।
दूसरा चरण "परिणाम चरण" (outcome stage) है। यह वह समय है जब सिस्टम चल रहा होता है और वास्तविक लोगों को प्रभावित करने वाले निर्णय ले रहा होता है। इस बिंदु पर, डेवलपर्स का नियंत्रण समाप्त हो जाता है; सिस्टम वास्तविक समय में नए डेटा पर प्रतिक्रिया दे रहा होता है। यहाँ, स्पष्टीकरण की मांग बदल जाती है। लक्ष्य अब जोखिम नियंत्रणों की जाँच करना नहीं है, बल्कि परिणाम में विश्वास पैदा करना है। शोध पत्र सुझाव देता है कि लोगों को निर्णय पर विश्वास करने के लिए जटिल आंतरिक तर्क को समझने की आवश्यकता नहीं है; उन्हें यह जानने की आवश्यकता है कि क्या निर्णय सामान्य मानवीय अनुभव के आधार पर तर्कसंगत है। उदाहरण के लिए, यदि एक क्रेडिट स्कोरिंग सिस्टम ऋण देने से मना करता है, तो उपयोगकर्ता को न्यूरल नेटवर्क के वेट्स (weights) देखने की आवश्यकता नहीं है; उन्हें यह जानने की आवश्यकता है कि क्या निर्णय समाज द्वारा सामान्य रूप से स्वीकार्य नियमों, जैसे आय स्तर या ऋण अनुपात के अनुरूप है। अध्ययन का प्रस्ताव है कि कंपनियों को इन सामान्य सामाजिक नियमों को प्रकाशित करना चाहिए ताकि लोग निर्णय की तुलना उनसे कर सकें। यदि कोई निर्णय सामान्य समझ से विचलित होता है, तो सिस्टम को मानव समीक्षा (human review) को ट्रिगर करना चाहिए। एक वास्तविक व्यक्ति को फिर मामले को देखना होगा और एक स्पष्ट, तर्कसंगत स्पष्टीकरण देना होगा कि असामान्य निर्णय क्यों लिया गया।
यह दृष्टिकोण कम सुरक्षा की मांग नहीं करता है; यह एक अलग प्रकार की सुरक्षा की मांग करता है जिसे प्रदान करना वास्तव में संभव है। आंतरिक कोड देखने की मांग को जोखिम रिकॉर्ड और सामान्य समझ की निरंतरता की मांग से बदलकर, सिस्टम बिना टूटे कार्य कर सकता है। लेखक नोट करते हैं कि यह कोई नया आविष्कार नहीं है बल्कि मौजूदा कानूनी उपकरणों का पुनर्गठन है, जैसे कि कंपनियों के लिए अपनी प्रसंस्करण गतिविधियों का रिकॉर्ड रखने की आवश्यकता। अध्ययन इस बात पर जोर देता है कि यह तरीका आधुनिक तकनीक की वास्तविकता का सम्मान करता है और साथ ही जवाबदेही के कानूनी वादे को पूरा करता है। यह बातचीत को ब्लैक बॉक्स को खोलने के असंभव कार्य से हटाकर इस व्यावहारिक कार्य की ओर ले जाता है कि यह सुनिश्चित किया जाए कि जो लोग इन सिस्टमों को बनाते और उपयोग करते हैं वे अपने कार्यों के लिए जवाबदेह हैं और जो परिणाम वे उत्पन्न करते हैं वे उनके साथ रहने वाले लोगों के लिए सार्थक हैं। शोध का निष्कर्ष निकलता है कि परिप्रेक्ष्य में यह बदलाव एल्गोरिदम स्पष्टीकरण के व्यावहारिक मूल्य को बहाल करने के लिए आवश्यक है, यह सुनिश्चित करते हुए कि कानून बुद्धिमान मशीनों के युग में प्रासंगिक बना रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।