Evidence for Whom? Contestability and Socio-Technical Assurance in High-Risk AI Governance
यह शोध पत्र यह तर्क देता है कि वर्तमान उच्च-जोखिम वाले एआई गवर्नेंस फ्रेमवर्क (NIST, EU AI Act, ISO/IEC 42001) एक महत्वपूर्ण साक्ष्य अंतराल (एविडेंशरी गैप) उत्पन्न करते हैं क्योंकि वे विवाद के लिए आवश्यक प्रक्रिया-आधारित साक्ष्य के बजाय आर्टिफैक्ट-केंद्रित साक्ष्य को प्राथमिकता देते हैं, जो इन आवश्यकताओं की व्याख्या करने में निहित अंतर्निहित अस्पष्टता द्वारा रेखांकित एक संरचनात्मक दोष है और जो अंततः शासित हितधारकों के प्रक्रियात्मक और ज्ञानमीमांसीय (एपिस्टेमिक) अधिकारों को कमजोर करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ एक कंप्यूटर प्रोग्राम यह तय करता है कि किसे नौकरी मिलेगी, किसे ऋण मिलेगा, या किसे पैरोल दिया जाएगा। ये प्रणालियाँ केवल शून्य में चलने वाला कोड नहीं हैं; वे एक बड़े मानवीय पारिस्थितिकी तंत्र का हिस्सा हैं जिसमें उन्हें बनाने वाली कंपनियाँ, उनका उपयोग करने वाले संगठन और वे लोग शामिल हैं जिनका जीवन उनके आउटपुट से बदल जाता है। जब ये प्रणालियाँ गलती करती हैं, तो यह सवाल कि कौन जिम्मेदार है और इसे कैसे साबित किया जाए, अत्यंत महत्वपूर्ण हो जाता है। यह आर्टिफिशियल इंटेलिजेंस (AI) गवर्नेंस का क्षेत्र है, जो इन शक्तिशाली उपकरणों को सुरक्षित, निष्पक्ष और जवाबदेह बनाने के लिए समर्पित है। इस क्षेत्र का एक केंद्रीय विचार "प्रतिtestability" (contestability - चुनौती देने की क्षमता) है, यानी किसी निर्णय से प्रभावित व्यक्ति की उसे सवाल करने, यह समझने की क्षमता कि वह क्यों हुआ, और सुधार के लिए प्रयास करने की क्षमता। इसके काम करने के लिए, साक्ष्य (evidence) होना चाहिए—यह प्रमाण कि सिस्टम की जाँच की गई थी, कि यह इच्छित रूप से कार्य करता है, और कि यदि चीजें गलत हुईं तो एक मानव हस्तक्षेप कर सकता था। लेकिन एक महत्वपूर्ण प्रश्न बना हुआ है: यह साक्ष्य कौन देख सकता है, और क्या साक्ष्य वास्तव में उस व्यक्ति के लिए उपयोगी है जिसे इसकी सबसे अधिक आवश्यकता है?
संयुक्त राज्य अमेरिका और भारत के विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने इसी समस्या की जांच करने के लिए कदम उठाए। उन्होंने उच्च-जोखिम वाले आर्टिफिशियल इंटेलिजेंस को नियंत्रित करने वाले तीन प्रमुख नियमों और दिशानिर्देशों का परीक्षण किया: संयुक्त राज्य अमेरिका का एक स्वैच्छिक ढांचा, यूरोपीय संघ का एक बाध्यकारी कानून, और AI प्रणालियों के प्रबंधन के लिए एक अंतर्राष्ट्रीय मानक। उनका लक्ष्य एक विस्तृत मानचित्र, या "क्रॉसवॉक" (crosswalk) बनाना था, जो इन दस्तावेजों में विशिष्ट आवश्यकताओं को AI के परीक्षण के लिए उपयोग किए जाने वाले वास्तविक तकनीकी तरीकों से जोड़ता है। वे यह देखना चाहते थे कि क्या नियमों द्वारा आवश्यक साक्ष्य उस प्रकार के साक्ष्य हैं जो वास्तव में किसी व्यक्ति को निर्णय को चुनौती देने में मदद कर सकते हैं, या क्या वे केवल तकनीकी रिपोर्टों का एक संग्रह हैं जिन्हें केवल कंपनियाँ और नियामक ही पढ़ सकते हैं।
शोधकर्ताओं ने तकनीकी मूल्यांकन विधियों का एक विशाल संग्रह एकत्र करना शुरू किया। उन्होंने परीक्षणों के बारह विशिष्ट परिवारों की पहचान की, जो नए डेटा पर मॉडल कितना सटीक है, इसकी जाँच करने से लेकर यह देखने तक कि क्या इसे दुर्भावनापूर्ण इनपुट द्वारा धोखा दिया जा सकता है, और प्रशिक्षण के लिए उपयोग किए गए डेटा की गुणवत्ता का विश्लेषण करने से लेकर यह अध्ययन करने तक कि मनुष्य सिस्टम की कितनी अच्छी तरह से निगरानी कर सकते हैं। फिर उन्होंने इन बारह परिवारों को लिया और तीन दस्तावेज़ों में पाए गए बाईस विशिष्ट आवश्यकताओं के विरुद्ध उनकी तुलना की। उन्होंने प्रत्येक युग्म (pairing) के लिए एक सरल लेकिन गहन प्रश्न पूछा: क्या यह विशिष्ट परीक्षण इस विशिष्ट नियम को संतुष्ट करने के लिए आवश्यक मुख्य प्रमाण प्रदान करता है?
उन्होंने एक चौंका देने वाला असंतुलन पाया। वे नियम जो AI मॉडल स्वयं के बारे में साक्ष्य मांगते थे—जैसे कि इसकी सटीकता, इसकी मजबूती (robustness), या सांख्यिकीय अर्थों में इसकी निष्पक्षता—अच्छी तरह से समर्थित थे। आवश्यक रिपोर्ट उत्पन्न करने के लिए पर्याप्त तकनीकी परीक्षण उपलब्ध थे। हालाँकि, वे नियम जो इस बारे में साक्ष्य मांगते थे कि वास्तविक दुनिया में सिस्टम कैसे काम करता है, तैनाती के बाद, काफी हद तक बिना समर्थन के थे। ये नियम इस बारे में थे कि क्या एक मानव पर्यवेक्षक वास्तव में एक त्रुटि को पकड़ सकता था, क्या सिस्टम के लॉग एक विशिष्ट निर्णय को पुनर्गठित करने के लिए पर्याप्त विस्तृत थे, और क्या संगठन यह साबित कर सकता था कि वह लोगों के जीवन पर अपने प्रभाव की निगरानी कर रहा है। इन महत्वपूर्ण प्रश्नों के लिए, शोधकर्ताओं ने पाया कि उपलब्ध तकनीकी विधियाँ या तो पूरी तरह से गायब थीं या केवल कमजोर, माध्यमिक समर्थन प्रदान करती थीं।
अध्ययन ने खुलासा किया कि AI सिस्टम को सुरक्षित साबित करने के लिए उत्पन्न साक्ष्य मुख्य रूप से मध्यवर्तियों (intermediaries) के लिए डिज़ाइन किए गए हैं: सॉफ्टवेयर बनाने वाली कंपनियाँ, उनकी जाँच करने वाले ऑडिटर, और कानून लागू करने वाले सरकारी नियामक। वे लोग जो वास्तव में इन निर्णयों के अधीन हैं—नौकरी के लिए आवेदन करने वाला व्यक्ति जिसे अस्वीकार कर दिया गया, या ऋण चाहने वाला व्यक्ति जिसे मना कर दिया गया—उनके पास इस साक्ष्य तक पहुँचने का कोई सीधा मार्ग नहीं है। उन्हें यह स्पष्टीकरण मिल सकता है कि सिस्टम ने क्या किया, लेकिन वे उन अंतर्निहित रिकॉर्ड तक नहीं पहुँच सकते जो यह सत्यापित करने के लिए आवश्यक होंगे कि वह स्पष्टीकरण सत्य है या यह समझने के लिए कि निर्णय ठीक कैसे लिया गया। शोधकर्ता तर्क देते हैं कि यह केवल एक तकनीकी अंतर या पहेली का छूटा हुआ हिस्सा नहीं है; यह न्याय प्रणाली में एक मौलिक दोष है। प्रभावित लोगों को निर्णय को चुनौती देने के लिए आवश्यक साक्ष्य तक पहुँच से वंचित करके, वर्तमान ढांचा उन्हें एक सक्रिय भागीदार के बजाय निष्क्रिय विषय के रूप में देखता है, जो उनके भविष्य को निर्धारित करने वाली प्रक्रिया में शामिल है।
शोधकर्ता इस बात पर ध्यान देने में सावधानी बरतते हैं कि उनके निष्कर्ष उपलब्ध तकनीकी साहित्य और कानूनों के पाठ के विशिष्ट विश्लेषण पर आधारित हैं। उन्होंने यह दावा नहीं किया कि कंपनियाँ आंतरिक रूप से ये जाँच नहीं कर रही हैं, बल्कि यह कि इन जाँचों के प्रभावी होने को सिद्ध करने के तरीके अभी तक मानकीकृत या व्यापक रूप से उपलब्ध नहीं हैं जो नियमों को संतुष्ट करने वाले रूप में हों। उन्होंने यह भी रेखांकित किया कि उनके अपने कार्य में व्याख्या का एक अंश शामिल था। जब उन्होंने स्वतंत्र विशेषज्ञों से अपने मैपिंग की समीक्षा करने के लिए कहा, तो विशेषज्ञों ने व्यापक रूपरेखा पर सहमति व्यक्त की लेकिन कभी-कभी सूक्ष्म विवरणों पर असहमत रहे, जो सुझाव देता है कि नियम स्वयं विभिन्न उचित व्याख्याओं के लिए खुले हैं। लेखक सुझाव देते हैं कि यह असहमति समस्या का एक लक्षण है, न कि कोई त्रुटि: यह दर्शाता है कि वर्तमान आवश्यकताएँ इतनी स्पष्ट नहीं हैं कि सही प्रकार का साक्ष्य उत्पन्न करना सुनिश्चित किया जा सके।
अंततः, पेपर यह निष्कर्ष निकालता है कि AI गवर्नेंस का वर्तमान दृष्टिकोण अधूरा है। यह अत्यधिक रूप से उस साक्ष्य पर निर्भर है जिसे एक कंपनी के विकास पाइपलाइन के भीतर उत्पादित किया जा सकता है, जैसे कि परीक्षण परिणाम और तकनीकी दस्तावेज़, जबकि उस साक्ष्य की उपेक्षा करता है जिसे केवल वास्तविक दुनिया में लोगों के साथ सिस्टम की बातचीत का अवलोकन करके एकत्र किया जा सकता है। लेखक प्रस्ताव करते हैं कि AI को वास्तव में जवाबदेह बनाने के लिए, नियमों को विकसित होने की आवश्यकता है ताकि ऐसे साक्ष्य की मांग की जा सके जो न केवल मशीन के बारे में हो, बल्कि संपूर्ण सामाजिक-तकनीकी प्रणाली (socio-technical system) के बारे में हो। इसमें यह प्रमाण शामिल है कि मानव निरीक्षण प्रभावी है, लॉग घटनाओं के पुनर्निर्माण के लिए पर्याप्त हैं, और समाज पर सिस्टम के प्रभाव की निगरानी की जा रही है। इन परिवर्तनों के बिना, AI जवाबदेही का वादा केवल शक्तिशाली लोगों के लिए किया गया एक वादा बना रहेगा, जिससे सबसे अधिक प्रभावित होने वाले लोग खुद का बचाव करने के उपकरणों से वंचित रह जाएंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।