Open Veins of Algorithmic Auditing: Why AI Assessment Lags Behind Its Deployment in the Global South
ग्लोबल साउथ में ऑडिट अभ्यास के एक दशक के अनुभव का उपयोग करते हुए, यह शोध पत्र तर्क देता है कि एआई (AI) की तीव्र तैनाती और शासन के बीच का महत्वपूर्ण अंतर क्षमता की कमी के कारण नहीं बल्कि वित्त पोषण की कमी से प्रेरित है, जो विकास और परोपकारी फंडर्स से अमान्य प्रॉक्सी और संरचनात्मक पूर्वाग्रह जैसी प्रणालीगत खामियों को दूर करने के लिए स्वतंत्र मूल्यांकन को अनिवार्य करने का आग्रह करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ अदृश्य रोबोट लोगों के जीवन के बारे में बड़े फैसले ले रहे हैं: यह तय करना कि क्या किसी बच्चे को मदद की ज़रूरत है, क्या कोई मरीज़ बीमार है, या किसी किसान को ऋण मिलेगा या नहीं। ये रोबोट आर्टिफिशियल इंटेलिजेंस (AI) द्वारा संचालित हैं। लेकिन यहाँ एक पेच है: सिर्फ इसलिए कि एक रोबोट स्मार्ट है, इसका मतलब यह नहीं है कि वह निष्पक्ष, सुरक्षित या वैसा ही काम कर रहा है जैसा उसके निर्माता कहते हैं। यह जानने के लिए, हमें "AI ऑडिट" की आवश्यकता है। एक ऑडिट को ऐसे समझें जैसे आप कार खरीदने से पहले मैकेनिक से उसकी जांच करवाते हैं, या एक शिक्षक टेस्ट को ग्रेड देता है ताकि यह देख सके कि उत्तर वास्तव में सही हैं या नहीं। दुनिया के समृद्ध हिस्सों (ग्लोबल नॉर्थ) में, इन AI रोबोटों की जांच करने वाले बहुत से मैकेनिक और शिक्षक मौजूद हैं। लेकिन विकासशील हिस्सों की दुनिया (ग्लोबल साउथ) में, ये रोबोट बिना किसी जांच के बेतहाशा चल रहे हैं। यह शोध पत्र एक सरल लेकिन ज़रूरी सवाल पूछता है: क्या होता है जब हम इन शक्तिशाली रोबोटों को उन जगहों पर जीवन-मृत्यु के निर्णय लेने देते हैं जहाँ किसी को भी उनके 'हुड' के नीचे झांकने की अनुमति नहीं है?
महान ऑडिट अंतराल: दक्षिण में बेकाबू दौड़ते रोबोट
एटिकस फाउंडेशन (Eticas Foundation) के विशेषज्ञों द्वारा लिखा गया यह शोध पत्र एक विशाल असंतुलन की कहानी बताता है। जबकि अफ्रीका, लैटिन अमेरिका और एशिया में अस्पतालों, स्कूलों और सरकारी कार्यालयों में AI को बहुत तेज़ गति से स्थापित किया जा रहा है, वे लोग जो यह जांचने के लिए जिम्मेदार हैं कि ये सिस्टम सुरक्षित हैं या नहीं, वे लगभग पूरी तरह से गायब हैं।
लेखकों ने पाया कि जबकि इन क्षेत्रों में AI बनाने में अरबों डॉलर डाले जा रहे हैं, वास्तविक दुनिया में ये सिस्टम कैसे काम करते हैं, इसकी जांच करने वाले स्वतंत्र विशेषज्ञों की प्रकाशित रिपोर्टें बीस से भी कम हैं। इसे समझने के लिए: अकेले यूनाइटेड किंगडम में पूरे ग्लोबल साउथ की तुलना में अधिक AI ऑडिटर हैं। यह एक देश में हज़ार नए पुल बनाने जैसा है, लेकिन उन्हें यह जांचने के लिए केवल एक इंजीनियर उपलब्ध है कि क्या वे सुरक्षित हैं, और वह इंजीनियर दूसरे देश के पुलों की जांच करने में व्यस्त है।
जो कुछ जांच हमने की, उनसे क्या पता चला
लेखकों ने केवल गायब जांचों की गिनती नहीं की; उन्होंने वास्तव में कुछ जांचें खुद भी कीं। उन्होंने ब्राजील, अर्जेंटीना और अन्य देशों में सिस्टम देखे, और जो उन्होंने पाया वह डरावना था, लेकिन बहुत स्पष्ट भी।
1. "गरीबी डिटेक्टर" का जाल
एक मामले में, एक सरकार ने यह तय करने के लिए AI का उपयोग किया कि किन बच्चों को सामाजिक सेवाओं की आवश्यकता है और कौन जोखिम में है। सिस्टम का उद्देश्य उन बच्चों को खोजना था जिनके अधिकारों का उल्लंघन हो रहा था। लेकिन जब ऑडिटर्स ने बारीकी से देखा, तो उन्हें एहसास हुआ कि रोबोट वास्तव में दुर्व्यवहार (abuse) को नहीं देख रहा था। वह गरीबी को देख रहा था। क्योंकि जिस डेटा पर इसे प्रशिक्षित किया गया था, वह गरीब मोहल्लों से आया था, AI ने यह मान लिया कि गरीब होना ही जोखिम में होने के बराबर है। यह एक स्मोक डिटेक्टर की तरह था जो केवल तब बजता है जब आप टोस्ट पकाते हैं, और वास्तविक आग को अनदेखा कर देता है। सिस्टम लाखों बच्चों को, जिनमें से कई को उसने कभी देखा भी नहीं था, एक त्रुटिपूर्ण विचार के आधार पर स्कोर दे रहा था।
2. "94% सटीक" का झूठ
एक अन्य उदाहरण में, ब्राजील के एक अस्पताल ने भविष्यवाणी करने के लिए AI का उपयोग किया कि कौन से मरीज बीमार हो रहे हैं। सिस्टम ने दावा किया कि यह 94% सटीक है। यह सुनने में अद्भुत लगता है, है ना? लेकिन ऑडिटर्स ने पाया कि यह संख्या एक चाल थी। AI इस बात की भविष्यवाणी करने में इतना अच्छा था कि अधिकांश लोग ठीक रहेंगे, इसलिए उसे उच्च स्कोर मिला, भले ही वह उन विशिष्ट लोगों को पहचानने में विफल रहा जो वास्तव में बीमार हो रहे थे। यह एक मौसम ऐप की तरह है जो हर दिन कहता है "बारिश नहीं होगी"। यह तकनीकी रूप से 99% समय सही होता है क्योंकि बारिश कम होती है, लेकिन जब तूफान आता है तो यह बेकार होता है। ऑडिटर्स ने पाया कि सिस्टम उन युवा महिलाओं को चेतावनी देने में विफल रहा जो वास्तव में खतरे में थीं।
3. "ब्लैक बॉक्स" का मिथक
यह शोध पत्र यह भी तर्क देता है कि यह जानने के लिए कि रोबोट टूटा हुआ है या नहीं, हमें उसके गुप्त कोड (ब्लैक बॉक्स) को देखने की आवश्यकता नहीं है। आपको यह जानने के लिए मैकेनिक होने की आवश्यकता नहीं है कि कार खराब है यदि वह शुरू नहीं होती या उससे जलने की गंध आती है। ऑडिटर्स ने पाया कि केवल यह देखकर कि AI क्या कर रहा था—कि वह किसकी मदद कर रहा था और किसे अनदेखा कर रहा था—वे समस्याओं को पकड़ सकते थे। समस्या यह नहीं थी कि कोड को समझना बहुत कठिन था; समस्या यह थी कि कोई भी परिणामों पर नज़र नहीं रख रहा था।
ऐसा क्यों हो रहा है? (यह "क्षमता" की समस्या नहीं है)
आप सोच सकते हैं, "शायद ग्लोबल साउथ के देशों के पास इन रोबोटों की जांच करने के लिए पर्याप्त बुद्धिमान लोग या पैसा नहीं है।" शोध पत्र कहता है: नहीं, यह वह नहीं है।
लेखकों ने पाया कि वे ये जांच कर सकते थे। उन्होंने इन्हें छोटी टीमों और छोटे बजट के साथ किया। समस्या यह नहीं है कि यह काम असंभव है; समस्या यह है कि कोई इसके लिए भुगतान नहीं कर रहा है।
इसे एक स्कूल की तरह सोचें। यदि प्रिंसिपल (सरकार) यह अनिवार्य नहीं करता कि एक शिक्षक को ग्रेड दिया जाए, और स्कूल बोर्ड (फंडिंग देने वाले) एक ग्रेडर के लिए भुगतान नहीं करता है, तो शिक्षक की कभी जांच नहीं होगी। ग्लोबल साउथ में, जो लोग इन AI सिस्टम को बना रहे हैं, उन्हें अक्सर बड़े अंतरराष्ट्रीय बैंकों या चैरिटी द्वारा वित्त पोषित किया जाता है। लेकिन ये फंडर्स आमतौर पर केवल यह पूछते हैं, "क्या आपने अच्छा व्यवहार करने का वादा किया है?" वे यह नहीं कहते, "हमें सबूत दिखाएं कि आपका सिस्टम वास्तव में काम करता है।"
चूंकि कोई भी निर्माताओं को अपना काम दिखाने के लिए मजबूर नहीं कर रहा है, और कोई भी निरीक्षण के लिए भुगतान नहीं कर रहा है, इसलिए निरीक्षण कभी नहीं होते। यह फंडिंग की समस्या है, प्रतिभा की नहीं।
समाधान: अनुबंध में जांच को शामिल करें
शोध पत्र एक स्पष्ट, सरल समाधान के साथ समाप्त होता है। जो लोग इसे ठीक करने की शक्ति रखते हैं, वे हैं फंडर्स (वित्तपोषक)।
यदि कोई बैंक या चैरिटी AI सिस्टम बनाने के लिए पैसा देती है, तो उन्हें एक नियम बनाना चाहिए: "आपको यह पैसा तब तक नहीं मिल सकता जब तक कि एक स्वतंत्र विशेषज्ञ पहले आपके सिस्टम की जांच न कर ले।" और उन्हें केवल कोड की जांच नहीं करनी चाहिए; उन्हें परिणामों की जांच करनी चाहिए। क्या सिस्टम ने वास्तव में उन लोगों की मदद की जिन्हें मदद मिलनी चाहिए थी?
लेखक इन फंडर्स के लिए पांच सरल नियम सुझाते हैं:
- जांच को अनिवार्य बनाएं: पैसा पाने के लिए स्वतंत्र ऑडिट को एक आवश्यकता बनाएं।
- केवल गणित नहीं, बल्कि परिणामों की जांच करें: देखें कि सिस्टम वास्तविक लोगों को कैसे प्रभावित करता है, न कि केवल यह कि कोड कैसा दिखता है।
- निष्कर्ष प्रकाशित करें: परिणामों को गुप्त न रहने दें। यदि कोई सिस्टम टूटा हुआ है, तो जनता को पता होना चाहिए।
- स्थानीय टीमें बनाएं: उन देशों के लोगों को यह जांच करने के लिए प्रशिक्षित करें, ताकि उन्हें दूर के विशेषज्ञों पर निर्भर न रहना पड़े।
- उपकरण साझा करें: चेकलिस्ट और तरीकों को सभी के उपयोग के लिए खुला रखें।
निष्कर्ष
यह शोध पत्र तर्क देता है कि हम एक चौराहे पर खड़े हैं। हम ग्लोबल साउथ में बिना किसी निगरानी के AI सिस्टम को चलते रहने दे सकते हैं, जिसका अर्थ है कि गलतियाँ उन लोगों के साथ होती रहेंगी जो उन्हें झेलने में सबसे कम सक्षम हैं। या, हम खेल के नियम बदल सकते हैं। फंडिंग की शर्त बनाकर, हम डेटा और निर्णय लेने की इन "खुली नसों" को कुछ सुरक्षित, निष्पक्ष और जवाबदेह बना सकते हैं।
इसे ठीक करने के उपकरण पहले से ही मौजूद हैं। विशेषज्ञ तैयार हैं। बस कमी है तो निर्णय की कि क्या इसके लिए भुगतान किया जाए। जैसा कि लेखक कहते हैं, अगला दशक या तो इस बात के रूप में याद किया जाएगा कि ग्लोबल साउथ ने ऐसे सिस्टम बनाए जिन्हें वह नियंत्रित नहीं कर सका, या उस क्षण के रूप में जब इसने अंततः उन्हें जवाबदेह बनाना शुरू किया। यह चुनाव उन लोगों का है जो चेक (भुगतान) लिख रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।