Who Evaluates AI's Social Impacts? Mapping Coverage and Gaps in First and Third Party Evaluations
यह शोध पत्र 186 प्रथम-पक्षीय और 248 तृतीय-पक्ष मूल्यांकन स्रोतों का विश्लेषण करता है ताकि एक महत्वपूर्ण शासन अंतराल को उजागर किया जा सके जहाँ डेवलपर्स विरल और सतही सामाजिक प्रभाव रिपोर्टिंग प्रदान करते हैं जबकि स्वतंत्र मूल्यांकनकर्ता व्यापक लेकिन अपूर्ण आकलन प्रस्तुत करते हैं, जो अंततः पारदर्शिता को अनिवार्य बनाने और स्वतंत्र मूल्यांकन पारिस्थितिक तंत्रों को सुदृढ़ करने वाली नीतियों का आह्वान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया एक विशाल, हलचल भरी रसोई है जहाँ शेफ (डेवलपर्स) हर दिन नई, सुपर-पावर्ड रेसिपी (AI मॉडल) बना रहे हैं। ये रेसिपी इतनी शक्तिशाली हैं कि वे कहानियाँ लिख सकती हैं, गणित की समस्याओं को हल कर सकती हैं, और यहाँ तक कि चित्र भी बना सकती हैं। लेकिन इन रेसिपीज़ को जनता के पास भेजने से पहले, हमें यह जानना होगा: क्या वे सुरक्षित हैं? क्या उनका स्वाद सभी के लिए अच्छा है, या वे कुछ लोगों को बीमार कर सकते हैं? क्या वे बहुत अधिक बिजली का उपयोग करती हैं?
यह शोध पत्र, जिसका शीर्षक "Who Evaluates AI's Social Impacts?" (AI के सामाजिक प्रभावों का मूल्यांकन कौन करता है?) है, उन खाद्य आलोचकों और स्वास्थ्य निरीक्षकों के समूह की तरह है जो यह पता लगाने की कोशिश कर रहे हैं कि वास्तव में कौन इन रेसिपीज़ की सुरक्षा और निष्पक्षता की जाँच कर रहा है। उन्होंने 186 आधिकारिक रिपोर्टों का अध्ययन किया जो स्वयं शेफ द्वारा लिखी गई थीं (प्रथम-पक्ष/First-Party) और 248 रिपोर्टों का अध्ययन किया जो बाहरी आलोचकों और स्वतंत्र परीक्षकों (तृतीय-पक्ष/Third-Party) द्वारा लिखी गई थीं।
यहाँ उनके निष्कर्ष दिए गए, जिन्हें सरल शब्दों में समझाया गया है:
1. शेफ अपनी स्वास्थ्य रिपोर्ट लिखने में खराब हैं
जब कोई शेफ एक नया व्यंजन पेश करता है, तो वह आमतौर पर एक "मॉडल कार्ड" (एक पोषण लेबल की तरह) देता है। शोधकर्ताओं ने पाया कि ये लेबल अक्सर अस्पष्ट, अपूर्ण या पूरी तरह से गायब होते हैं।
- समस्या: शेफ यह बताने में बहुत अच्छे हैं कि "यह व्यंजन जल्दी पक जाता है!" (तकनीकी प्रदर्शन), लेकिन वे इस बारे में बहुत चुप रहते हैं कि, "यह व्यंजन कुछ लोगों के लिए तीखा हो सकता है" (पूर्वाग्रह/Bias) या "इस व्यंजन को बनाने में बहुत अधिक पानी का उपयोग होता है" (पर्यावरणीय लागत)।
- रुझान: अतीत में, शेफ इन मुद्दों पर थोड़े अधिक खुले थे। लेकिन हाल ही में, पर्यावरणीय लागत और पूर्वाग्रह जैसे विषयों पर रिपोर्ट वास्तव में बदतर हुई है। ऐसा लगता है कि शेफ इन विषयों को कम करके दिखा रहे हैं, शायद इसलिए क्योंकि वे बुरा नहीं दिखना चाहते या उन्हें लगता है कि इसे समझाना बहुत जटिल है।
2. स्वतंत्र आलोचक भारी काम कर रहे हैं
चूँकि शेफ अच्छी रिपोर्ट नहीं लिख रहे हैं, इसलिए बाहरी आलोचकों (तृतीय-पक्ष मूल्यांकनकर्ताओं) ने कमान संभाल ली है।
- अच्छी खबर: ये स्वतंत्र परीक्षक बहुत बेहतर काम कर रहे हैं। वे "तीखे" हिस्सों (पूर्वाग्रह) को ढूंढ रहे हैं, यह जाँच रहे हैं कि क्या भोजन सभी के लिए सुरक्षित है (हानिकारक सामग्री), और यह माप रहे हैं कि व्यंजन विभिन्न समूहों के लिए कैसा प्रदर्शन करता है।
- सीमा: आलोचक केवल भोजन का स्वाद चख सकते हैं; वे रसोई के अंदर नहीं देख सकते। वे ठीक से नहीं जानते कि ओवन ने कितनी बिजली का उपयोग किया, सामग्रियों की लागत कितनी थी, या रसोई के कर्मचारियों (डेटा को व्यवस्थित करने वाले इंसान) के साथ कैसा व्यवहार किया गया। केवल शेफ ही उन रहस्यों को जानते हैं।
### 3. "लापता" सामग्रियाँ
शोधकर्ताओं ने "सामाजिक प्रभाव" (AI समाज को कैसे प्रभावित करता है) के सात विशिष्ट क्षेत्रों को देखा। प्रत्येक की स्थिति यहाँ दी गई है:
- संवेदनशील सामग्री (विषाक्तता/Toxicity): यह सबसे अधिक रिपोर्ट किया जाने वाला क्षेत्र है। सभी इस बात को लेकर चिंतित हैं कि AI अभद्र बातें कर सकता है, इसलिए शेफ और आलोचक दोनों इसके बारे में बहुत चर्चा करते हैं।
- पूर्वाग्रह और निष्पक्षता (Bias & Fairness): यहाँ कुछ रिपोर्टिंग हो रही है, लेकिन समय के साथ यह बदतर होती जा रही है। शेफ कहना शुरू कर रहे हैं कि, "इसे मापना बहुत कठिन है," या "यह अभी बहुत राजनीतिक है।"
- पर्यावरणीय लागत: यह एक बहुत बड़ा अंतर है। शेफ पहले अपने मॉडल्स द्वारा उपयोग की जाने वाली ऊर्जा के बारे में रिपोर्ट करते थे, लेकिन इस रिपोर्टिंग में भारी गिरावट आई है। यह एक रेस्टोरेंट के उस व्यवहार जैसा है जो आपको यह बताने से मना कर देता है कि वह कितना पानी बर्बाद करता है।
- श्रम और मानवाधिकार: यह सबसे बड़ा अंधा बिंदु है। लगभग कोई भी इस बात की रिपोर्ट नहीं करता कि डेटा को लेबल करने वाले लोग या सामग्री को नियंत्रित करने वाले लोग कौन हैं। यह ऐसा है जैसे कोई रेस्टोरेंट कभी भी अपने बर्तन धोने वालों की स्थितियों का जिक्र नहीं करता।
- गोपनीयता और लागत: इनके बारे में विस्तार से शायद ही कभी रिपोर्ट किया जाता है।
4. शेफ सच क्यों छिपा रहे हैं?
शोधकर्ताओं ने कंपनियों के भीतर के लोगों का साक्षात्कार लिया ताकि कारण समझ सकें। उन्हें दो मुख्य कारण मिले:
- डर: यदि कोई शेफ यह स्वीकार करता है कि उसके व्यंजन में कोई दोष है, तो इससे उसकी प्रतिष्ठा को ठेस पहुँच सकती है या वह कानूनी मुसीबत में पड़ सकता है। इसलिए, वे चुप रहते हैं।
- प्रोत्साहन (Incentives): शेफ परीक्षण का कठिन काम तभी करते हैं जब इससे उन्हें व्यंजन बेचने में मदद मिले या सरकार उन्हें मजबूर करे। यदि पारदर्शिता में कोई लाभ नहीं है, तो वे इसे नहीं करते हैं।
5. "प्रसिद्ध शेफ" का पूर्वाग्रह
अध्ययन में यह भी देखा गया कि बाहरी आलोचक मुख्य रूप से सबसे प्रसिद्ध शेफ (जैसे अमेरिका और चीन के) पर ध्यान केंद्रित करते हैं क्योंकि उनके व्यंजन लोकप्रिय हैं।
- परिणाम: छोटे शेफ या कम प्रसिद्ध क्षेत्रों के शेफ को लगभग कोई ध्यान नहीं मिलता है। उनकी "रेसिपी" भी उतनी ही खतरनाक हो सकती है, लेकिन कोई उनकी जाँच नहीं करता क्योंकि वे ट्रेंडिंग नहीं हैं।
निचोड़ (The Bottom Line)
यह शोध पत्र तर्क देता है कि हम केवल उन लेबल पर भरोसा नहीं कर सकते जो कंपनियाँ खुद लिखती हैं।
- अंतराल: हमें इस बारे में जानकारी का एक बहुत बड़ा अभाव है कि AI पर्यावरण, इसे बनाने वाले लोगों और उपयोगकर्ताओं की गोपनीयता को कैसे प्रभावित करता है।
- समाधान: हमें नए नियमों (नीतियों) की आवश्यकता है जो शेफ को ईमानदार होने के लिए मजबूर करें। हमें एक बेहतर प्रणाली बनाने की भी आवश्यकता है जहाँ स्वतंत्र आलोचक अपना काम करने के लिए आवश्यक डेटा प्राप्त कर सकें, और हमें उन लोगों की रक्षा करने की आवश्यकता है जो आवाज़ उठाते हैं ताकि उन्हें दंडित न किया जाए।
संक्षेप में: शेफ रसोई के बिखरे हुए और गंदे हिस्सों को छिपा रहे हैं, और स्वतंत्र निरीक्षक अंदर झांकने की पूरी कोशिश कर रहे हैं, लेकिन शेफ की मदद के बिना वे सब कुछ नहीं देख सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।