Whose fairness? Structural concentration in AI bias research
यह शोध पत्र प्रकट करता है कि एआई (AI) पूर्वाग्रह अनुसंधान संरचनात्मक रूप से अमेरिका-प्रधान संस्थानों और लेखकों के एक संकीर्ण समूह के भीतर केंद्रित है, जिससे यह चिंता उत्पन्न होती है कि परिणामी निष्पक्षता की परिभाषाएं और शमन विधियां विविध वैश्विक आबादी और संदर्भों के लिए सामान्यीकरण की कमी रख सकती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया एक विशाल, हलचल भरी रसोई है जहाँ शेफ लगातार स्वास्थ्य सेवा, कानून और दैनिक जीवन की समस्याओं को हल करने के लिए नई रेसिपी (व्यंजनों) का आविष्कार कर रहे हैं। लेकिन खाना पकाने से पहले, उन्हें इस बात पर सहमत होने की आवश्यकता है कि "निष्पक्षता" (fairness) का स्वाद कैसा होना चाहिए। यह शोध पत्र इस बात का एक पर्दे के पीछे का दृश्य है कि वास्तव में उस रसोई में कौन खड़ा है, रेसिपी कौन लिख रहा है, और क्या वे रेसिपी सभी के लिए काम करती हैं।
यहाँ इस शोध पत्र की कहानी है, जिसे सरल भागों में विभाजित किया गया है:
1. समस्या: रसोई में कौन है?
लेखकों जानना चाहते थे: हम किसकी निष्पक्षता की बात कर रहे हैं?
वर्षों से, शोधकर्ता AI पूर्वाग्रह (जब कंप्यूटर अनुचित निर्णय लेते हैं) को ठीक करने की कोशिश कर रहे हैं। उन्होंने इसे मापने के लिए उपकरण और नियम बनाए हैं। लेकिन उन्होंने कभी यह नहीं पूछा: इन नियमों को बना कौन रहा है?
यह शोध पत्र "AI निष्पक्षता" (AI Fairness) अनुसंधान समुदाय का एक हेडकाउंट (जनगणना) है। उन्होंने 2015 से 2025 के बीच प्रकाशित 692 शोध पत्रों का अध्ययन किया। उन्होंने इन शोध पत्रों को एक मानचित्र की तरह इस्तेमाल किया ताकि यह देखा जा सके कि शोधकर्ता कहाँ रहते हैं, वे किन स्कूलों या कंपनियों में काम करते हैं, और वे किससे बात करते हैं।
2. मुख्य निष्कर्ष: एक बहुत छोटा समूह ही सब कुछ चला रहा है
परिणाम दर्शाते हैं कि "AI निष्पक्षता" की रसोई अत्यधिक केंद्रित है।
- संयुक्त राज्य अमेरिका (US) मुख्य शेफ है: अमेरिका इस क्षेत्र में हावी है। उन्होंने निष्पक्षता के "नियम" तय करने वाले लगभग आधे शोध पत्र लिखे। यदि आप शोध टीमों के नेतृत्व करने वालों (प्रथम लेखकों) को देखें, तो वे लगभग 50% के लिए जिम्मेदार है।
- "ग्लोबल साउथ" गायब है: दक्षिण एशिया, अफ्रीका और लैटिन अमेरिका के देश इस कमरे में लगभग न के बराबर हैं। यहाँ तक कि भारत, जिसके पास एक विशाल तकनीकी कार्यबल है, भी इस विशिष्ट चर्चा में आश्चर्यजनक रूप से शांत है।
- "इनर सर्कल" (आंतरिक घेरा): शोधकर्ता ज्यादातर एक छोटे पश्चिमी क्लब (US, UK, कनाडा, जर्मनी) के भीतर ही एक-दूसरे से बात करते हैं। यह एक ऐसी डिनर पार्टी की तरह है जहाँ हर कोई एक-दूसरे को जानता है, लेकिन बाकी दुनिया को आमंत्रित नहीं किया गया है।
3. "फाउंडेशन" परत: सबसे महत्वपूर्ण कमरा सबसे विशिष्ट है
शोधकर्ताओं ने शोध पत्रों को पांच अलग-अलग "कमरों" या विषयों में विभाजित किया:
- सामान्य निष्पक्षता और पूर्वाग्रह शमन (नियम पुस्तिका/Rulebook)
- हेल्थ AI
- लार्ज लैंग्वेज मॉडल्स (LLMs)
- रिकमेंडर सिस्टम्स (जैसे नेटफ्लिक्स या यूट्यूब सुझाव)
- ग्राफ-आधारित निष्पक्षता
यहाँ एक महत्वपूर्ण मोड़ है: सबसे महत्वपूर्ण कमरा "सामान्य निष्पक्षता" (General Fairness) वाला कमरा है। यहीं पर परिभाषाएँ, बेंचमार्क और बुनियादी नियम बनाए जाते हैं। इन नियमों को फिर अन्य चार कमरों (जैसे हेल्थ या LLMs) द्वारा कॉपी किया जाता है और उपयोग किया जाता है।
- खतरा: "सामान्य निष्पक्षता" वाला कमरा सबसे अधिक केंद्रित है। अमेरिका किसी भी अन्य देश की तुलना में इस कमरे का नेतृत्व अधिक करता है।
- रूपक (Metaphor): कल्पना कीजिए कि एक कंपनी में, जहाँ सभी इमारतों के ब्लूप्रिंट (खाके) डिजाइन करने वाले लोग एक विशिष्ट पड़ोस में रहते हैं। वे दरवाजों और खिड़कियों को इस आधार पर डिजाइन करते हैं जो उनके पड़ोस के लिए उपयुक्त हो। फिर, वे उन ब्लूप्रिंटों को जंगल, रेगिस्तान और आर्कटिक में घर बनाने के लिए भेजते हैं। दरवाजे शायद फिट न हों, या खिड़कियाँ बहुत अधिक बारिश आने दें, क्योंकि मूल डिजाइनरों ने कभी उन जगहों का दौरा नहीं किया था।
4. "लोकप्रियता प्रतियोगिता" (Citations)
लेखकों ने यह भी देखा कि किसे सबसे अधिक "हाई-फाइव" (साइटेशन/प्रशंसा) मिलते हैं।
- कुछ शोध पत्रों को हजारों साइटेशन मिलते हैं, जबकि अधिकांश को बहुत कम मिलते हैं।
- दिलचस्प बात यह है कि केवल इसलिए कि कोई देश अधिक शोध पत्र लिखता है (जैसे चीन या भारत), इसका मतलब यह नहीं है कि उनके शोध पत्रों को सबसे अधिक "हाई-फाइव" मिलते हैं।
- हालाँकि, जिन शोध पत्रों को सबसे अधिक ध्यान मिलता है, वे अभी भी मुख्य रूप से अमेरिका और ब्रिटेन से हैं, और वे मुख्य रूप से "सामान्य निष्पक्षता" के नियमों के बारे में हैं।
5. यह क्यों मायने रखता है
लेखक तर्क देते हैं कि क्योंकि "नियम बनाने वाले" मुख्य रूप से अमेरिका और पश्चिमी यूरोप से हैं, इसलिए वे नियम जो वे बनाते हैं, वे सभी के लिए काम नहीं कर सकते।
- सांस्कृतिक अंध बिंदु (Cultural Blind Spots): जो न्यूयॉर्क में "निष्पक्ष" दिखता है, वह काठमांडू या नैरोबी में अनुचित लग सकता है। उदाहरण के लिए, शोध पत्र उल्लेख करता है कि कुछ संस्कृतियों में, नजरें चुराना सम्मान का संकेत है, जबकि पश्चिम में, इसे आत्मविश्वास की कमी के रूप में देखा जा सकता है। यदि कोई AI केवल पश्चिमी नियमों पर प्रशिक्षित है, तो वह अन्य संस्कृतियों के लोगों को गलत समझ सकता है।
- जोखिम: हम पूरी दुनिया के लिए AI सिस्टम बना रहे हैं, लेकिन "सुरक्षा नियमावली" (Safety Manuals) एक बहुत छोटे, गैर-प्रतिनिधिक समूह द्वारा लिखी जा रही है। इसका मतलब है कि समाधान उन लोगों के लिए काम नहीं करेंगे जिन्हें उनकी सबसे अधिक आवश्यकता है।
6. मदद के लिए उन्होंने क्या किया
लेखकों ने केवल समस्या की ओर इशारा नहीं किया; उन्होंने एक लाइव मैप (एक इंटरैक्टिव एटलस) बनाया जिसे कोई भी इस क्षेत्र को बढ़ते हुए देखने के लिए उपयोग कर सकता है। यह समुदाय को यह देखने की अनुमति देता है कि क्या रसोई अधिक विविध हो रही है या क्या यह अभी भी वही छोटा समूह है जो शो चला रहा है।
सारांश
यह शोध पत्र AI उद्योग पर एक चेतावनी लेबल है। यह कहता है: "हम सभी के लिए निष्पक्ष AI बनाने की कोशिश कर रहे हैं, लेकिन 'निष्पक्षता' की अवधारणा को डिजाइन करने वाले लोग मुख्य रूप से दुनिया के एक हिस्से से हैं। जब तक हम विभिन्न संस्कृतियों और देशों की आवाजों को मेज पर आमंत्रित नहीं करते, हमारी निष्पक्षता की परिभाषा अधूरी रहेगी और 'इनर सर्कल' के बाहर के लोगों के लिए संभावित रूप से हानिकारक होगी।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।