← नवीनतम पेपर
💻 computer science

How Fair is Software Fairness Testing?

यह विजन पेपर वर्तमान सॉफ्टवेयर निष्पक्षता परीक्षण में निहित सांस्कृतिक पूर्वाग्रहों, पश्चिमी-केंद्रित डेटा सीमाओं और नैतिक असमानताओं की आलोचना करता है, और उन मूल्यांकन ढांचों का समर्थन करता है जो सांस्कृतिक बहुलता और एल्गोरिद्मिक मध्यस्थता को अस्वीकार करने के अधिकार को स्वीकार करते हैं।

मूल लेखक: Ann Barcomb, Mariana Pinheiro Bento, Giuseppe Destefanis, Sherlock Licorish, Cleyton Magalhães, Ronnie de Souza Santos, Mairieli Wessel

प्रकाशित 2026-03-17
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Ann Barcomb, Mariana Pinheiro Bento, Giuseppe Destefanis, Sherlock Licorish, Cleyton Magalhães, Ronnie de Souza Santos, Mairieli Wessel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक वैश्विक पार्टी के लिए एक बेहतरीन केक बनाने की कोशिश कर रहे हैं। आप चाहते हैं कि हर कोई इसका आनंद ले, इसलिए आप यह सुनिश्चित करने के लिए कि यह सभी मेहमानों के लिए "उचित" (fair) है, खुद इसका स्वाद चखने का निर्णय लेते हैं।

लेकिन यहाँ एक समस्या है: आपने स्वाद चखने के लिए केवल अपने ही पड़ोस के लोगों को आमंत्रित किया है। आपने उनसे पूछा, "क्या यह पर्याप्त मीठा है? क्या इसमें नमक बहुत ज्यादा है?" वे सब कहते हैं, "हाँ, यह बिल्कुल सही है!" तो, आप इस केक को "उचित" घोषित कर देते हैं और इसे पूरी दुनिया को परोस देते हैं।

हालाँकि, दुनिया के अन्य हिस्सों के मेहमानों को यह केक बहुत मीठा लग सकता है, या वे शायद केक खाएंगे भी नहीं क्योंकि यह उनकी परंपराओं के विरुद्ध है। इससे भी बुरा यह है कि इस केक के लिए सामग्री दूर देश के श्रमिकों द्वारा उगाई गई थी, जिन्हें बहुत कम भुगतान किया गया था, और उस ओवन ने भी बहुत अधिक ईंधन जलाया जिससे उनके गाँव की हवा प्रदूषित हो गई।

यह शोध पत्र, "सॉफ्टवेयर फेयरनेस टेस्टिंग कितनी निष्पक्ष है?" (How Fair is Software Fairness Testing?), तर्क देता है कि जिस तरह से हम वर्तमान में AI के लिए 'फेयरनेस' (निष्पक्षता) का परीक्षण करते हैं, वह बिल्कुल इस दोषपूर्ण केक परीक्षण की तरह है। यह सतह पर तो निष्पक्ष दिखता है, लेकिन वास्तव में यह छिपे हुए पूर्वाग्रहों, बहिष्कृत आवाजों और वास्तविक दुनिया की लागतों पर बना है।

यहाँ इस शोध पत्र के मुख्य बिंदुओं का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "सार्वभौमिक नियम पुस्तिका" वास्तव में केवल एक "स्थानीय नियम पुस्तिका" है

समस्या: जब हम AI का परीक्षण करते हैं, तो हम यह तय करने के लिए एक "नियम पुस्तिका" (metrics) का उपयोग करते हैं कि क्या निष्पक्ष है। शोध पत्र का तर्क है कि यह नियम पुस्तिका पूरी तरह से पश्चिम (यूरोप और उत्तरी अमेरिका) के लोगों द्वारा लिखी गई थी।

  • उपमा: एक फुटबॉल मैच में रेफरी की कल्पना करें जिसे केवल अमेरिकन फुटबॉल के नियम पता हैं। वे हर बार सीटी बजाते हैं जब कोई खिलाड़ी अपने हाथों से गेंद को पास करने की कोशिश करता है, भले ही इस खेल में, वही गेंद को आगे बढ़ाने का मुख्य तरीका हो। रेफरी नियमों को लागू करके "निष्पक्ष" होने का ढोंग करता है, लेकिन वास्तव में वह खिलाड़ियों को उनकी संस्कृति के अनुसार सही ढंग से खेलने के लिए दंडित कर रहा है।
  • वास्तविकता: वर्तमान AI परीक्षण यह मान लेते हैं कि पश्चिमी विचार (जैसे व्यक्तिगत अधिकार या विशिष्ट जनसांख्यिकीय श्रेणियाँ) ही एकमात्र मायने रखते हैं। वे इन्हें सार्वभौमिक कानून मानते हैं, यह अनदेखा करते हुए कि अन्य संस्कृतियाँ निष्पक्षता को सामुदायिक सद्भाव, बुजुर्गों के सम्मान या सामूहिक कल्याण के रूप में परिभाषित कर सकती हैं।

2. "पुस्तकालय" में आधे किताबें गायब हैं

समस्या: AI को यह सिखाने के लिए कि क्या निष्पक्ष है, हम विशाल डेटासेट (पाठ, चित्र और डेटा के संग्रह) का उपयोग करते हैं। अधिकांश डेटासेट पश्चिमी स्रोतों से बने हैं: अंग्रेजी पुस्तकें, अमेरिकी समाचार और डिजिटल रिकॉर्ड।

  • उपमा: कल्पना कीजिए कि आप एक छात्र को पिछले 50 वर्षों की अंग्रेजी में लिखी गई पुस्तकों वाले पुस्तकालय का उपयोग करके विश्व इतिहास के बारे में सिखाने की कोशिश कर रहे हैं। यदि आप उस छात्र से प्राचीन मौखिक परंपराओं, स्वदेशी भाषाओं या गैर-डिजिटल समुदायों के बारे में पूछते हैं, तो उसे पता ही नहीं होगा कि आप किस बारे में बात कर रहे हैं। वह अनुमान लगाएगा, और उसके गलत होने की पूरी संभावना है।
  • वास्तविकता: AI सिस्टम उन संस्कृतियों के प्रति "अंधा" होता है जिनका डिजिटल फुटप्रिंट मजबूत नहीं है। वे अक्सर बोलियों (dialects) की गलत व्याख्या करते हैं, सांस्कृतिक बारीकियों को नहीं समझ पाते, या समस्याओं को हल करने के गैर-पश्चिमी तरीकों को "त्रुटि" मान लेते हैं।

3. "कारखाने" का एक काला सच है

समस्या: शोध पत्र दो नैतिक मुद्दों पर प्रकाश डालता है: चलाने के लिए AI की पर्यावरणीय लागत और डेटा लेबल करने वाले मनुष्यों की मानवीय लागत।

  • उपमा:
    • ऊर्जा की लागत: एक विशाल, उच्च-तकनीकी कारखाने की कल्पना करें जो AI बनाता है। यह 24/7 चलता है और बिजली की भारी खपत करता है, जिससे प्रदूषण होता है। कारखाना एक समृद्ध देश में स्थित है, लेकिन कारखाने का धुआं सीधे पास के एक गरीब गाँव के फेफड़ों में जाता है। समृद्ध देश के लोगों को "स्मार्ट" उत्पाद मिलते हैं, जबकि गरीब गाँव को स्वास्थ्य संबंधी समस्याएं मिलती हैं।
    • डेटा कार्यकर्ता: AI को सिखाने के लिए, मनुष्यों को लाखों चित्रों और वाक्यों को लेबल करना पड़ता है। यह काम अक्सर ग्लोबल साउथ (जैसे केन्या या फिलीपींस) के श्रमिकों को आउटसोर्स किया जाता है जिन्हें बहुत कम भुगतान किया जाता है और खराब परिस्थितियों में काम करना पड़ता है। उनकी आवाज डेटा में तो है, लेकिन उनके पास यह कहने का कोई अधिकार नहीं है कि AI को कैसे बनाया या टेस्ट किया जाए।
  • वास्तविकता: वर्तमान AI परीक्षण प्रणाली "डेटा उपनिवेशवाद" (data colonialism) पर टिकी है—जो शक्तिशाली राष्ट्रों के लिए शक्तिशाली उपकरण बनाने के लिए कमजोर स्थानों से ज्ञान और श्रम लेती है, जबकि इसके द्वारा होने वाले पर्यावरणीय और सामाजिक नुकसान को अनदेखा करती है।

4. हमें इसके बजाय क्या करना चाहिए?

लेखक केवल "नियम पुस्तिका" को ठीक नहीं करना चाहते; वे पूरे खेल को बदलना चाहते हैं। वे सुझाव देते हैं:

  • "एक ही आकार सबके लिए" (One-Size-Fits-All) दृष्टिकोण को छोड़ें: एक वैश्विक परीक्षण के बजाय, हमें स्थानीय परीक्षणों की आवश्यकता है। जिस तरह ब्राजील का डॉक्टर नॉर्वे के मरीज का इलाज अलग तरह से कर सकता है, उसी तरह AI का परीक्षण स्थानीय सांस्कृतिक मूल्यों के आधार पर किया जाना चाहिए।
  • सभी को मेज पर आमंत्रित करें: हमें समुदायों को यह परिभाषित करने देना होगा कि उनके लिए "निष्पक्ष" क्या है। यदि कोई समुदाय कहता है, "हम नहीं चाहते कि यह AI हमारी भूमि के बारे में निर्णय ले," तो परीक्षण को उस इनकार का सम्मान करना चाहिए।
  • लागत को स्वीकार करें: हमें यह स्वीकार करने की आवश्यकता है कि AI बनाने की एक कीमत होती है, जिसमें ऊर्जा और मानव श्रम शामिल है। एक वास्तव में "निष्पक्ष" प्रणाली इन लागतों पर विचार करेगी, न कि केवल इस पर कि AI कितना सटीक है।

निष्कर्ष

शोध पत्र का निष्कर्ष है कि निष्पक्षता कोई निश्चित संख्या नहीं है जिसे आप गणना कर सकें; यह एक सांस्कृतिक संवाद है।

अभी, सॉफ्टवेयर फेयरनेस टेस्टिंग उस दर्पण की तरह है जो केवल उस व्यक्ति के चेहरे को दर्शाता है जिसने उसे पकड़ा हुआ है। लेखक चाहते हैं कि हम उस दर्पण को तोड़ दें और उसके बजाय एक 'कैलीडोस्कोप' (kaleidoscope) बनाएं—एक ऐसा यंत्र जो कई अलग-अलग पैटर्न, रंग और दृष्टिकोण दिखाए, यह स्वीकार करते हुए कि जो एक जगह "निष्पक्ष" दिखता है, वह दूसरी जगह बहुत अलग हो सकता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →