Fairness in Link Prediction Beyond Demographic Parity: A Reproducibility Study
यह पुनरुत्पादकता अध्ययन प्रदर्शित करता है कि प्रस्तावित रैंक-अवेयर NDKL मीट्रिक और MORAL पोस्ट-प्रोसेसिंग विधि पारंपरिक जनसांख्यिकीय समानता द्वारा अनदेखी की गई लिंक प्रेडिक्शन में एक्सपोज़र बायस को प्रभावी ढंग से उजागर और कम करती है, जबकि विविध सेटिंग्स में प्रतिस्पर्धी उपयोगिता बनाए रखती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल डिजिटल जहाज के कप्तान हैं, जो इंटरनेट के विशाल महासागर में सिफारिशों (recommendations) के बेड़े का संचालन कर रहे हैं। हर बार जब आप किसी नए दोस्त, नौकरी के उम्मीदवार या सेवा का सुझाव देते हैं, तो आप अनिवार्य रूप से दो लोगों के बीच एक लिंक स्थापित कर रहे होते हैं। मशीन लर्निंग की दुनिया में, इसे लिंक प्रेडिक्शन (link prediction) कहा जाता है। लेकिन यहाँ एक पेंच है: सिर्फ इसलिए कि आप एक लिंक की भविष्यवाणी कर सकते हैं, इसका मतलब यह नहीं है कि आप हर किसी के साथ समान व्यवहार करें। यदि आपके जहाज का दिशा-सूचक यंत्र (compass) थोड़ा भी गलत है, तो आप कुछ समूहों के लोगों को बार-बार एक-दूसरे के करीब लाते रह सकते हैं, जबकि दूसरों को अंधेरे में अकेला छोड़ सकते हैं। यही निष्पक्षता (fairness) की समस्या है।
लंबे समय तक, वैज्ञानिकों ने यह जांचने के लिए एक सरल नियम का उपयोग किया जिसे डेमोग्राफिक पैरिटी (Demographic Parity) कहा जाता है। इसे ऐसे समझें जैसे आप डेक पर समूह A और समूह B के कितने यात्री हैं, इसकी गिनती कर रहे हों। यदि संख्याएँ लगभग बराबर हैं, तो कप्तान मान लेता है कि सभी के साथ निष्पक्ष व्यवहार किया जा रहा है। लेकिन यह शोध तर्क देता है कि यह नियम इस बात को अनदेखा करने जैसा है कि यात्री कहाँ बैठे हैं। यदि समूह A जहाज के सामने वाले वीआईपी लाउंज में है (जहाँ उन्हें सारा ध्यान मिल रहा है) और समूह B पीछे के कार्गो होल्ड में ठसाठस भरा हुआ है (जहाँ उन्हें अनदेखा किया जा रहा है), तो कुल संख्या संतुलित दिख सकती है, लेकिन अनुभव बेहद अन्यायपूर्ण होगा। यह केवल "वहाँ होने" और एक्सपोज़र (exposure) यानी दिखने और चुने जाने के अवसर के बीच का अंतर है।
इस अध्ययन के शोधकर्ताओं ने, जो एम्स्टर्डम विश्वविद्यालय के छात्रों की एक टीम है, इस "एक्सपोज़र बायस" (exposure bias) के बारे में एक नया सिद्धांत परीक्षण करने का निर्णय लिया। वे देखना चाहते थे कि क्या पुराना नियम (डेमोग्राफिक पैरिटी) वास्तविक समस्या को छिपा रहा था और क्या एक नया, अधिक संवेदनशील पैमाना इसे ठीक कर सकता है। उन्होंने मूल विचार को केवल सच नहीं माना; उन्होंने प्रयोग को फिर से बनाया, रास्ते में मिले कुछ टूटे हुए उपकरणों को ठीक किया, और यहाँ तक कि यह देखने के लिए अपने स्वयं के तूफानी समुद्र भी बनाए कि क्या नया दिशा-सूचक यंत्र टिक पाता है। उन्होंने जो पाया वह बताता है कि वास्तव में निष्पक्ष होने के लिए, हमें केवल यह नहीं देखना चाहिए कि किसे लिंक मिलता है, बल्कि यह भी देखना चाहिए कि सुझावों की सूची में वह लिंक कहाँ दिखाई देता है।
शोध पत्र की कहानी
यह शोध पत्र, जिसका शीर्षक "Fairness in Link Prediction Beyond Demographic Parity: A Reproducizability Study" है, अनिवार्य रूप से एल्गोरिदम में निष्पक्षता के बारे में एक जासूसी कहानी है। लेखकों, वैलेंटिन ओल्डनबर्ग, फ्लोरिस डी काम, स्टेफ डी विल्ट और जारनो बाल्क ने एक अन्य शोध टीम (मैटोस एट अल., 2025) द्वारा किए गए दावे को सत्यापित करने का लक्ष्य रखा। मूल टीम ने तर्क दिया था कि निष्निष्पक्षता मापने का मानक तरीका दोषपूर्ण था क्योंकि वह लिंक्स की रैंकिंग (ranking) को अनदेखा करता था।
समस्या को समझने के लिए, एक संगीत प्लेलिस्ट की कल्पना करें। यदि एक प्लेलिस्ट निष्पक्ष होनी चाहिए, तो उसे केवल कलाकार A और कलाकार B के गानों की समान संख्या नहीं बजानी चाहिए। यह मायने रखता है कि वे कब बजते हैं। यदि कलाकार A के गाने हमेशा ऊपर (जहाँ लोग वास्तव में सुनते हैं) होते हैं, और कलाकार B के गाने नीचे (जहाँ कोई स्क्रॉल नहीं करता) दबे होते हैं, तो प्लेलिस्ट पक्षपाती है, भले ही गानों की कुल संख्या समान हो। लिंक प्रेडिक्शन की दुनिया में, यह "सूची का शीर्ष" वही है जहाँ एक्सपोज़र होता है। पुराना नियम, डेमोग्राफिक पैरिटी, पूरी गानों की गिनती करने और यह कहने जैसा था, "अरे, हमारे पास A से 50 और B से 50 हैं, इसलिए हम निष्पक्ष हैं!" नया नियम, जिसे NDKL कहा जाता है, प्लेलिस्ट के क्रम को देखता है और पूछता है, "रुको, A के सभी गाने पहले दस ट्रैक में क्यों हैं?"
इस शोध पत्र के लेखकों ने तीन मुख्य कार्य किए:
- उन्होंने प्रयोग को फिर से बनाया: उन्होंने मूल 2023 के अध्ययन के कोड और विधियों को लिया और उनके परिणामों को दोहराने का प्रयास किया। उन्होंने पाया कि मूल कोड में कुछ बग और विसंगतियां थीं। इन्हें ठीक करने के बाद, उन्होंने मूल टीम के मुख्य निष्कर्षों की पुष्टि की: पुराना नियम (डेमोग्राफिक पैरिटी) वास्तव में अनfairness को छिपाता है, और नया नियम (NDKL) इसे पकड़ लेता है।
- उन्होंने "सुधार" का परीक्षण किया: मूल अध्ययन ने समस्या को ठीक करने के लिए MORAL नामक एक विधि प्रस्तावित की। MORAL एक स्मार्ट डीजे की तरह है जो गाने चुने जाने के बाद प्लेलिस्ट को पुनर्व्यवस्थित करता है। यह शुरुआती सुझावों को लेता है और उन्हें इस तरह से व्यवस्थित करता है कि विभिन्न समूहों को शीर्ष स्थानों पर निष्पक्ष मौका मिले, बिना संगीत की गुणवत्ता को बिगाड़े। लेखकों ने पाया कि MORAL ने सिफारिशों को उपयोगी रखते हुए अनफेयर एक्सपोज़र बायस को सफलतापूर्वक कम किया।
- उन्होंने सिस्टम का तनाव परीक्षण किया: यह सुनिश्चित करने के लिए कि यह केवल एक इत्तेफाक नहीं था, उन्होंने अपने स्वयं के "स्ट्रेस टेस्ट" बनाए। उन्होंने अलग-अलग स्तर के होमोफिली (homophily) (अपने जैसे लोगों से जुड़ने की प्रवृत्ति) वाले नकली सोशल नेटवर्क बनाए। उन्होंने पाया कि भले ही नेटवर्क कठिन थे या समूह छोटे थे, MORAL फिर भी चीजों को निष्पक्ष रखने में सफल रहा। उन्होंने यह भी परीक्षण किया कि क्या होता है जब दो से अधिक समूह होते हैं (जैसे तीसरी या चौथी श्रेणी जोड़ना), और सिस्टम ने अच्छा प्रदर्शन किया, हालांकि समूहों के छोटे होने पर इसे संतुलित करना थोड़ा कठिन हो गया।
उन्होंने क्या पाया
अध्ययन पुष्टि करता है कि रैंक की गई सूचियों के मामले में डेमोग्राफिक पैरिटी एक खराब प्रॉक्सी है। यह सुझाव देता है कि इस पर भरोसा करना एक दौड़ का न्याय इस आधार पर करने जैसा है कि कितने लोग फिनिश लाइन तक पहुँचे, यह भूलकर कि स्वर्ण पदक किसने जीता। नया मीट्रिक, NDKL, यह पहचानने में बहुत बेहतर है कि कब एक समूह को व्यवस्थित रूप से सूची के निचले हिस्से में धकेला जा रहा है।
MORAL विधि, जो एक पोस्ट-प्रोसेसिंग "री-रैंकर" के रूप में कार्य करती है, अत्यधिक प्रभावी साबित हुई। छह अलग-अलग वास्तविक दुनिया के डेटासेट (सोशल नेटवर्क और क्रेडिट डेटा सहित) पर उनके प्रयोगों में, MORAL ने लगातार एक्सपोज़र बायस को कम किया। उदाहरण के लिए, "फेसबुक" डेटासेट पर, नई पद्धति ने भविष्यवाणियों की सटीकता को उच्च रखते हुए, निष्पक्षता स्कोर को शून्य के करीब ला दिया (जिसका अर्थ है बहुत कम पूर्वाग्रह)।
लेखकों ने यह भी खोजा कि सिस्टम मजबूत है। यहाँ तक कि जब उन्होंने ऐसे नेटवर्क का अनुकरण किया जहाँ एक समूह बहुत छोटा था या जहाँ लोग केवल अपने प्रकार के लोगों से जुड़ना पसंद करते थे (उच्च होमोफिली), MORAL फिर भी एक्सपोज़र को निष्पक्ष रूप से वितरित करने में सक्षम रहा। हालाँकि, उन्होंने एक ट्रेड-ऑफ (समझौता) नोट किया: जैसे-जैसे विभिन्न समूहों की संख्या बढ़ी, सभी को पूरी तरह से संतुलित करना थोड़ा कठिन हो गया, और सिस्टम को अधिक कंप्यूटिंग पावर की आवश्यकता हुई। लेकिन इसके बावजूद, शीर्ष सिफारिशें सटीक बनी रहीं।
निचोड़
यह शोध पत्र यह दावा नहीं करता कि इसने AI निष्पक्षता की हर समस्या को हल कर लिया है, लेकिन यह दृढ़ता से सुझाव देता है कि हमें इसे मापने के तरीके को बदलने की आवश्यकता है। यदि हम परवाह करते हैं कि किसे देखा जा रहा है और किसे अनदेखा किया जा रहा है, तो हम केवल सिरों की गिनती नहीं कर सकते; हमें बैठने के चार्ट को देखना होगा। अध्ययन दिखाता है कि एक ऐसे मीट्रिक का उपयोग करके जो सूची के क्रम का सम्मान करता है (जैसे NDKL) और एक ऐसी विधि का उपयोग करके जो सूची को निष्पक्ष बनाने के लिए सक्रिय रूप से पुनर्व्यवस्थित करती है (जैसे MORAL), हम ऐसे सिस्टम बना सकते हैं जो न केवल सटीक हैं बल्कि सभी समूहों के लिए वास्तव में निष्पक्ष भी हैं, चाहे वे कितने भी छोटे या छिपे हुए क्यों न हों। लेखकों ने अपना सुधारा हुआ कोड भी जारी किया है ताकि अन्य लोग उनके काम की जांच कर सकें और उस पर निर्माण कर सकें, यह सुनिश्चित करते हुए कि निष्पक्ष AI का मार्ग सभी के लिए खुला है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।