🤖 AI

Unbiased Binning for Fairness-aware Attribute Representation

यह शोध पत्र निष्पक्षता-जागरूक मशीन लर्निंग में अनबायस्ड (unbiased) और एप्सिलॉन-बायस्ड (epsilon-biased) बिनिंग समस्याओं को परिभाषित करके फीचर डिसक्रेटाइजेशन द्वारा उत्पन्न होने वाले पूर्वाग्रह को संबोधित करता है और समूह समानता बाधाओं को संतुष्ट करने वाले इष्टतम या निकट-इष्टतम बकेटाइजेशन खोजने के लिए कुशल डायनेमिक प्रोग्रामिंग और स्केलेबल लोकल सर्च एल्गोरिदम प्रस्तावित करता है।

मूल लेखक: Abolfazl Asudeh, Zeinab Asoodeh, Bita Asoodeh, Omid Asudeh

प्रकाशित 2026-06-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abolfazl Asudeh, Zeinab Asoodeh, Bita Asoodeh, Omid Asudeh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Unbiased Binning for Fairness-aware Attribute Representation" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ अनुवाद दिया गया है।

बड़ी तस्वीर: फलों की टोकरी को छाँटना

कल्पना कीजिए कि आपके पास फलों की एक विशाल टोकरी (एक डेटासेट) है जिसमें सेब और संतरे (विभिन्न जनसांख्यिकीय समूह, जैसे अलग-अलग नस्लें या लिंग) हैं। इस टोकरी को पाई बनाने के लिए एक शेफ (मशीन लर्निंग मॉडल को प्रशिक्षित करने) के साथ साझा करने से पहले, आप फलों को उनकी मिठास (एक विशिष्ट विशेषता जैसे आय या आयु) के आधार पर छोटे कटोरे (बकेट या बिन) में छाँटने का निर्णय लेते हैं।

समस्या:
आमतौर पर, लोग फलों को बस समान आकार के ढेर में काटकर छाँटते हैं। वे कह सकते हैं, "पहले 100 फल कटोरा 1 में डालें, अगले 100 कटोरा 2 में डालें," और इसी तरह।

यह पेपर तर्क देता है कि यह सरल तरीका खतरनाक है। क्योंकि सेब और संतरे अलग-अलग पैटर्न में बढ़ते हैं, इसलिए एक साधारण "समान-आकार" वाला कट गलती से लगभग सभी सेबों को पहले कुछ कटोरों में और लगभग सभी संतरों को आखिरी कुछ कटोरों में डाल सकता है। जब शेफ इन कटोरों का उपयोग निर्णय लेने के लिए करता है, तो वे समूहों के साथ अन्यायपूर्ण व्यवहार कर सकते हैं, इसलिए नहीं कि शेफ पक्षपाती है, बल्कि इसलिए क्योंकि कटोरे स्वयं अन्यायपूर्ण थे।

लक्षत:
लेखक फलों को छाँटने का एक नया तरीका बनाना चाहते हैं। वे टोकरी को ऐसे कटोरों में काटना चाहते हैं जहाँ हर एक कटोरे में सेब और संतरों का बिल्कुल वही मिश्रण हो जो मूल बड़ी टोकरी में था। इसे "अनबायस्ड बिनिंग" (Unbiased Binning) कहा जाता है।

तीन-चरणीय समाधान

पेपर इस छँटाई की समस्या को ठीक करने के लिए एक टूलकिट प्रस्तावित करता है। यह इसे चरण-दर-चरण कैसे करता है, यहाँ दिया गया है:

1. "परफेक्ट कट" (Unbiased Binning)

सबसे पहले, वे पूछते हैं: "क्या हम फलों को इस तरह काट सकते हैं कि हर कटोरा पूरी तरह संतुलित हो?"

जादुई ट्रिक: उन्होंने महसूस किया कि आपको फल काटने के हर संभावित तरीके की जाँच करने की आवश्यकता नहीं है। आपको केवल उन विशिष्ट "उम्मीदवार कट्स" (candidate cuts) को देखने की आवश्यकता है जहाँ सेब और संतरों का अनुपात पूरी टोकरी के समान हो।
एल्गोरिदम: उन्होंने एक स्मार्ट, चरण-दर-चरण कैलकुलेटर (जिसे डायनेमिक प्रोग्रामिंग कहा जाता है) बनाया जो तेजी से सबसे अच्छे संभव कट ढूंढ लेता है ताकि हर कटोरा पूरी तरह संतुलित हो सके।
चुनौती: कभी-कभी, फल इतने असमान रूप से वितरित होते हैं कि गणितीय रूप से हर कटोरे को पूरी तरह संतुलित बनाने के लिए कुछ कटोरों को बहुत छोटा और दूसरों को बहुत बड़ा बनाए बिना यह संभव नहीं होता। ऐसे मामलों में, एक "परफेक्ट" समाधान मौजूद नहीं होता है।

2. "काफी अच्छा" कट ( $\epsilon$ -Biased Binning)

चूंकि एक आदर्श समाधान हमेशा संभव नहीं होता, इसलिए उन्होंने एक लचीला संस्करण पेश किया जिसे $\epsilon$ -biased binning कहा जाता है।

उपमा: यह माँग करने के बजाय कि एक कटोरा 50% सेब और 50% संतरे का होना चाहिए, वे कहते हैं, "ठीक है, चलिए थोड़ी गुंजाइश (wiggle room) देते हैं। जब तक कटोरा 45% से 55% सेब के बीच है, तब तक यह ठीक है।" उस गुंजाइश को $\epsilon$ (एप्सिलॉन) कहा जाता है।
चुनौती: सबसे अच्छे "काफी अच्छे" कट को खोजना कंप्यूटर के लिए बहुत कठिन है, खासकर फलों की विशाल टोकरियों के लिए। "परफेक्ट" कैलकुलेटर बहुत बड़े डेटासेट के लिए बहुत धीमा है।

3. "स्मार्ट सर्च" (Local Search & Divide-and-Conquer)

विशाल डेटासेट को संभालने के लिए, उन्होंने दो-भाग वाली रणनीति बनाई:

चरण A: एक रफ स्केच (Divide-and-Conquer): वे एक तेज़, रफ विधि का उपयोग करते हैं जो "गुंजाइश" के नियमों के भीतर एक वैध समाधान जल्दी से खोज लेती है। यह कट लाइनों का एक त्वरित स्केच बनाने जैसा है ताकि यह सुनिश्चित हो सके कि वे बेतुकी न हों। यह बहुत तेज़ी से होता है।
चरण B: फाइन-ट्यूनिंग (Local Search): एक बार जब उनके पास वह रफ स्केच आ जाता है, तो वे उस स्केच की रेखाओं को करीब से देखते हैं। वे रेखाओं को थोड़ा इधर-उधर हिलाकर देखते हैं कि क्या वे एक बेहतर व्यवस्था पा सकते हैं जो अभी भी निष्पक्ष है। वे एक "सीलिंग" (छत) के रूप में रफ स्केच का उपयोग करते हैं ताकि तब तक खोजना बंद किया जा सके जब तक कि उन्हें कुछ पर्याप्त अच्छा न मिल जाए।

यह क्यों मायने रखता है: यह विधि वास्तविक दुनिया के डेटा (जैसे लाखों ऋण आवेदन) के लिए पर्याप्त तेज़ है और यह गारंटी देती है कि यदि एक निष्पक्ष समाधान मौजूद है, तो वे उसे ढूंढ लेंगे।

उन्होंने क्या परीक्षण किया (प्रयोग)

लेखकों ने केवल सिद्धांत की बात नहीं की; उन्होंने वास्तविक डेटा पर अपने तरीके का परीक्षण किया, जिसमें शामिल हैं:

जर्मन क्रेडिट डेटा: एक डेटासेट जिसका उपयोग यह तय करने के लिए किया जाता है कि किसे बैंक ऋण मिलना चाहिए।
COMPAS डेटा: एक डेटासेट जिसका उपयोग अमेरिकी आपराधिक न्याय प्रणाली में यह अनुमान लगाने के लिए किया जाता है कि क्या कोई व्यक्ति दोबारा अपराध कर सकता है।

परिणाम:

निष्पक्षता में वृद्धि (Fairness Boost): जब उन्होंने कंप्यूटर मॉडल को प्रशिक्षित करने से पहले अपने नए "फेयर सॉर्टिंग" तरीके का उपयोग किया, तो मॉडल बहुत अधिक निष्पक्ष हो गए। अनफेयरनेस मेट्रिक्स (जो मापते हैं कि समूहों के साथ कितना अलग व्यवहार किया जाता है) काफी कम हो गए।
कोई "मुफ्त लंच" नहीं (लेकिन एक छोटी कीमत): आमतौर पर, चीजों को निष्पक्ष बनाने से वे कम सटीक हो जाती हैं। हालाँकि, लेखकों ने पाया कि उनके तरीके के साथ, मॉडल लगभग उतने ही सटीक रहे, जबकि वे बहुत अधिक निष्पक्ष हो गए। निष्पक्षता की "कीमत" बहुत कम थी।
व्यक्तिगत निष्पक्षता (Individual Fairness): उन्होंने यह भी जाँच की कि क्या यह तरीका समान व्यक्तियों के साथ समान व्यवहार करता है। इसने ऐसा ही किया। इस तरीके ने व्यक्तिगत निष्पक्षता को बिगाड़े बिना समूह की अनफेयरनेस को ठीक किया।

सारांश

इस पेपर को डेटा के लिए एक नए सॉर्टिंग मशीन के रूप में सोचें।

पुराना तरीका: डेटा को समान ढेरों में काटना, जिससे अनजाने में अन्यायपूर्ण कटोरे बन जाते थे।
नया तरीका: डेटा को इस तरह काटने के लिए एक स्मार्ट एल्गोरिदम का उपयोग करना कि हर कटोरे में लोगों का एक निष्पक्ष मिश्रण हो।
यदि परफेक्ट संभव नहीं है: एक लचीले नियम (थोड़ी गुंजाइश) और एक तेज़ खोज विधि का उपयोग करके सबसे निष्पक्ष संभव व्यवस्था जल्दी से खोजें।

यह पेपर साबित करता है कि डेटा को कंप्यूटर द्वारा सीखने से पहले ही ठीक करके, हम अनफेयरनेस को स्रोत पर ही रोक सकते हैं, जिससे अंतिम निर्णय (जैसे ऋण अनुमोदन या जोखिम स्कोर) बहुत अधिक न्यायसंगत बनते हैं।

तकनीकी सारांश: निष्पक्षता-जागरूक विशेषता प्रतिनिधित्व के लिए निष्पक्ष बिनिंग (Unbiased Binning)

1. समस्या की परिभाषा

यह शोध पत्र एट्रिब्यूट बिनिंग (या बकेटाइजेशन) के मुद्दे को संबोधित करता है, जो एक सामान्य प्रीप्रोसेसिंग चरण है जहाँ कच्चे निरंतर (continuous) फीचर्स को डेटा साझाकरण या मॉडल प्रशिक्षण से पहले अंतराल (intervals) में विभाजित किया जाता है। जबकि बिनिंग का उपयोग गोपनीयता संरक्षण और शोर (noise) को कम करने के लिए किया जाता है, लेखक तर्क देते हैं कि मानक बिनिंग विधियाँ (जैसे समान-आकार या समान-आवृत्ति बिनिंग) अनजाने में विशिष्ट जनसांख्यिकीय समूहों के विरुद्ध पूर्वाग्रह (bias) पेश कर सकती हैं या उसे बढ़ा सकती हैं।

मुख्य समस्या को एक $k$ -बिनिंग (एक विशेषता को $k$ बकेटों में विभाजित करना) खोजने के रूप में तैयार किया गया है जो ग्रुप पैरिटी (group parity) को संतुष्ट करती हो।

निष्पक्ष बिनिंग (Unbiased Binning): एक बिनिंग निष्पक्ष है यदि प्रत्येक बकेट के भीतर प्रत्येक जनसांख्यिकीय समूह का अनुपात पूरे डेटासेट में उस समूह के वैश्विक अनुपात के बराबर होता है।
उद्देश्य: प्राथमिक लक्ष्य (समस्या 1) एक ऐसी निष्पक्ष बिनिंग खोजना है जो एक प्रारंभिक समान-आकार (equal-size) बिनिंग से विचलन को कम करती हो (विशेष रूप से, अधिकतम और न्यूनतम बकेट आकारों के बीच के अंतर को कम करना)।
$\epsilon$ -बायस्ड बिनिंग ( $\epsilon$ -Biased Binning): यह स्वीकार करते हुए कि पूर्णतः निष्पक्ष बिनिंग मौजूद नहीं हो सकती या इसमें "फेयरनेस की उच्च कीमत" (समान आकारों से महत्वपूर्ण विचलन) चुकानी पड़ सकती है, लेखक एक शिथिल समस्या पेश करते हैं: एक ऐसी बिनिंग खोजना जहाँ किसी भी बकेट में समूह विषमता (group disparity) $\epsilon$ से अधिक न हो।

2. कार्यप्रणाली (Methodology)

शोध पत्र विभिन्न बाधाओं और डेटासेट के आकार के अनुरूप एल्गोरिदम का एक समूह प्रस्तावित करता है।

2.1 निष्पक्ष बिनिंग के लिए सटीक समाधान (समान-आकार)

समान-आकार बेसलाइन से आकार विचलन को कम करने वाली निष्पक्ष बिनिंग खोजने के विशिष्ट मामले के लिए, लेखक एक डायनेमिक प्रोग्रामिंग (DP) दृष्टिकोण विकसित करते हैं।

बाउंड्री उम्मीदवार (Boundary Candidates): एल्गोरिदम पहले "बाउंड्री उम्मीदवारों" का एक सेट पहचानता है। एक इंडेक्स $i$ एक उम्मीदवार है यदि एक विशिष्ट समूह का संचयी अनुपात (cumulative ratio) $i$ तक उस समूह के वैश्विक अनुपात से मेल खाता है। लेखक सिद्ध करते हैं (प्रमेय 1) कि कोई भी इष्टतम निष्पक्ष बिनिंग विशेष रूप से इसी सेट से अपनी सीमाओं को चुनेगी।
DP फॉर्मूलेशन: एल्गोरिदम पहले $j$ बाउंड्री उम्मीदवारों को $\kappa$ निष्पक्ष बकेटों में विभाजित करने के लिए एक रिकर्सिव फंक्शन $OPT(j, \kappa)$ का उपयोग करता है, जो अधिकतम और न्यूनतम बकेट चौड़ाई के अंतर को कम करने के लिए उन्हें ट्रैक करता है।
जटिलता (Complexity): एल्गोरिदम $O(n \log n + m^2 k)$ समय और $O(mk) $स्पेस में चलता है, जहाँ$ n $डेटासेट का आकार है,$ m $बाउंड्री उम्मीदवारों की संख्या है, और$ k$ बकेटों की संख्या है।

2.2 $\epsilon$ -बायस्ड बिनिंग के लिए समाधान

चूंकि बाउंड्री कैंडिडेट की अवधारणा शिथिल $\epsilon$ -बायस्ड सेटिंग में विस्तारित नहीं होती है, और इस सेटिंग के लिए सटीक DP दृष्टिकोण में द्विघातीय (quadratic) समय जटिलता ( $O(n^2 k)$ ) होती है, इसलिए लेखक एक व्यावहारिक रूप से स्केलेबल दो-चरणीय दृष्टिकोण प्रस्तावित करते हैं:

डिवाइड-एंड-कन्कर (D&C):
- यह एल्गोरिदम एक वैध $\epsilon$ -बायस्ड समाधान को जल्दी से खोजने के लिए डेटा को दो "सुपर बकेटों" में पुनरावर्ती रूप से विभाजित करता है।
- यह एक मिडपॉइंट बाउंड्री से शुरू होता है और तब तक खोज त्रिज्या (search radius) का विस्तार करता है जब तक कि एक $\epsilon$ -बायस्ड स्प्लिट न मिल जाए।
- प्रमेय 4 सिद्ध करता है कि यदि एक वैध $\epsilon$ -बायस्ड बिनिंग मौजूद है, तो D&C उसे ढूंढ लेगा।
- जटिलता: $O(n \log k)$ (लगभग रैखिक), जो इसे अत्यधिक स्केलेबल बनाता है।
लोकल सर्च (LS):
- $\epsilon$ -बायस्ड बिनिंग का इष्टतम (optimal) समाधान खोजने के लिए (आकार विचलन को कम करने हेतु), LS, D&C से प्राप्त समाधान को एक ऊपरी सीमा (upper bound) के रूप में उपयोग करता है।
- यह प्रारंभिक समान-आकार बिनिंग की सीमाओं के आसपास एक सर्च विंडो को परिभाषित करता है, जो D&C समाधान के ऑब्जेक्टिव मान द्वारा नियंत्रित होती है।
- यह कम ऑब्जेक्टिव मान वाले समाधान को खोजने के लिए इस विंडो के भीतर संयोजनों की गहन जांच करता है।
- जटिलता: $O(n \log n + (w_{dnc})^{k-1})$ , जहाँ $w_{dnc}$ D&C समाधान का ऑब्जेक्टिव मान है। सैद्धांतिक रूप से $k$ में घातांकीय (exponential) होने के बावजूद, लेखक नोट करते हैं कि यह अभ्यास में कुशल है क्योंकि बड़े $w_{dnc}$ वाले प्रतिकूल मामले दुर्लभ हैं।

3. मुख्य योगदान

समस्या का निरूपण: शोध पत्र निष्पक्ष बिनिंग (Unbiased Binning) समस्या और शिथिल $\epsilon$ -बायस्ड बिनिंग समस्या को औपचारिक रूप से परिभाषित करता है, जो डेटा तैयारी के चरण में निष्पक्षता के संबंध में साहित्य के अंतराल को उजागर करता है।
सैद्धांतिक गारंटी:
- यह प्रमाण कि इष्टतम निष्पक्ष बिनिंग की सीमाएं एक विशिष्ट सेट के उम्मीदवारों से संबंधित होनी चाहिए।
- यह प्रमाण कि D&C एल्गोरिदम पूर्ण (complete) है (यदि कोई समाधान मौजूद है, तो यह उसे ढूंढ लेगा)।
एल्गोरिदम सूट:
- समान-आकार निष्पक्ष बिनिंग के लिए एक सटीक DP एल्गोरिदम।
- लगभग रैखिक समय में वैध $\epsilon$ -बायस्ड समाधान खोजने के लिए एक स्केलेबल D&C एल्गोरिदम।
- एक लोकल सर्च एल्गोरिदम जो कुशल $\epsilon$ -बायस्ड समाधान खोजने के लिए D&C का लाभ उठाता है।
सामान्य प्रयोज्यता: समान-आकार बिनिंग के लिए DP समाधान के विपरीत, D&C और LS एल्गोरिदम सामान्य हैं और समान-आकार बिनिंग तक सीमित नहीं हैं; वे किसी भी ब्लैक-बॉक्स बकेटाइजेशन विधि के लिए पोस्ट-प्रोसेसिंग चरणों के रूप में कार्य कर सकते हैं।

4. प्रयोगात्मक परिणाम

लेखकों ने वास्तविक दुनिया के डेटासेट्स (German Credit, COMPAS) और सिंथेटिक डेटासेट्स पर अपने एल्गोरिदम का मूल्यांकन किया।

फेयरनेस प्रभाव: प्रयोगों ने प्रदर्शित किया कि मानक निष्पक्षता-अज्ञान (fairness-unaware) बिनिंग मापने योग्य पूर्वाग्रह पेश करती है। $\epsilon$ -बायस्ड बिनिंग लागू करने से डाउनस्ट्रीम मॉडल्स (लॉजिस्टिक्स रिग्रेशन और SVM) में समूह अनैतिकता मेट्रिक्स (Disparate Impact, Statistical Parity Difference, Equal Opportunity Difference) में काफी कमी आई।
फेयरनेस की कीमत (Price of Fairness): पूर्वाग्रह को आधा करने से मॉडल की सटीकता को बनाए रखते हुए या उसमें मामूली सुधार करते हुए निष्पक्षता मेट्रिक्स में पर्याप्त सुधार हुआ। "फेयरनेस की कीमत" (समान बकेट आकारों से विचलन) कई मामलों में नगण्य पाई गई।
व्यक्तिगत निष्पक्षता (Individual Fairness): अध्ययन में देखा गया कि जबकि समूह निष्पक्षता में काफी सुधार हुआ, व्यक्तिगत निष्पक्षता (निरंतरता/consistency द्वारा मापी गई) काफी हद तक स्थिर रही, जो यह सुझाव देती है कि निष्पक्ष बिनिंग व्यक्तिगत स्तर की निष्पक्षता को नुकसान नहीं पहुँचाती है।
स्केलेबिलिटी: बड़े डेटासेट्स पर D&C और LS एल्गोरिदम ने उच्च दक्षता प्रदर्शित की, जबकि द्विघातीय-समय वाला DP समाधान छोटे परिवेशों तक सीमित था।
एकीकरण: $\epsilon$ -बायस्ड बिनिंग को डाउनस्ट्रीम फेयरML तकनीकों (Exponentiated Gradient) के साथ मिलाने से पता चला कि डेटा तैयारी डाउनस्ट्रीम मॉडल-स्तरीय हस्तक्षेपों का पूरक हो सकती है, हालांकि जब डेटा पहले से ही निष्पक्षता के लिए प्री-प्रोसेस्ड हो, तो इसका सीमांत लाभ (marginal gain) कम था।

5. महत्व और दावे

यह शोध पत्र निष्पक्ष बिनिंग को जिम्मेदार डेटा एनालिटिक्स पाइपलाइन के एक आवश्यक, हालांकि अपूर्ण, घटक के रूप में स्थापित करता है।

पूरक भूमिका: लेखक स्पष्ट रूप से कहते हैं कि निष्पक्ष बिनिंग FairML तकनीकों (जैसे निष्पक्ष मॉडल को प्रशिक्षित करना) का स्थान नहीं लेती है, बल्कि मॉडल प्रशिक्षण शुरू होने से पहले पूर्वाग्रह के प्रसार को रोकने के लिए एक महत्वपूर्ण प्रीप्रोसेसिंग चरण के रूप में कार्य करती है।
व्यावहारिक प्रासंगिकता: कार्य यह तर्क देता है कि डेटा तैयारी के दौरान उत्पन्न होने वाला पूर्वाग्रह, डाउनस्ट्रीम अनफेयरनेस का एक वास्तविक स्रोत है। इसे जल्दी संबोधित करके, अभ्यासकर्ता डाउनस्ट्रीम निष्पक्षता हस्तक्षेपों के बोझ को काफी कम कर सकते हैं।
संयमित दावे: लेखक सावधानी बरतते हैं कि हालांकि उनके तरीके पूर्वाग्रह को कम करते हैं और निष्पक्षता मेट्रिक्स में सुधार करते हैं, वे सभी डाउनस्ट्रीम कार्यों में निष्पक्षता की गारंटी नहीं देते हैं। उनकी प्रभावशीलता विशिष्ट डेटा वितरण और चुने गए $\epsilon$ थ्रेशोल्ड पर निर्भर करती है। शोध पत्र इस बात पर जोर देता है कि निष्पक्ष परिणामों को प्राप्त करने के लिए निष्पक्षता-जागरूक डेटा तैयारी को निष्पक्ष एल्गोरिदम विकास के साथ जोड़ना आवश्यक है।