तकनीकी सारांश: FairBED: निष्पक्ष डेटा एकत्र करने के लिए एक बेयसियन प्रयोगात्मक डिजाइन दृष्टिकोण

1. समस्या विवरण

मशीन लर्निंग में निष्पक्षता सुनिश्चित करने के लिए वर्तमान ढांचे मुख्य रूप से मौजूदा, पूर्व-संग्रहित डेटासेट से निष्पक्ष मॉडल सीखने पर ध्यान केंद्रित करते हैं। हालांकि, यह दृष्टिकोण मौलिक रूप से सीमित है क्योंकि डेटा स्वयं पहले से ही सामाजिक पूर्वाग्रहों और अवांछित सहसंबंधों को समाहित कर सकता है। डेटा रीवेटिंग (reweighting), बाधित अनुकूलन (constrained optimization), या प्री-प्रोसेसिंग "डेटा रिपेयर" जैसे हस्तक्षेप इन मुद्दों को बाद के चरणों (downstream) में कम करने का प्रयास करते हैं, लेकिन वे स्रोत डेटा की अंतर्निहित अननिष्पक्षता को पूरी तरह से दूर नहीं कर सकते हैं।

लेखक तर्क देते हैं कि डेटा अधिग्रहण प्रक्रिया (data acquisition process) को स्वयं संशोधित किया जाना चाहिए ताकि ऐसा डेटा एकत्र किया जा सके जो निष्पक्ष भविष्यवक्ताओं (predictors) को प्रशिक्षित करने के लिए स्वाभाविक रूप से अधिक उपयुक्त हो। मुख्य चुनौती एक डेटा अधिग्रहण रणनीति को डिजाइन करने की है जो दो प्रतिस्पर्धी उद्देश्यों के बीच संतुलन बनाए:

1. सूचनात्मकता (Informativeness): डेटा लक्षित चरों (target variables) के बारे में अत्यधिक सूचनात्मक होना चाहिए ताकि प्रभावी डाउनस्ट्रीम भविष्यवाणी और सामान्यीकरण (generalization) सुनिश्चित हो सके।
2. निष्पक्षता (Fairness): डेटा संवेदनशील विशेषताओं (जैसे लिंग, जाति, त्वचा का रंग) के बारे में अनभिज्ञ होना चाहिए ताकि डाउनस्ट्रीम मॉडल इन विशेषताओं का लाभ न उठा सकें, जिससे स्वाभाविक रूप से निष्पक्षता में सुधार हो सके।

2. कार्यप्रणाली

2.1 वैचारिक ढांचा: "फेयर वर्ल्ड्स" (Fair Worlds)

यह शोध पत्र "फेयर वर्ल्ड" की अवधारणा पेश करता है जहाँ संवेदनशील विशेषताएँ ($\phi$), लक्षित चरों ($\theta$) से कारण संबंधी रूप से स्वतंत्र (causally independent) होती हैं। ऐसे विश्व में, एक निष्पक्ष भविष्यवक्ता को $\theta$ का अनुमान लगाने के लिए $\phi$ का उपयोग करने की आवश्यकता नहीं होगी। लेखक इस बात को मापने के लिए एक डेटासेट की अननिष्पक्षता को मापने का प्रस्ताव देते हैं कि वह इस स्वतंत्रता का कितना उल्लंघन करता है। विशेष रूप से, यदि कोई डेटासेट $\theta$ और $\phi$ के बीच सूचना हस्तांतरण की अनुमति देता है, तो इसे अननिष्पक्ष माना जाता है। लक्ष्य प्रयोगात्मक डिजाइन प्रक्रिया को निर्देशित करना है ताकि ऐसा डेटा एकत्र किया जा सके जो $\theta$ के लिए उपयोगिता बनाए रखते हुए इस सूचना हस्तांतरण को न्यूनतम करे।

2.2 डेटा के लिए निष्पक्षता मेट्रिक्स

लेखक $\phi$ के बारे में प्रकट की गई जानकारी के आधार पर एक डेटासेट $D$ की निष्पक्षता को मापने के लिए दो नवीन मेट्रिक्स परिभाषित करते हैं:

• अप्रतिबंधित निष्पक्षता ($F_u$): इसे $\phi$ के बारे में अपेक्षित सूचना लाभ (Expected Information Gain - EIG) के ऋणात्मक के रूप में परिभाषित किया गया है। यह मापता है कि डेटा मार्जिनली $\phi$ के बारे में कितनी जानकारी प्रकट करता है।
  $$F_u(\pi_d) = -\max_{m \in \mathcal{M}} \text{EIG}^m_\phi(\pi_d)$$
• सप्रतिबंध निष्पक्षता ($F_c$): इसे $\theta$ दिए जाने पर $\phi$ के बारे में सशर्त EIG के ऋणात्मक के रूपas परिभाषित किया गया है। यह एक सख्त मेट्रिक है जो यह सुनिश्चित करता है कि डेटा $\theta$ के किसी भी विशिष्ट मान के लिए $\phi$ को प्रकट न करे, जो "एक्सप्लेनिंग अवे" (explaining away) प्रभावों के विरुद्ध सुरक्षा करता है जहाँ $\theta$ ज्ञात होने के बाद $\phi$ पुनः प्राप्त किया जा सकता है।
  $$F_c(\pi_d) = -\max_{m \in \mathcal{M}} \mathbb{E}_{p(\theta)}[\text{EIG}^m_{\phi|\theta}(\pi_d)]$$

यहाँ, $\pi_d$ एक डिजाइन पॉलिसी को दर्शाता है, और $\mathcal{M}$ मॉडलों के सेट पर मैक्सिमाइजेशन मॉडल की कमियों के विरुद्ध मजबूती सुनिश्चित करता है।

2.3 FairBED उद्देश्य

आवश्यक सूचनात्मकता और निष्पक्षता के बीच संतुलन बनाने के लिए, लेखक दो FairBED उद्देश्य बनाते हैं। ये उद्देश्य $\theta$ के बारे में अपेक्षित सूचना लाभ (EIG) को अधिकतम करते हैं जबकि संवेदनशील विशेषता $\phi$ (या $\phi|\theta$) के बारे में EIG को दंडित करते हैं।

• अप्रतिबंधित FairBED ($R_u$):
  $$R_u(\pi_d) = \text{EIG}_\theta(\pi_d) - \beta \text{EIG}_\phi(\pi_d)$$
• सप्रतिबंध FairBED ($R_c$):
  $$R_c(\pi_d) = \text{EIG}_\theta(\pi_d) - \beta \mathbb{E}_{p(\theta)}[\text{EIG}_{\phi|\theta}(\pi_d)]$$

इन समीकरणों में, $\beta > 0$ एक हाइपरपैरामीटर है जो निष्पक्षता प्रवर्तन की शक्ति को नियंत्रित करता है। लेखक नोट करते हैं कि ये उद्देश्य एक संयुक्त मॉडल के तहत परिभाषित हैं लेकिन व्यावहारिकता के लिए मार्जिनल मॉडलों का उपयोग करके अनुकूलित किए जा सकते हैं। महत्वपूर्ण रूप से, लेखक तर्क देते हैं कि $\theta$ के बारे में सूचनात्मक डेटा एकत्र करना वास्तविक दुनिया में निष्पक्षता के लिए आवश्यक है ताकि सामान्यीकरण अंतराल (generalization gaps) से बचा जा सके जो अप्रत्यक्ष अननिष्पक्षता के रूप में प्रकट हो सकते हैं।

2.4 एक्टिव लर्निंग में अनुप्रयोग

इस ढांचे को एक्टिव लर्निंग (AL) परिवेश के लिए अनुकूलित किया गया है। इस संदर्भ में, लक्षित $\theta$ का अर्थ टेस्ट-टाइम इनपुट और टार्गेट लेबल $(x^*, y^*_\theta)$ का जोड़ा है, जबकि संवेदनशील विशेषता $\phi$ का अर्थ $(x'^*, y^*_\phi)$ है। उद्देश्य अपेक्षित प्रेडिक्टिव इंफॉर्मेशन गेन (EPIG) का एक संशोधन है:
$$R_{\text{FairEPIG}}(x) = I(y_\theta; (x^*, y^*_\theta) | x) - \beta I(y_\phi; (x'^*, y^*_\phi) | x)$$
यह उन क्वेरी पॉइंट्स के चयन की अनुमति देता जो लक्षित कार्य के लिए भविष्यवाणियों में सुधार करते हैं जबकि संवेदनशील विशेषता की सीखने की क्षमता को जानबूझकर सीमित करते हैं।

3. मुख्य योगदान

1. डेटा निष्पक्षता का नवीन सूत्रीकरण: यह शोध पत्र ध्यान को एक मॉडल की निष्पक्षता से हटाकर स्वयं डेटासेट की निष्पक्षता पर केंद्रित करता है, जहाँ निष्पक्षता को संवेदनशील विशेषताओं के बारे में सूचना रिसाव (information leakage) की कमी के रूप में परिभाषित किया गया है।
2. FairBED उद्देश्य: व्यावहारिक बेयियन प्रयोगात्मक डिजाइन (BED) उद्देश्यों की शुरूआत जो लक्षित सूचनात्मकता और संवेदनशील विशेषता सूचनात्मकता के बीच स्पष्ट रूप से ट्रेड-ऑफ करती है।
3. डेमोग्राफिक पैरिटी (Demographic Parity) के साथ सैद्धांतिक संबंध: लेखक सिद्ध करते हैं कि यदि सप्रतिबंध निष्पक्षता मेट्रिक $F_c(\pi_d) = 0$ (अर्थात, डेटा $\theta$ के दिए जाने पर $\phi$ के बारे में कोई जानकारी नहीं देता है) है, तो इस डेटा पर प्रशिक्षित डाउनस्ट्रीम भविष्यवक्ता डेमोग्राफिक पैरिटी (DP) प्राप्त करते हैं, इस धारणा के तहत कि $\theta$ और $\phi$ पर प्रायिकता (prior) विभाज्य है और डाउनस्ट्रीम मॉडल $\phi$ को इनपुट के रूप में नहीं लेता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): विभिन्न डेटासेट और मॉडल आर्किटेक्चर पर यह दिखाना कि FairBED, रैंडम एक्विजिशन और पारंपरिक BED की तुलना में लगातार बेहतर निष्पक्षता-सटीकता ट्रेड-ऑफ प्राप्त करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने तीन अलग-अलग कार्यों पर FairBED का मूल्यांकन किया:

1. सोर्स लोकेशन फाइंडिंग: एक सिंथेटिक BED बेंचमार्क जहाँ लक्ष्य एक लक्षित निर्देशांक ($\theta$) का अनुमान लगाना है जबकि एक संवेदनशील निर्देशांक ($\phi$) को सीखने से बचना है। परिणामों ने दिखाया कि FairBED डिज़ाइन लक्षित अक्ष के साथ फैलते हैं जबकि संवेदनशील अक्ष के प्रायिकता माध्य (prior mean) की ओर सिमट जाते हैं, जिससे $\theta$ सीखने के न्यूनतम नुकसान के साथ $\phi$ के सीखने को प्रभावी रूप से दबा दिया जाता है।
2. स्टूडेंट ग्रेजुएशन प्रेडिक्शन: एक बाइनरी क्लासिफिकेशन कार्य जो ग्रेजुएशन स्टेटस ($y_\theta$) की भविष्यवाणी करता है, जबकि जेंडर ($y_\phi$) को संवेदनशील मानता है।
3. सेन्सस इनकम प्रेडिक्शन: आय स्तरों ($>50k$) की भविष्यवाणी करना जबकि जेंडर को संवेदनशील मानता है।
4. CelebA: "स्माइलिंग" की भविष्यवाणी करने वाला एक बड़े पैमाने का इमेज डेटासेट, जबकि "जेंडर" को संवेदनशील मानता है।

मुख्य निष्कर्ष:

• निष्पक्षता-सटीकता ट्रेड-ऑफ: FairBED ने पारेटो-ऑप्टिमल फ्रंट्स (Pareto-optimal fronts) प्राप्त किए जो रैंडम एक्विजिशन और मानक EPIG पर हावी थे। इसने संवेदनशील विशेषता की पूर्वानुमान क्षमता को काफी कम कर दिया जबकि लक्षित कार्य पर उच्च सटीकता बनाए रखी।
• डेटासेट-स्तरीय निष्पक्षता: एक ही FairBED-अधिग्रहित डेटासेट पर विभिन्न डाउनस्ट्रीम मॉडल (रैंडम फॉरेस्ट, XGBoost, MLP, SVM) को प्रशिक्षित करने के प्रयोगों ने डेमोग्राफिक पैरिटी (DP) और इक्वलाइज्ड ऑड्स (EO) अनुपातों में निरंतर सुधार दिखाया। यह पुष्टि करता है कि निष्पक्षता में सुधार अधिग्रहित डेटा का एक गुण है, न कि किसी विशिष्ट मॉडल का आर्टिफैक्ट।
• पूरकता (Complementarity): शोध पत्र प्रदर्शित करता है कि FairBED को डाउनस्ट्रीम निष्पक्षता हस्तक्षेपों (जैसे Learned Fair Representations या Reject Option Classification) के साथ जोड़ा जा सकता है। FairBED और डाउनस्ट्रीम विधियों का संयोजन अकेले किसी भी विधि की तुलना में बेहतर परिणाम देता है, जो बताता है कि वे प्रतिस्थापनीय (substitutive) के बजाय योगात्मक (additive) हैं।
• मजबूती (Robustness): FairBED के लाभ विभिन्न मॉडल आर्किटेक्चर और लेबल बजटों में सामान्यीकृत हुए।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि FairBED पूर्वाग्रह के मूल कारण को संबोधित करके एल्गोरिथमिक निष्पक्षता को एक नया दृष्टिकोण प्रदान करता: डेटा अधिग्रहण प्रक्रिया। डेटा की उपयोगिता को संवेदनशील सूचना के दंड के साथ औपचारिक रूप देकर, FairBED "अंतर्निहित रूप से निष्पक्ष" डेटा एकत्र करने के लिए एक सिद्धांत आधारित दृष्टिकोण प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि:

• अपस्ट्रीम हस्तक्षेप महत्वपूर्ण है: डाउनस्ट्रीम शमन रणनीतियाँ अक्सर डेटा में पहले से मौजूद पूर्वाग्रहों से कमजोर हो जाती हैं। FairBED इस समस्या को स्रोत पर ही संबोधित करता है।
• सामान्यीकरण: निष्पक्षता में सुधार डेटा के आंतरिक गुण हैं, जिसका अर्थ है कि इस डेटा पर प्रशिक्षित कोई भी मॉडल (बिना किसी विशिष्ट निष्पक्षता बाधा के भी) स्वाभाविक रूप से बेहतर निष्पक्षता गुण प्रदर्शित करेगा।
• व्यावहारिकता: यह दृष्टिकोण मानक बेयियन प्रयोगात्मक डिजाइन और एक्टिव लर्निंग फ्रेमवर्क के साथ संगत है, जिसके लिए केवल लक्षित और संवेदनशील विशेषताओं के लिए मार्जिनल मॉडलों के विनिर्देश की आवश्यकता होती है, जिन्हें अधिग्रहण चरण के दौरान बिना संवेदनशील लेबल के भी पूर्व-प्रशिक्षित या हस्तनिर्मित किया जा सकता है।

यह कार्य निष्पक्षता-जागरूक डेटा अधिग्रहण के लिए नए अनुसंधान पथ खोलता है, यह सुझाव देते हुए कि निष्पक्ष AI सिस्टमों का मार्ग इस बात से शुरू होता है कि डेटा कैसे एकत्र किया जाता है, न कि केवल इस बात से कि उसे कैसे मॉडल किया जाता है।