तकनीकी सारांश: नेमन-पियर्सन और समान अवसर (Neyman-Pearson and Equal Opportunity)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र स्वचालित निर्णय लेने वाली प्रणालियों में आर्थिक दक्षता (economic efficiency) और सामाजिक निष्पक्षता (societal fairness) के बीच के मौलिक तनाव को संबोधित करता है। जबकि संगठन महत्वपूर्ण कार्यों (जैसे ऋण अनुमोदन, भर्ती) के लिए सांख्यिकीय एल्गोरिदम पर तेजी से निर्भर हो रहे हैं, ये प्रणालियाँ अक्सर वंचित सामाजिक समूहों के विरुद्ध व्यवस्थित पूर्वाग्रह प्रदर्शित करती हैं। निष्पक्षता के मौजूदा दृष्टिकोण अक्सर भविष्य कहनेवाला सटीकता (predictive accuracy) या आर्थिक दक्षता की कीमत पर निष्पक्षता बाधाओं (fairness constraints) को प्राथमिकता देते हैं। इसके विपरीत, मानक दक्षता-केंद्रित मॉडल अक्सर संवेदनशील समूहों पर पड़ने वाले प्रतिकूल प्रभावों (disparate impacts) को अनदेखा करते हैं।

लेखक एक विशिष्ट अंतराल की पहचान करते हैं: वर्तमान ढांचे असममित दक्षता प्राथमिकताओं (जहाँ एक प्रकार की त्रुटि दूसरे की तुलना में अधिक महंगी होती है, जैसे ऋण देने में वित्तीय जोखिम) और निष्पक्षता बाधाओं (विशेष रूप से, 'समान अवसर' या Equal Opportunity) को कठोर सांख्यिकीय गारंटी के साथ एक साथ संतुष्ट करने में संघर्ष करते हैं। मुख्य चुनौती टाइप I त्रुटि (false positives), टाइप II त्रुटि (false negatives), और निष्पक्षता बाधाओं (समूहों के बीच त्रुटि दरों में असमानता) के बीच एक त्रिपक्षीय ट्रेड-ऑफ है।

2. कार्यप्रणाली: NP-EO प्रतिमान (Methodology: The NP-EO Paradigm)

यह शोध पत्र एक नया वर्गीकरण ढांचा प्रस्तावित करता है जिसे नेमन-पियर्सन समान अवसर (Neyman-Pearson Equal Opportunity - NP-EO) कहा जाता है। यह ढांचा दो अलग-अलग बाधाओं को एकीकृत करता है:

A. दक्षता घटक (नेमन-पियर्सन बाधा)

कुल त्रुटि को कम करने या लागत-संवेदनशील शिक्षण (cost-sensitive learning) का उपयोग करने के बजाय (जिसके लिए मनमाने मिसक्लासिफिकेशन खर्चों को निर्दिष्ट करने की आवश्यकता होती है), लेखक नेमन-पियर्सन (NP) प्रतिमान को अपनाते हैं।

• लक्ष्य: टाइप I त्रुटि (एक नकारात्मक उदाहरण को सकारात्मक के रूप में गलत वर्गीकृत करने की संभावना) को उच्च प्रायिकता के साथ एक उपयोगकर्ता-निर्दिष्ट स्तर $\alpha$ से नीचे नियंत्रित करना।
• उद्देश्य: टाइप I बाधा के अधीन टाइप II त्रुटि (एक सकारात्मक उदाहरण को नकारात्मक के रूप में गलत वर्गीकृत करने की संभावना) को न्यूनतम करना।
• तर्क: यह संगठनों को सबसे परिणामोन्मुखी जोखिम (जैसे डिफॉल्ट होने वाला ऋण स्वीकृत करना) को स्पष्ट रूप से सीमित करने की अनुमति देता है जबकि व्यावसायिक अवसरों (अच्छे आवेदकों को अस्वीकार करने को न्यूनतम करना) को अधिकतम करता है।

B. निष्पक्षता घटक (समान अवसर बाधा)

यह ढांचा समान अवसर (Equal Opportunity - EO) के एक शिथिल संस्करण को शामिल करता है।

• लक्षक: यह सुनिश्चित करना कि विभिन्न संवेदनशील समूहों (जैसे जाति, लिंग) के बीच टाइप II त्रुटि दरें लगभग समान हों।
• बाधा: $L_1(\phi) = |R^a_1(\phi) - R^b_1(\phi)| \le \varepsilon$, जहाँ $\varepsilon$ एक पूर्व-निर्दिष्ट सहनशीलता (tolerance) है।
• तर्क: यह सुनिश्चित करता है कि विभिन्न समूहों के योग्य आवेदकों को पसंदीदा परिणाम (जैसे ऋण स्वीकृति) प्राप्त करने के समान अवसर मिलें, बिना पूर्ण समानता की आवश्यकता के जो सीमित नमूनों (finite samples) में सांख्यिकीय रूप से अव्यवहार्य है।

C. सैद्धांतिक आधार: NP-EO ओरेकल (Theoretic Foundation: The NP-EO Oracle)

लेखक एक NP-EO ओरेकल क्लासिफायर व्युत्पन्न करते हैं, जो इस प्रतिबन्धन अनुकूलन समस्या (constrained optimization problem) का इष्टतम समाधान है:
$$\min_{\phi} R_1(\phi) \quad \text{subject to} \quad R_0(\phi) \le \alpha \quad \text{and} \quad L_1(\phi) \le \varepsilon$$
सामान्यीकृत नेमन-पियर्सन लेम्मा (Generalized Neyman-Pearson Lemma) का उपयोग करते हुए, वे सिद्ध करते हैं कि ओरेकल क्लासिफायर दो अलग-अलग संवेदनशील समूहों के लिए दो विशिष्ट थ्रेशोल्ड (thresholds) ($c_a$ और $c_b$) के साथ एक लाइकलीहुड रेशियो टेस्ट का रूप लेता है:
$$\phi^*(X, S) = \mathbb{I}\left\{ \frac{f_{1,a}(X)}{f_{0,a}(X)} > c_a \right\}\mathbb{I}\{S=a\} + \mathbb{I}\left\{ \frac{f_{1,b}(X)}{f_{0,b}(X)} > c_b \right\}\mathbb{I}\{S=b\}$$
ऐसे थ्रेशोल्ड की उपस्थिति को सौम्य नियमितता शर्तों (mild regularity conditions) के तहत गारंटी दी गई है, जो यह सुनिश्चित करती है कि NP और EO बाधाओं को एक साथ संतुष्ट किया जा सकता है।

D. एल्गोरिदम कार्यान्वयन: अंब्रेला एल्गोरिदम (Algorithmic Implementation: Umbrella Algorithms)

चूंकि वास्तविक घनत्व (true densities) अज्ञात हैं, लेखक दो परिमित-नमूना-आधारित "अंब्रेला" एल्गोरिदम प्रस्तावित करते हैं जो किसी भी बेस स्कोरिंग क्लासिफायर (जैसे लॉजिस्टिक रिग्रेशन, रैंडम फॉरेस्ट, न्यूरल नेटवर्क) के साथ काम करते हैं और जिनके लिए वितरण संबंधी धारणाओं की आवश्यकता नहीं होती है। ये एल्गोरिदम थ्रेशोल्ड निर्धारित करने के लिए ऑर्डर स्टैटिस्टिक्स (order statistics) का उपयोग करते हैं।

1. NP-EOOP (एक जोड़ी पिवोट्स):

   • एक रूढ़िवादी दृष्टिकोण जो प्रत्येक समूह के लिए व्यक्तिगत रूप से टाइप I त्रुटि के उच्च-संभाव्यता नियंत्रण को सुनिश्चित करने के लिए एक एकल जोड़ी पिवोट्स (thresholds) का चयन करता है।
   • इसके बाद यह इन थ्रेशोल्ड को EO बाधा को संतुष्ट करने के लिए समायोजित करता है।
   • गारंटी: दोनों NP और EO बाधाओं के लिए सख्त उच्च-संभाव्यता नियंत्रण प्रदान करता है।

2. NP-EOMP (कई जोड़ी पिवोट्स):

   • एक अधिक लचीला दृष्टिकोण जो व्यक्तिगत रूप से समूह-वार टाइप I त्रुटियों को नियंत्रित करने की आवश्यकता को शिथिल करता है। इसके बजाय, यह कुल (aggregate) टाइप I त्रुटि को नियंत्रित करता है।
   • यह टाइप II त्रुटि को न्यूनतम करने के लिए कई जोड़ी पivots के ऊपर खोज करता है जो बाधाओं को संतुष्ट करता है।
   • लाभ: NP-EOOP की तुलना में आम तौर पर कम टाइप II त्रुटि (उच्च शक्ति/power) प्राप्त करता है, हालांकि टाइप I त्रुटि नियंत्रण पर सटीक गारंटी के मामले में थोड़ा शिथिल (लगimate control) होता है।

दोनों एल्गोरिदम बर्नस्टीन-वॉन मिसेस प्रमेय (Bernstein-von Mises theorem) का उपयोग करके त्रुटि दरों के वितरण का अनुमान लगाते हैं, जिससे उच्च संभाव्यता ($1-\delta$ के लिए NP, $1-\gamma$ के लिए EO) के साथ बाधाओं को संतुष्ट करने वाले थ्रेशोल्ड का चयन किया जा सके।

3. प्रमुख योगदान (Key Contributions)

1. नया ढांचा: NP-EO प्रतिमान की शुरूआत, जो पारंपरिक सटीकता-निष्पक्षता ट्रेड-ऑफ से आगे बढ़कर, आर्थिक दक्षता (NP बाधाओं के माध्यम से) को सामाजिक निष्पक्षता (EO बाधाओं के माध्यम से) से स्पष्ट रूप से अलग करता है।
2. ओरेकल व्युत्पत्ति: NP-EO ओरेकल क्लासिफायर का सैद्धांतिक व्युत्पन्न, जो यह सिद्ध करता है कि NP और EO बाधाओं की एक साथ व्यवहार्यता संभव है और इष्टतम समाधान के स्वरूप को स्पष्ट करता है।
3. परिमित-नमूना एल्गोरिदम: दो व्यावहारिक, गैर-पैरामीट्रिक एल्गोरिदम (NP-EOOP और NP-EOMP) का विकास, जो उच्च-संभाव्यता गारंटी प्रदान करते हैं। प्लग-इन विधियों के विपरीत, इनके लिए बेस क्लासिफायर के एसिम्प्टोटिक अभिसरण (asymptotic convergence) की आवश्यकता नहीं होती है।
4. सैद्धांतिक गारंटी: ऐसे कठोर बंधों (bounds) की स्थापना जो दिखाते हैं कि प्रस्तावित क्लासिफायर उच्च संभाव्यता के साथ NP और EO बाधाओं को संतुष्ट करते हैं, जो कि मौजूदा निष्पक्षता विधियों में अक्सर कमी होती है।
5. अनुभवजन्य सत्यापन (Empirical Validation): सिमुलेशन और वास्तविक डेटा (क्रेडिट कार्ड डिफॉल्ट भविष्यवाणी) के माध्यम से प्रदर्शन कि NP-EO क्लासिफायर ही एकमात्र तरीके हैं जो उच्च संभाव्यता के साथ दोनों बाधाओं को संतुष्ट कर सकते हैं, जबकि मौजूदा विधियाँ (FairBayes, Cost-Sensitive Learning) आवश्यक टाइप I त्रुटि नियंत्रण या निष्पक्षता स्तर बनाए रखने में विफल रहती हैं।

4. परिणाम (Results)

• सिमुलेशन: नियंत्रित गौसियन सेटिंग्स में, NP-EOOP और NP-EOMP ने टाइप I त्रुटि उल्लंघन दर को 0 के करीब और EO उल्लंघन दर को लक्षित $\gamma$ (जैसे, 0.05) के करीब बनाए रखा। इसके विपरीत, FairBayes टाइप I त्रुटि को नियंत्रित करने में विफल रहा (उल्लंघन दर $\approx 1$), और Cost-Sensitive Learning (CSL) ने दोनों बाधाओं के लिए उच्च उल्लंघन दर प्रदर्शित की।
• वास्तविक अनुप्रयोग (क्रेडिट कार्ड डेटा): ताइवानी क्रेडिट कार्ड डेटासेट पर लागू होने पर, NP-EO एल्गोरिदम ने डिफॉल्ट जोखिम (टाइप I त्रुटि) को लक्षित स्तर ($\alpha=0.1$) तक सफलतापूर्वक नियंत्रित किया और लिंग निष्पक्षता (EO उल्लंघन दर $< 0.05$) बनाए रखी। शास्त्रीय क्लासिफायर डिफॉल्ट जोखिम को नियंत्रित करने में विफल रहे (उल्लंघन दर = 1), और NP-केवल क्लासिफायर निष्पक्षता सुनिश्चित करने में विफल रहे (EO उल्लंघन दर $\approx 0.46$)।
• ट्रेड-ऑफ विश्लेषण: परिणाम दर्शाते हैं कि दोनों बाधाओं को संतुष्ट करने से टाइप II त्रुटि (अधिक छूटे हुए व्यावसायिक अवसर) के रूप में लागत आती है। हालांकि, इस लागत को नियामक अनुपालन और जोखिम प्रबंधन को एक साथ प्राप्त करने के लिए एक आवश्यक ट्रेड-ऑफ के रूप में प्रस्तुत किया गया है।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र उन संगठनों की व्यावहारिक आवश्यकता के जवाब के रूप में स्थित है जिन्हें ऐसे एल्गोरिदम की आवश्यकता है जो निजी संगठनात्मक लक्ष्यों (लाभ, जोखिम नियंत्रण) और सामाजिक नियामक आवश्यकताओं (निष्पक्षता) के बीच संघर्ष को सुलझा सकें।

• नियामक परिप्रेक्ष्य: लेखक तर्क देते हैं कि उनका दृष्टिकोण एक नियामक परिप्रेक्ष्य के अनुरूप है जहाँ निर्णय लेने वालों को एक जटिल सामाजिक कल्याण कार्य को मॉडल करने के बजाय विशिष्ट बाधाओं का पालन करने के बाद उद्देश्यों को पूरा करना होता है।
• सांख्यिकीय नियंत्रण: इसका महत्व विशिष्ट त्रुटियों को पुनर्वितरित करने के लिए एक "सिद्धांतिक तरीके" को प्रदान करने में निहित है ताकि उच्च-संभाव्यता सांख्यिकीय गारंटी प्राप्त की जा सके। यह भविष्य कहनेवाला त्रुटियों और सीमित नमूना आकार में निहित अनिश्चितता को संबोधित करता है।
• विनम्रता: लेखक स्पष्ट रूप से कहते हैं कि वे यह दावा नहीं करते कि NP-EO हर संदर्भ में अन्य सभी प्रतिमानों से बेहतर है। इसके बजाय, इसे एक वैकल्पिक ढांचे के रूप में पेश किया गया है जो विशेष रूप से उन परिदृश्यों के लिए डिज़ाइन किया गया है जहाँ असममित दक्षता प्राथमिकताओं और निष्पक्षता बाधाओं को कठोर सांख्यिकीय विश्वास के साथ एक साथ पूरा किया जाना चाहिए।
• भविष्य की दिशाएं: शोध पत्र कई संवेदनशील विशेषताओं (multiple sensitive attributes), छोटे नमूना आकार के लिए पैरामीट्रिक मॉडल और अन्य दक्षता/निष्पक्षता मेट्रिक्स के लिए संभावित विस्तार का सुझाव देता है, लेकिन इन्हें वर्तमान योगदान के बजाय भविष्य के कार्य के रूप में नोट करता है।

संक्षेप में, यह शोध पत्र एक ऐसे गणितीय रूप से कठोर और व्यावहारिक रूप से लागू समाधान प्रदान करता है जो उन संगठनों के लिए उपयोगी है जिन्हें वित्तीय हानि के जोखिम और गैर-भेदभावपूर्ण व्यवहार की अनिवार्यता के बीच संतुलन बनाना है, जहाँ दोनों लक्ष्यों को मापने योग्य सांख्यिकीय निश्चितता के साथ प्राप्त किया जा सकता है।