तकनीकी सारांश: प्रमाणिक रूप से निष्पक्ष मशीन लर्निंग की ओर: सुसंगत और पारदर्शी भविष्यवाणियों के लिए बायेसियन दृष्टिकोण

1. समस्या विवरण

उच्च-जोखिम वाले क्षेत्रों (वित्त, आपराधिक न्याय, स्वास्थ्य सेवा) में तैनात मशीन लर्निंग मॉडल अक्सर देखे गए डेटा के साथ व्यवस्थित रूप से असंगत भविष्यवाणियां उत्पन्न करते हैं, विशेष रूप से कई विशेषताओं के प्रतिच्छेदन (intersection) द्वारा परिभाषित सूक्ष्म उपसमूहों (granular subgroups) के लिए। यह असंगति इसलिए उत्पन्न होती है क्योंकि मानक फ्रीक्वेंटिस्ट (frequentist) दृष्टिकोण देखे गए नमूना अनुपातों को वास्तविक संभावनाओं के विश्वसनीय अनुमान के रूप में मानते हैं, चाहे नमूना आकार कुछ भी हो। बड़े डेटासेट में, जबकि कुल डेटा का आयतन उच्च होता है, सबसे सूक्ष्म स्तर पर डेटा (वे व्यक्ति जो सभी विशेषताओं में समान मान साझा करते हैं) अक्सर छोटे उपसमूहों के रूप में होता है।

दो प्राथमिक मुद्दे इसे और खराब करते हैं:

1. लघु-नमूना अनुमान विफलता (Small-Sample Inference Failure): मानक मॉडल छोटे उपसमूहों से जुड़ी उच्च अनिश्चितता को ध्यान में रखने में विफल रहते हैं, जिससे अत्यधिक आत्मविश्वासी लेकिन सांख्यिकीय रूप से असमर्थ भविष्यवाणियां होती हैं।
2. नियमितीकरण पूर्वाग्रह (Regularization Bias): ओवरफिटिंग को रोकने के लिए, मानक ML तकनीकें (जैसे कि निर्णय वृक्षों की छंटाई, न्यूरल नेटवर्क में नियमितीकरण) छोटे उपसमूहों को बड़े समूहों में समाहित कर देती हैं। यह अल्पसंख्यक जनसांख्यिकी को असमान रूप से प्रभावित करता है, जो अक्सर इन छोटे, प्रतिच्छेदी उपसमूहों में केंद्रित होते हैं, जिससे उनके विशिष्ट व्यवहारिक पैटर्न मिट जाते हैं।
3. सिद्धांतिक रूप से परहेज करने की कमी (Lack of Principled Abstention): वर्तमान मॉडल, जिनमें निष्पक्षता के लिए डिज़ाइन किए गए मॉडल भी शामिल हैं, प्रत्येक इनपुट के लिए भविष्यवाणी करने के लिए मजबूर हैं। उनमें तब परहेज करने की क्षमता नहीं है जब साक्ष्य या तो इतनी कम मात्रा में हों कि एक आत्मविश्वासी भविष्यवाणी का समर्थन करने के लिए पर्याप्त न हों, या इसके विपरीत, इतने मजबूत हों कि सभी नियतात्मक (deterministic) भविष्यवाणियों को खारिज कर सकें (उदाहरण के लिए, एक समूह जहाँ लक्ष्य दर ठीक 50% है और नमूना आकार बड़ा है)।

मौजूदा निष्पक्षता दृष्टिकोण (समूह निष्पक्षता, मल्टीकैलिब्रेशन) अक्सर पूर्व-निर्दिष्ट संरक्षित समूहों पर निर्भर करते हैं, सभी संभावित प्रतिच्छेदों तक विस्तार करने में विफल रहते हैं, और मूल सांख्यिकीय असंगति को संबोधित नहीं करते हैं जो भविष्यवाणियों और देखे गए साक्ष्यों के बीच होती है।

2. कार्यप्रणाली: फेयर बायेसियन (FB) क्लासिफायर

लेखक फेयर बायेसियन (FB) क्लासिफायर का प्रस्ताव करते हैं, जो वर्गीकरण को समग्र सटीकता के अनुकूलन के बजाय सांख्यिकीय औचित्य के प्रश्न के रूप में देखता है। यह विधि जनसंख्या की संभावनाओं पर लागू शास्त्रीय बायेसियन अनुमान (classical Bayesian inference) पर आधारित है, न कि मॉडल मापदंडों पर।

मुख्य आवश्यकताएं

यह ढांचा किसी भी भविष्यवाणी के लिए दो सख्त आवश्यकताओं को लागू करता है:

1. नियतात्मकता (Determinism): समान व्यक्तियों (सभी फीचर मान साझा करने वाले) को समान भविष्यवाणियां मिलनी चाहिए।
2. सांख्यिकीय सुसंगतता (Statistical Consistency): एक उपसमूह के लिए भविष्यवाणी देखे गए नमूने से अनुमानित लक्ष्य वितरण के साथ सांख्यिकीय रूप से सुसंगत होनी चाहिए, जिसे $\alpha$ के महत्व स्तर पर एक परिकल्पना परीक्षण के माध्यम से आंका जाता है।

तकनीकी ढांचा

• उपसमूह परिभाषा: डेटा को $d$-नोड्स (वे समूह जिनके सभी $m$ गुणों के मान समान हैं) और $v$-नोड्स (वे समूह जो कुछ गुणों द्वारा परिभाषित हैं, अन्य को अस्पष्ट छोड़ते हैं) में विभाजित किया गया है।
• बायेसियन अनुमान: प्रत्येक $d$-नोड के लिए, अज्ञात जनसंख्या संभावना $p$ को बीटा पोस्टीरियर (एक यूनिफॉर्म Beta(1,1) प्रायर के साथ) का उपयोग करके मॉडल किया जाता है। भविष्य के अवलोकनों के लिए भविष्य कहने वाला वितरण (predictive distribution) बीटा-बाइनोमियल वितरण का अनुसरण करता है।
• सुसंगतता परीक्षण: एक दिए गए $d$-नोड के लिए जिसमें $N_d$ अवलोकन और $T_d$ सकारात्मक लक्ष्य हैं, एक नियतात्मक भविष्यवाणी (या तो सभी सकारात्मक या सभी नकारात्मक) का परीक्षण $\alpha$ स्तर पर बीटा-बाइनोमियल प्रेडिक्टिव वितरण के विरुद्ध किया जाता है।
  • यदि देखा गया डेटा "सभी सकारात्मक" भविष्यवाणी को स्तर $\alpha$ पर खारिज करता है, तो इसे अस्वीकार कर दिया जाता है।
  • यदि डेटा "सभी नकारात्मक" को खारिज करता है, तो इसे अस्वीकार कर दिया जाता है।
  • नोड वर्गीकरण:
    • $d_0$: केवल "सभी नकारात्मक" सुसंगत है।
    • $d_1$: केवल "सभी सकारात्मक" सुसंगत है।
    • $d_{amb}$: दोनों सुसंगत हैं (अस्पष्ट); समाधान का रिज़ॉल्यूशन पैरेंट $v$-नोड्स के बाधाओं पर निर्भर करता है।
    • $d_{nf}$ (No Fair): कोई भी नियतात्मक भविष्यवाणी सुसंगत नहीं है (उदाहरण के लिए, एक बड़ा समूह जहाँ लक्ष्य दर ठीक 50% है)।
• परहेज तंत्र (Abstention Mechanism): आत्मविश्वास-आधारित परहेज के विपरीत, FB क्लासिफायर $d_{nf}$ नोड्स पर परहेज करता है क्योंकि साक्ष्य ने दोनों नियतात्मक विकल्पों को सकारात्मक रूप से खारिज कर दिया है। यह दोषपूर्ण भविष्यवाणियां जारी करने के विरुद्ध एक सुरक्षा कवच है।
• वैश्विक सुसंगतता ($v$-नोड्स): भविष्यवाणियों को सभी $v$-नोड्स (d-नोड्स के एकत्रीकरण) के लिए सुसंगतता बाधाओं को भी संतुष्ट करना चाहिए। चूंकि $v$-नोड वितरण विषम (heterogeneity) होने के कारण बंद रूप (closed form) में नहीं निकाले जा सकते, इसलिए लेखक उन्हें चाइल्ड $d$-नोड्स के वितरणों से नमूना लेकर अनुमानित करते हैं।
• बाधा संतुष्टि (Constraint Satisfaction): समस्या को एक बाधा संतुष्टि समस्या (constraint satisfaction problem) के रूप में तैयार किया गया है जहाँ चाइल्ड $d$-नोड्स के लिए भविष्यवाणियों का योग पैरेंट $v$-नोड के $[V_{min}, V_{max}]$ सीमाओं के भीतर होना चाहिए। लेखक एक व्यवहार्य असाइनमेंट खोजने के लिए गुरोबी ऑप्टिमाइज़र (Gurobi Optimizer) का उपयोग करते हैं जो पोस्टीरियर लॉग-ऑड्स के रैखिक उद्देश्य को अधिकतम करता है, जिसके बाद सर्वश्रेष्ठ समाधान का चयन करने के लिए $v$-नोड लॉग-लाइक्लीहुड का उपयोग करते हुए एक माध्यमिक स्कोरिंग चरण का उपयोग किया जाता है।
• विषमता प्रबंधन (Heterogeneity Handling): बड़े डेटासेट में अनपेक्षित टेम्पोरल या स्रोत-आधारित भिन्नता के कारण अति-आत्मविश्वास को रोकने के लिए, बीटा पोस्टीरियर में एक वेरिएंस फ्लोर ($\tau = 10^{-5}$) लागू किया जाता है, जो प्रभावी नमूना आकार को सीमित करता है।

3. मुख्य योगदान

1. भविबंध सुसंगतता के लिए ढांचा: किसी पूर्व-निर्दिष्ट संरक्षित समूहों के बजाय, प्रत्येक संभव उपसमूह (किसी भी फीचर संयोजन के प्रतिच्छेदन) के लिए बायेसियन अनुमान के आधार पर सांख्यिकीय सुसंगतता के लिए एक औपचारिक परिभाषा।
2. फेयर बायनशियन क्लासिफायर: एक क्लासिफायर जो देखे गए साक्ष्यों के साथ सुसंगतता की गारंटी देता है और सिद्धांतिक परहेज लागू करता है। यह $d_{nf}$ नोड्स पर परहेज करता है क्योंकि डेटा ने सभी नियतात्मक भविष्यवाणियों को खारिज कर दिया है, न कि इसलिए कि मॉडल का आत्मविश्वास कम है।
3. असंगतता का अनुभवजन्य प्रमाण: यह प्रदर्शन कि मानक मॉडल (डिसीजन ट्री, न्यूरल नेटवर्क) और फेयरनेस-अवेयर पोस्ट-प्रोसेसर (प्रपोर्शनल मल्टीकैलिब्रेशन) एक पर्याप्त संख्या में उपसमूहों के लिए सांख्यिकीय रूप से असंगत भविष्यवाणियां उत्पन्न करते हैं, यहाँ तक कि उन डेटा पर भी जिन पर उन्हें प्रशिक्षित किया गया था।
4. प्रदर्शन परिणाम: FB क्लासिफायर उन उपसमूहों पर सभी बेसलाइन की तुलना में उच्च सटीकता प्राप्त करता है जहाँ वह भविष्यवाणियां करता है। यह शून्य सुसंगतता त्रुटि प्राप्त करता है।

4. परिणाम

लेखकों ने तीन बेंचमार्क डेटासेट (Adult, COMPAS, Bank Marketing) पर DT, NN और PMC के विरुद्ध FB क्लासिफायर का मूल्यांकन किया:

• सुसंगतता त्रुटि (Consistency Error): मानक मॉडलों ने उपसमूहों के महत्वपूर्ण हिस्सों के लिए सांख्यिकीय रूप से असंगत भविष्यवाणियां कीं। उदाहरण के लिए, बैंक मार्केटिंग डेटासेट पर, PMC ने 16.97% $d_0/d_1$ सुसंगतता त्रुटि और 43.46% $v$-नोड सुसंगतता त्रुटि दिखाई। FB क्लासिफायर ने डिजाइन द्वारा सभी मेट्रिक्स पर 0.00% त्रुटि प्राप्त की।
• परहेज (Abstention): FB क्लासिफायर ने $d_{nf}$ नोड्स पर परहेज किया। Adult डेटासेट में, 50.4% उदाहरण $d_{nf}$ नोड्स में गिरे, जो यह दर्शाता है कि आधी आबादी के लिए, उपलब्ध फीचर्स के आधार पर कोई सुसंगत नियतात्मक भविष्यवाणी संभव नहीं थी।
• सटीकता (Accuracy): उस डेटा के उपसमुच्चय पर जहाँ FB क्लासिफायर ने भविष्यवाणियां कीं (excluding $d_{nf}$ nodes), इसने सभी बेसलाइन को पछाड़ दिया। विशेष रूप से, COMPAS पर, FB ने 77.6% सटीकता प्राप्त की जबकि बेसलाइन की सटीकता ~68% थी।
• मल्टीकैलिब्रेशन (Multicalibration): FB क्लासिफायर ने प्रतिस्पर्धी मल्टीकैलिब्रेशन स्कोर प्राप्त किया, जो बताता है कि सांख्यिकीय सुसंगतता सूक्ष्म उपसमूहों में अंशांकन (calibration) के लिए एक मजबूत प्रॉक्सी है।

5. महत्व और दावे

यह शोध पत्र तर्क देता है कि सांख्यिकीय सुसंगतता भविष्यवाणियों की गुणवत्ता के लिए एक सिद्धांतिक आधार प्रदान करती है जिसका एल्गोरिथमिक निष्पक्षता के साथ सीधा संबंध है। लेखक दावा करते हैं कि:

• अल्पसंख्यक जनसांख्यिकी छोटे उपसमूहों में असमान रूप से केंद्रित होती है जहाँ फ्रीक्वेंटिस्ट अनुमान सबसे कम विश्वसनीय होता है। इस अनुमान समस्या को संबोधित करना निष्पक्ष ML की ओर एक आवश्यक कदम है।
• डेटा द्वारा समर्थित सूक्ष्मतम स्तर पर बायेसियन सुसंगतता को लागू करके, सिद्धांतिक परहेज के साथ व्यापक उपसमूह निष्पक्षता प्राप्त की जा सकती है।
• यह पहचानना कि कब कोई भी निष्पक्ष नियतात्मक भविष्यवाणी संभव नहीं है ($d_{nf}$ नोड्स के माध्यम से), एक महत्वपूर्ण सुरक्षा उपाय है।
• यह दृष्टिकोण "एसोसिएशन सीखने और फिर फेयरनेस को फिट करने" के बजाय "वर्गीकरण को सांख्यिकीय औचित्य के रूप में" देखने के प्रतिमान को बदल देता है।

लेखक नोट करते हैं कि हालांकि उपसमूहों के घातीय विकास के कारण यह ढांचा गणनात्मक रूप से गहन है, फिर भी यह वर्तमान बेंचमार्क डेटासेट के लिए व्यावहारिक है।