FairSHAP: Preprocessing for Fairness Through Attribution-Based Data Augmentation

यहाँ शोध पत्र "FairSHAP: Preprocessing for Fairness Through Attribution-Based Data Augmentation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मशीन लर्निंग मॉडल अक्सर सामाजिक पूर्वाग्रहों को बनाए रखते हैं, विशेष रूप से स्वास्थ्य सेवा, वित्त और आपराधिक न्याय जैसे उच्च-जोखिम वाले क्षेत्रों में। मौजूदा निष्पक्षता शमन (fairness mitigation) रणनीतियाँ आम तौर पर तीन श्रेणियों में आती हैं: प्रीप्रोसेसिंग (preprocessing), इन-प्रोसेसिंग (in-processing), और पोस्ट-प्रोसेसिंग (post-processing)। हालाँकि, वर्तमान प्रीप्रोसेसिंग विधियाँ दो महत्वपूर्ण सीमाओं से ग्रस्त हैं:

1. व्याख्यात्मकता का अभाव (Lack of Interpretability): वे अक्सर बिना यह पारदर्शी रूप से पहचाने कि कौन से फीचर्स पूर्वाग्रह के लिए जिम्मेदार हैं, डेटा को संशोधित करती हैं, जिससे "फेयरवॉशिंग" (भ्रामक स्पष्टीकरण) या मनमाना डेटा नुकसान होता है।
2. केवल समूह निष्पक्षता पर ध्यान (Focus on Group Fairness Only): अधिकांश विधियाँ समूह-स्तर के मेट्रिक्स (जैसे, डेमोग्राफिक पैरिटी) के लिए अनुकूलित होती हैं जबकि व्यक्तिगत निष्पक्षता (individual fairness) की उपेक्षा करती हैं। इससे व्यक्तिगत अनिश्चितता उत्पन्न हो सकती है, जहाँ समान प्रोफाइल वाले व्यक्तियों को केवल संवेदनशील विशेषताओं के आधार पर अलग-अलग भविष्यवाणियाँ प्राप्त होती हैं।

यह शोध पत्र तर्क देता है कि व्यक्तिगत और समूह निष्पक्षता विरोधाभासी नहीं हैं, बल्कि एक ही अंतर्निहित सिद्धांतों की अभिव्यक्ति हैं। इसलिए, एक विधि जो व्याख्या योग्य तंत्रों का उपयोग करके व्यक्तिगत-स्तर के पूर्वाग्रह को लक्षित करती है, वह समूह-स्तर की निष्पक्षता में भी सुधार कर सकती है।

2. कार्यप्रणाली: FairSHAP (Methodology: FairSHAP)

FairSHAP एक नवीन प्रीप्रोसेसिंग फ्रेमवर्क है जो पूर्वाग्रह-महत्वपूर्ण (fairness-critical) फीचर्स की पहचान करने और उन्हें संशोधित करने के लिए शापली वैल्यूज (Shapley values) (सहकारी गेम थ्योरी से) का लाभ उठाता है। यह एक मॉडल-एग्नोस्टिक (model-agnostic), एट्रिब्यूशन-आधारित डेटा ऑग्मेंटेशन तकनीक के रूप में कार्य करता है।

मुख्य कार्यप्रवाह (Core Workflow)

यह विधि दो चरणों वाली प्रक्रिया का पालन करती है (जैसा कि पेपर के चित्र 1 में दर्शाया गया है):

1. इंस्टेंस-लेवल मैचिंग (Instance-Level Matching):

   • संवेदनशील विशेषता के आधार पर डेटासेट को विशेषाधिकार प्राप्त ($A=1$) और वंचित ($A=0$) समूहों में विभाजित किया जाता है।
   • एक निकटतम-पड़ोसी मिलान (nearest-neighbor matching) (या ऑप्टिमल ट्रांसपोर्ट) प्रक्रिया दोनों समूहों के बीच इंस्टेंस को संरेखित करती है। महत्वपूर्ण रूप से, यह मिलान लेबल निरंतरता (label consistency) को लागू करता है (उदाहरण के लिए, एक समूह के सकारात्मक इंस्टेंस को दूसरे समूह के केवल सकारात्मक इंस्टेंसेस के साथ ही जोड़ा जाता है) ताकि निष्पक्ष तुलना सुनिश्चित हो सके।

2. एट्रिब्यूशन-आधारित संशोधन (Attribution-Based Modification):

   • लक्षित समूह के प्रत्येक इंस्टेंस के लिए, विधि प्रत्येक फीचर के मॉडल की भविष्यवाणी में योगदान (विशेष रूप से डिस्क्रिमिनेटिव रिस्क (DR) के संबंध में) को मापने के लिए शापली वैल्यूज ($\phi_k$) की गणना करती है।
   • डिस्क्रिनेटिव रिस्क (DR) को उस व्यक्तिगत अंतर के रूप में परिभाषित किया गया है जो तब होता है जब किसी व्यक्ति की संवेदनशील विशेषता को उलट दिया जाए: $L_{DR} = |f(\check{x}, A=0) - f(\check{x}, A=1)|$।
   • जिन फीचर्स के शापली वैल्यूज एक थ्रेशोल्ड $T$ से अधिक होते हैं, उन्हें निष्पक्षता-महत्वपूर्ण (fairness-critical) के रूप में पहचाना जाता है।
   • इन क्रिटिकल फीचर वैल्यूज को दूसरे संवेदनशील समूह के संगत संदर्भ इंस्टेंस (reference instance) के मानों से बदल दिया जाता है।
   • यह प्रक्रिया द्विदिश (दोनों समूहों को लक्षित करते हुए) लागू की जाती है ताकि एक संवर्धित, निष्पक्षता-सुधार वाला डेटासेट ($D_{new}$) बनाया जा सके।

सैद्धांतिक आधार (Theoretical Foundation)

पेपर कठोर सैद्धांतिक गारंटी प्रदान करता है:

• थ्योरम 3.1 (इंस्टेंस-वाइज DR रिडक्शन): निष्पक्षता-महत्वपूर्ण फीचर्स को बदलने से व्यक्तिगत डिस्क्रिमिनेटिव रिस्क में उनके शापली वैल्यूज के योग (एक इंटरेक्शन रेसिडुअल टर्म को घटाकर) से कम से कम कमी आती है।
• प्रपोजिशन 3.2: स्थानीय मिलान (जहाँ मिलान किए गए इंस्टेंस के बीच की दूरी $\epsilon$ बहुत कम है) के तहत, इंटरेक्शन रेसिडुअल टर्म एक सेकंड-ऑर्डर टर्म ($O(\epsilon^2)$) द्वारा सीमित होता है, जिससे यह सुनिश्चित होता है कि शापली एट्रिब्यूशन रिडक्शन पर हावी रहता है।
• थ्योरम 3.3 और 3.4: व्यक्तिगत DR में एक समान कमी गणितीय रूप से समूह-स्तर की डेमोग्राफिक पैरिटी (DP) में कमी को सीमित करती है, जो यह सिद्ध करती है कि व्यक्तिगत निष्पक्षता में सुधार करना स्वाभाविक रूप से समूह निष्पक्षता में सुधार करता है।

3. मुख्य योगदान (Key Contributions)

1. नवीन फ्रेमवर्क: FairSHAP का परिचय, जो व्यक्तिगत निष्पक्षता को लक्षित करने के लिए शापली वैल्यू एट्रिब्यूशन को इंस्टेंस-लेवल मैचिंग के साथ स्पष्ट रूप से संयोजित करने वाला पहला प्रीप्रोसेसिंग मेथड है।
2. व्याख्यात्मकता और पारदर्शिता: "ब्लैक-बॉक्स" प्रीप्रोसेसिंग के विपरीत, FairSHAP सटीक रूप से पहचानता है कि कौन से फीचर्स पूर्वाग्रह पैदा करते हैं, जिससे अनफेयरनेस के स्रोतों के बारे में कार्रवाई योग्य अंतर्दृष्टि मिलती है।
3. न्यूनतम डेटा परिवर्तन (Minimal Data Perturbation): यह विधि केवल उन्हीं फीचर्स को चुनिलेक्टिव रूप से संशोधित करती है जिनका शापली योगदान अधिक है, जिससे 'कोरिलेशन रिमूवर' (जो >95% डेटा को संशोधित करता है) की तुलना में डेटा फिडेलिटी (data fidelity) (वॉसरस्टीन डिस्टेंस द्वारा मापा गया) कहीं बेहतर तरीके से संरक्षित रहती है।
4. दोहरा सुधार: यह टेस्ट-सेट समायोजन या महत्वपूर्ण सटीकता हानि की आवश्यकता के बिना व्यक्तिगत निष्पक्षता (DR) और समूह निष्पक्षता (DP, इक्वलिटी ऑफ अपॉर्चुनिटी) दोनों में एक साथ सुधार करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने पांच टेबुलर डेटासेट्स पर FairSHAP का मूल्यांकन किया: German Credit, COMPAS, Adult, Census Income KDD, और Default Credit।

• प्रदर्शन मेट्रिक्स (Performance Metrics):

  • DR रिडक्शन: FairSHAP ने बेसलाइन की तुलना में जर्मन क्रेडिट में 80% और COMPAS में 40% तक डिस्क्रिमिरेटिव रिस्क को कम किया।
  • समूह निष्पक्षता: इसने सभी डेटासेट्स में डेमोग्राफिक पैरिटी (DP) और इक्वलिटी ऑफ अपॉर्चुनिटी (EO) में लगातार सुधार किया।
  • सटीकता (Accuracy): कई मामलों में (जैसे COMPAS, Census Income), FairSHAP लागू करने के बाद सटीकता बढ़ गई। अन्य मामलों में, गिरावट नगण्य थी।
  • डेटा फिडेलिटी: FairSHAP ने उच्चतम डेटा फिडेलिटी (सबसे कम वॉसरस्टीन डिस्टेंस) बनाए रखी, जिसने DIR और CR जैसे बेसलाइन्स की तुलना में काफी कम डेटा पॉइंट्स को संशोधित किया।

• तुलनात्मक विश्लेषण (Comparative Analysis):

  • बनाम सेंसिटिव एट्रिब्यूट रिमूव (RSA): RSA प्रॉक्सी बायस को संबोधित करने में विफल रहता है; FairSHAP इससे बेहतर प्रदर्शन करता है।
  • बनाम डिस्परेट इम्पैक्ट रिमूवर (DIR) और कोरिलेशन रिमूवर (CR): जबकि CR, DR को कम करता है, इसके लिए भारी डेटा संशोधन (>95%) की आवश्यकता होती है और यह DP/EO को खराब करता है। FairSHाP न्यूनतम बदलावों के साथ बेहतर निष्पक्षता मेट्रिक्स प्राप्त करता है और इसे टेस्ट सेट को ट्रांसफॉर्म करने की आवश्यकता नहीं होती है।

• एब्लेशन स्टडीज (Ablation Studies):

  • शापली घटक (रैंडम रिप्लेसमेंट) या मैचिंग घटक को हटाने से निष्पक्षता सुधार में काफी कमी आई, जिससे पुष्टि हुई कि एट्रिब्यूशन और मैचिंग दोनों ही अनिवार्य हैं।

5. महत्व (Significance)

• अंतराल को पाटना: FairSHAP सफलतापूर्वक व्याख्यात्मकता और निष्पक्षता के बीच के अंतर को पाटता है, जो डेटा संशोधनों के लिए एक पारदर्शी तर्क प्रदान करके "फेयरवॉशिंग" से आगे बढ़ता है।
• व्यावहारिक तैनाती: एक प्रीप्रोसेसिंग तकनीक के रूप में, यह मॉडल-एग्नोस्टिक है और मौजूदा ML पाइपलाइनों में सहजता से एकीकृत हो जाता है। इसके लिए मॉडल आर्किटेक्चर को फिर से प्रशिक्षित करने या इन्फरेंस प्रक्रिया को बदलने की आवश्यकता नहीं होती है।
• सैद्धांतिक कठोरता: यह पेपर केवल अनुभवजन्य अवलोकन से आगे बढ़कर गणितीय प्रमाण प्रदान करता है कि शापली वैल्यूज के माध्यम से व्यक्तिगत पूर्वाग्रह को कम करने से समूह-स्तरीय सांख्यिकीय असमानताओं में कमी आती है।
• भविष्य का प्रभाव: व्यक्तिगत निष्पक्षता को समूह निष्पक्षता का एक सिद्धांतित मार्ग प्रदर्शित करके, FairSHAP उच्च-जोखिम वाले डोमेन में जवाबदेह और न्यायसंगत AI सिस्टम विकसित करने के लिए एक नया प्रतिमान (paradigm) पेश करता है।

कोड उपलब्धता: इसका कार्यान्वयन ओपन-सोर्स है: https://github.com/ZhuMuMu0216/FairSHAP।