🤖 machine learning

Procedural Fairness via Group Counterfactual Explanation

यह शोध पत्र ग्रुप काउंटरफैक्चुअल इंटीग्रेटेड ग्रेडिएंट्स (GCIG) को प्रस्तुत करता है, जो एक इन-प्रोसेसिंग रेगुलराइजेशन फ्रेमवर्क है जो प्रतिस्पर्धी प्रेडिक्टिव परफॉरमेंस बनाए रखते हुए मॉडल स्पष्टीकरणों में क्रॉस-ग्रुप विविधताओं को दंडित करके प्रक्रियात्मक निष्पक्षता को लागू करता है।

मूल लेखक: Gideon Popoola, John Sheppard

प्रकाशित 2026-03-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gideon Popoola, John Sheppard

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बैंक में ऋण (लोन) के लिए आवेदन कर रहे हैं। आपका क्रेडिट स्कोर बहुत अच्छा है, आपकी नौकरी स्थिर है और आपका रिकॉर्ड भी साफ है। बैंक का कंप्यूटर सिस्टम कहता है "नहीं"।

आप पूछते हैं, "क्यों?"
कंप्यूटर जवाब देता है, "क्योंकि आपका क्रेडिट स्कोर बहुत कम है।"

लेकिन रुकिए, आप जानते हैं कि आपका स्कोर उच्च है। आप अपने एक दोस्त से, जो दूसरे मोहल्ले का रहने वाला है, बिल्कुल समान वित्तीय विवरणों के साथ आवेदन करने को कहते हैं। कंप्यूटर उसे "हाँ" कहता है। जब आपका दोस्त पूछता है कि क्यों, तो कंप्यूटर कहता है, "क्योंकि आपका क्रेडिट स्कोर उच्च है।"

समस्या केवल यह नहीं है कि एक को "नहीं" मिला और दूसरे को "हाँ"। समस्या यह है कि कंप्यूटर निर्णय लेने के लिए दो अलग-अलग नियमपुस्तिकाओं (rulebooks) का उपयोग कर रहा है।

यही वह मुख्य मुद्दा है जिसे यह शोध पत्र संबोधित करता है। "फेयर एआई" (Fair AI) पर अधिकांश शोध केवल परिणाम (क्या सभी को समान संख्या में "हाँ" और "नहीं" के उत्तर मिले?) पर ध्यान केंद्रित करते हैं। लेकिन यह शोध पत्र तर्क देता है कि यह पर्याप्त नहीं है। हमें प्रक्रियात्मक निष्पक्षता (Procedural Fairness) की भी आवश्यकता है: यह सुनिश्चित करना कि कंप्यूटर निर्णय तक पहुँचने के लिए एक ही तर्क का उपयोग करे, चाहे आप कोई भी हों।

यहाँ उनके समाधान, GCIG का विवरण दिया गया है, सरल उपमाओं (analogies) के माध्यम से।

1. समस्या: "दो-नियमपुस्तिका" वाला बैंक

वर्तमान में, एआई मॉडल अक्सर निष्पक्ष दिखने वाले भविष्यवाणियों (परिणाम निष्पक्षता) को सीखने के लिए अनजाने में विभिन्न समूहों के लिए अलग-अलग "शॉर्टकट" सीख लेते हैं।

समूह A को उनकी वास्तविक आय के आधार पर आंका जा सकता है।
समूह B को उनके ज़िप कोड के आधार पर आंका जा सकता है (भले ही वह अनुचित हो)।

यदि एआई दोनों समूहों के लिए स्वीकृतियों की सही संख्या प्राप्त कर लेता है, तो वह कागज़ पर निष्पक्ष दिखता है। लेकिन यदि आप एआई से पूछते हैं कि उसने निर्णय क्यों लिया, तो वह आपके समूह के आधार पर पूरी तरह से अलग कहानी देगा। यह भरोसे को खत्म करता है। यह एक ऐसे रेफरी की तरह है जो होम टीम के लिए एक सेट नियमों का और अवे टीम के लिए दूसरे सेट नियमों का उपयोग करता है, भले ही अंतिम स्कोर संतुलित दिखे।

2. समाधान: "क्या होगा अगर" वाला दर्पण (Counterfactuals)

लेखक ग्रुप काउंटरफैक्चुअल इंटीग्रेटेड ग्रेडिएंट्स (GCIG) नामक एक विधि पेश करते हैं।

इसे एक "क्या होगा अगर" वाले दर्पण के रूप में सोचें।
जब एआई आपको (व्यक्ति X) देखता है, तो वह केवल आपके डेटा को नहीं देखता। वह पूछता है:

"यदि व्यक्ति X, समूह A का सदस्य होता, तो मैं अपने निर्णय की व्याख्या कैसे करता? और यदि व्यक्ति X, समूह B का सदस्य होता, तो मैं इसकी व्याख्या कैसे करता?"

पुराना तरीका: एआई कह सकता है, "मैंने व्यक्ति X को इसलिए खारिज किया क्योंकि वह एक खराब पड़ोस में रहता है" (यदि वह समूह A है) लेकिन "मैंने व्यक्ति X को इसलिए स्वीकार किया क्योंकि उसकी नौकरी अच्छी है" (यदि वह समूह B है)।
GCIG का तरीका: एआई को व्यक्ति X को दोनों समूहों के "लेंस" के माध्यम से देखने के लिए मजबूर किया जाता है। यदि केवल समूह लेबल बदलने से व्याख्या नाटकीय रूप से बदल जाती है, तो एआई जान जाता है कि वह पक्षपाती हो रहा है।

3. प्रशिक्षण: "सख्त कोच"

आप एक एआई को यह सिखाने के लिए कि वह ऐसा करना बंद करे, क्या करेंगे? आप उसे केवल यह नहीं कह सकते कि "निष्पक्ष बनो।" आपको उसे तब दंडित करना होगा जब वह निष्पक्ष न हो।

लेखकों ने FairX नामक एक प्रशिक्षण प्रणाली बनाई है। एक सख्त कोच की कल्पना करें जो एक सॉकर टीम को प्रशिक्षित कर रहा है:

लक्ष्य: टीम को जीतना है (पूर्वानुमान सटीकता - Predictive Accuracy)।
नियम: टीम को हर प्रतिद्वंद्वी के खिलाफ सॉकर खेलने की एक ही शैली अपनानी चाहिए (परिणाम निष्पक्षता - Outcome Fairness)।
नया नियम (GCIG): कोच हर खिलाड़ी पर नज़र रखता है। यदि खिलाड़ी A एक विशिष्ट चाल का उपयोग करके गोल करता है, लेकिन खिलाड़ी B उसी गोल को करने के लिए पूरी तरह से अलग, अव्यवस्थित चाल का उपयोग करता है, तो कोच सीटी बजाता है और उन्हें अतिरिक्त चक्कर (laps) लगाने के लिए कहता है।

एआई के मामले में, "अतिरिक्त चक्कर" एक गणितीय दंड (mathematical penalty) हैं। हर बार जब एआई विभिन्न समूहों के लिए अलग तर्क का उपयोग करने की कोशिश करता है, तो प्रशिक्षण प्रक्रिया "क्रोधित" होती है और एआई के मस्तिष्क को तर्क को सुसंगत बनाने के लिए समायोजित करती है।

4. परिणाम: सुसंगत तर्क, समान परिणाम

इस शोध पत्र ने वास्तविक दुनिया के डेटासेट (जैसे ऋण आवेदन और आपराधिक पुनरावृत्ति भविष्यवाणियाँ) पर इसका परीक्षण किया।

GCIG से पहले: एआई भविष्यवाणियाँ करने में अच्छा था कि किसे ऋण मिलेगा, लेकिन वह विभिन्न लोगों के लिए अलग "तर्क" का उपयोग करता था।
GCIG के बाद: एआई अभी भी उतनी ही सटीकता के साथ भविष्यवाणी करता था कि किसे ऋण मिलेगा। लेकिन अब, "क्यों" सबके लिए एक जैसा था।

यह एक ऐसे न्यायाधीश की तरह है जो कानून के आधार पर मामलों का निर्णय करता है, न कि इस आधार पर कि प्रतिवादी कौन है। यदि दो लोग समान परिस्थितियों के साथ एक ही अपराध करते हैं, तो न्यायाधीश दोनों के लिए समान सजा देता है और दोनों के लिए बिल्कुल एक ही कानूनी तर्क भी देता है।

यह क्यों मायने रखता है

आमतौर पर, जब हम एआई को निष्पक्ष बनाने की कोशिश करते हैं, तो हमें डर होता है कि हमें सटीकता (AI को "कम बुद्धिमान" बनाना) का त्याग करना पड़ेगा। यह शोध पत्र दिखाता है कि ऐसा नहीं है।

एआई को सभी के लिए एक ही तर्क का उपयोग करने के लिए मजबूर करके, हम वास्तव में एक ऐसी प्रणाली प्राप्त करते हैं जो:

अधिक विश्वसनीय है: आप जानते हैं कि निर्णय क्यों लिया गया।
अधिक मजबूत (Robust) है: यह छिपे हुए, अनुचित शॉर्टकट पर निर्भर नहीं है।
उतनी ही सटीक है: यह भविष्यवाणियों की गुणवत्ता को नुकसान नहीं पहुँचाता है।

संक्षेप में: यह शोध पत्र एआई को सिखाता है कि निष्पक्षता केवल अंतिम स्कोर के बारे में नहीं है; यह सभी के लिए एक ही नियमों के साथ खेल खेलने के बारे में है।

यहाँ पॉपोला और शेफर्ड के शोध पत्र "Procedural Fairness via Group Counterfactual Explanation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मशीन लर्निंग में वर्तमान निष्पक्षता (fairness) अनुसंधान मुख्य रूप से परिणाम-उन्मुख निष्पक्षता (outcome-oriented fairness) (जैसे, Equalized Odds, Statistical Parity) पर केंद्रित है, जो यह सुनिश्चित करता है कि मॉडल के पूर्वानुमान संरक्षित समूहों (protected groups) को व्यवस्थित रूप से नुकसान न पहुँचाएँ। हालाँकि, ये मेट्रिक्स केवल यह मूल्यांकन करते हैं कि क्या निर्णय लिए गए, न कि वे कैसे तक पहुँचे।

यह शोध पत्र एक महत्वपूर्ण अंतर की पहचान करता है: दो मॉडल समान परिणाम निष्पक्षता मेट्रिक्स प्राप्त कर सकते हैं, फिर भी विभिन्न समूहों के लिए मौलिक रूप से भिन्न निर्णय लेने की प्रक्रियाओं (decision-making processes) पर निर्भर हो सकते हैं। प्रक्रियात्मक निष्पक्षता (procedural fairness) की इस कमी का अर्थ है कि एक मॉडल समूह A बनाम समूह B के लिए अलग तर्क (reasoning logic) का उपयोग कर सकता है, भले ही वास्तविक लेबल (true label) समान हो। मौजूदा स्पष्टीकरण विधियाँ आमतौर पर post-hoc (नैदानिक) होती हैं, जिनका उपयोग प्रशिक्षण के बाद मॉडल के ऑडिट के लिए किया जाता है, न कि प्रशिक्षण प्रक्रिया में एकीकृत करने के लिए ताकि विसंगत तर्क (disparate reasoning) को होने से रोका जा सके।

मुख्य प्रश्न: हम यह कैसे सुनिश्चित कर सकते हैं कि एक मॉडल वास्तविक लेबल के अधीन, संरक्षित समूहों के बीच सुसंगत तर्क (consistent reasoning/explanations) का उपयोग करे, बिना भविष्य कहने की प्रदर्शन क्षमता (predictive performance) का त्याग किए?

2. कार्यप्रणाली: ग्रुप काउंटरफैक्चुअल इंटीग्रेटेड ग्रेडिएंट्स (GCIG)

लेखक GCIG प्रस्तावित करते हैं, जो एक इन-प्रोसेसिंग रेगुलराइजेशन फ्रेमवर्क है जो स्पष्टीकरण अपरिवर्तनीयता (explanation invariance) को लागू करता है। मुख्य विचार यह है कि यदि किसी विशिष्ट पूर्वानुमान के लिए स्पष्टीकरण (explanation) बदल जाता है जब "संदर्भ" (संदर्भ समूह) बदलता है—भले ही इनपुट और वास्तविक लेबल समान हों—तो मॉडल को दंडित किया जाए।

मुख्य घटक:

ग्रुप कंडीशनल बेसलाइन्स (Group Conditional Baselines): एक एकल वैश्विक बेसलाइन (जैसे, ज़ीरो वेक्टर) के बजाय, GCIG प्रत्येक संरक्षित समूह $g$ और लेबल $y$ के लिए एक बेसलाइन की गणना करता है:
$b_{y,g} = \mathbb{E}[X | Y=y, A=g]$
यह समूह $g$ के उन व्यक्तियों के औसत फीचर प्रोफाइल का प्रतिनिधित्व करता है जो समान वास्तविक परिणाम $y$ साझा करते हैं। स्थिरता सुनिश्चित करने के लिए प्रशिक्षण के दौरान इन बेसलाइन्स को एक्सपोनेंशियल मूविंग एवरेज (EMA) का उपयोग करके अपडेट किया जाता है।
ग्रुप काउंटरफैक्चुअल इंटीग्रेटेड ग्रेडिएंट्स (IG): दिए गए इनपुट $x$ और वास्तविक लेबल $y$ के लिए, मॉडल प्रत्येक समूह के बेसलाइन ( $b_{y,0}$ और $b_{y,1}$ ) के सापेक्ष इंटीग्रेटेड ग्रेडिएंट्स (IG) की गणना करता है।
$IG^{(g)}(x; y) = IG(x; b_{y,g})$
यह इस काउंटरफैक्चुअल प्रश्न का उत्तर देता है: "यदि हम यह मान लें कि व्यक्ति समूह $g$ के विशिष्ट संदर्भ से संबंधित है, तो मॉडल इस पूर्वानुमान की व्याख्या कैसे करेगा?"
स्पष्टीकरण विषमता मीट्रिक (Explanation Disparity Metric): यह विधि स्केल प्रभावों को हटाने के लिए इन एट्रिब्यूशन वेक्टर्स को सामान्य करती है और समूहों के बीच इन एट्रिब्यूशंस के विचरण (variance) की गणना करती है।
$V(x; y) = \text{Var}_{g \in A} \left[ \frac{IG^{(g)}(x; y)}{\|IG^{(g)}(x; y)\|} \right]$
एक उच्च $V(x; y)$ यह दर्शाता है कि मॉडल समूह संदर्भ के आधार पर समान परिणाम को न्यायसंगत ठहराने के लिए अलग-अलग फीचर्स पर निर्भर है (प्रक्रियात्मक पूर्वाग्रह)।
प्रशिक्षण उद्देश्य (FairX): कुल लॉस फंक्शन तीन घटकों को जोड़ता है:
$L_{total} = L_{pred} + \lambda_{ig} L_{GCIG} + \lambda_{fair} L_{fair}$
- $L_{pred}$ : मानक पूर्वानुमान हानि (जैसे, Cross-Entropy)।
- $L_{GCIG}$ : क्रॉस-ग्रुप स्पष्टीकरण विचरण के लिए दंड।
- $L_{fair}$ : मानक परिणाम निष्पक्षता बाधा (जैसे, Equalized Odds)।
- $\lambda$ पद उपयोगिता (utility), परिणाम निष्पक्षता और प्रक्रियात्मक निष्पक्षता के बीच संतुलन को नियंत्रित करते हैं।

3. मुख्य योगदान

प्रक्रियात्मक निष्पक्षता का औपचारिक रूप (Formalization of Procedural Fairness): लेखक प्रक्रियात्मक निष्पक्षता को ग्रुप काउंटरफैक्चुअल एक्सप्लेनेशन इनवेरिएंस के रूप में परिभाषित करते हैं। इसके लिए यह आवश्यक है कि वास्तविक लेबल के अधीन मॉडल के स्पष्टीकरण संरक्षित समूहों के बीच स्थिर रहें।
GCIG फ्रेमवर्क: वे एक नवीन इन-प्रोसेसिंग रेगुलराइजेशन तकनीक पेश करते हैं जो प्रशिक्षण लूप में सीधे स्पष्टीकरण बाधाओं को एकीकृत करती है, जो पोस्ट-हॉक ऑडिटिंग से आगे निकल जाती है।
अनुभवजन्य सत्यापन (Empirical Validation): शोध पत्र प्रदर्शित करता है कि GCIG कई डेटासेट्स पर प्रतिस्पर्धी भविष्य कहनेवाला सटीकता और परिणाम निष्पक्षता बनाए रखते हुए स्पष्टीकरण विषमता को काफी कम करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने चार बेंचमार्क डेटासेट्स: Adult Income, German Credit, COMPAS, और Bank Marketing पर FairX (GCIG का उपयोग करने वाला प्रशिक्षण फ्रेमवर्क) का मूल्यांकन किया। उन्होंने इसकी तुलना अनियंत्रित मॉडलों और अत्याधुनिक निष्पक्षता बेसलाइन्स (Hardt's post-processing, Agrawal's Reductions, Adversarial training, आदि) से की।

प्रक्रियात्मक निष्पक्षता (GCIG स्कोर): FairX ने सभी डेटासेट्स पर लगातार सबसे कम स्पष्टीकरण विषमता प्राप्त की।
- उदाहरण: German Credit डेटासेट पर, GCIG अनियंत्रित मॉडल के 0.190 से गिरकर 0.066 हो गया।
- उदाहरण: COMPAS पर, यह 0.193 से गिरकर 0.034 हो गया।
- FairX ने सभी (4/4) डेटासेट्स पर प्रक्रियात्मक निष्पक्षता के लिए "चैंपियन" स्थिति प्राप्त की।
परिणाम निष्पक्षता और उपयोगिता (Outcome Fairness & Utility):
- FairX ने German Credit पर सर्वश्रेष्ठ Equalized Odds (EO) गैप प्राप्त किया और अन्य पर प्रतिस्पर्धी बना रहा।
- भविष्य कहनेवाला प्रदर्शन (F1 स्कोर) को बनाए रखा गया या बेसलाइन्स की तुलना में थोड़ा सुधारा गया। उदाहरण के लिए, German Credit पर, FairX ने उच्चतम F1 (0.833) प्राप्त किया।
सहसंबंध विश्लेषण (Correlation Analysis): अध्ययन में पाया गया कि परिणाम निष्पक्षता (EO) और प्रक्रियात्मक निष्पक्षता (GCIG) के बीच एक कमजोर सहसंबंध ( $r \approx 0.24$ ) है। यह पुष्टि करता है कि समान त्रुटि दरों (error rates) को अनुकूलित करने का अर्थ यह नहीं है कि सुसंगत तर्क सुनिश्चित होगा; दोनों उद्देश्य काफी हद तक स्वतंत्र हैं।
एब्लेशन स्टडी (Ablation Study):
- केवल परिणाम निष्पक्षता (EO) जोड़ने से वास्तव में प्रक्रियात्मक निष्पक्षता 14% खराब हो गई।
- केवल प्रक्रियात्मक निष्पक्षता (GCIG) जोड़ने से इसमें 6% सुधार हुआ।
- संयुक्त अनुकूलन (Joint optimization) (पूर्ण मॉडल) ने सर्वोत्तम परिणाम दिए, जिससे उपयोगिता या परिणाम निष्पक्षता को कम किए बिना प्रक्रियात्मक निष्निष्पक्षता में 24% का सुधार हुआ।

5. महत्व और निष्कर्ष

यह कार्य महत्वपूर्ण है क्योंकि यह निष्पक्षता के प्रतिमान को शुद्ध परिणाम-आधारित से प्रक्रिया-आधारित की ओर स्थानांतरित करता है।

Post-Hoc से परे: यह प्रदर्शित करता है कि प्रक्रियात्मक निष्पक्षता को प्रशिक्षण के दौरान लागू किया जा सकता है, जिससे केवल बाद में पता लगाने के बजाय विसंगत तर्क पैटर्न बनने से रोका जा सके।
पूरकता (Complementarity): परिणाम दर्शाते हैं कि परिणाम निष्पक्षता और प्रक्रियात्मक निष्पक्षता एक-दूसरे के विरोधी नहीं हैं; वास्तव में, वे पूरक हैं। दोनों के लिए अनुकूलन करने से अधिक मजबूत और विश्वसनीय मॉडल प्राप्त होता है।
विश्वास और पारदर्शिता: यह सुनिश्चित करके कि मॉडल का "तर्क" समूह सदस्यता के प्रति अपरिवर्तनीय है, यह दृष्टिकोण AI सिस्टम में अधिक विश्वास पैदा करता है, विशेष रूप से ऋण देने और आपराधिक न्याय जैसे उच्च-जोखिम वाले क्षेत्रों में।

सीमाएं और भविष्य का कार्य: वर्तमान कार्यान्वयन बाइनरी संरक्षित विशेषताओं (binary protected attributes) और सारणीबद्ध डेटा (tabular data) पर केंद्रित है। भविष्य के कार्यों का लक्ष्य GCIG को बहु-मूल्य/इंटरसेक्शनल विशेषताओं और अन्य डेटा मोडैलिटी (टेक्स्ट, इमेज) तक विस्तारित करना है, साथ ही स्पष्टीकरण अपरिवर्तनीयता के सैद्धांतिक सीमाओं का अन्वेषण करना है।