📊 statistics

Tuning Derivatives for Causal Fairness in Machine Learning

यह शोध पत्र निरंतर संरक्षित गुणों (continuous protected attributes) के लिए अनुकूलित एक नवीन कारण निष्पक्षता (causal fairness) ढांचे को प्रस्तुत करता है, जो पाथ-विशिष्ट आंशिक डेरिवेटिव्स (path-specific partial derivatives) के माध्यम से सांख्यिकीय और भविष्य कहनेवाला समानता (Statistical and Predictive Parity) को औपचारिक रूप देता है, जिससे ऐसे निष्पक्ष भविष्यवक्ताओं का निर्माण सक्षम होता है जो भेदभावपूर्ण पथों से स्वतंत्रता और वैध व्यावसायिक प्रभावों के संरक्षण के बीच संतुलन बनाए रखते हैं।

मूल लेखक: Filip Edström, Guilherme W. F. Barros, Tetiana Gorbach, Xavier de Luna

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Filip Edström, Guilherme W. F. Barros, Tetiana Gorbach, Xavier de Luna

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप लोगों के एक बड़े समूह के लिए भोजन पकाने के लिए एक शेफ को काम पर रख रहे हैं। आप चाहते हैं कि भोजन स्वादिष्ट (सटीक) हो, लेकिन आप यह भी सुनिश्चित करना चाहते हैं कि शेफ गुप्त रूप से नस्ल, लिंग या आयु के आधार पर भोजन करने वालों के एक समूह का पक्ष न ले। यह आर्टिफिशियल इंटेलिजेंस (AI) में निष्पक्षता (fairness) की मूल समस्या है।

यह शोध पत्र इस समस्या के एक विशिष्ट, जटिल संस्करण को संबोधित करता है: हम AI को कुछ लोगों के प्रति पक्षपाती होने से कैसे रोक सकते हैं, जबकि उसे उस महत्वपूर्ण जानकारी का उपयोग करने भी दें जो संयोग से उन लोगों से जुड़ी हुई है?

यहाँ उनके समाधान का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए।

समस्या: "व्यावसायिक आवश्यकता" का द्वंद्व (The "Business Necessity" Dilemma)

कल्पना कीजिए कि एक न्यायाधीश यह तय करने के लिए AI का उपयोग कर रहा है कि क्या कोई अपराधी दोबारा अपराध करने की संभावना रखता है।

संरक्षित गुण (Protected Attributes): अपराधी की नस्ल (Race) और आयु (Age)। कानून कहता है कि AI निर्णय लेने के लिए इनका उपयोग नहीं कर सकता।
व्यावसायिक आवश्यकता (Business Necessity): पूर्व अपराधों (Prior Offenses) की संख्या। न्यायाधीश को सटीक भविष्यवाणी करने के लिए इसकी जानकारी होना जरूरी है।

यहाँ पेच यह है: वास्तविक दुनिया में, किसी व्यक्ति की नस्ल या आयु अक्सर उसके दर्ज किए गए पूर्व अपराधों की संख्या को प्रभावित करती है (पुलिसिंग में ऐतिहासिक पूर्वाग्रहों के कारण)।

यदि AI "नस्ल" के कारण पक्षपाती होने से बचने के लिए "पूर्व अपराधों" को अनदेखा करता है, तो वह एक बुरा न्यायाधीश बन जाता है (वह महत्वपूर्ण तथ्यों को चूक जाता है)।
यदि AI "पूर्व अपराधों" का उपयोग करता है, तो वह अनजाने में "नस्ल" से जुड़े पूर्वाग्रह को "सीख" सकता है और फिर से अनुचित हो सकता है।

पुराना तरीका बनाम नया तरीका

पुराना तरीका (सांख्यिकीय समानता - Statistical Parity):
यह शेफ को यह बताने जैसा है कि, "आपको चाहे वे कोई भी हों, सभी को बिल्कुल एक जैसा व्यंजन परोसना चाहिए।" यदि शेफ ऐसा करने की कोशिश करता है, तो उसे इस तथ्य को अनदेखा करना पड़ सकता है कि कुछ लोगों को मेवों से एलर्जी है (सुरक्षा के लिए एक "व्यावसायिक आवश्यकता")। परिणाम एक ऐसा भोजन होगा जो सख्त अर्थों में "निष्पक्ष" तो है लेकिन बेकार या यहाँ तक कि खतरनाक भी है।

नया तरीका (कारणपरक निष्पक्षता - Causal Fairness):
यह शोध पत्र एक स्मार्ट दृष्टिकोण प्रस्तावित करता है। यह कहता है: "AI 'पूर्व अपराधों' (अनुमत पथ) को देख सकता है, लेकिन इसे 'नस्ल' से अंतिम निर्णय तक के सीधे संबंध (निषिद्ध पथ) को अनदेखा करना चाहिए।"

हालाँकि, इससे पहले के अधिकांश तरीके केवल तभी अच्छी तरह काम करते थे जब संरक्षित गुण सरल श्रेणियाँ (जैसे "पुरुष" या "महिला") होते थे। वे निरंतर (continuous) गुणों जैसे आयु (जहाँ कोई 20, 20.1, 20.2 आदि वर्ष का हो सकता है) के साथ संघर्ष करते थे।

समाधान: "डेरिवेटिव्स" के साथ "नॉब्स को ट्यून करना"

लेखक एक नया गणितीय उपकरण पेश करते हैं जिसे डेरिवेटिव्स (Derivatives) कहा जाता है।

एक AI मॉडल को कई नॉब्स (knobs) और लीवरों वाली एक जटिल मशीन के रूप में सोचें।

सांख्यिकीय समानता (SPD): लेखक चाहते हैं कि निषिद्ध पथ (नस्ल $\to$ निर्णय) के लिए "नॉब" को इस तरह घुमाया जाए कि उसे घुमाने से आउटपुट पर कोई प्रभाव न पड़े। गणितीय शब्दों में, "डेरिवेटिव" (परिवर्तन की दर) शून्य है। यदि आप नस्ल को थोड़ा बदलते हैं, तो भविष्यवाणी नहीं बदलनी चाहिए।
भविष्यवाणी समानता (PPD): साथ ही, वे यह सुनिश्चित करना चाहते हैं कि अनुमत पथ (पूर्व अपराध $\to$ निर्णय) के लिए "नॉब" को बिल्कुल सही तरीके से सेट किया जाए। AI को "पूर्व अपराधों" के प्रति ठीक वैसा ही प्रतिक्रिया देनी चाहिए जैसा वास्तविक दुनिया में होता है।

तंग रस्सी (Tightrope) की उपमा:
एक तंग रस्सी (tightrope) पर चलने की कल्पना करें।

एक तरफ है निष्पक्षता (Fairness) (पूर्वाग्रह को अनदेखा करना)।
दूसरी तरफ है सटीकता (Accuracy) (आवश्यक डेटा का उपयोग करना)।
कभी-कभी, रस्सी सीधी होती है, और आप दोनों तरफ एक साथ पूरी तरह से चल सकते हैं।
कभी-कभी, रस्सी मुड़ी हुई होती है। आप एक ही समय में पूरी तरह से निष्पक्ष और पूरी तरह से सटीक नहीं हो सकते।

"फेयर ट्यूनिंग" एल्गोरिदम

लेखकों ने एक रेसिपी (एल्गोरिदम) बनाई है जो AI डेवलपर्स को उस तंग रस्सी पर सबसे अच्छी जगह खोजने में मदद करती है।

चरण 1: पहले, AI को यथासंभव सटीक होने के लिए प्रशिक्षित करें, एक पल के लिए निष्पक्षता को भूल जाएं।
चरण 2: फिर, AI को "ट्यून" करें। एल्गोरिदम "नॉब्स" (डेरिवेटिव्स) की जाँच करता है।
- यदि AI अभी भी संरक्षित विशेषता (नस्ल) के प्रति बहुत अधिक प्रतिक्रिया दे रहा है, तो एल्गोरिदम उस नॉब को कम कर देता है।
- यदि AI आवश्यक विशेषता (पूर्व अपराध) को बहुत अधिक अनदेखा कर रहा है, तो एल्गोरिदम उस नॉब को वास्तविकता से मेल खाने के लिए वापस ऊपर कर देता है।
परिणाम: AI ऐसे अनुमान लगाना सीख जाता है जो यथासंभव निष्पक्ष हों बिना अपनी सारी सटीकता को खोए।

उन्होंने क्या पाया

उन्होंने दो चीजों पर परीक्षण किया:

सिम्युलेटेड डेटा (Simulated Data): उन्होंने अलग-अलग नियमों वाले नकली संसार बनाए।
- एक "रैखिक" (Linear) दुनिया में (जहाँ चीजें सरल हैं), उन्होंने पाया कि आप एक ही समय में पूरी तरह से निष्पक्ष और सटीक हो सकते हैं।
- एक "गुणात्मक" (Multiplicative) दुनिया में (जहाँ चीजें जटिल और मुड़ी हुई हैं), उन्होंने पाया कि आप दोनों में एक साथ पूर्ण नहीं हो सकते। आपको एक संतुलन चुनना होगा। उनका तरीका आपको सबसे अच्छा संभव संतुलन खोजने की अनुमति देता है।
वास्तविक डेटा (COMPAS): उन्होंने आपराधिक पुनरावृत्ति (recidivism) के बारे में एक वास्तविक डेटासेट का उपयोग किया।
- उन्होंने दिखाया कि उनके तरीके (जिसे "फेयर ट्यूनिंग" कहा जाता है) ने एक ऐसा मॉडल बनाया जो पुराने तरीकों की तुलना में निष्पक्षता और सटीकता के बीच संतुलन बनाने में बहुत बेहतर था।
- विशेष रूप से, यह "अनुमत" जानकारी (जैसे पूर्व अपराध) को उपयोगी बनाए रखते हुए "निषिद्ध" पूर्वाग्रह को हटाने में बेहतर था।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र हमें एक नया गणितीय "ट्यूनिंग नॉब" देता है। यह हमें निरंतर चरों (जैसे आयु) को पहले की तुलना में बहुत बेहतर तरीके से संभालने की अनुमति देता है। यह स्वीकार करता है कि कभी-कभी हम ऐसी पूर्ण दुनिया नहीं पा सकते जहाँ पूर्वाग्रह शून्य हो और सटीकता 100% हो, लेकिन यह हमें उस सर्वोत्तम संभव समझौते को खोजने का एक सटीक तरीका देता है, जिससे यह सुनिश्चित होता है कि AI कानून (निष्पक्षता) का सम्मान करे और अपना काम (सटीकता) भी करे।

तकनीकी सारांश: मशीन लर्निंग में कारणपरक निष्पक्षता (Causal Fairness) के लिए डेरिवेटिव ट्यूनिंग

समस्या विवरण
आर्टिफिशियल इंटेलिजेंस सिस्टम अक्सर संरक्षित गुणों (protected attributes) जैसे कि जाति, लिंग और आयु के संबंध में सामाजिक पूर्वाग्रहों को विरासत में प्राप्त करते हैं। शास्त्रीय निष्पक्षता मेट्रिक्स जैसे कि सांख्यिकीय समानता (Statistical Parity - SP), जो यह मांग करते हैं कि भविष्यवाणियां संरक्षित गुणों से स्वतंत्र हों, अक्सर अत्यधिक प्रतिबंधात्मक होते हैं। यह विशेष रूप से तब सत्य होता है जब संरक्षित गुण उन "व्यावसायिक आवश्यकताओं" या "निर्णायक चरों" (जैसे कि पुनरावृत्ति जोखिम मूल्यांकन में पूर्व अपराधों) को प्रभावित करते हैं जो भविष्यवाणी के लिए वैध रूप से आवश्यक हैं। हालिया कारणपरक (causal) सूत्र इस समस्या को हल करने के लिए "अनुमत नहीं" पथों (संरक्षित गुणों के प्रत्यक्ष प्रभाव) और "अनुमत" पथों (व्यावसायिक आवश्यकताओं के माध्यम से अप्रत्यक्ष प्रभाव) के बीच अंतर करके संबोधित करते हैं, और अक्सर वैध प्रभावों को संरक्षित करने के लिए प्रेडिक्टिव पैरिटी (Predictive Parity - PP) को शामिल करते हैं। हालांकि, कारणपरक विरोधाभासों (causal contrasts) पर आधारित मौजूदा पथ-आधारित परिभाषाएं मुख्य रूप से श्रेणीबद्ध (categorical) गुणों के लिए डिज़ाइन की गई हैं। जब इन्हें निरंतर (continuous) संरक्षित गुणों (जैसे कि आयु) पर लागू किया जाता है, तो ये विधियाँ अव्यवहारिक हो जाती हैं क्योंकि इनमें अनंत बिंदुओं पर विरोधाभासों का मूल्यांकन करने की आवश्यकता होती है।

कार्यप्रणाली
लेखक एक स्ट्रक्चरल कॉज़ल मॉडल (SCM) के भीतर एक ढांचा प्रस्तावित करते हैं जो विशेष रूप से निरंतर संरक्षित गुणों के लिए तैयार किया गया है।

डेरिवेटिव-आधारित परिभाषाएँ:
- डेरिवेटिव में सांख्यिकीय समानता (SPD): विरोधाभासों का उपयोग करने के बजाय, लेखक एक पथ $\pi$ के अनुदिश SP को उस पथ पर स्ट्रक्चरल मैकेनिज्म के आंशिक डेरिवेटिव (partial derivatives) के गुणनफल के शून्य होने के रूप में परिभाषित करते हैं। यह सुनिश्चित करता है कि अनधिकृत पथों पर प्रेडिक्टर, संरक्षित गुण के संबंध में स्थिर रहे।
- डेरिवेटिव में प्रेडिक्टिव पैरिटी (PPD): PP को अनुमत पथों के अनुदिश प्रेडिक्टर के आंशिक डेरिवेटिव को डेटा-जनरेटिंग प्रोसेस (DGP) में वास्तविक परिणाम चर के आंशिक डेरिवेटिव के बराबर करके परिभाषित किया गया है। यह सुनिश्चित करता है कि प्रेडिक्टर व्यावसायिक आवश्यकताओं के वैध प्रभाव को दोहराता है।
अस्तित्व की स्थितियाँ:
लेखक एक ऐसे प्रेडिक्टर के अस्तित्व के लिए आवश्यक और पर्याप्त शर्त स्थापित करते हैं जो SPD और PPD दोनों को एक साथ संतुष्ट करता है। एक प्रत्यक्ष अनधिकृत पथ ( $X \to Y$ ) और एक अनुमत पथ ( $W \to Y$ ) के लिए, एक निष्पक्ष प्रेडिक्टर तभी मौजूद होता है जब अपेक्षित परिणाम का मिश्रित आंशिक डेरिवेटिव (mixed partial derivative) शून्य हो: $\frac{\partial^2}{\partial w \partial x} E[Y | P_A^Y = p] = 0$ । यदि यह स्थिति लागू नहीं होती है, तो SPD और PDD के बीच समझौता अपरिहार्य है।
फेयर ट्यूनिंग एल्गोरिदम:
ऐसे प्रेडिक्टर्स का निर्माण करने के लिए, लेखक न्यूरल नेटवर्क के लिए एक "फेयर ट्यूनिंग" एल्गोरिदम प्रस्तावित करते हैं:
- चरण 1: प्रेडिक्शन लॉस (जैसे MSE) को कम करने के लिए एक अनकन्स्ट्रेंड प्रेडिक्टर ( $\hat{Y}_{\theta_U}$ ) को फिट करें।
- चरण 2: अनकन्स्ट्रेंड पैरामीटर्स के साथ एक फेयर प्रेडिक्टर को इनिशियलाइज़ करें।
- चरण 3: एक कंपोजिट लॉस फंक्शन ( $L_{FT}$ $L_{F T}$ ) को ऑप्टिमाइज़ करें जिसमें शामिल हैं:
  - प्रेडिक्शन लॉस (अनकन्स्ट्रेंड प्रेडिक्टर और ट्यून्ड प्रेडिक्टर के बीच MSE)।
  - SPD लॉस (अनधिकृत पथों के अनुदिश आंशिक डेरिवेटिव का L1 नॉर्म)।
  - PPD लॉस (अनकन्स्ट्रेंड प्रेडिक्टर के डेरिवेटिव्स और प्रेडिक्टर के डेरिवेटिव्स के बीच के अंतर का L1 नॉर्म) अनुमत पथों के अनुदिश।
- हाइपरपैरामीटर्स $\lambda_{SPD}$ और $\lambda_{PPD}$ उपयोगकर्ताओं को एक निष्पक्षता मानदंड पर दूसरे को प्राथमिकता देने की अनुमति देते हैं जब अनुकूलता (compatibility) की स्थिति पूरी नहीं होती है।

प्रमुख योगदान

औपचारिकीकरण (Formalization): यह शोध पत्र SP और PP को पथ-विशिष्ट आंशिक डेरिवेटिव्स का उपयोग करके औपचारिक रूप देता है, जिससे निरंतर डोमेन के लिए कारणपरक निष्पक्षता की परिभाषाएं अनंत विरोधाभासों के कम्प्यूटेशनल बोझ के बिना संभव हो जाती हैं।
सैद्धांतिक लक्षण वर्णन (Theoretical Characterization): यह दर्शाता है कि किन स्थितियों में उनके डेरिवेटिव-आधारित परिभाषाएं पूर्ववर्ती कंट्रास्ट-आधारित कारणपरक परिभाषाओं के साथ मेल खाती हैं और एक निष्पक्ष प्रेडिक्टर के सह-अस्तित्व के लिए अनुकूलता मानदंड (थ्योरम 1) स्थापित करता है।
एल्गोरिद्मिक समाधान: यह एक व्यावहारिक ट्यूनिंग एल्गोरिदम पेश करता है जो ऐसे प्रेडिक्टर्स का निर्माण करता है जब अनुकूलता मानदंड पूरा होता है, और जब वह पूरा नहीं होता है तो एक लचीला ट्रेड-ऑफ तंत्र प्रदान करता है।
अनुभवजन्य सत्यापन (Empirical Validation): विधि का मूल्यांकन सिम्युलेटेड डेटा (लीनियर और मल्टीप्लिकेटिव DGP) और वास्तविक दुनिया के COMPAS डेटासेट पर किया गया है, जिसमें SPT और मार्जिनलाइजेशन स्कीम्स के विरुद्ध इसके प्रदर्शन की तुलना की गई है।

परिणाम

सिम्युलेटेड डेटा: लीनियर सेटिंग्स में जहाँ SPD और PPD संगत (compatible) हैं, फेयर ट्यूनिंग (FT) एल्गोरिदम दोनों लॉस को सफलतापूर्वक एक साथ कम करता है। नॉन-लीनियर (मल्टीप्लिकेटिव) सेटिंग्स में जहाँ वे असंगत हैं, एल्गोरिदम अपेक्षित ट्रेड-ऑफ प्रदर्शित करता है: एक मीट्रिक पर प्रतिबंध बढ़ाने से दूसरे की गुणवत्ता कम हो जाती है। FT विधि, PPD पर विचार करने पर, प्रेडिक्टिव परफॉरमेंस बनाए रखते हुए मार्जिनलाइजेशन और केवल SPT-आधारित दृष्टिकोणों की तुलना में बेहतर प्रदर्शन करती है।
COMPAS डेटासेट: पुनरावृत्ति भविष्यवाणी (recidivism prediction) पर लागू होने पर, FT एल्गोरिदम (विशेष रूप से संतुलित वेट्स के साथ) ने SPT और मार्जिनलाइज विधियों की तुलना में SPD और PPD के बीच बेहतर समझौता हासिल किया। जबकि सभी कोंस्ट्रेंड मॉडल्स ने अनकन्स्ट्रेंड बेसलाइन की तुलना में कम प्रेडिक्टिव परफॉरमेंस दिखाई, FT 10 ने PPD लॉस को काफी कम करते हुए उच्च सटीकता और F1 स्कोर बनाए रखा।
डेरिवेटिव बनाम कंट्रास्ट: COMPAS डेटासेट में बाइनरी फीचर्स पर लागू होने पर, डेरिवेटिव-आधारित लॉस (SPD/PPD) को कम करने से आम तौर पर कंट्रास्ट-आधारित लॉस (CSP/CPP) में कमी देखी गई, हालांकि कुछ उच्च-प्रतिबंध वाले परिदृश्यों में विसंगतियां देखी गईं।

महत्व और दावे
यह शोध पत्र दावा करता है कि इसका डेरिवेटिव-आधारित ढांचा निरंतर डोमेन के लिए एक व्यावहारिक और सैद्धांतिक रूप से सुदृढ़ समाधान प्रदान करता है, जो मौजूदा कंट्रास्ट-आधारित विधियों द्वारा छोड़ी गई रिक्तता को भरता है। यह तर्क देता है कि डेरिवेटिव्स के माध्यम से सांख्यिकीय और प्रेडिक्टिव पैरिटी के बीच ट्रेड-ऑफ को स्पष्ट रूप से मॉडल करके, अभ्यासी (practitioners) ऐसे प्रेडिक्टर्स बना सकते हैं जो व्यावसायिक आवश्यकताओं का सम्मान करते हुए भेदभाव को कम करते हैं। लेखक इस बात पर जोर देते हैं कि उनकी विधि के लिए DGP के स्ट्रक्चरल इक्वेशन्स के बारे में धारणा बनाने की आवश्यकता नहीं है, केवल एक कॉज़ल डायग्राम की आवश्यकता है, जिससे यह वास्तविक दुनिया के परिदृश्यों में लागू करने योग्य बन जाता है। कार्य यह निष्कर्ष निकालता है कि हालांकि डेरिवेटिव निष्पक्षता हमेशा बाइनरी गुणों के लिए कंट्रास्ट निष्पक्षता के साथ पूरी तरह से संरेखित नहीं हो सकती है, लेकिन यह निरंतर गुणों के लिए एक मजबूत और लचीला दृष्टिकोण और सांख्यिकीय स्वतंत्रता और प्रेडिक्टिव उपयोगिता के बीच तनाव को संभालने का एक व्यवहार्य मार्ग प्रदान करती है।