🤖 machine learning

Fairness vs Performance: Characterizing the Pareto Frontier of Algorithmic Decision Systems

यह शोध पत्र यह प्रदर्शित करके एल्गोरिद्मिक निर्णय प्रणालियों के पारेटो फ्रंटियर (Pareto frontier) को अभिलक्षित करता है कि उपयोगिता और समूह निष्पक्षता के बीच इष्टतम संतुलन सफलता की संभावनाओं पर नियत, समूह-विशिष्ट थ्रेशोल्ड नियमों के माध्यम से प्राप्त किया जाता है, जो कि विभिन्न निष्पक्षता मेट्रिक्स, उपयोगिता फलनों और एल्गोरिद्मिक प्रसंस्करण चरणों में समान रूप से लागू होता है।

मूल लेखक: Mieke Wilms, Christoph Heitz

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mieke Wilms, Christoph Heitz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जहाज के कप्तान (निर्णय लेने वाले - Decision Maker) हैं जो खजाने वाले द्वीप (लक्ष्य - Goal) तक पहुँचने के लिए कोहरे से भरे समुद्र में रास्ता खोजने की कोशिश कर रहे हैं। आपके पास एक नक्शा है जिसमें जहाज पर मौजूद हर यात्री के निर्देशांक (coordinates) दिए गए हैं (डेटा - Data)। आपका काम यह तय करना है कि किसे लाइफबोट (सकारात्मक निर्णय - Positive Decision) मिलेगी और किसे डूबते हुए जहाज पर ही रहना होगा (नकारात्मक निर्णय - Negative Decision)।

हालाँकि, यात्रियों के दो समूह हैं: समूह A और समूह B। आप अधिक से अधिक लोगों को बचाने का लक्ष्य रखते हैं ताकि खजाना मिल सके (प्रदर्शन - Performance), लेकिन आप यह भी चाहते हैं कि आप एक समूह को दूसरे की तुलना में अधिक अनुचित तरीके से पीछे न छोड़ दें (निष्पक्षता - Fairness)।

यह शोध पत्र एक गणितीय मानचित्र है जो हमें यह बताता है कि प्रदर्शन और निष्पक्षता के बीच सबसे अच्छा संतुलन कैसे बनाया जाए। यह पूछता है: दोनों को एक साथ करने की हमारी सैद्धांतिक सीमा क्या है?

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "दक्षता बनाम निष्पक्षता" का खींचतान (Tug-of-War)

आमतौर पर, लोग सोचते हैं कि आपको एक को चुनना होगा: या तो अत्यधिक कुशल बनें (उन सभी को बचाएं जिन्हें आप सोचते हैं कि जीवित रहेंगे) या पूरी तरह से निष्पक्ष बनें (सभी को समान अवसर दें)। यह शोध पत्र दिखाता है कि यह केवल एक साधारण समझौता नहीं है। एक विशिष्ट "फ्रंटियर" (एक सीमा रेखा) है जो सर्वोत्तम परिणामों का प्रतिनिधित्व करती है। आप इस रेखा से आगे नहीं जा सकते। यदि आप अधिक निष्पक्षता चाहते हैं, तो आपको थोड़ी कम दक्षता स्वीकार करनी होगी, और इसके विपरीत भी।

2. जादुई "थ्रेशोल्ड" (सीमा) नियम

यह शोध पत्र खोजता है कि इस खींचतान को संभालने का सबसे अच्छा तरीका एक सरल कटऑफ नियम (एक थ्रेशोल्ड) का उपयोग करना है।

कल्पना कीजिए कि आपके पास हर यात्री के लिए एक "सर्वाइवल स्कोर" (जीवित रहने का स्कोर) है।
पुराना तरीका: आप सोच सकते हैं कि नियम हमेशा यह है: "यदि स्कोर 50 से ऊपर है, तो उन्हें लाइफबोट दें।"
नई खोज: शोध पत्र सिद्ध करता है कि कभी-कभी, सबसे अच्छा नियम वास्तव में एक विशिष्ट समूह के लिए इसके विपरीत होता है: "यदि स्कोर 50 से नीचे है, तो उन्हें लाइफबोट दें।"

आप ऐसा क्यों करेंगे?
इसे मेडिकल ट्राइएज (चिकित्सा छंटनी) की तरह समझें।

परिदृश्य A (मानक): आप उन बीमार लोगों को दवा देते हैं जिनके ठीक होने की संभावना अधिक होती है। (उच्च स्कोर = अच्छा)।
परिदृश्य B (आश्चर्यजनक): कल्पना करें कि एक ऐसी दवा है जो बीमारों को ठीक करती है लेकिन स्वस्थ लोगों को मार देती है। यहाँ, आप केवल उन लोगों को दवा देना चाहेंगे जो बहुत बीमार हैं (स्वस्थ होने की कम संभावना वाले)। यदि आप किसी ऐसे व्यक्ति को दवा देते हैं जिसके "स्वस्थ होने की उच्च संभावना" है, तो आप उसे मार सकते हैं।
इस मामले में, "निष्पक्ष" और "कुशल" कदम यह होगा कि एक ऐसा नियम बनाया जाए जहाँ आप केवल सबसे कम स्कोर वाले लोगों की मदद करते हैं। शोध पत्र इसे अपर-बाउंड थ्रेशोल्ड (Upper-Bound Threshold) कहता है। यह विरोधाभासी लग सकता है (कमजोर उम्मीदवारों की मदद करना), लेकिन गणितीय रूप से, कुछ स्थितियों में यह एकमात्र तरीका है जिससे आप निष्पक्ष और कुशल दोनों हो सकते हैं।

3. "समूह-विशिष्ट" रहस्य

शोध पत्र पाता है कि समूह A के लिए आदर्श नियम, समूह B की तुलना में अलग दिखता है।

समूह A को लाइफबोट पाने के लिए "उच्च स्कोर" की आवश्यकता हो सकती है।
समूह B को लाइफबोट पाने के लिए "कम स्कोर" की आवश्यकता हो सकती है।

इसे समूह-विशिष्ट थ्रेशोल्ड (Group-Specific Threshold) कहा जाता है। यह शोध पत्र सिद्ध करता है कि आपका कंप्यूटर एल्गोरिदम चाहे कितना भी जटिल क्यों न हो (चाहे वह एक सरल फॉर्मूला हो या एक विशाल न्यूरल नेटवर्क), यदि वह निष्पक्षता और प्रदर्शन के बीच संतुलन बनाने की कोशिश कर रहा है, तो वह अंततः इन सरल कटऑफ नियमों की तरह ही कार्य करेगा।

4. "ब्लैक बॉक्स" का आश्चर्य

सबसे आश्चर्यजनक बात यह है: आपको इन परिणामों को प्राप्त करने के लिए कंप्यूटर को यह बताने की आवश्यकता नहीं है कि कौन "समूह A" है और कौन "समूह B"।

कल्पना कीजिए कि कंप्यूटर नहीं जानता कि यात्री किस समूह का सदस्य है।
हालाँकि, यदि कंप्यूटर अन्य सुरागों (जैसे उनकी शर्ट का रंग या उनकी उम्र) को देखता है जो संयोग से उनके समूह से संबंधित हैं, तो वह खुद से समूहों को पहचान सकता है।
शोध पत्र दिखाता है कि भले ही आप कंप्यूटर को "समूह" लेबल देखने से रोक दें, यदि वह पर्याप्त स्मार्ट है, तो वह स्वाभाविक रूप से समूहों के साथ अलग व्यवहार करना शुरू कर देगा क्योंकि डेटा ही इसे ऐसा करने के लिए मजबूर करता है।

5. "सार्वभौमिक बेंचमार्क" (Universal Benchmark)

लेखकों ने एक "गोल्ड स्टैंडर्ड" मानचित्र बनाया है।

यदि आप एक नया AI सिस्टम बनाते हैं, तो आप उसके प्रदर्शन को इस मानचित्र पर दर्शा सकते हैं।
यदि आपका AI "फ्रंटियर" रेखा से बहुत दूर है, तो आप जानते हैं कि आप बेहतर कर सकते हैं।
यदि आपका AI ठीक रेखा पर है, तो आप जानते हैं कि आपने उस डेटा के साथ जो संभव है, उसकी परम सीमा को छू लिया है। आप प्रदर्शन को कम किए बिना बेहतर प्रदर्शन नहीं कर सकते, और निष्पक्षता को कम किए बिना बेहतर निष्पक्षता प्राप्त नहीं कर सकते।

सारांश

यह शोध पत्र निर्णय लेने के लिए भौतिकी के नियम की तरह है। यह कहता है कि:

एक सीमा होती है: आप पूर्ण निष्पक्षता और पूर्ण प्रदर्शन एक साथ नहीं रख सकते; आपको एक विशिष्ट वक्र (curve) का पालन करना होगा।
सरलता ही सर्वश्रेष्ठ है: सर्वोत्तम समाधान सरल "कटऑफ" नियम हैं (जैसे "मदद करें यदि स्कोर > X")।
कभी-कभी "ऊपर" का अर्थ "नीचे" होता है: स्थिति के आधार पर, सबसे निष्पक्ष और कुशल नियम सबसे कम स्कोर वाले लोगों की मदद करना हो सकता है, न कि उच्चतम स्कोर वालों की।
यह स्वतः होता है: भले ही आप समूह की जानकारी छिपाने की कोशिश करें, सर्वोत्तम एल्गोरिदम स्वाभाविक रूप से उस पूर्ण संतुलन तक पहुँचने के लिए समूहों के साथ अलग व्यवहार करना सीख जाएंगे।

यह शोध पत्र इन नियमों के लिए गणितीय प्रमाण प्रदान करता है, जिससे यह सुनिश्चित होता है कि जब हम निष्पक्ष AI डिजाइन करते हैं, तो हमें पता होता है कि "सर्वोत्तम संभव" परिणाम क्या दिखता है, ताकि हम कम पर समझौता न करें।

तकनीकी सारांश: निष्पक्षता बनाम प्रदर्शन: एल्गोरिद्मिक निर्णय प्रणालियों के पारेटो फ्रंटियर (Pareto Frontier) का लक्षण वर्णन

समस्या विवरण

यह शोध पत्र निर्णय लेने वाले (DM) की उपयोगिता (प्रदर्शन) को अधिकतम करने और समूह निष्पक्षता सुनिश्चित करने के बीच के मौलिक तनाव को संबोधित करता है। जबकि मौजूदा साहित्य अक्सर निष्पक्षता को एक बाधा (constraint) के रूप में देखता है या विशिष्ट मॉडल वर्गों (जैसे न्यूरल नेटवर्क या लॉजिस्टिक रिग्रेशन) के भीतर विशिष्ट ट्रेड-ऑफ पर ध्यान केंद्रित करता है, लेखक तर्क देते हैं कि संभावित ट्रेड-ऑफ का स्थान (space) ठीक से समझा नहीं गया है। विशेष रूप से, सभी संभावित निर्णय नियमों के संपूर्ण स्थान में पारेटो फ्रंटियर (वह सेट जहाँ एक उद्देश्य को दूसरे को कम किए बिना सुधारा नहीं जा सकता) के लक्षण वर्णन के संबंध में कमी है।

केंद्रीय शोध प्रश्न यह है: क्या एक भविष्यवाणी-आधारित निर्णय प्रणाली के पारेटो फ्रंटियर को सभी संभावित तकनीकी कार्यान्वयनों (pre-, in-, या post-processing) से स्वतंत्र होकर, सभी संभावित तकनीकी कार्यान्वयनों के समाधान स्थान में वर्णित किया जा सकता है?

कार्यप्रणाली

लेखक निर्णय लेने को एक बहु-उद्देश्यीय अनुकूलन (multi-objective optimization) समस्या के रूप में अवधारणाबद्ध करते हैं जिसमें दो आयाम शामिल हैं:

DM उपयोगिता ( $U$ ): इसे एक उपयोगिता मैट्रिक्स $(u_{ij})$ के माध्यम से मॉडल किया गया है जो परिणामों $(D, Y)$ के लिए निर्णय-निर्माता को होने वाले लाभ/हानि को दर्शाता है, जहाँ $D$ निर्णय है और $Y$ वास्तविक परिणाम है।
निष्पक्षता ($FS$): इसे डिसीजन सब्जेक्ट (DS) उपयोगिताओं $(v_{ij})$ से प्राप्त एक सामान्यीकृत निष्पक्षता स्कोर के माध्यम से मॉडल किया गया है। शास्त्रीय कन्फ्यूजन-मैट्रिक्स मेट्रिक्स (जैसे TPR, FPR) के विपरीत, यह दृष्टिकोण वास्तविक प्रभाव (लाभ या हानि) को पकड़ने के लिए एक उपयोगिता मैट्रिक्स का उपयोग करता है, जिससे विभिन्न वितरणात्मक न्याय सिद्धांतों (समानतावाद, प्राथमिकतावाद, रॉल्सियन मैक्स-मिन) का मॉडलिंग संभव हो पाता है।

सैद्धांतिक ढांचा

निर्णय नियम (Decision Rules): विश्लेषण सभी संभावित निर्णय नियमों $d(\mathbf{x}) \to D$ पर विचार करता है, जिसमें रैंडमाइज्ड नीतियां और वे भी शामिल हैं जो स्पष्ट रूप से संरक्षित विशेषता (protected attribute) $a$ पर निर्भर हैं।
अनुकूलन स्थान (Optimization Space): जटिल फीचर स्पेस $\mathbf{x}$ पर अनुकूलन करने के बजाय, लेखक समस्या को सफलता की संभावना $p = P[Y=1|\mathbf{x}]$ पर अनुकूलन करने तक सीमित कर देते हैं। वे निर्णय नियम को सफलता की संभावनाओं $p$ को निर्णय की संभावनाओं में मैप करने वाले एक फलन $d(p)$ के रूप में परिभाषित करते हैं।
विवक्तीकरण (Discretization): प्रमाण के उद्देश्य से, संभाव्यता स्थान $[0, 1]$ को बिनों (bins) में विभाजित किया गया है, जिससे अपेक्षित उपयोगिताओं को भारित योग (weighted sums) के रूप में व्यक्त किया जा सकता है। निरंतर परिणाम प्राप्त करने के लिए सीमा $N \to \infty$ ली गई है।
मुख्य प्रमेय (प्रमेय 3.1): एक एकल समूह के लिए, एक निश्चित स्तर की DS उपयोगिता के लिए DM उपयोगिता को अधिकतम करने वाला निर्णय नियम या तो एक लोअर-बाउंड थ्रेशोल्ड नियम ( $D=1$ यदि $p \ge t$ ) होगा या एक अपर-बाउंड थ्रेशोल्ड नियम ( $D=1$ यदि $p < t$ ) होगा।
मुख्य प्रमेय (प्रमेय 3.3): कई समूहों तक विस्तार करते हुए, यह शोध पत्र सिद्ध करता है कि DM उपयोगिता और एक सामान्यीकृत निष्पक्षता स्कोर के संबंध में कोई भी पारेटो-इष्टतम निर्णय नियम, $p(\mathbf{x})$ पर लागू समूह-विशिष्ट नियत थ्रेशोल्ड नियमों (group-specific deterministic threshold rules) का एक संयोजन होना चाहिए। ये नियम लोअर-बाउंड, अपर-बाउंड, या उनके संयोजन हो सकते हैं।

मुख्य योगदान

पारेटो फ्रंटियर का लक्षण वर्णन: यह शोध पत्र सभी तकनीकी डिजाइनों में बाइनरी निर्णय प्रणालियों के लिए पारेटो फ्रंटियर का पूर्ण लक्षण वर्णन प्रदान करता है। यह स्थापित करता है कि फ्रंटियर विशेष रूप से $p$ पर समूह-विशिष्ट नियत थ्रेशोल्ड नियमों से बना है।
अपर-बाउंड थ्रेसहोल्ड्स की खोज: शास्त्रीय अनुकूलन प्रमेयों (जैसे हार्ड्ट एट अल., कॉर्बेट-डेविस एट अल.) के विपरीत, जो केवल निष्पक्षता बाधाओं के लिए लोअर-बाउंड थ्रेशोल्ड का सुझाव देते हैं, यह कार्य प्रदर्शित करता है कि अपर-बाउंड थ्रेशोल्ड नियम (जो कम सफलता संभावना वाले व्यक्तियों को प्राथमिकता देते हैं) पारेटो-इष्टतम हो सकते हैं। यह तब होता है जब DS उपयोगिता मैट्रिक्स यह संकेत देती है कि निर्णय उच्च-संभावना वाले व्यक्तियों के लिए हानिकारक हैं या कम-संभावना वाले व्यक्तियों के लिए लाभकारी हैं (उदाहरण के लिए, स्वस्थ रोगियों के लिए गंभीर दुष्प्रभावों वाली चिकित्सा उपचार)।
तकनीक-अज्ञेयवादी बेंचमार्क (Technology-Agnostic Benchmark): यह दिखाया गया है कि पारेटो फ्रंटियर का स्थान केवल जनसंख्या की विशेषताओं (विशेष रूप से सफलता की संभावनाओं का वितरण $g(p|a)$ ), DM और DS के उपयोगिता कार्यों, और चुने गए निष्पक्षता मेट्रिक पर निर्भर करता है। यह एल्गोरिद्मिक कार्यान्वयन (pre-, in-, या post-processing) से स्वतंत्र है।
निष्पक्षता मेट्रिक्स का सामान्यीकरण: यह ढांचा मौजूदा परिणामों को मनमाने DS उपयोगिता फलनों और गैर-समानतावादी न्याय सिद्धांतों (जैसे रॉल्सियन मैक्स-मिन, प्राथमिकतावाद) तक सामान्य करता है, जो केवल दरों की समानता से आगे जाता है।
संरक्षित विशेषताओं के बिना व्यवहार्यता: शोध पत्र नोट करता है कि हालांकि इष्टतम नियम समूह-विशिष्ट होते हैं, उन्हें उन एल्गोरिदम द्वारा अनुमानित किया जा सकता है जो स्पष्ट रूप से संरक्षित विशेषता $a$ तक पहुँच नहीं रखते हैं, बशर्ते अन्य फीचर्स $a$ के साथ पर्याप्त रूप से सह-संबंधित हों।

परिणाम

सिंथेटिक डेटा विश्लेषण: दो समूहों वाले सिंथेटिक डेटा का उपयोग करते हुए, लेखकों ने विभिन्न DS उपयोगिता मैट्रिसेस के लिए पारेटो फ्रंटियर का निर्माण किया।
- सिलेक्शन रेट (डेमोग्राफिक पैरिटी) से संबंधित मामलों में, फ्रंटियर पूरी तरह से लोअर-बाउंड थ्रेशोल्ड नियमों से बना था।
- उन मामलों में जहाँ विशिष्ट DS उपयोगिता मैट्रिक्स थी (जैसे, जहाँ उपचार बीमारी के बिना वाले लोगों के लिए हानिकारक है), फ्रंटियर में एक समूह के लिए अपर-बाउंड थ्रेशोल्ड नियम शामिल थे। इसके परिणामस्वरूप "चेरी-पिकिंग" की घटना हुई जहाँ उच्च उपयोगिता बनाए रखते हुए निष्पक्षता को अधिकतम करने के लिए कम सफलता संभावना वाले व्यक्तियों को चुना गया।
- परिणामों ने दिखाया कि निष्पक्षता को लागू करना (न्यूनतम $FS$) अक्सर लोअर-बाउंड से मिश्रित (लोअर/अपर) थ्रेशोल्ड नियमों में स्विच करने की आवश्यकता रखता है, जो अनियंत्रित अनुकूलन की तुलना में निर्णय परिदृश्य को महत्वपूर्ण रूप से बदल देता है।
तुलनात्मक अध्ययन (एडल्ट इनकम डेटासेट): लेखकों ने अपने सैद्धांतिक पारेटो फ्रंटियर की तुलना PF-SMG (पारेटो फ्रंट स्टोकेस्टिक मल्टी-ग्रेडिएंट) इन-प्रोसेसिंग एल्गोरिदम से की।
- सैद्धांतिक फ्रंटियर PF-SMG के परिणामों पर हावी रहा, जिससे पुष्टि हुई कि PF-SMG उप-इष्टतम (suboptimal) था।
- महत्वपूर्ण रूप से, PF-SMG एल्गोरिदम, संरक्षित विशेषता $a$ तक पहुँच न होने के बावजूद, सिद्धांत द्वारा अनुमानित समूह-विशिष्ट थ्रेशोल्ड नियमों को अनुमानित करने के लिए अप्रत्यक्ष रूप से सीख गया। यह सुझाव देता है कि यहाँ तक कि "ब्लाइंड" एल्गोरिदम भी निष्पक्षता-उपयोगिता ट्रेड-ऑफ के लिए अनुकूलित होते समय सैद्धांतिक रूप से इष्टतम समूह-निर्भर संरचनाओं की ओर बढ़ने की प्रवृत्ति रखते हैं।

महत्व और दावे

शोध पत्र का दावा है कि यह एल्गोरिद्मिक निर्णय प्रणालियों के मूल्यांकन और तुलना के लिए एक सिद्धांतिक आधार प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

सैद्धांतिक सीमा को परिभाषित करना: यह किसी भी दिए गए निष्पक्षता स्तर के लिए प्राप्त करने योग्य प्रदर्शन की ऊपरी सीमा स्थापित करता है, जो एक "तकनीक-अज्ञेयवादी बेंचमार्क" के रूप में कार्य करता है। उसी फीचर वेक्टर पर आधारित कोई भी निर्णय प्रणाली इस सीमा को पार नहीं कर सकती।
कानूनी और नैतिक निहितार्थ: यह दिखाते हुए कि समूह-विशिष्ट थ्रेशोल्ड नियम (जो भेदभावपूर्ण लग सकते हैं) अक्सर निष्पक्षता-उपयोगिता ट्रेड-ऑफ के लिए गणितीय रूप से इष्टतम समाधान होते हैं, यह शोध पत्र प्रत्यक्ष और अप्रत्यक्ष भेदभाव के बीच कानूनी अंतर पर सवाल उठाता है। यदि उच्च-प्रदर्शन वाले एल्गोरिदम बिना स्पष्ट रूप से संरक्षित विशेषताओं तक पहुँच के भी स्वाभाविक रूप से इन नियमों की ओर बढ़ते हैं, तो कानूनी संदर्भों (जैसे, "कम भेदभावपूर्ण विकल्प" रक्षा) में "भेदभावपूर्ण विकल्पों" की प्रकृति का पुनर्मूल्यांकन आवश्यक है।
प्रतिबंध अनुकूलन (Constraint Optimization) से परे: यह कार्य "एक बाधा के रूप में निष्पक्षता" के प्रतिमान से आगे बढ़कर, आंशिक निष्पक्षता व्यवस्थाओं (partial fairness regimes) को शामिल करने वाला एक समग्र दृष्टिकोण प्रदान करता है।
पद्धतिगत बदलाव: यह सुझाव देता है कि भविष्य के ML अनुसंधान को केवल जटिल फीचर-टू-आउटकम मैपिंग सीखने के बजाय $g(p|a)$ के संभाव्यता वितरणों का अनुमान लगाने पर ध्यान केंद्रित करने से लाभ हो सकता है, क्योंकि पारेटो फ्रंटियर के स्थान को निर्धारित करने के लिए पूर्ववर्ती पर्याप्त है।

लेखक निष्कर्ष निकालते हैं कि उनके परिणाम मौजूदा अनुकूलन प्रमेयों को सामान्य करते हैं और एल्गोरिद्मिक निर्णय लेने में निष्पक्षता की अंतर्निहित सीमाओं को समझने के लिए एक आवश्यक सैद्धांतिक आधार प्रदान करते हैं।