तकनीकी सारांश: असमान अनिश्चितता: भेदभाव को कम करने के लिए एल्गोरिदम संबंधी हस्तक्षेपों पर पुनर्विचार

1. समस्या विवरण

यह शोध पत्र उन कानूनी और नैतिक जोखिमों को संबोधित करता है जो उच्च-दांव वाले निर्णय लेने वाले (जैसे उपभोक्ता ऋण और आपराधिक न्याय) में उपयोग किए जाने वाले आर्टिफिशियल इंटेलिजेंस (AI) सिस्टम में भविष्य कहनेवाला अनिश्चितता (predictive uncertainty) से जुड़े हैं। जबकि मशीन लर्निंग (ML) मॉडल अक्सर समान समग्र प्रदर्शन प्रदर्शित करते हैं, भविष्य कहनेवाला अनिश्चितता जनसांख्यिकीय समूहों के बीच असमान रूप से वितरित हो सकती है, जो अक्सर डेटा की कमी या ऐतिहासिक पूर्वाग्रह के कारण अल्पप्रतिनिधित्व वाले समुदायों में केंद्रित होती है।

मूल समस्या यह है कि इस अनिश्चितता को बिना भेदभाव बढ़ाए कैसे प्रबंधित किया जाए। लेखक दो सामान्य एल्गोरिदम हस्तक्षेपों का विश्लेषण करते हैं जो मानव-AI संपर्क के लिए "गार्डरेल्स" (guardrails) के रूप में कार्य करने के लिए डिज़ाइन किए गए हैं:

1. चयनात्मक अपवंचन (Selective Abstention): जब अनिश्चितता एक सीमा (threshold) से अधिक हो जाती है, तो मानव निर्णयकर्ताओं से मॉडल के भविष्यवाणियों को रोक देना, जिससे केवल अनैतिक मानवीय निर्णय पर आधारित निर्णय लेने के लिए मजबूर किया जाता है।
2. चयनात्मक घर्षण (Selective Friction): मानव निर्णयकर्ता को मॉडल की भविष्यवाणी प्रस्तुत करना, लेकिन उच्च अनिश्चितता होने पर इसे एक चेतावनी (जैसे, "पीला झंडा") के साथ चिह्नित करना, जो बिना भविष्यवाणी हटाए चिंतन को प्रेरित करता है।

यह पत्र तर्क देता है कि जबकि इन हस्तक्षेपों का उद्देश्य त्रुटियों को कम करना है, वे अनजाने में यूनाइटेड किंगडम (UK) कानून के तहत गैरकानूनी भेदभाव उत्पन्न कर सकते हैं, विशेष रूप से प्रक्रियात्मक विषमताओं (procedural asymmetries) को जन्म देकर जहाँ अल्पप्रतिनिधित्व वाले समूहों को असमान रूप से अनैतिक मानवीय निर्णय या पक्षपाती ओवरराइड के अधीन किया जाता है।

2. कार्यप्रणाली

लेखक औपचारिक तकनीकी परिभाषाओं को कानूनी सिद्धांत विश्लेषण और केस स्टडी अनुप्रयोग के साथ जोड़ते हुए एक हाइब्रिड कार्यप्रणाली का उपयोग करते हैं।

2.1 औपचारिक परिभाषाएं और धारणाएं

• कार्य (Task): बाइनरी वर्गीकरण ($\hat{y} \in \{0, 1\}$) जहाँ एक मॉडल $f$ इनपुट $x$ के लिए लेबल की भविष्यवाणी करता है।
• अनिश्चितता मीट्रिक (Uncertainty Metric): लेखक भविष्य कहनेवाला अनिश्चितता को मापने के लिए शैनन एंट्रॉपी ($H(\hat{p})$) का उपयोग करते हैं, जहाँ $\hat{p}$ मॉडल की अनुमानित संभावना है। एंट्रॉपी निश्चित भविष्यवाणियों के लिए 0 और अधिकतम अनिश्चितता ($\hat{p}=0.5$) के लिए 1 होती है।
• हस्तक्षेप सीमा (Intervention Threshold): एक सीमा $\tau$ निर्धारित की जाती है ताकि यदि $H(\hat{y}) \geq \tau$ हो, तो एक हस्तक्षेप सक्रिय हो जाए।
• कैलिब्रेशन धारणा (Calibration Assumption): मॉडल को जनसंख्या स्तर पर अच्छी तरह से कैलिब्रेटेड माना जाता है, लेकिन विशिष्ट जनसांख्यिकीय उपसमूहों के भीतर खराब कैलिब्रेटेड हो सकता है (समूह के भीतर कैलिब्रेशन विफलता)। यह एंट्रॉपी मूल्यों के व्यवस्थित अंतर की ओर ले जाता है।
• मानव निर्णयकर्ता: इसे $r(x)$ (असहायता) या $r(x; f(x))$ (सहायता प्राप्त) फलन के रूप में मॉडल किया गया है। शोध पत्र मानता है कि निर्णयकर्ता संज्ञानात्मक पूर्वाग्रह प्रदर्शित कर सकते हैं, जैसे ऑटोमेशन बायस (अत्यधिक निर्भरता) या अनुचित ओवरराइड।

2.2 केस स्टडीज

हस्तक्षेपों को प्रभावित समूहों के परिणामों का विश्लेषण करने के लिए दो विशिष्ट डोमेन में लागू किया गया है:

1. उपभोक्ता ऋण (Consumer Credit): ऋण चूक (default) के जोखिम की भविष्यवाणी करना। अध्ययन इस बात की जांच करता है कि अपवंचन या घर्षण ऋण स्वीकृति/अस्वीकृति दरों और अल्पप्रतिनिधित्व वाले समूहों के लिए प्रसंस्करण समय को कैसे प्रभावित करता है।
2. पुनः अपराध करने का जोखिम (Risk of Reoffending): आपराधिक न्याय में पुनरावृत्ति की संभावना की भविष्यवाणी करना। अध्ययन सजा के परिणामों (कठोर बनाम हल्का) और सार्वजनिक क्षेत्र के समानता कर्तव्य (PSED) के प्रभाव का विश्लेषण करता है।

2.3 कानूनी ढांचा

विश्लेषण UK कानून पर आधारित है, विशेष रूप से:

• समानता अधिनियम 2010 (The Equality Act 2010): प्रत्यक्ष और अप्रत्यक्ष भेदभाव का विश्लेषण, इस बात पर ध्यान केंद्रित करते हुए कि क्या हस्तक्षेप एक "प्रावधान, मानदंड या अभ्यास" (PCP) है जो संरक्षित समूहों को विशेष नुकसान पहुँचाता है।
• सार्वजनिक क्षेत्र का समानता कर्तव्य (PSED): सार्वजनिक प्राधिकरणों के लिए धारा 149 के दायित्व।
• डेटा संरक्षण कानून: UK GDPR और नए प्रस्तावित डेटा (उपयोग और पहुंच) अधिनियम 2025 (DUAA), विशेष रूप से "सार्थक मानवीय भागीदारी" और केवल स्वचालित निर्णय लेने के संबंध में।

3. मुख्य योगदान

यह पत्र दो प्राथमिक योगदान देता है:

1. सैद्धांतिक कानूनी विश्लेषण (Doctrinal Legal Analysis): यह UK कानून के तहत अनिश्चितता-आधारित एल्गोरिदम हस्तक्षेपों का पहला सैद्धांतिक विश्लेषण प्रदान करता है। यह प्रदर्शित करता है कि औपचारिक रूप से तटस्थ अनिश्चितता सीमाएं भेदभावपूर्ण प्रभाव उत्पन्न कर सकती हैं, विशेष रूप से अप्रत्यक्ष भेदभाव के ढांचे के तहत।
2. हस्तक्षेपों का तुलनात्मक मूल्यांकन: यह तर्क देता है कि चयनात्मक घर्षण (selective friction), चयनात्मक अपवंचन (selective abstention) की तुलना में कानूनी रूप से बेहतर है। हालांकि दोनों में जोखिम हैं, घर्षण मॉडल की भविष्यवाणी तक पहुंच बनाए रखता है और समानता अधिनियम 2010 के तहत आवश्यक आनुपातिकता परीक्षण (proportionality test) को पूरा करने की अधिक संभावना रखता है।

4. परिणाम और विश्लेषण

4.1 चयनात्मक अपवंचन का विश्लेषण

• तंत्र: जब अनिश्चितता अधिक होती है, तो मॉडल की भविष्यवाणी को छिपा दिया जाता है, और मानव बिना AI सहायता के निर्णय लेता है।
• भेदभावपूर्ण जोखिम: चूंकि अल्पप्रतिनिधित्व वाले समूहों में अक्सर उच्च भविष्य कहनेवाला अनिश्चितता होती है (डेटा पूर्वाग्रह के कारण), उन्हें असमान रूप से "अनहेल्प्ड" (unaided) निर्णय पथों में मोड़ दिया जाता है।
• कानूनी निष्कर्ष: यह एक प्रक्रियात्मक विषमता (procedural asymmetry) बनाता है। संरक्षित समूहों के आवेदक लंबे प्रसंस्करण समय और व्यक्तिगत मानवीय निर्णय की परिवर्तनशीलता का सामना करते हैं, जबकि अन्य मानकीकृत AI-सहायता प्राप्त निर्णय प्राप्त करते हैं। लेखक तर्क देते हैं कि यह समानता अधिनियम 2010 के तहत अप्रत्यक्ष भेदभाव के रूप में माना जाता है। इसे "आनुपातिक" सिद्ध करना कठिन है क्योंकि कम भेदभावपूर्ण विकल्प (जैसे पुन: अंशांकन या घर्षण) मौजूद हैं जो मॉडल की जानकारी को त्यागते नहीं हैं।
• परिणाम: अपवंचन भेदभाव के जोखिम को दूर नहीं करता है; यह अनिश्चितता का बोझ विशिष्ट समूहों पर डाल देता है।

4.2 चयनात्मक घर्षण का विश्लेषण

• तंत्र: मॉडल की भविष्यवाणी हमेशा दिखाई देती है, लेकिन उच्च-अनिश्चितता वाली भविष्यवाणियों के साथ एक चेतावनी ध्वज (warning flag) संलग्न होता है।
• भेदभावपूर्ण जोखिम: जोखिम इस बात में है कि मनुष्य ध्वज की व्याख्या कैसे करते हैं। यदि निर्णयकर्ता (जैसे, ऋण अधिकारी या न्यायाधीश) अनिश्चित भविष्यवाणियों को इस तरह से व्यवस्थित रूप से ओवरराइड करते हैं जो संरक्षित विशेषताओं के साथ सह-संबंध रखता है (जैसे, अल्पसंख्यक समूहों के आवेदकों को ऋण देने से मना करना), तो भेदभाव होता है।
• कानूनी निष्कर्ष: चयनात्मक घर्षण को अपवंचन की तुलना में अवैध पाए जाने की संभावना कम है। यह निर्णय के "AI-सहायता प्राप्त" स्वरूप को बनाए रखता है और दो-स्तरीय प्रणाली से बचता है। यह आनुपातिकता की आवश्यकता को पूरा करने की अधिक संभावना रखता है क्योंकि यह त्रुटि न्यूनीकरण के वैध उद्देश्य को प्राप्त करने का एक कम प्रतिबंधात्मक साधन है। हालांकि, इसकी वैधता इस बात पर निर्भर करती है कि व्यवहार में यह वास्तव में संरक्षित समूहों के परिणामों को खराब नहीं करता है, इसके पर्याप्त प्रमाण मौजूद हों।
• मानवीय भागीदारी: प्रस्तावित DUAA 2025 के तहत, घर्षण "सार्थक मानवीय भागीदारी" की आवश्यकता को पूरा कर सकता है, जिससे निर्णय सख्त स्वचालित निर्णय लेने वाले सुरक्षा उपायों से मुक्त हो सकते हैं। हालांकि, लेखक चेतावनी देते हैं कि इससे "दिखावटी" (tokenistic) अनुपालन हो सकता है यदि मनुष्य ध्वज के बावजूद मॉडल को बिना सोचे-समझे स्वीकार कर लेते हैं।

4.3 केस स्टडी परिदृश्य

ऋण और सजा दोनों के लिए पेपर चार परिदृश्य रेखांकित करता है:

1. सहमति (अनिश्चित $\to$ प्रतिकूल): मानव अनिश्चित नकारात्मक भविष्यवाणी के साथ सहमत होता है। एक पक्षपाती मॉडल पर अत्यधिक निर्भरता का जोखिम।
2. ओवरराइड (अनिश्चित $\to$ प्रतिकूल): मानव अनिश्चित सकारात्मक भविष्यवाणी को प्रतिकूल परिणाम देने के लिए ओवरराइड करता है। इसे भेदभाव के लिए सबसे चिंताजनक परिदृश्य के रूप में पहचाना गया है, क्योंकि मानवीय पूर्वाग्रह मॉडल के (संभावित रूप से अधिक तटस्थ) सुझाव को ओवरराइड कर सकता है।
3. सहमति (अनिश्चित $\to$ अनुकूल): मानव अनिश्चित सकारात्मक भविष्यवाणी के साथ सहमत होता है।
4. ओवरराइड (अनिश्चित $\to$ अनुकूल): मानव अनिश्चित नकारात्मक भविष्यवाणी को अनुकूल परिणाम देने के लिए ओवरराइड करता है। हालांकि सैद्धांतिक रूप से यह फायदेमंद है, साक्ष्य बताते हैं कि ओवरराइड व्यवस्थित रूप से अल्पप्रतिनिधित्व वाले समूहों को लाभ नहीं पहुँचाते हैं।

5. महत्व और दावे

यह पत्र दावा करता है कि यह अनिश्चितता-आधारित हस्तक्षेपों पर कठोरता से UK कानूनी सिद्धांत लागू करने वाला पहला शोध है। इसका केंद्रीय सिद्धांत यह है कि तकनीकी तटस्थता (एंट्रॉपी थ्रेसहोल्ड का उपयोग करना) कानूनी तटस्थता की गारंटी नहीं देती है।

• कानूनी प्राथमिकता: लेखक निष्कर्ष निकालते हैं कि कानूनी अनुपालन के दृष्टिकोण से चयनात्मक घर्षण एक बेहतर डिज़ाइन विकल्प है, क्योंकि यह मानव-AI सहयोग की अखंडता बनाए रखता है और अपवंचन में निहित प्रक्रियात्मक नुकसानों से बचता है।
• अनुभवजन्य अनिश्चितता: पेपर स्पष्ट रूप से कहता है कि क्या चयनात्मक घ "व्यवहार में निर्णय की गुणवत्ता में सुधार करता है" यह एक खुला अनुभवजन्य प्रश्न है। यह निर्णयकर्ताओं के प्रशिक्षण, अनिश्चितता अनुमानों के अंशांकन (calibration), और संस्थागत संस्कृति पर निर्भर करता है।
• भावी कार्य: लेखक पहचानते हैं कि इस बात पर अनुभवजन्य अध्ययन की आवश्यकता है कि क्या अनिश्चितता ध्वज विभिन्न जनसांख्यिकीय समूहों में अलग-अलग ओवरराइड दरों को ट्रिगर करते हैं और क्या समूह-विशिष्ट अंशांकन इन हस्तक्षेपों के असमान प्रभाव को कम कर सकता है।

यह शोध पत्र यह दावा नहीं करता है कि अनिश्चितता-आधारित हस्तक्षेप स्वाभाविक रूप से गैरकानूनी हैं, बल्कि यह कि उनके कार्यान्वयन की सावधानीपूर्वक जांच की जानी चाहिए ताकि यह सुनिश्चित हो सके कि वे समानता अधिनियम 2010 का उल्लंघन करके संरक्षित समूहों पर असमान बोझ न डालें।