Confronting Label Indeterminacy in Automated Bail Decisions

तकनीकी सारांश: स्वचालित जमानत निर्णयों में लेबल अनिश्चितता (Label Indeterminacy) का सामना करना

समस्या विवरण
जमानत के लिए स्वचालित निर्णय सहायता प्रणालियों को एक मौलिक डेटा सीमा का सामना करना पड़ता है जिसे लेबल अनिश्चितता (label indeterminacy) कहा जाता है। पूर्व-परीक्षण (pretrial) परिवेश में, प्रति-तथ्यात्मक परिणाम (counterfactual outcome)—अर्थात, यदि रिहा किया जाता तो क्या प्रतिवादी अदालत में उपस्थित होता—तब अज्ञात रहता है जब जमानत नामंजूर कर दी जाती है और प्रतिवादी को हिरासत में रखा जाता है। फलस्वरूप, ऐतिहासिक डेटासेट में संरचनात्मक अनिश्चितता होती है: देखा गया परिणाम (अदालत में उपस्थिति) प्रतिवादी की उपस्थिति की अंतर्निहित प्रवृत्ति के बजाय हिरासत के निर्णय का सीधा परिणाम है। ऐसी अनिश्चितता को संबोधित किए बिना ऐसे डेटा पर मशीन लर्निंग मॉडल को प्रशिक्षित करना संरचनात्मक पूर्वाग्रहों को स्थापित करने और फीडबैक लूप को सुदृढ़ करने का जोखिम उठाता है, क्योंकि मॉडल उन परिणामों से सीखते हैं जो आंशिक रूप से उन्हीं निर्णयों द्वारा निर्धारित होते हैं जिनका वे पूर्वानुमान लगाने का प्रयास कर रहे हैं।

कार्यप्रणाली
लेखकों ने यूनिफाइड ज्यूडिशियल सिस्टम ऑफ पेंसिल्वेनिया (2016-2020) के 90,732 गुमनाम अदालती मामलों का उपयोग करके एक केस स्टडी आयोजित की। लक्षित चर (target variable) 'उपस्थिति में विफलता' (Failure to Appear - FTA) है। यह अध्ययन "अनिश्चित" लेबल को उन मामलों के रूप में परिभाषित करता है जहाँ एक हस्तक्षेप (पूर्व-परीक्षण हिरासत) देखे गए परिणाम को बदल देता है, जिससे प्रतिवादी की वास्तविक प्रवृत्ति का अवलोकन करना असंभव हो जाता है। इसमें वे मामले शामिल हैं जहाँ जमानत नामंजूर कर दी गई, निर्धारित की गई लेकिन भुगतान नहीं की गई, आंशिक रूप से जमा की गई, या जहाँ अन्य कारणों से बॉन्ड समाप्त कर दिए गए।

इन लेबलों को संभालने के प्रभाव की जांच करने के लिए, लेखकों ने निम्नलिखित कदम उठाए:

1. पाँच प्रतिस्थापन रणनीतियों (Imputation Strategies) को परिभाषित किया:

   • सही लेबल ($corr$): हिरासत में लिए गए प्रतिवादियों के लिए मूल लेबल (उपस्थिति) को बनाए रखता है, यह मानते हुए कि यदि उन्हें रिहा किया जाता तो वे उपस्थित होते।
   • हिरासत-के-रूप-में-विफलता ($daf$): सभी हिरासत में लिए गए प्रतिवादियों को एक FTA लेबल देता है, यह मानते हुए कि हिरासत गैर-उपस्थिति के सटीक पूर्वानुमान को दर्शाती है।
   • केवल-देखा-गया ($obs$): सभी अनिश्चित मामलों को बाहर कर देता है, केवल उन मामलों पर प्रशिक्षण देता है जहाँ जमानत दी गई थी।
   • देखा-गया + व्युत्क्रम संभाव्यता ($obs\_ip$): देखे गए मामलों पर प्रशिक्षण देता है लेकिन नमूना पूर्वाग्रह को ठीक करने के लिए 'इनवर्स प्रोपेंसिटी वेटिंग' लागू करता है, यह मानते हुए कि डेटा में सभी कारक जो जमानत निर्णयों को प्रभावित करते हैं, समाहित हैं।
   • **निकटतम पड़ोसी ($nn$):** सबसे समान मामलों ($k=52$) के परिणामों के आधार पर हिरासत में लिए गए प्रतिवादियों के लिए लेबल का प्रतिस्थापन करता है जहाँ जमानत दी गई थी।

2. प्रायोगिक सेटअप:

   • तीन मशीन लर्निंग मॉडल प्रशिक्षित किए गए: लॉजिस्टिक रिग्रेशन, रैंडम फॉरेस्ट और XGBoost।
   • डेटासेट को एक टेस्ट सेट (20%) और 25 संतुलित प्रशिक्षण उप-समूहों (अल्पसंख्यक FTA वर्ग के अंडरसैंपलिंग के माध्यम से) में विभाजित किया गया।
   • संवेदनशील गुणों (जाति, लिंग) को वास्तविक दुनिया के डेटा वितरण को दर्शाने के लिए बनाए रखा गया, जबकि निर्णय-पश्चात के फीचर्स (जमानत राशि, स्थिति) को बाहर कर दिया गया।
   • कुल 348 मॉडल प्रशिक्षित किए गए (3 मॉडल × 5 विधियाँ × 25 उप-समूह)।

3. मूल्यांकन:

   • भविष्य कहनेवाला प्रदर्शन (Predictive performance) को determinate और indeterminate दोनों टेस्ट मामलों पर मैथ्यूज कोरिलेशन कोएफिशिएंट (MCC) का उपयोग करके मापा गया।
   • भविष्य कहनेवाला व्यवहार का विश्लेषण प्रेडिक्शन डिस्ट्रीब्यूशन (वायलिन प्लॉट्स) और वासेरस्टीन दूरी (Wasserstein distances) के माध्यम से किया गया।
   • आंतरिक निर्णय लेने वाली प्रक्रियाओं की जांच एक्सप्लेनेबल एआई (XAI) तकनीकों, विशेष रूप से XGBoost मॉडल के लिए फीचर इम्पॉर्टेंस स्कोर (गेन मेट्रिक) का उपयोग करके की गई।

मुख्य परिणाम

• प्रतिस्थापन बनाम मॉडल चयन का प्रभाव: मॉडल के व्यवहार और भविष्यवाणियों के वितरण पर मशीन लर्निंग एल्गोरिदम के चुनाव की तुलना में लेबल प्रतिस्थापन विधि का चुनाव अधिक महत्वपूर्ण प्रभाव डालता है। सांख्यिकीय परीक्षणों (वासेरस्टीन दूरी, कोलमोगोरोव-स्मिरनोव) ने पुष्टि की कि $corr$, $daf$, और$nn$जैसी विधियों ने$obs$और$obs_ip$ की तुलना में स्पष्ट रूप से भिन्न वितरण उत्पन्न किए।
• प्रदर्शन भिन्नता:
  • $obs$, $obs\_ip$, और $nn$ विधियों ने determinate टेस्ट मामलों पर बेहतर प्रदर्शन किया लेकिन indeterminate मामलों पर खराब प्रदर्शन किया।
  • $corr$ विधि determinate मामलों पर सबसे खराब और indeterminate मामलों पर सबसे अच्छा प्रदर्शन करती है, क्योंकि यह हिरासत में लिए गए प्रतिवादियों के लिए मूल लेबल को संरक्षित करने वाली एकमात्र विधि है।
• आंतरिक निर्णय प्रक्रिया: XAI विश्लेषण ने खुलासा किया कि विभिन्न प्रतिस्थापन विधियों ने आंतरिक फीचर महत्व रैंकिंग को बदल दिया। हालांकि मुख्य फीचर्स (जैसे, प्रमुख अपराध, अटॉर्नी का प्रकार) सभी विधियों में महत्वपूर्ण बने रहे, अन्य फीचर्स का सापेक्ष महत्व प्रतिस्थापन रणनीति के आधार पर बदल गया, जो यह दर्शाता है कि लेबल हैंडलिंग मौलिक रूप से यह बदल देती है कि मॉडल केस की जानकारी का उपयोग कैसे करता है।
• वितरण परिवर्तन (Distribution Shifts): $obs$और$obs_ip$ विधियों ने समान प्रेडिक्शन डिस्ट्रीब्यूशन दिए, जिससे पता चलता है कि इस विशिष्ट संदर्भ में सरल निष्कासन की तुलना में इनवर्स प्रोपेंसी वेटिंग ने मॉडल के आउटपुट को महत्वपूर्ण रूप से नहीं बदला।

महत्व और दावे
यह शोध पत्र तर्क देता है कि लेबल अनिश्चितता केवल एक तकनीकी डेटा समस्या नहीं बल्कि एक मानकीय (normative) मुद्दा है। लेखक दावा करते हैं कि:

1. तकनीकी विकल्प मानकीय हैं: प्रत्येक प्रतिस्थापन विधि न्याय और जोखिम शासन की एक विशिष्ट अवधारणा को संहिताबद्ध करती है। उदाहरण के लिए, $corr$व्यक्तिगत जोखिम मूल्यांकन के विकल्प के रूप में निवारक हिरासत को अप्रत्यक्ष रूप से वैध बनाता है, जबकि$daf$ पिछले हिरासत निर्णयों को जोखिम के विश्वसनीय साक्ष्य के रूप में मानता है, जो आत्म-सिद्ध भविष्यवाणियों (self-fulfilling prophecies) को जन्म दे सकता है।
2. अपुष्ट धारणाएं: सभी विधियां प्रति-तथ्यात्मक परिणामों के बारे में unverifiable (अपुष्ट) धारणाओं पर निर्भर करती हैं। कोई भी एकल दृष्टिकोण निश्चित रूप से सही सिद्ध नहीं किया जा सकता, फिर भी प्रत्येक भविष्य कहनेवाला व्यवहार और निष्पक्षता को महत्वपूर्ण रूप से प्रभावित करता है।
3. जवाबदेही के जोखिम: सांख्यिकीय समायोजन (जैसे $obs\_ip$ और $nn$) एक "तकनीकी आत्मविश्वास" (technocratic confidence) पैदा कर सकते हैं जहाँ संभाव्य अनुमान लुप्त कानूनी अवलोकनों का स्थान ले लेते हैं, जो संभावित रूप से प्रतिवादियों की प्रति-तथ्यात्मक लेबलों के आधार पर निर्णयों को चुनौती देने की क्षमता को कमजोर कर सकता है।
4. डिजाइन निहितार्थ: यह अध्ययन प्रदर्शित करता है कि लेबल उपचार के संबंध में पद्धतिगत विकल्प मॉडल चयन की तुलना में अधिक महत्वपूर्ण हो सकते हैं। इसलिए, जमानत निर्णय सहायता प्रणालियों के डेवलपर्स को लेबल हैंडलिंग के कानूनी और दार्शनिक निहितार्थों को केवल एल्गोरिद्मिक समस्याओं के रूप में देखने के बजाय उन्हें स्पष्ट रूप से स्वीकार करना चाहिए।

लेखक निष्कर्ष निकालते हैं कि लेबल अनिश्चितता को ठीक से संबोधित करना स्वचालित जमानत प्रणालियों की वैधता, निष्पक्षता और जवाबदेही के लिए महत्वपूर्ण है, और वे इन्हें केवल तकनीकी अंतराल के रूप में देखने के बजाय कानूनी और नैतिक विमर्श के स्थल के रूप में पहचानने का आग्रह करते हैं।