तकनीकी सारांश: मानव निर्णयकर्ताओं को ध्यान में रखते हुए भविष्यवाणी-आधारित हस्तक्षेपों का मूल्यांकन करना

समस्या विवरण

स्वचालित निर्णय प्रणाली (ADS) का उपयोग आपराधिक न्याय, स्वास्थ्य सेवा और शिक्षा जैसे महत्वपूर्ण परिवेशों में मानव निर्णय लेने में सहायता के लिए तेजी से किया जा रहा है। जबकि मशीन लर्निंग अनुसंधान अक्सर बेंचमार्क डेटासेट के विरुद्ध भविष्य कहनेवाला मॉडल की सटीकता के मूल्यांकन पर ध्यान केंद्रित करता है, ये आकलन मानव और एल्गोरिदम के बीच जटिल अंतःक्रिया को पकड़ने में विफल रहते हैं। विशेष रूप से, भविष्यवाणी-आधारित हस्तक्षेपों के मूल्यांकन के लिए मौजूदा प्रयोगात्मक डिज़ाइन मानव निर्णय लेने के बारे में सरलीकृत धारणाओं पर निर्भर करते हैं ताकि कारण अनुमान (causal estimates) प्राप्त किए जा सकें।

पहचाना गया मुख्य मुद्दा यह है कि विशिष्ट प्रयोगात्मक डिज़ाइन विकल्प मानव निर्णयकर्ताओं में संज्ञानात्मक पूर्वाग्रह (cognitive biases) उत्पन्न कर सकते हैं, जो देखे गए प्रभाव के आकार (effect sizes) को महत्वपूर्ण रूप से बदल देते हैं। मौजूदा प्रतिमान अक्सर एक "केस-स्वतंत्र" (case-independent) मॉडल मानते हैं जहाँ एक निर्णय विषय का उपचार स्तर दूसरे को प्रभावित नहीं करता है (स्थिर इकाई उपचार मूल्य धारणा या SUTVA का पालन करते हुए)। हालाँकि, यह शोध पत्र तर्क देता है कि मानव निर्णयकर्ता (जैसे न्यायाधीश) आंतरिक अवस्थाएँ रखते हैं जो एल्गोरिदम की सिफारिशों के संपर्क में आने के आधार पर विकसित होती हैं, जिससे निर्णय विषयों के बीच ऐसी निर्भरताएँ पैदा होती हैं जो SUTVA का उल्लंघन करती हैं और उपचार प्रभाव के अनुमान को पक्षपाती बना देती हैं।

कार्यप्रणाली

सैद्धांतिक ढांचा

लेखक एक नवीन कारण मॉडल (causal model) प्रस्तावित करते हैं जो निर्णय-निर्माता की आंतरिक अवस्था को स्पष्ट रूप से ध्यान में रखता है। मानक केस-स्वतंत्र मॉडल के विपरीत, यह ढांचा निर्णयों को निर्णय विषय ($i$) और निर्णय-निर्माता ($k$) दोनों द्वारा अनुक्रमित (index) करता है।

मॉडल दो गुप्त चर (latent variables) पेश करता है:

1. $J_{i,k}$: उपचार इकाई $i$ के लिए न्यायाधीश $k$ की प्रतिक्रियाशीलता, जो इस बात की संभावना है कि न्यायाधीश एल्गोरिदम की सिफारिश का पालन करेगा।
2. $\epsilon_{i,k}$: एक बर्नौली वितरण (Bernoulli distribution) से लिया गया एक यादृच्छिक चर जिसका पैरामीटर $J_{i,k}$ है, जो यह दर्शाता है कि क्या न्यायाधीश सिफारिश का अनुपालन करता है।

निर्णय फलन $D_{i,k}$ को न्यायाधीश के डिफ़ॉल्ट निर्णय $\lambda_k(X_i)$ और एल्गोरिदम की सिफारिश $\bar{D}(\hat{Y}_i)$ के फलन के रूप में परिभाषित किया गया है, जिसे प्रतिक्रियाशीलता $J_{i,k}$ द्वारा नियंत्रित किया जाता है।

संज्ञानात्मक पूर्वाग्रह मॉडल

यह शोध पत्र तीन विशिष्ट संज्ञानात्मक पूर्वाग्रह मॉडलों को औपचारिक रूप देता है जो न्यायाधीश की प्रतिक्रियाशीलता (J_{i,k) को गतिशील और प्रयोगात्मक डिज़ाइन विकल्पों पर निर्भर बनाते हैं:

1. उपचार एक्सपोज़र मॉडल (Treatment Exposure Model): जैसे-जैसे भविष्य कहने वाले सहायता के औसत एक्सपोज़र में वृद्धि होती है, प्रतिक्रियाशीलता बढ़ती है। न्यायाधीश प्रत्येक मामले के लिए प्रोटोकॉल को समायोजित करने के बजाय सुसंगत जानकारी पर भरोसा कर सकते हैं, जिससे बार-बार एक्सपोज़र के बाद उच्च अनुपालन होता है।
2. क्षमता बाधा मॉडल (Capacity Constraint Model): जैसे-जैसे सकारात्मक (उच्च-जोखिम) भविष्यवाणियों की दर बढ़ती है, प्रतिक्रियाशीलता घटती है। उच्च-दांव वाले वातावरण में, निर्णयकर्ता एक ऐसी सीमा तक पहुँच सकते हैं जहाँ वे और अधिक "उच्च-जोखिम" अलर्ट के प्रति कम प्रतिक्रियाशील हो जाते हैं।
3. निम्न विश्वास मॉडल (Low Trust Model): जैसे-जैसे एल्गोरिदम की त्रुटि दर (error rate) बढ़ती है, प्रतिक्रियाशीलता कम होती है। यदि न्यायाधीश वास्तविक परिणामों को देखते हैं और भविष्यवाणी त्रुटियों (जैसे, फॉल्स पॉजिटिव) का पता लगाते हैं, तो उनका विश्वास और उसके बाद का अनुपालन कम हो जाता है।

प्रयोगात्मक विश्लेषण

लेखक गणितीय रूप से सिद्ध करते हैं कि इन मॉडलों के तहत, निर्णय $D_{i,k}$ वर्तमान उपचार $Z_{i,k}$ के दिए जाने पर पूर्व उपचार असाइनमेंट $(Z_{1,k}, \dots, Z_{i-1,k})$ से सशर्त स्वतंत्र नहीं है। यह SUTVA का उल्लंघन है।

इसके व्यावहारिक प्रभाव को प्रदर्शित करने के लिए, शोध पत्र दो रैंडमाइजेशन स्कीमों की तुलना करता है:

• एकल-स्तरीय रैंडमाइजेशन (Uniform Randomization): मामले व्यक्तिगत स्तर पर रैंडमाइज किए जाते हैं, जिसके परिणामस्वरूप प्रत्येक न्यायाधीश के लिए मिश्रित उपचार एक्सपोज़र होता है।
• दो-स्तरीय रैंडमाइजेशन (Two-Level Randomization): न्यायाधीशों को उपचार क्लस्टरों में रैंडमाइज किया जाता है (जैसे, एक न्यायाधीश 100% उपचारित मामले देखता है, दूसरा 0%), जिससे विशिष्ट एक्सपोज़र प्रोफाइल बनते हैं।

अर्ध-सिंथेटिक प्रयोग (Semi-Synthetic Experiments)

लेखक अपने सैद्धांतिक निष्कर्षों को मान्य करने के लिए डेन काउंटी, विस्कॉन्सिन में पब्लिक सेफ्टी असेसमेंट (PSA) जोखिम स्कोर के संबंध में इमाई एट अल. [2020] के एक वास्तविक दुनिया के रैंडमाइज्ड कंट्रोल ट्रायल (RCT) से प्राप्त डेटा का उपयोग करते हैं। वे कई न्यायाधीशों का अनुकरण करते हैं और तीन पूर्वाग्रह मॉडलों को लागू करने के लिए वैकल्पिक निर्णय अनुक्रम उत्पन्न करते हैं। वे देखते हैं कि प्रयोगात्मक डिज़ाइन विकल्पों (उपचार असाइनमेंट, मॉडल थ्रेशोल्ड और सटीकता) को संशोधित करने से औसत उपचार प्रभाव (ATE) के अनुमानित मान कैसे बदल जाते हैं।

मुख्य योगदान

1. गतिशील प्रतिक्रियाशीलता का औपचारिकीकरण: यह शोध पत्र न्यायाधीश की प्रतिक्रियाशीलता को एक स्थिर, अंतर्निहित विशेषता मानने के बजाय इसे एक गतिशील प्रक्रिया के रूप में औपचारिक रूप देता है। यह दर्शाता कि प्रतिक्रियाशीलता एक प्रयोगात्मक डिज़ाइन चॉइस (जैसे उपचार असाइनमेंट ($Z$), मॉडल पॉजिटिव प्रेडिक्शन रेट ($P(\hat{Y}=1)$), और मॉडल शुद्धता ($P(\hat{Y}=Y)$)) का एक गतिशील फलन है।
2. SUTVA उल्लंघन का प्रमाण: लेखक गणितीय प्रमाण प्रदान करते हैं कि प्रस्तावित व्यवहारिक मॉडल निर्णय विषयों के बीच हस्तक्षेप (interference) उत्पन्न करते हैं, जो SUTVA धारणा का उल्लंघन करते हैं। यह उन मानक अनुमानकों को अमान्य करता है जो स्वतंत्रता को मानते हैं।
3. अनुमानित पूर्वाग्रह का प्रदर्शन: शोध पत्र प्रदर्शित करता है कि मानक रैंडमाइजेशन स्कीमें (सिंगल-लेवल) सक्रिय विशिष्ट पूर्वाग्रह मॉडल के आधार पर औसत उपचार प्रभाव (ATE) का महत्वपूर्ण कम या अधिक अनुमान लगा सकती हैं। उदाहरण के लिए, उपचार एक्सपोज़र मॉडल के तहत, यूनिफॉर्म रैंडमाइजेशन ATE का कम अनुमान लगाता है, जबकि क्षमता बाधा मॉडल के तहत, यह अधिक अनुमान लगा सकता है।
4. अनुकरण निष्कर्ष: इमाई एट अल. [2020] पर आधारित अर्ध-सिंथेटिक प्रयोगों में, लेखक दिखाते हैं कि डिज़ाइन विकल्पों (जैसे, प्रति न्यायाधीश उपचारित मामलों का अनुपात और एल्गोरिदम का थ्रेशोल्ड) को बदलने से विशिष्ट जनसांख्यिकीय उपसमूहों के लिए कारण प्रभाव अनुमान 10 गुना तक बदल सकता है।

परिणाम

• SUTVA उल्लंघन: सैद्धांतिक विश्लेषण पुष्टि करता है कि जब न्यायाधीश की प्रतिक्रियाशीलता ऐतिहासिक एक्सपोज़र पर निर्भर करती है, तो एक मामले का उपचार स्तर उसी न्यायाधीश द्वारा संभाले गए अगले मामलों के निर्णय को प्रभावित करता है। पिछले अध्ययनों (जैसे इमाई एट अल., 2020) में उपयोग किए गए मानक परम्यूटेशन टेस्ट इस हस्तक्षेप का पता लगाने में विफल रहते हैं क्योंकि वे औसत उपचार अनुपात को सुरक्षित रखते हैं, जिससे टेस्ट स्टैटिस्टिक के लिए क्रम अप्रासंगिक हो जाता है।
• पूर्वाग्रह दिशात्मकता (Bias Directionality):
  • उपचार एक्सपोज़र: यूनिफॉर्म रैंडमाइजेशन, दो-स्तरीय रैंडमाइजेशन की तुलना में उपचार प्रभाव का कम अनुमान (underestimation) लगाता है। यह अंतर तब बढ़ जाता है जब न्यायाधीश पिछले एक्सपोज़र के प्रति अधिक संवेदनशील होते हैं और डिफ़ॉल्ट एवं अनुशंसित निर्णयों के बीच का अंतर बढ़ता है।
  • क्षमता बाधा: यूनिफॉर्म रैंडमाइजेशन उपचार प्रभाव का अधिक अनुमान (overestimation) लगाता है। यह अंतर उच्च पॉजिटिव प्रेडिक्शन दरों के साथ बढ़ता है।
  • निम्न विश्वास: कम एल्गोरिथमिक सटीकता से प्रतिक्रियाशीलता कम होती है और उपचार प्रभाव का कम अनुमान मिलता है, जो विशेष रूप से निर्णय की शुद्धता के मापों को प्रभावित करता है।
• सिमुलेशन निष्कर्ष: अर्ध-सिंथेटिक प्रयोगों में, उपचार एक्सपोज़र व्यवस्था को बदलने (जैसे, एक न्यायाधीश को 100% मामलों के बजाय 50% मामले सौंपना) के परिणामस्वरूप अनुमानित ATE में पर्याप्त विचलन देखा गया। विशेष रूप से, गैर-श्वेत महिला विषयों के लिए, अनुमानित कारण प्रभाव एक्सपोज़र व्यवस्था के आधार पर 10 गुना तक भिन्न हुआ।

महत्व और दावे

शोध पत्र का दावा है कि ADS तैनाती के लिए हस्तक्षेप-आधारित मूल्यांकन योजनाओं की वैज्ञानिक वैधता वर्तमान में मानव निर्णय लेने की गतिशील प्रकृति को अनदेखा करने के कारण खतरे में है। भविष्यवाणियों को केवल आइसोलेटेड प्रेडिक्शन समस्याओं के बजाय नीतिगत हस्तक्षेपों के रूप में देखने के बजाय, उन्हें केवल प्रेडिक्शन समस्या के रूप में मानकर शोधकर्ता प्रभावी प्रणालियों की प्रभावकारिता के बारे में गलत निष्कर्ष निकालने का जोखिम उठाते हैं।

लेखक तर्क देते हैं कि भविष्य के प्रयोगात्मक डिजाइनों को "ह्यूमन-इन-द-लूप" को एक गतिशील एजेंट के रूप में ध्यान में रखना चाहिए जिसका व्यवहार स्वयं प्रयोग द्वारा आकार लिया जाता है। वे सुझाव देते हैं कि:

• जब पूर्ण पैमाने की नीतियों के रूप में भविष्य कहने वाली प्रणालियों के कारण प्रभाव का अनुमान लगाया जाता है, तो मानक सिंगल-लेवल रैंडमाइजेशन अपर्याप्त है।
• न्यायाधीश पूर्वाग्रह की उपस्थिति में उपचार प्रभावों का सटीक अनुमान लगाने के लिए दो-स्तरीय रैंडमाइजेशन डिज़ाइन (निर्णय-निर्माता स्तर पर रैंडमाइजेशन) या मल्टी-फैक्टर डिज़ाइन आवश्यक हैं।
• ये निष्कर्ष केवल आपराधिक न्याय तक सीमित नहीं हैं, बल्कि स्वास्थ्य सेवा और शिक्षा जैसे अन्य क्षेत्रों में भी लागू होते, जहाँ समान संज्ञानात्मक पूर्वाग्रह और हस्तक्षेप प्रभाव होने की संभावना है।

यह कार्य अनुसंधान समुदाय के लिए एक आह्वान है कि वे प्रयोगात्मक प्रतिमानों को परिष्कृत करें ताकि वे मानव-एल्गोरिदम अंतःक्रिया की वास्तविकता को बेहतर ढंग से दर्शा सकें, जिससे यह सुनिश्चित हो सके कि कारण अनुमान भविष्य कहने वाले हस्तक्षेपों के वास्तविक प्रभाव को दर्शाते हैं।