Perceived Fairness of Algorithm Driven High Stakes Examinations The Role of Statistical Equivalence System Transparency and Explanation in Shaping Trust Legitimacy and Acceptance
यह अध्ययन इस बात की जांच करता है कि कैसे सांख्यिकीय तुल्यता और एल्गोरिदम संबंधी अपारदर्शिता जैसे तकनीकी कारक, सिस्टम पारदर्शिता और स्पष्टीकरणों के साथ मिलकर, एल्गोरिदम-संचालित उच्च-दांव वाली परीक्षाओं के प्रति छात्रों की निष्पक्षता, विश्वास और स्वीकृति को प्रभावित करते हैं, जो यह प्रकट करता है कि जबकि सांख्यिकीय कारक कथित निष्पक्षता को प्रेरित करते हैं, स्पष्टीकरण और निष्पक्षता एल्गोरिदम की वैधता और स्वीकृति के सबसे महत्वपूर्ण भविष्यवक्ता हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके शोध पत्र का विवरण दिया गया है।
बड़ी तस्वीर: "ब्लैक बॉक्स" परीक्षा
कल्पना कीजिए कि आप एक बहुत महत्वपूर्ण परीक्षा दे रहे हैं, जैसे कि कोई फाइनल एग्जाम जो आपका भविष्य तय करता है। अतीत में, आप शायद एक कागजी परीक्षा देते थे जहाँ सभी को बिल्कुल एक जैसे प्रश्न मिलते थे। आज, कई स्कूल इन परीक्षाओं के लिए कंप्यूटर का उपयोग करते हैं। कंप्यूटर एक विशाल डिजिटल "बैंक" से प्रश्न चुनता है और आपके उत्तरों के आधार पर कठिनाई स्तर को बदल भी सकता है।
यह कुशल तो है, लेकिन यह एक समस्या पैदा करता है: "ब्लैक बॉक्स" वाली भावना। छात्र कंप्यूटर की ओर देखते हैं और सोचते हैं, "इसे कैसे पता कि मेरा टेस्ट निष्पक्ष है? मुझे कठिन प्रश्न क्यों मिले जबकि मेरे दोस्त को आसान प्रश्न मिले? क्या कंप्यूटर धोखाधड़ी कर रहा है?"
यारमुक विश्वविद्यालय के शोधकर्ताओं द्वारा किए गए इस अध्ययन ने पूछा: इन कंप्यूटरीकृत परीक्षाओं पर छात्रों का विश्वास किस बात से बनता है? वे जानना चाहते थे कि क्या तकनीकी "निष्पक्षता" (पर्दे के पीछे का गणित) पर्याप्त है, या क्या छात्रों को परिणाम स्वीकार करने के लिए यह महसूस करना भी आवश्यक है कि यह निष्पक्ष है।
अध्ययन के घटक (Ingredients)
शोधकर्ताओं ने 502 छात्रों का सर्वेक्षण किया जिन्होंने ये कंप्यूटरीकृत परीक्षाएँ दी थीं। उन्होंने कई "घटकों" को देखा जो मिलकर विश्वास का निर्माण कर सकते हैं:
- सांख्यिकीय समानता (Statistical Equivalence - "गणित का जादू"): यह तकनीकी गारंटी है कि टेस्ट A, टेस्ट B के समान ही कठिन है, भले ही प्रश्न अलग हों। यह कहने जैसा है कि, "चिंता न करें, तराजू पूरी तरह संतुलित है।"
- पारदर्शिता (Transparency - "कांच का घर"): यह छात्रों को दिखाना है कि सिस्टम कैसे काम करता है। यह कार का बोनट खोलने जैसा है ताकि आप इंजन देख सकें।
- अपारदर्शिता (Opacity - "रहस्यमयी बॉक्स"): यह इसके विपरीत है—जब सिस्टम एक रहस्य हो। आपको नहीं पता कि यह प्रश्न कैसे चुनता है या स्कोर कैसे निकालता है।
- आइटम बैंक एक्सपोजर (Item Bank Exposure - "अभ्यास का दौर"): छात्र इन प्रकार के परीक्षणों से कितने परिचित हैं। क्या उन्होंने यह पहले देखा है, या यह उनका पहला समय है?
- व्याख्या (Explanation - "अनुवादक"): यह केवल इंजन दिखाना नहीं है; यह एक मैकेनिक द्वारा यह समझाना है कि कार क्यों चल रही है, सरल शब्दों में।
उन्हें क्या मिला: आश्चर्यजनक परिणाम
शोधकर्ताओं ने डेटा का विश्लेषण करने के लिए दो अलग-अलग तरीकों (जैसे केक बनाने के लिए दो अलग-अलग रेसिपी का उपयोग करना) का उपयोग किया ताकि यह देखा जा सके कि वास्तव में क्या महत्वपूर्ण है।
1. "परिचितता" का कारक सबसे ऊपर है
सबसे बड़ा आश्चर्य? सिस्टम को देखने से ज्यादा महत्वपूर्ण उसे जानना है।
जिन छात्रों ने पहले ये कंप्यूटरीकृत टेस्ट दिए थे (उच्च "आइटम बैंक एक्सपोजर"), उनके द्वारा सिस्टम को निष्पक्ष मानने की संभावना बहुत अधिक थी।
- उपमा: इसे एक वीडियो गेम की तरह समझें। यदि आपने पहले गेम खेला है, तो आप जानते हैं कि एक "कठिन लेवल" मिलना अनुचित नहीं है; यह गेम का हिस्सा है। यदि आपने कभी नहीं खेला है, तो कठिन लेवल मिलना ऐसा लगता है जैसे गेम आपके खिलाफ साजिश रच रहा है। अध्ययन ने पाया कि अनुभव ही कथित निष्पक्षता का सबसे मजबूत चालक था।
2. "कांच का घर" मददगार नहीं रहा (पारदर्शिता का विरोधाभास)
शोधकर्ताओं ने सोचा था कि यदि वे छात्रों को दिखाएंगे कि कंप्यूटर वास्तव में कैसे काम करता है (पारदर्शिता), तो छात्र इसे निष्पक्ष महसूस करेंगे। वे गलत थे।
- निष्कर्ष: केवल तकनीकी विवरण दिखाने से छात्रों को यह महसूस नहीं हुआ कि सिस्टम निष्पक्ष है। वास्तव में, इसका लगभग कोई प्रभाव नहीं पड़ा।
- उपमा: कल्पना कीजिए कि एक जादूगर आपको मंच के गुप्त दरवाजों को दिखाता है। यदि आप यह नहीं समझते कि वे दरवाजे वहां क्यों हैं या ट्रिक कैसे काम करती है, तो केवल उन्हें देखना आपको भ्रमित कर सकता है, न कि विश्वास दिला सकता है। अध्ययन बताता है कि केवल "खुला होना" पर्याप्त नहीं है यदि जानकारी बहुत तकनीकी या भ्रमित करने वाली है।
3. "अनुवादक" असली नायक है (व्याख्या)
जबकि केवल "इंजन दिखाना" (पारदर्शिता) काम नहीं आया, तर्क को समझाना (व्याख्या) सबसे शक्तिशाली कारक था।
- निष्कर्ष: जब सिस्टम स्पष्ट रूप से समझाता था कि एक स्कोर क्यों दिया गया या प्रश्नों को कैसे चुना गया (जिससे छात्र समझ सकें), तो विश्वास बहुत बढ़ गया।
- उपमा: यह एक डॉक्टर द्वारा आपको 50 पन्नों की मेडिकल टेक्स्टबुक थमाने और एक डॉक्टर द्वारा यह कहने के बीच का अंतर है, "आपका बुखार इसलिए है क्योंकि आपका शरीर वायरस से लड़ रहा है, और यह दवा आपकी प्रतिरक्षा प्रणाली को जीतने में मदद करेगी।" व्याख्या विश्वास बनाती है; टेक्स्टबुक केवल शोर पैदा करती है।
4. श्रृंखला अभिक्रिया: निष्पक्षता → विश्वास → वैधता → स्वीकृति
अध्ययन ने एक श्रृंखला अभिक्रिया (chain reaction) का मानचित्र तैयार किया:
- निष्पक्षता: यदि छात्र महसूस करते हैं कि टेस्ट निष्पक्ष है (अक्सर इसलिए क्योंकि वे इससे परिचित हैं), तो वे सिस्टम पर विश्वास करने लगते हैं।
- वैधता: विश्वास, वैधता में बदल जाता है। यह एक भारी शब्द है जिसका अर्थ है, "मेरा मानना है कि इस सिस्टम के पास मेरे भविष्य के बारे में निर्णय लेने का अधिकार है।"
- स्वीकृति: अंत में, वैधता स्वीकृति की ओर ले जाती है। छात्र परिणामों को स्वीकार करने के लिए तैयार होते हैं, भले ही उन्हें मनचाहा स्कोर न मिला हो।
मुख्य निष्कर्ष: श्रृंखला में सबसे मजबूत कड़ी वैधता थी। यदि छात्र मानते हैं कि सिस्टम "वैध" (legitimate) है, तो वे इसे स्वीकार करेंगे। यदि उन्हें लगता है कि यह अवैध है, तो वे इसे अस्वीकार कर देंगे, चाहे गणित कितना भी सटीक क्यों न हो।
"दो लेंसों" की विधि
शोधकर्ताओं ने डेटा का विश्लेषण करने के लिए दो अलग-अलग उपकरणों का उपयोग किया:
- SEM (रैखिक लेंस): इसने सीधे संबंधों (जैसे, "अधिक निष्पक्षता = अधिक विश्वास") की तलाश की। इसने ऊपर वर्णित श्रृंखला अभिक्रिया की पुष्टि की।
- ANN (न्यूरल लेंस): यह एक प्रकार का AI है जो जटिल, गैर-रैखिक पैटर्न देखता है। इसने पुष्टि की कि व्याख्या ही वह सबसे महत्वपूर्ण भविष्यवक्ता है कि क्या छात्र सिस्टम को स्वीकार करेगा, यहाँ तक कि तकनीकी गणित से भी अधिक।
एक वाक्य में सारांश
छात्र कंप्यूटरीकृत परीक्षाओं को केवल इसलिए स्वीकार नहीं करते क्योंकि गणित एकदम सही है या सिस्टम खुला है; वे इसे तब स्वीकार करते हैं जब वे स्पष्ट व्याख्याओं के माध्यम से समझते हैं कि यह कैसे काम करता है और जब उनके पास इसका अनुभव होता है, जिससे विश्वास और वैधता की भावना बनती है।
यह पेपर क्या नहीं कहता है
- यह यह नहीं कहता कि स्कूलों को इन प्रणालियों का उपयोग बंद कर देना चाहिए।
- यह यह नहीं कहता कि पारदर्शिता हमेशा के लिए बेकार है, बल्कि यह कहता है कि इस विशिष्ट अध्ययन में बिना अच्छी व्याख्या के यह काम नहीं आई।
- यह कोई विशिष्ट सॉफ्टवेयर समाधान पेश नहीं करता है, बल्कि छात्रों से इस सिस्टम के बारे में बात करने का एक तरीका बताता है।
मूल संदेश यह है: तकनीकी निष्पक्षता आवश्यक है, लेकिन पर्याप्त नहीं है। आपको स्क्रीन के दूसरी ओर मौजूद इंसान को यह महसूस कराना होगा कि सिस्टम निष्पक्ष और समझने योग्य है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।