Revisiting validation in language testing: an updated critical review of argument-based approaches in the era of justice-oriented and AI-mediated assessment
यह शोध पत्र 2026 तक के विकासों का परीक्षण करके भाषा परीक्षण में तर्क-आधारित वैधता (argument-based validation) की 2019 की एक आलोचनात्मक समीक्षा को अद्यतित करता है, जो विविध संदर्भों और आसन्न विषयों में क्षेत्र के विस्तार को रेखांकित करता है तथा न्याय-उन्मुख आलोचनाओं और AI-मध्यस्थता वाले स्कोरिंग द्वारा उत्पन्न उभरती चुनौतियों का समाधान करता है, और अंततः वैधता तर्कों के भीतर मुख्य वारंट (warrants) के रूप में निष्पक्षता और एल्गोरिदम पारदर्शिता के एकीकरण का तर्क देता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
हर दिन, लाखों लोग यह साबित करने के लिए मानकीकृत (standardized) परीक्षाओं में भाग लेते हैं कि वे किसी नौकरी के लिए, विश्वविद्यालय में प्रवेश के लिए, या किसी नए देश में बसने के लिए भाषा को पर्याप्त रूप से अच्छी तरह से बोल सकते हैं। ये स्कोर 'द्वारपाल' (gatekeepers) के रूप में कार्य करते हैं, जो यह तय करते हैं कि किसे अवसर मिलेगा और किसे नहीं। दशकों से, विशेषज्ञ एक महत्वपूर्ण प्रश्न पूछते रहे हैं: हमें कैसे पता कि ये परीक्षण वास्तव में वही मापते हैं जिसका वे दावा करते हैं? इसका उत्तर सरल चेकलिस्ट से विकसित होकर एक अधिक जटिल पद्धति बन गया है जिसे "तर्क-आधारित दृष्टिकोण" (argument-based approach) कहा जाता है। एक वकील की कल्पना करें जो जूरी के सामने अपना मामला पेश कर रहा है; केवल तथ्यों को सूचीबद्ध करने के बजाय, उन्हें एक तार्किक तर्क की श्रृंखला बनानी होती है जो एक छात्र के प्रदर्शन को वास्तविक दुनिया के निर्णय, जैसे कि वीज़ा प्रदान करने से जोड़ती है। इस श्रृंखला की प्रत्येक कड़ी—कि परीक्षण का मूल्यांकन कैसे किया जाता है, वह स्कोर छात्र की वास्तविक क्षमता का प्रतिनिधित्व कैसे करता है, और वह क्षमता भविष्य की सफलता की भविष्यवाणी कैसे करती है—को साक्ष्य द्वारा समर्थित होना चाहिए। यदि एक भी कड़ी कमजोर होती है, तो पूरा मामला ढह जाता है।
हाल ही में, भाषा परीक्षण का परिदृश्य नाटकीय रूप से बदल गया है। दो शक्तिशाली बल इन परीक्षणों के निर्माण और मूल्यांकन के तरीके को नया रूप दे रहे हैं। पहला, निष्पक्षता की बढ़ती मांग है, जहाँ शोधकर्ता तर्क देते हैं कि परीक्षणों को केवल स्पष्ट त्रुटियों से बचने के बजाय सक्रिय रूप से नस्लीय और सामाजिक असमानताओं के विरुद्ध काम करना चाहिए। दूसरा, आर्टिफिशियल इंटेलिजेंस (AI) अब कई परीक्षणों को ग्रेड दे रहा है, जो मानव पाठकों के स्थान पर कंप्यूटर एल्गोरिदम को प्रतिस्थापित कर रहा है जो अविश्वसनीय गति से भाषा को संसाधित कर सकते हैं। शोधकर्ता थि तुयत हान एनगुयेन द्वारा 2026 में प्रकाशित एक नया समीक्षा लेख, यह जांच करता है कि वैधता के लिए "वकील का मामला" इन नई चुनौतियों के सामने कैसे खड़ा है। 2019 और 2026 के बीच प्रकाशित अध्ययनों का अवलोकन करते हुए, एनगुयेन यह पता लगाती है कि कैसे यह क्षेत्र कठोर प्रमाण और न्याय की तत्काल आवश्यकता तथा मशीन स्कोरिंग की रहस्यमय प्रकृति के बीच संतुलन बनाने का प्रयास कर रहा है।
समीक्षा इस बात पर नज़र डालते हुए शुरू होती है कि हाल के वर्षों में शोधकर्ता तर्क-आधारित दृष्टिकोण को कैसे लागू कर रहे हैं। एनगुयेन ने पाया कि हालांकि यह पद्धति अप्रवासन परीक्षाओं से लेकर छोटे बच्चों के मूल्यांकन तक, नए प्रकार के परीक्षणों में फैल गई है, लेकिन इन परीक्षणों का समर्थन करने वाले साक्ष्य असमान हैं। अधिकांश अध्ययन श्रृंखला के शुरुआती कड़ियों पर बहुत अधिक ध्यान केंद्रित करते हैं: यह सिद्ध करना कि परीक्षण का स्कोर निरंतर (consistent) है और स्कोर विश्वसनीय हैं। हालाँकि, बाद की, अधिक कठिन कड़ियों को अक्सर अनदेखा कर दिया जाता है। शोधकर्ता शायद ही कभी यह दिखाने के लिए मजबूत साक्ष्य एकत्र करते हैं कि एक परीक्षण स्कोर वास्तव में यह भविष्यवाणी करता है कि कोई व्यक्ति वास्तविक दुनिया की नौकरी में कैसा प्रदर्शन करेगा, या उन निर्णयों के बारे में जो उन स्कोरों के आधार पर लिए जाते हैं वास्तव में निष्पक्ष हैं। यह पैटर्न वर्षों से बना हुआ है; भले ही यह क्षेत्र विकसित हुआ है, परीक्षण के लिए "मामला" अक्सर इसके वास्तविक दुनिया के अंतिम मूल्य को सिद्ध करने से पहले ही रुक जाता है।
समीक्षा का एक महत्वपूर्ण हिस्सा एक नए सैद्धांतिक आंदोलन को संबोधित करता है जिसे "न्याय-उन्मुख वैधता" (justice-oriented validity) कहा जाता है। यह दृष्टिकोण इस विचार को चुनौती देता है कि एक परीक्षण को केवल इसलिए वैध माना जा सकता है क्योंकि वह तकनीकी रूप से सटीक है। इसके बजाय, यह सवाल करता है कि "सही" को परिभाषित करने के लिए किन मूल्यों का उपयोग किया जा रहा है। यदि एक परीक्षण लोगों के एक विशिष्ट समूह द्वारा बनाया गया है, तो यह अनजाने में उनकी सांस्कृतिक पृष्ठभूमि का पक्ष ले सकता है और दूसरों को दंडित कर सकता है, भले ही स्कोरिंग गणितीय रूप से पूर्ण क्यों न हो। एनगु wegen इस क्षेत्र के भीतर एक बहस को उजागर करती हैं: कुछ शोधकर्ताओं को डर है कि सामाजिक न्याय पर बहुत अधिक ध्यान केंद्रित करने से परीक्षण की वैज्ञानिक कठोरता कमजोर हो सकती है, जबकि अन्य तर्क देते हैं कि इन गहरे बैठे असमानताओं को संबोधित किए बिना, परीक्षण मौलिक रूप से त्रुटिपूर्ण हैं। समीक्षा सुझाव देती है कि निष्पक्षता को एक विचार के बाद की चीज़ या एक अलग जाँच के रूप में नहीं, बल्कि इस तर्क के मूल में बुना जाना चाहिए कि एक परीक्षण वैध क्यों है।
दूसरा प्रमुख विकास स्कोरिंग में आर्टिफिशियल इंटेलिजेंस का उदय है। लार्ज लैंग्वेज मॉडल्स, वही तकनीक जो उन्नत चैटबॉट्स के पीछे है, अब निबंधों और बोलने के परीक्षणों को ग्रेड दे रहे हैं। यह सत्यापन के लिए एक अनूठी समस्या पैदा करता है। जब एक मानव शिक्षक किसी निबंध को ग्रेड देता है, तो वह समझा सकता है कि उसने एक निश्चित स्कोर क्यों दिया। जब एक AI ऐसा करता है, तो प्रक्रिया अक्सर एक "ब्लैक बॉक्स" की तरह होती है, जहाँ तर्क जटिल कंप्यूटर कोड के भीतर छिपा होता है। एनगुयेन बताती हैं कि वर्तमान परीक्षण ढांचे इस अपारदर्शिता (opacity) को संभालने के लिए नहीं बनाए गए थे। अध्ययन बताते हैं कि हालांकि AI कभी-कभी मानव ग्रेडरों के साथ सहमत हो सकता है, लेकिन यह विभिन्न भाषाओं या विभिन्न पृष्ठभूमि के छात्रों के लिए लगातार ऐसा करने में विफल रहता है। समीक्षा चेतावनी देती है कि पारदर्शिता और निष्पक्षता के प्रमाण की मांग किए बिना AI पर भरोसा करना प्रणाली में नए, अदृश्य पूर्वाग्रहों को पेश कर सकता है।
पत्र भाषा परीक्षण के भविष्य के लिए सात प्रमुख विचारों का प्रस्ताव करते हुए समाप्त होता है। पहले पाँच, जिन्हें एक पूर्व समीक्षा में पहचाना गया था, प्रासंगिक बने हुए हैं: शोधकर्ताओं को उन वास्तविक दुनिया के कार्यों का विश्लेषण करना चाहिए जिनकी नकल परीक्षण करता है, प्रक्रिया में लोगों की एक विस्तृत श्रृंखला को शामिल करना चाहिए, और साक्ष्य एकत्र करने के लिए मिश्रित विधियों का उपयोग करना चाहिए। हालाँकि, एनगुयेन का तर्क है कि दो नए विचार अब आवश्यक हैं। पहला, न्याय और निष्पक्षता को वैधता तर्क के स्पष्ट हिस्से के रूप में माना जाना चाहिए, न कि वैकल्पिक अतिरिक्त के रूप में। इसका अर्थ है कि परीक्षण को यह सिद्ध करना होगा कि स्कोर लोगों के प्रत्येक उपसमूह (subgroup) के लिए निष्पक्ष है, न कि केवल औसत रूप से। दूसरा, जब स्कोरिंग के लिए AI का उपयोग किया जाता है, तो साक्ष्य में यह प्रमाण शामिल होना चाहिए कि एल्गोरिदम पारदर्शी और पूर्वाग्रह से मुक्त है। समीक्षा सुझाव देती है कि टेस्ट डेवलपर्स को इन नैतिक जाँचों को परीक्षण के डिज़ाइन में शुरुआत से ही शामिल करना चाहिए, न कि परीक्षण के उपयोग में आने के बाद समस्याओं को ठीक करने का प्रयास करना चाहिए।
अंततः, यह पत्र तर्क-आधारित दृष्टिकोण को छोड़ने का आह्वान नहीं करता है। इसके बजाय, यह "मजबूत साक्ष्य" की परिभाषा को विस्तारित करने का तर्क देता है। एक परीक्षण के लिए "वकील के मामले" में अब यह प्रमाण भी शामिल होना चाहिए कि प्रणाली न्यायपूर्ण है और उसे ग्रेड देने वाली मशीन भरोसेमंद है। जैसे-जैसे यह क्षेत्र आगे बढ़ रहा है, लक्ष्य इन विचारों को स्कोरिंग निरंतरता की जाँच करने जितना ही नियमित और अपेक्षित बनाना है। ऐसा करके, भाषा परीक्षण समुदाय की आशा है कि वे जिन द्वारों को ये परीक्षण खोलते हैं, वे सभी के लिए निष्पक्ष हों, चाहे उनकी पृष्ठभूमि कुछ भी हो या उनका मापन करने वाली तकनीक कोई भी हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।