Beyond Mean Scores: Individual- and Trait-Level Agreement Between Human and Generative AI Raters in EFL Writing Assessment
यह अध्ययन प्रकट करता है कि जबकि वर्तमान जनरेटिव एआई मॉडल उच्च आंतरिक स्थिरता प्रदर्शित करते हैं, वे मानव रेटर्स की तुलना में कम सहमति, व्यवस्थित गंभीरता पूर्वाग्रह और मानव डबल-मार्किंग की तुलना में विशिष्ट रूब्रिक नियमों को लागू करने में विफलता प्रदर्शित करते हैं, जो यह सुझाव देता है कि वे स्वायत्त प्रतिस्थापन के बजाय पर्यवेक्षित, विसंगति-ट्रिगर सहायता के लिए सबसे उपयुक्त हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा सीखने की उच्च-दांव वाली दुनिया में, एक एकल निबंध यह निर्धारित कर सकता है कि कोई छात्र विश्वविद्यालय में प्रवेश पाएगा या तैयारी कक्षा में ही फंसा रह जाएगा। दशकों से, शिक्षक इन निबंधों को पढ़ने और व्याकरण से लेकर तर्क के तार्किक प्रवाह तक सब कुछ मापने वाले जटिल मानदंडों के आधार पर ग्रेड देने के लिए मानव शिक्षकों पर निर्भर रहे हैं। हाल ही में, एक नया दावेदार इस क्षेत्र में आया है: कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस)। लार्ज लैंग्वेज मॉडल्स, वही शक्तिशाली कंप्यूटर प्रोग्राम जो कहानियाँ लिख सकते हैं या प्रश्नों के उत्तर दे सकते हैं, उन्हें तेजी से स्वचालित ग्रेडर के रूप में प्रस्तावित किया जा रहा है। यह वादा लुभावना है: मशीनें तेज़, अथक और सुसंगत हैं। लेकिन शिक्षा के क्षेत्र में, केवल गति पर्याप्त नहीं है। एक ग्रेडिंग प्रणाली को केवल एक संभावित औसत स्कोर उत्पन्न करने से कहीं अधिक करना चाहिए; इसे प्रत्येक छात्र के कार्य के विशिष्ट विवरणों पर मानव विशेषज्ञों के साथ सहमत होना चाहिए, नियमों को निष्पक्ष रूप से लागू करना चाहिए, और यह पहचानना चाहिए कि जब किसी छात्र ने कुछ ऐसा लिखा है जो परीक्षा के योग्य ही नहीं है, तो क्या करना है। प्रश्न अब यह नहीं है कि क्या एक मशीन संख्या उत्पन्न कर सकती है, बल्कि यह है कि क्या उस संख्या पर शिक्षार्थियों के जीवन को बदलने वाले निर्णय लेने के लिए भरोसा किया जा सकता है।
एक शोधकर्ता ने वास्तविक दुनिया के परिवेश में इस भरोसे का परीक्षण करने के लिए एक प्रयास किया, जो केवल औसत स्कोर की तुलना करने से आगे बढ़कर यह देखने के लिए था कि मशीनें और मनुष्य वास्तव में व्यक्तिगत पत्रों पर कितनी अच्छी तरह सहमत होते हैं। उन्होंने तुर्की के छात्रों के बहत्तर हस्तलिखित निबंध एकत्र किए जो डिग्री अध्ययन के लिए अपनी तत्परता निर्धारित करने वाली एक दक्षता परीक्षा दे रहे थे। इन छात्रों ने कड़ी मेहनत के मूल्य से लेकर दोस्तों और वस्तुओं के बीच संतुलन जैसे विषयों पर अपने विचार लिखे थे। फिर शोधकर्ता ने इन पत्रों को एक कठोर, एंड-टू-एंड मूल्यांकन के अधीन किया। सबसे पहले, छह अनुभवी शिक्षकों ने प्रत्येक निबंध को दो बार ग्रेड किया, जिसमें पांच-भागों वाला एक मानदंड (रुब्रिक) उपयोग किया गया जो कार्य उपलब्धि, संगठन, शब्दावली, व्याकरण और सामंजस्य को स्कोर करता था। इसके बाद, तीन अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडल्स—विशेष रूप से क्लॉड (Claude), जीपीटी (GPT) और जेमिनी (Gemini) के संस्करणों ने उन्हीं हस्तलिखित निबंधों की स्कैन की गई छवियों को पढ़ा और उन्हें बिल्कुल उन्हीं निर्देशों का उपयोग करके ग्रेड दिया। महत्वपूर्ण रूप से, मशीनों को इन विशिष्ट निबंधों पर कोई विशेष प्रशिक्षण नहीं दिया गया था; उन्हें नियमों को उसी तरह तुरंत लागू करना था, जैसे कि एक नया मानव शिक्षक करता।
परिणामों ने एक पूर्ण, स्वचालित मानव निर्णय के प्रतिस्थापन की आशा से कहीं अधिक जटिल परिदृश्य का खुलासा किया। जबकि आर्टिफिशियल इंटेलिजेंस मॉडल अपने आप में उल्लेखनीय रूप से सुसंगत थे—अर्थात यदि आप एक ही मॉडल को एक ही निबंध को दो बार ग्रेड करने के लिए कहते हैं, तो वह लगभग हमेशा समान स्कोर देगा—वे मानव शिक्षकों के साथ तालमेल बिठाने में संघर्ष करते दिखे। दोनों मानव रेटरों के बीच सहमति मजबूत थी, लेकिन जब मशीनों की तुलना मानव औसत से की गई, तो संबंध काफी कमजोर था। प्रत्येक मॉडल का झुकाव कठोर होने की ओर था, जो मानव पैनल की तुलना में कम स्कोर देता था। यह कठोरता कोई निश्चित मात्रा नहीं थी; मशीनों ने कमजोर निबंधों की तुलना में मजबूत निबंधों को अधिक दंडित किया, जिसका अर्थ है कि एक साधारण गणितीय समायोजन इस अंतर को ठीक नहीं कर सकता था। एक मॉडल, विशेष रूप से, अपने स्वयं के निर्णयों को दोहराने में लगभग पूर्ण था लेकिन सबसे अधिक कठोर भी था, जो यह दर्शाता है कि निरंतरता का अर्थ स्वतः ही निष्पक्षता या सटीकता नहीं होता।
अध्ययन ने यह भी उजागर किया कि इन मॉडल्स ने परीक्षा के विशिष्ट नियमों को, विशेष रूप से उन निबंधों के संबंध में कैसे संभाला, जो पूरी तरह से विषय से बाहर थे। मानदंड में स्पष्ट रूप से कहा गया था कि यदि किसी छात्र ने गलत विषय पर लिखा है, तो उसे प्रत्येक आयाम पर शून्य स्कोर मिलना चाहिए। मानव शिक्षकों ने इस नियम का बिना किसी चूक के पालन किया। हालाँकि, मशीनों ने ऐसा नहीं किया। भले ही उन्हें ऐसे निबंध प्रस्तुत किए गए थे जिनका विषय से कोई लेना-देना नहीं था, मॉडल्स ने फिर भी उन्हें आंशिक स्कोर दिए, यह पहचानने में विफल रहे कि वह सामग्री ग्रेडिंग के योग्य ही नहीं थी। यह एक महत्वपूर्ण परिचालन विफलता थी, जो दर्शाती थी कि मानव निरीक्षण के बिना, मशीनें एक खराब उत्तर और एक अप्रासंगिक उत्तर के बीच अंतर नहीं कर सकती थीं। इसके अलावा, जब शोधकर्ता ने लेखन के विशिष्ट गुणों, जैसे शब्दावली या व्याकरण पर गौर किया, तो मॉडल्स अक्सर इन श्रेणियों के बीच अंतर देखने में विफल रहे, और उन्हें अलग कौशलों के बजाय एक धुंधले मिश्रण के रूप में माना।
अंततः, अनुसंधान यह सुझाव देता है कि ये आर्टिफिशियल इंटेलिजेंस उपकरण उच्च-दांव वाली परीक्षाओं में मानव रेटरों को बदलने के लिए तैयार नहीं हैं जहाँ छात्र का भविष्य दांव पर लगा होता है। मशीनें टूटी हुई नहीं हैं, लेकिन वे अभी तक स्वतंत्र रूप से खड़े होने के लिए पर्याप्त विश्वसनीय नहीं हैं। वे स्वतंत्र न्यायाधीश के रूप में नहीं, बल्कि सहायकों के रूप में सबसे अच्छा कार्य करते हैं जो विसंगतियों को चिह्नित करते हैं या मानव द्वारा समीक्षा के लिए दूसरा विचार प्रस्तुत करते हैं। अध्ययन का निष्कर्ष है कि शिक्षा में एआई (AI) के उपयोगी होने के लिए, इसे एक पर्यवेक्षित वर्कफ़्लो का हिस्सा होना चाहिए जहाँ मनुष्य नियंत्रण में रहें, मशीन के काम की जाँच करें, नियमों को लागू करें और अंतिम निर्णय लें। तकनीक शिक्षकों की पहुंच बढ़ाने का एक शक्तिशाली तरीका प्रदान करती है, लेकिन यह अभी तक उस सूक्ष्म निर्णय का स्थान नहीं ले सकती जो यह सुनिश्चित करने के लिए आवश्यक है कि प्रत्येक छात्र को निष्पक्ष और सटीक रूप से ग्रेड दिया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।