When alignment is not agreement: Construct-specific validation of large language models for CAF measurement in L2 writing

द्वितीय भाषा सीखने की दुनिया में, शिक्षक और शोधकर्ता यह समझने के लिए लंबे समय से एक तीन-भाग वाले ढांचे पर निर्भर रहे हैं कि एक छात्र कितनी अच्छी तरह लिख रहा है। वे जटिलता (complexity) को देखते हैं, जो यह है कि वाक्य संरचनाएं कितनी विस्तृत और विविध हैं; सटीकता (accuracy), जो यह मापती है कि लेखन व्याकरण संबंधी गलतियों से कितना मुक्त है; और प्रवाह (fluency), जो यह गिनती है कि एक छात्र एक विचार की एकल इकाई में कितने शब्द उत्पन्न करता है। दशकों तक, इन लक्षणों को मापने के लिए एक मानव विशेषज्ञ द्वारा हर वाक्य को पढ़ने, प्रत्येक क्लॉज (clause) को गिनने और हर त्रुटि को चिह्नित करने की आवश्यकता होती थी, जो एक धीमी, महंगी और लगातार दोहराने में कठिन प्रक्रिया थी। अब, आर्टिफिशियल इंटेलिजेंस एक नई संभावना प्रदान करता है। लार्ज लैंग्वेज मॉडल्स, वही शक्तिशाली कंप्यूटर सिस्टम जो निबंध लिख सकते हैं या प्रश्नों के उत्तर दे सकते हैं, उनसे इन भाषाई विशेषताओं को तुरंत गिनने के लिए भी कहा जा सकता है। लेकिन एक महत्वपूर्ण प्रश्न बना हुआ है: केवल इसलिए कि एक कंप्यूटर निबंधों की सामान्य रैंकिंग पर एक इंसान से सहमत होता है, क्या वह वास्तव में समान संख्याएँ भी उत्पन्न करता है? यदि एक शिक्षक इन संख्याओं का उपयोग समय के साथ छात्र की प्रगति को ट्रैक करने के लिए करता है, तो कंप्यूटर की गिनती में एक छोटी सी, निरंतर त्रुटि इस निष्कर्ष को पूरी तरह से गलत बना सकती है कि छात्र सुधार कर रहा है या संघर्ष कर रहा है।

माराघेह विश्वविद्यालय, ईरान के शोधकर्ताओं की एक टीम ने छह अलग-अलग सार्वजनिक आर्टिफिशियल इंटेलिजेंस सिस्टमों का मानव विशेषज्ञों के विरुद्ध परीक्षण करके इस प्रश्न का उत्तर देने का प्रयास किया। उन्होंने 45 विश्वविद्यालय छात्रों द्वारा लिखे गए 90 तर्कपूर्ण निबंध एकत्र किए, जिसमें प्रत्येक छात्र ने सोशल मीडिया के एक ही विषय पर दो निबंध लिखे थे, जो दो सप्ताह के अंतराल पर लिखे गए थे। मानव विशेषज्ञों ने पहले प्रत्येक निबंध को पढ़ा और सख्त नियमों के आधार पर जटिलता, सटीकता और प्रवाह के लिए संख्याओं का एक एकल सेट निर्धारित किया। फिर, शोधकर्ताओं ने उन्हीं निबंधों को छह अलग-अलग एआई मॉडल में डाला, जिनमें चैटजीपीटी (ChatGPT), जेमिनी (Gemini) और अन्य प्रसिद्ध सिस्टम शामिल थे, और उन्हें उन्हीं सख्त नियमों को लागू करने और गणना वापस करने के लिए कहा। लक्ष्य यह देखना नहीं था कि क्या एआई एक अच्छा निबंध लिख सकता है, बल्कि यह देखना था कि क्या यह एक सटीक मापने वाले उपकरण के रूप में कार्य कर सकता है, जो उन सटीक मूल्यों को दोहरा सके जो एक मानव द्वारा गणना की जाती है।

परिणामों ने उस अंतर को प्रकट किया जो एआई और मनुष्यों के बीच सहमति और उनके द्वारा वास्तव में मापे गए डेटा के बीच था। प्रत्येक एआई मॉडल ने मानव स्कोर के साथ एक मजबूत संबंध दिखाया; जब एक मानव ने किसी निबंध को उच्च जटिलता वाला माना, तो एआई ने भी उसे उच्च श्रेणी में रखा। इसका अर्थ है कि कंप्यूटर निबंधों के सापेक्ष क्रम को समझने में अच्छे थे। हालांकि, जब शोधकर्ताओं ने वास्तविक संख्याओं को देखा, तो कंप्यूटर अक्सर एक विशिष्ट तरीके से गलत थे। जटिलता के माप के लिए, जिसमें यह गिना जाता है कि एक वाक्य में कितने क्लॉज समाहित हैं, छह में से पांच मॉडल ने लगातार कम अनुमान लगाया। उन्होंने मनुष्यों की तुलना में कम जटिल संरचनाएं देखीं। यह कोई यादृच्छिक गलती नहीं थी; यह एक व्यवस्थित पूर्वाग्रह था जहाँ मॉडल छात्र के लेखन के जटिल हिस्सों को पहचानने में चूक गए। इसके विपरीत, मॉडल सटीकता को मापने में बहुत बेहतर थे। वे विश्वसनीय रूप से पहचान सकते थे कि एक वाक्य में व्याकरण संबंधी त्रुटि है या नहीं, और उनकी संख्याएँ मानव गणनाओं के बहुत करीब थीं।

अध्ययन ने यह भी जांचा कि मॉडल छात्र के लेखन में समय के साथ होने वाले परिवर्तनों का पता लगाने में कितने सक्षम हैं। चूंकि छात्रों ने दो निबंध लिखे थे, इसलिए शोधकर्ता देख सकते थे कि क्या एआई उसी बदलाव को नोटिस करता है जो मानव विशेषज्ञों ने देखा था। मानव विशेषज्ञों ने पाया कि दूसरे निबंध में, छात्रों ने व्याकरण संबंधी त्रुटियां काफी कम कीं लेकिन छोटे, कम जटिल वाक्य बनाए। एआई मॉडल ने सटीकता और प्रवाह के लिए इस पैटर्न को सफलतापूर्वक कॉपी किया, यह सही ढंग से पहचाना कि छात्र कम गलतियाँ कर रहे थे और प्रति वाक्य कम शब्द लिख रहे थे। हालांकि, जटिलता के मामले में, मॉडल असंगत थे। कुछ मॉडल जटिलता में गिरावट को पूरी तरह से पहचानने में विफल रहे, जबकि अन्य ने एक ऐसा बदलाव देखा जो बहुत छोटा था। यह सुझाव देता है कि जबकि एक एआई छात्रों के एक बड़े समूह के सामान्य रुझानों को पकड़ने के लिए उपयोगी हो सकता है, लेकिन इसे मानवीय निरीक्षण के बिना वाक्य संरचना के विस्तृत विश्लेषण के लिए सटीक संख्या प्रदान करने के लिए अभी तक भरोसेमंद नहीं माना जा सकता है।

परीक्षण किए गए छह सिस्टमों में से, 'डीपसीक' (DeepSeek) नामक एक मॉडल समग्र रूप से सबसे अच्छा प्रदर्शन करने वाला रहा, जिसने अन्य मॉडलों की तुलना में तीनों श्रेणियों में सटीकता को बेहतर ढंग से संतुलित किया। एक अन्य मॉडल, चैटजीपीटी, सटीकता मापने में विशेष रूप से मजबूत था। फिर भी, शोधकर्ताओं ने इस बात पर जोर दिया कि कोई भी एकल मॉडल हर कार्य के लिए पूर्ण नहीं था। एआई का प्रदर्शन इस बात पर बहुत अधिक निर्भर था कि वास्तव में क्या मापा जा रहा है। एक मॉडल जो त्रुटियों को गिनने में उत्कृष्ट है, वह वाक्यों की संरचना गिनने में कमजोर हो सकता है। यह निष्कर्ष इस विचार को चुनौती देता है कि मानव और मशीन के स्कोर के बीच उच्च सहसंबंध का अर्थ यह है कि दोनों एक-दूसरे के स्थान पर उपयोग किए जा सकते हैं। यह सुझाव देता है कि भाषा मूल्यांकन के लिए आर्टिफिशियल इंटेलिजेंस का उपयोग करने के लिए एक सावधानीपूर्ण, विशिष्ट दृष्टिकोण की आवश्यकता है, जहाँ उपकरण को उस विशिष्ट कार्य के लिए मान्य किया जाए जिसके लिए उसे कहा जा रहा है, न कि यह मान लिया जाए कि यह हर चीज़ के लिए समान रूप से काम करता है।

अंततः, अध्ययन यह निष्कर्ष निकालता है कि ये शक्तिशाली कंप्यूटर सिस्टम इस विशिष्ट क्षेत्र में मानवीय निर्णय के सहायक के रूप में मूल्यवान हैं। वे सामान्य पैटर्न खोजने या उन निबंधों को चिह्नित करने के लिए बड़ी मात्रा में लेखन को तेजी से स्कैन कर सकते हैं जिन्हें बारीकी से निरीक्षण की आवश्यकता है। हालांकि, सटीक माप के लिए, विशेष रूप से वाक्य संरचनाओं की जटिलता के संबंध में, उनके द्वारा उत्पन्न संख्याओं को मानवीय मानकों के विरुद्ध जांचा जाना चाहिए। यह शोध इस बात पर प्रकाश डालता है कि स्वचालित भाषा विश्लेषण की खोज में, एक ही दिशा में बढ़ने और एक ही संख्या पर पहुँचने के बीच का अंतर एक महत्वपूर्ण अंतर है जिसे शोधकर्ताओं और शिक्षकों को ध्यान में रखना चाहिए।