Psychometric Calibration of Large Language Models for Multidimensional L2 Academic Writing Assessment: The LICA Framework

भाषा सीखने की दुनिया में, एक शैक्षणिक निबंध लिखना एक जटिल कार्य है। यह केवल शब्दों को सही ढंग से लिखने या व्याकरण संबंधी त्रुटियों के बिना वाक्यों को व्यवस्थित करने के बारे में नहीं है। सफल होने के लिए, एक छात्र को मजबूत विचार भी विकसित करने चाहिए, उन विचारों को सहजता से जोड़ना चाहिए ताकि पाठ तार्किक रूप से प्रवाहित हो सके, और एक ऐसी शैली अपनानी चाहिए जो विद्वत्तापूर्ण चर्चा की गंभीर और निष्पक्ष अपेक्षाओं के अनुकूल हो। दशकों से, शिक्षक इन निबंधों का निष्पक्ष और सुसंगत रूप से मूल्यांकन करने के लिए संघर्ष करते रहे हैं। मानवीय निर्णय मूल्यवान है, लेकिन यह धीमा, महंगा और थकान के प्रति संवेदनशील भी है, जिससे अलग-अलग शिक्षकों द्वारा एक ही कार्य के लिए अलग-अलग अंक दिए जाने की संभावना बनी रहती है। इसने ऐसे कंप्यूटरों की मांग पैदा कर दी है जो लेखन को स्वचालित रूप से पढ़ सकें और ग्रेड दे सकें।

हाल ही में, 'लार्ज लैंग्वेज मॉडल्स' (large language models) के रूप में शक्तिशाली कृत्रिम बुद्धिमत्ता (AI) प्रणालियाँ उभरी हैं। ये उसी प्रकार की तकनीक हैं जो बातचीत कर सकती हैं, कहानियाँ लिख सकती हैं, या प्रश्नों के उत्तर दे सकती हैं। क्योंकि वे मानवीय भाषा को इतनी अच्छी तरह समझ सकती हैं, शोधकर्ताओं ने सोचने शुरू किया कि क्या वे एक निष्पक्ष और सटीक शिक्षक के रूप में भी कार्य कर सकती हैं, और छात्रों के निबंधों को ठीक वैसे ही ग्रेड दे सकती हैं जैसे एक मनुष्य देता है। उम्मीद यह थी कि ये मशीनें एक साथ हजारों छात्रों को तत्काल फीडबैक प्रदान कर सकेंगी। हालाँकि, एक महत्वपूर्ण प्रश्न अनुत्तरित रह गया था: क्या ये मशीनें वास्तव में यह समझती हैं कि लेखन को अच्छा क्या बनाता है, या वे केवल ऐसे नंबरों का अनुमान लगा रही हैं जो सही दिखते हैं? यह पता लगाने के लिए, पेगा मेरिखी (Pegah Merrikhi) नामक एक शोधकर्ता ने आज उपलब्ध तीन सबसे उन्नत AI प्रणालियों को मानवीय निर्णय के स्वर्ण मानक (gold standard) के विरुद्ध परखने का निर्णय लिया।

यह अध्ययन एक विशिष्ट ढांचे पर केंद्रित था जिसे LICA कहा जाता है, जो एक निबंध की गुणवत्ता को चार अलग-अलग भागों में विभाजित करता है। पहला भाग 'भाषा' (Language) है, जो व्याकरण और शब्दावली को देखता है। दूसरा 'विचार' (Ideas) है, जो यह मापता है कि तर्क कितने गहरे और सुदृढ़ हैं। तीसरा 'सामंजस्य' (Cohesion) है, जो यह जाँचता है कि वाक्य और अनुच्छेद एक-दूसरे से कितनी अच्छी तरह जुड़े हुए हैं। अंतिम भाग 'शैक्षणिक उपयुक्तता' (Academic Appropriateness) है, जो यह निर्णय लेता है कि लेखन एक गंभीर विद्वान की तरह लगता है या एक अनौपचारिक बातचीत की तरह। शोधकर्ता ने द्वितीय-भाषा शिक्षार्थियों द्वारा लिखे गए पाँच निबंध लिए और तीन अलग-अलग AI प्रणालियों—GPT-4o, Claude 3.5 Sonnet, और Gemini 1.5 Pro—को प्रत्येक निबंध को इन चार पैमानों पर ग्रेड देने के लिए कहा। साथ ही, एक मानव विशेषज्ञ ने "सही" स्कोर प्रदान किए। लक्ष्य यह देखना था कि मशीनें मानव विशेषज्ञ के साथ कितनी निकटता से मेल खाती हैं और वे एक-दूसरे के साथ कैसे तुलना करती हैं।

परिणामों ने इस विशिष्ट, छोटे पैमाने के परीक्षण में आश्चर्यजनक सटीकता के साथ-साथ स्पष्ट व्यक्तित्वों की एक कहानी उजागर की। एक AI प्रणाली, GPT-4o, उपयोग किए गए पाँच निबंधों पर इस प्रारंभिक अंशांकन (calibration) में पूर्ण सटीकता के साथ प्रदर्शन करती है। इसने इस सीमित डेटा सेट के लिए मानव विशेषज्ञ के स्कोर के साथ हर निबंध और हर श्रेणी में बिल्कुल सटीक मिलान किया, जिससे इसने मानव विशेषज्ञ के निर्णय को प्रभावी रूप से दोहरा दिया। दूसरी प्रणाली, Claude 3.5 Sonnet, भी मानव विशेषज्ञ के बहुत करीब थी, लेकिन इसमें थोड़ा उदार होने की प्रवृत्ति देखी गई। विचारों के प्रवाह और शैक्षणिक शैली को ग्रेड देते समय, इसने ऐसे अंक दिए जो मानव विशेषज्ञ द्वारा दिए जाने वाले अंकों से थोड़े अधिक थे। यह गलत नहीं था, लेकिन यह थोड़ा उदार था।

तीसरी प्रणाली, Gemini 1.5 Pro, ने एक अलग पैटर्न दिखाया। जबकि यह इस बात को परखने में बहुत अच्छी थी कि अनुच्छेद आपस में कैसे जुड़ते हैं, यह मानव विशेषज्ञ की तुलना में अधिक सख्त रही। जब छात्र के विचारों की गहराई और शैक्षणिक शैली की उपयुक्तता का मूल्यांकन करने की बात आई, तो इसने मानव विशेषज्ञ की तुलना में काफी कम अंक दिए। इससे पता चलता है कि हालांकि मशीन लेखन की संरचना को देख सकती थी, लेकिन वह विषय-वस्तु और लेखक की आवाज़ के प्रति कठोर थी।

शायद सबसे महत्वपूर्ण निष्कर्ष यह नहीं था कि मशीनें मनुष्यों के साथ कैसे तुलना करती हैं, बल्कि यह था कि वे एक-दूसरे के साथ कैसे तुलना करती हैं। जब तीनों AI प्रणालियों ने बिना किसी मानवीय सहायता के निबंधों को ग्रेड दिया, तो वे भाषा के तकनीकी पहलुओं और पाठ के प्रवाह पर लगभग पूरी तरह से सहमत थीं। हालाँकि, शैक्षणिक शैली और विचारों की गुणवत्ता को आंकने के मामले में वे एक-दूसरे से असहमत रहीं। इस प्रश्न पर कि क्या लेखन विश्वविद्यालय परिवेश के लिए उपयुक्त था, मशीनें अक्सर असहमत हुईं, जहाँ एक उदार थी और दूसरी सख्त। यह इंगित करता है कि हालांकि ये प्रणालियाँ व्याकरण और संरचना को पहचानने में उत्कृष्ट हैं, फिर भी उनमें एक साझा, एकीकृत समझ की कमी है कि एक शैक्षणिक तर्क को सही कैसे बनाया जाता है।

अध्ययन यह निष्कर्ष निकालता है कि ये कृत्रिम बुद्धिमत्ता उपकरण उपयोगी होने के लिए पर्याप्त शक्तिशाली हैं, लेकिन वे अभी तक पूरी तरह से मानव शिक्षकों को बदलने के लिए तैयार नहीं हैं। वे ग्रेडिंग के यांत्रिक हिस्सों को बड़ी गति और सटीकता के साथ संभाल सकते हैं, लेकिन उनमें अभी भी शैक्षणिक लेखन की सूक्ष्म सामाजिक और सांस्कृतिक बारीकियों को आंकने के लिए आवश्यक निरंतर मानवीय अंतर्ज्ञान की कमी है। शोधकर्ता का सुझाव है कि सबसे अच्छा दृष्टिकोण यह है कि इन मशीनों का उपयोग सहायकों के रूप में किया जाए जो फीडबैक का एक प्रारंभिक मसौदा प्रदान करें, जबकि अंतिम निर्णय के लिए एक मानव शिक्षक को प्रक्रिया में शामिल रखा जाए, विशेष रूप से लेखन के अधिक जटिल पहलुओं पर। यह सुनिश्चित करता है कि छात्रों को मानवीय समझ की गहराई खोए बिना स्वचालन (automation) की गति प्राप्त हो।