ArguLens: An Open-Source System for Automated Essay Scoring and Label-Aware Feedback Generation
यह शोध पत्र ArguLens प्रस्तुत करता है, जो एक ओपन-सोर्स, स्थानीय रूप से तैनात करने योग्य प्रणाली है जो इस प्रक्रिया को एक विमर्श-चाल (discourse-move) क्लासिफायर, एक विशेषता-आधारित स्कोरर और एक लेबल-जागरूक फीडबैक जनरेटर में विभाजित करके मौजूदा स्वचालित निबंध स्कोरिंग उपकरणों की सीमाओं को संबोधित करती है, जिससे डेटा गोपनीयता और व्याख्यात्मकता सुनिश्चित करते हुए PERSUADE 2.0 डेटासेट पर मजबूत प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक कक्षा की शांत गूँज में, एक शिक्षक एक छात्र के तर्कपूर्ण निबंध को पढ़ रहा है, वाक्यों के स्पष्टता, तर्क और शक्ति को तौल रहा है। दशकों से, कंप्यूटर इस मानवीय निर्णय की नकल करने की कोशिश कर रहे हैं, जिसे स्वचालित निबंध स्कोरिंग (automated essay scoring) के रूप में जाना जाता है। शुरुआती प्रयास शब्दों की गिनती या वाक्य की लंबाई जैसे सरल मापदंडों पर निर्भर थे, जबकि आधुनिक संस्करण जटिल न्यूरल नेटवर्क का उपयोग करते हैं जो 'ब्लैक बॉक्स' की तरह कार्य करते हैं, जो एक ग्रेड तो देते हैं लेकिन शायद ही कभी यह बताते हैं कि क्यों। यह एक दुविधा पैदा करता है: जो प्रणालियाँ सटीक होती हैं वे पारदर्शिता की कमी रखती हैं, जबकि जो स्पष्ट होती हैं उनमें सटीकता की कमी होती है। इसके अलावा, आज के सबसे शक्तिशाली उपकरणों के लिए आमतौर पर छात्र के लेखन को दूर स्थित कॉर्पोरेट सर्वरों पर भेजना पड़ता है, जिससे गोपनीयता और लागत संबंधी चिंताएं बढ़ती हैं। शोधकर्ताओं का लक्ष्य लंबे समय से एक ऐसा सिस्टम बनाना रहा है जो सटीक रूप से ग्रेड देने के लिए पर्याप्त स्मार्ट हो और अपना काम दिखाने के लिए पर्याप्त खुला हो, और साथ ही डेटा को स्कूल के अपने कंप्यूटरों के भीतर सुरक्षित रखे।
फूदान यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इस चुनौती को 'आर्ग्यूलेंस' (ArguLens) के साथ संबोधित किया है, जो एक नया ओपन-सोर्स सिस्टम है जिसे स्थानीय स्तर पर स्थापित करने के लिए डिज़ाइन किया गया है, ताकि छात्र के निबंध इंटरनेट पर न जाएं। एक ही बड़े कदम में ग्रेड का अनुमान लगाने के बजाय, यह सिस्टम कार्य को तीन अलग-अलग, प्रबंधनीय चरणों में विभाजित करता है। सबसे पहले, यह एक 'तर्कपूर्ण जासूस' (rhetorical detective) के रूप में कार्य करता है, जो प्रत्येक भाग के कार्य को पहचानने के लिए निबंध को वाक्य-दर-वाक्य पढ़ता है। यह तर्क में विशिष्ट चालों (moves) की तलाश करता है, जैसे कि दावा (claim), साक्ष्य (evidence), प्रति-तर्क (counter-argument), या खंडन (rebuttal)। ऐसा करने के लिए, यह एक विशेष वर्शन वाले लार्ज लैंग्वेज मॉडल का उपयोग करता है जिसे पूरे निबंध को फिर से लिखे बिना इन पैटर्न को पहचानने के लिए प्रशिक्षित किया गया है। एक बार जब सिस्टम तर्क की संरचना को समझ लेता है, तो यह दूसरे चरण की ओर बढ़ता है: स्कोरिंग। यहाँ, यह भारी भाषा मॉडल पर निर्भर नहीं रहता। इसके बजाय, यह इकतीस विशिष्ट विशेषताओं को गिनता है, जैसे कि उपयोग की गई शब्दावली की विविधता, वाक्य संरचनाओं की जटिलता, और उन तर्कपूर्ण चालों की आवृत्ति जिन्हें इसने अभी पहचाना है। इन संख्याओं को एक हल्के, अत्यधिक कुशल स्कोरिंग इंजन में डाला जाता है जो अंतिम ग्रेड की गणना करता है। तीसरा चरण फीडबैक उत्पन्न करना है। स्कोर और पहचाने गए तर्क संबंधी चालों का उपयोग करके, सिस्टम छात्र के लिए एक संरचित रिपोर्ट लिखता है, जो ताकतों की ओर इशारा करती है और विशिष्ट सुधारों का सुझाव देती है, और यह सुनिश्चित करती है कि सलाह रचनात्मक और वास्तविक पाठ पर आधारित हो।
शोधकर्ताओं ने इस सिस्टम का परीक्षण मध्य-विद्यालय के तर्कपूर्ण निबंधों के एक बड़े संग्रह पर किया, जिसमें संयुक्त राज्य अमेरिका के छात्रों द्वारा लिखे गए हजारों उदाहरण शामिल हैं। उन्होंने पाया कि तर्क के विभिन्न हिस्सों की पहचान करने में सिस्टम की क्षमता काफी मजबूत थी, जिसने अस्सी प्रतिशत से अधिक मामलों में वाक्यों के कार्य को सही ढंग से लेबल किया। हालांकि यह कभी-कभी मुख्य दावे को उसका समर्थन करने वाले साक्ष्य के साथ भ्रमित कर देता था—जो मनुष्यों के लिए भी एक सामान्य कठिनाई है—लेकिन इसने अधिकांश समय विभिन्न प्रकार के तर्कों के बीच सफलतापूर्वक अंतर किया। जब अंतिम ग्रेड देने की बात आई, तो सिस्टम ने मानव शिक्षकों के साथ सहमति का एक उच्च स्तर प्रदर्शित किया जिसे इस क्षेत्र में बहुत उच्च माना जाता है। शोधकर्ताओं ने पाया कि तर्क संबंधी चालों के बारे में संरचनात्मक जानकारी शामिल करने से अंतिम स्कोर की सटीकता में महत्वपूर्ण सुधार हुआ। जब उन्होंने केवल शब्दावली और वाक्य पैटर्न पर भरोसा करते हुए, इस संरचनात्मक ज्ञान के बिना सिस्टम का परीक्षण किया, तो सटीकता उल्लेखनीय रूप से गिर गई। यह सुझाव देता है कि तर्क कैसे बनाया गया है, यह समझना उतना ही महत्वपूर्ण है जितना कि यह जानना कि किन शब्दों का उपयोग किया गया है।
इस कार्य का सबसे महत्वपूर्ण पहलू केवल संख्याएँ नहीं, बल्कि इसका डिज़ाइन है। सिस्टम पारदर्शी और पुनरुत्पादक (reproducible) बनाने के लिए निर्मित है। प्रत्येक घटक, फीचर निकालने वाले कोड से लेकर मॉडल को प्रशिक्षित करने के लिए उपयोग किए गए विशिष्ट सेटिंग्स तक, निरीक्षण के लिए उपलब्ध है। शोधकर्ता इस बात के बीच अंतर करने में सावधानी बरतते रहे हैं कि सिस्टम पूर्ण जानकारी के साथ क्या कर सकता है और वास्तविक दुनिया में क्या कर सकता है। उन्होंने दिखाया कि यदि सिस्टम को पहले से ही सटीक तर्क संरचना का पता हो, तो वह उच्च सटीकता के साथ ग्रेड दे सकता है, लेकिन उन्होंने यह भी स्वीकार किया कि एक वास्तविक कक्षा में, सिस्टम को उस संरचना की भविष्यवाणी स्वयं करनी होगी। उन्होंने मानक कंप्यूटर हार्डवेयर पर प्रत्येक चरण के समय को मापा, जिसमें पाया गया कि ग्रेडिंग चरण लगभग तात्कालिक था, जबकि तर्क संरचना का विश्लेषण एक विशिष्ट निबंध के लिए एक सेकंड से थोड़ा अधिक समय लेता है। फीडबैक जनरेशन चरण, जो लिखित टिप्पणियाँ तैयार करता है, को लचीला बनाया गया है, जो स्थानीय सर्वरों पर चल सकता है या आवश्यकतानुसार बाहरी सेवाओं से जुड़ सकता है, हालांकि इस प्रारंभिक रिलीज़ में उस अंतिम चरण की विशिष्ट गति को नहीं मापा गया था।
टीम अपने निर्माण की सीमाओं के बारे में स्पष्ट है। सिस्टम को विशेष रूप से अमेरिकी मध्य और उच्च विद्यालय के छात्रों द्वारा लिखे गए निबंधों पर प्रशिक्षित किया गया था, और शोधकर्ता चेतावनी देते हैं कि इसका उपयोग अन्य प्रकार के लेखन, जैसे रचनात्मक कहानियों या वैज्ञानिक रिपोर्टों को ग्रेड देने के लिए बिना अतिरिक्त प्रशिक्षण के नहीं किया जाना चाहिए। वे यह भी नोट करते हैं कि इस सिस्टम का परीक्षण आंशिक प्रारूपों (drafts) पर नहीं किया गया है, केवल पूर्ण निबंधों पर किया गया है, जो महत्वपूर्ण है यदि कोई शिक्षक लेखन प्रक्रिया के दौरान निरंतर मार्गदर्शन के लिए इसका उपयोग करना चाहता है। शायद सबसे महत्वपूर्ण बात यह है कि शोधकर्ता इस बात पर जोर देते हैं कि हालांकि सिस्टम सटीक है, लेकिन यह उच्च-दांव वाली स्थितियों में मानवीय निर्णय का विकल्प नहीं है। इसे शिक्षकों की सहायता के लिए एक उपकरण के रूप में बनाया गया है, जो एक दूसरा विचार और विस्तृत विवरण प्रदान करता है जो छात्रों को अपने लेखन को समझने में मदद कर सकता है। पूरे सिस्टम को खुला और मुफ्त बनाकर, शोधकर्ता अन्य शिक्षकों और वैज्ञानिकों को अपने काम पर आगे बढ़ने, इसे विभिन्न संदर्भों और भाषाओं में परीक्षण करने और अंततः अपने फीडबैक को परिष्कृत करने के लिए प्रोत्साहित करने की आशा करते हैं ताकि यह सुनिश्चित हो सके कि यह प्रत्येक शिक्षार्थी को सुधारने में मदद करे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।