LLM-as-Judge in Education: A Curriculum-Grounded Marking Pipeline
यह शोध पत्र एक पाठ्यक्रम-आधारित, कॉन्फ़िगर करने योग्य LLM-as-Judge पाइपलाइन प्रस्तुत करता है जो व्यवस्थित रूप से स्वचालित प्रश्न-स्तरीय अंकन को अधिकृत शैक्षिक मानकों और पाठ्यक्रम संबंधी कलाकृतियों के साथ संरेखित करता है, जिससे परीक्षा की तैयारी के लिए अधिक पता लगाने योग्य औचित्य प्रदान करते हुए मानव ट्यूटरों के तुलनीय निरंतरता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो सैकड़ों परीक्षा पत्रों की जाँच कर रहे हैं। आपके पास एक बहुत ही विशिष्ट नियम पुस्तिका (पाठ्यक्रम) है और अंक देने के लिए कुछ दिशा-निर्देश हैं। लेकिन आप थके हुए हैं, आपका शेड्यूल व्यस्त है, और कभी-कभी आपका मूड या किसी छात्र की खराब लिखावट अनजाने में आपकी ग्रेडिंग को प्रभावित कर सकती है। आप निष्पक्ष, सुसंगत और तेज़ होना चाहते हैं, लेकिन यह सब हाथ से करना थका देने वाला है।
यह शोध पत्र यह परिचय देता है कि AI (आर्टिफिशियल इंटेलिजेंस) का उपयोग करके इन परीक्षाओं को ग्रेड करने में मदद करने का एक नया तरीका क्या है, लेकिन इसमें एक बहुत ही महत्वपूर्ण मोड़ है: AI केवल अनुमान नहीं लगा रहा है; यह एक सख्त, पूर्व-अनुमोदित मानचित्र का पालन कर रहा है।
यहाँ यह प्रणाली कैसे काम करती है, इसे सरल अवधारणाओं में विभाजित किया गया है:
1. समस्या: "ब्लैक बॉक्स" ग्रेडर
आमतौर पर, जब लोग ग्रेडिंग के लिए AI का उपयोग करते हैं, तो वे बस AI से पूछते हैं, "यहाँ एक छात्र का उत्तर है, इसे एक स्कोर दें।" यह एक शेफ से बिना रेसिपी दिए खाना बनाने के लिए कहने जैसा है। AI एक स्वादिष्ट व्यंजन बना सकता है, या यह कुछ ऐसा बिल्कुल अलग बना सकता है जो स्कूल ने चाहा था। यह अपनी "राय" के आधार पर ग्रेड दे सकता है न कि आधिकारिक नियमों के आधार पर। यह उन बड़ी परीक्षाओं के लिए जोखिम भरा है जहाँ हर अंक मायने रखता है।
2. समाधान: "करिकुलम-ग्राउंडेड" (पाठ्यक्रम-आधारित) पाइपलाइन
लेखकों ने एक ऐसी प्रणाली बनाई है जहाँ AI केवल स्वतंत्र रूप से "सोचता" नहीं है। इसके बजाय, यह एक अत्यंत व्यवस्थित लाइब्रेरियन की तरह कार्य करता है जिसे हर एक चरण की आधिकारिक लाइब्रेरी बुक्स (पाठ्यक्रम) के विरुद्ध जाँच करनी होती है।
ग्रेडिंग प्रक्रिया को तीन मुख्य स्टेशनों वाले एक फैक्ट्री असेंबली लाइन के रूप में सोचें:
स्टेशन 1: डिटेक्टिव (सिलेबस मिलान)
ग्रेडिंग से पहले, सिस्टम परीक्षा के प्रश्न को देखता है और पूछता है: "यह वास्तव में क्या पूछ रहा है?" यह अनुमान नहीं लगाता। यह आधिकारिक स्कूल नियमों के डेटाबेस को खोजता है ताकि उन विशिष्ट विषयों, कौशलों और शब्दावली को ढूंढ सके जिनका परीक्षण यह प्रश्न करने के लिए बनाया गया है। यह एक जासूस की तरह है जो फिंगरप्रिंट को पुलिस डेटाबेस में एक विशिष्ट फ़ाइल से मिलाता है।स्टेशन 2: आर्किटेक्ट (रूब्रिक बनाना)
एक बार जब सिस्टम जान जाता है कि प्रश्न किस बारे में है, तो वह उस विशिष्ट प्रश्न के लिए एक कस्टम "स्कोरकार्ड" (रूब्रिक) बनाता है। यह शब्दों (जैसे "व्याख्या करें" या "विश्लेषण करें") की आधिकारिक शब्दकोश परिभाषाओं का उपयोग करता है ताकि यह सुनिश्चित हो सके कि वह ठीक से जानता है कि छात्र को क्या करने की आवश्यकता है। यह आधिकारिक "बैंड डिस्क्रिप्टर्स" (जो यह बताते हैं कि एक "अच्छा" उत्तर बनाम एक "महान" उत्तर कैसा दिखता है) की भी जाँच करता है।- उपमा: कल्पना कीजिए कि एक कुकिंग प्रतियोगिता में एक जज है। केवल यह कहने के बजाय कि "यह स्वादिष्ट है," जज के पास एक विशिष्ट चेकलिस्ट होती है: "क्या उन्होंने नमक डाला? क्या उन्होंने इसे 10 मिनट तक पकाया? क्या प्लेटिंग सही है?" यह सिस्टम स्वचालित रूप से हर एक प्रश्न के लिए वह चेकलिस्ट बनाता है।
स्टेशन 3: ऑडिटर (सत्यापन)
अंतिम स्कोर देने से पहले, AI स्वयं की जाँच करता है। वह पूछता है, "क्या मैंने वास्तव में सही नियमों की जाँच की? क्या मैंने कुछ छोड़ दिया?" यह सुनिश्चित करता है कि इसके द्वारा दिया गया स्कोर आधिकारिक दस्तावेजों द्वारा समर्थित है, न कि केवल AI की अंतरात्मा की भावना से।
3. यह गलतियों और बारीकियों को कैसे संभालता है
इस पेपर ने इस प्रणाली का मानव ट्यूटर्स (शिक्षकों) के विरुद्ध परीक्षण किया। यहाँ उन्हें क्या पता चला:
- स्कोर: AI ने ऐसे स्कोर दिए जो मानव ट्यूटर्स के बहुत समान थे।
- "क्यों": यही सबसे बड़ा अंतर है। जब एक मानव ट्यूटर कहता है, "आपको 5 में से 3 मिले," तो वे शायद एक संक्षिप्त नोट लिख देते हैं। जब यह AI सिस्टम कहता है, "आपको 5 में से 3 मिले," तो यह उस सटीक वाक्य की ओर इशारा कर सकता है जो आधिकारिक नियम पुस्तिका में मौजूद है जो यह समझाता है कि आपने वे दो अंक क्यों खोए। यह एक GPS की तरह है जो न केवल आपको बताता है कि आप रास्ता भटक गए हैं, बल्कि यह भी दिखाता है कि आपने कौन सा सटीक मानचित्र मार्ग मिस कर दिया है।
पेपर से दो वास्तविक जीवन के उदाहरण:
- खराब लिखावट का मामला: एक छात्र ने एक बेहतरीन उत्तर लिखा लेकिन उसकी स्पेलिंग बहुत खराब थी। एक मानव शिक्षक ने इसे 0 दिया क्योंकि वे इसे पढ़ नहीं पा रहे थे और समय बर्बाद नहीं करना चाहते थे। हालाँकि, AI ने "लाइनों के बीच पढ़ने" की कोशिश की, यह पता लगाया कि छात्र अवधारणा को समझता था, और उन्हें 1 अंक दिया। AI अव्यवस्था के प्रति अधिक उदार था लेकिन वास्तविक सामग्री पर सख्त था।
- "चर्चा करें" (Discuss) का मामला: एक प्रश्न में छात्रों से एक विषय पर "चर्चा करने" के लिए कहा गया। आधिकारिक नियम पुस्तिका कहती है कि "चर्चा करने" का अर्थ है कि आपको तर्क के दोनों पक्षों को देखना होगा। एक छात्र ने केवल नकारात्मक पक्ष के बारे में लिखा लेकिन उसने इसे बहुत अच्छी तरह से किया। मानव शिक्षक ने उन्हें 4/4 (पूर्ण अंक) दिए क्योंकि उत्तर बहुत अच्छा था। AI ने उन्हें 1/4 दिया क्योंकि उसने उस नियम का सख्ती से पालन किया जिसमें कहा गया था कि, "आपने दूसरा पक्ष छोड़ दिया।" यह दिखाता है कि AI एक सख्त नियम-पालक है, जो निरंतरता के लिए अच्छा है लेकिन वह "बड़ी तस्वीर" की प्रतिभा को मिस कर सकता है जो एक इंसान देख पाता है।
4. वास्तविक दुनिया का परीक्षण
टीम ने इस प्रणाली को एक वास्तविक ऑनलाइन अध्ययन मंच में डाला जिसका उपयोग हजारों हाई स्कूल छात्रों द्वारा किया जाता है।
- परिणाम: यह सुचारू रूप से काम किया। हजारों उत्तरों की ग्रेडिंग के दौरान, केवल लगभग 3% को ही मानव द्वारा मैन्युअल रूप से बदला गया। इसका मतलब है कि सिस्टम पर इतना भरोसा किया गया कि मनुष्यों को हस्तक्षेप करने या इसे ठीक करने की आवश्यकता बहुत कम महसूस हुई।
- सुरक्षा: सिस्टम ने उन छात्रों को भी सफलतापूर्वक रोका जिन्होंने इसे "प्रॉम्प्ट इंजेक्शन" (उच्च स्कोर पाने के लिए AI को चकमा देने की कोशिश) के माध्यम से धोखा देने की कोशिश की, और स्वचालित रूप से उन्हें शून्य अंक दे दिया।
मुख्य निष्कर्ष
यह पेपर यह नहीं कहता कि AI पूर्ण है या यह हमेशा के लिए शिक्षकों की जगह ले लेगा। इसके बजाय, यह दिखाता है कि यदि आप AI को एक सख्त, नियम का पालन करने वाले सहायक के रूप में बनाते हैं जो लगातार आधिकारिक स्कूल नियम पुस्तिका के विरुद्ध जांचा जाता है, तो यह परीक्षाओं को निष्पक्ष और सुसंगत रूप से ग्रेड कर सकता है।
यह AI के "ब्लैक बॉक्स" को एक पारदर्शी, ऑडिट योग्य पाइपलाइन में बदल देता है। आप AI के काम को देख सकते हैं और देख सकते हैं कि उसने स्कोर देने के लिए किस नियम का उपयोग किया, जिससे यह छात्रों को बड़ी परीक्षाओं के लिए तैयार करने में मदद करने के लिए एक भरोसेमंद उपकरण बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।