Automated item evaluation: Predicting item acceptance and rejection using LLM-generated critiques

कल्पना कीजिए कि आप एक शिक्षक हैं जिसे हर हफ्ते हजारों होमवर्क असाइनमेंट ग्रेड करने होते हैं। कुछ शानदार हैं, कुछ भ्रमित करने वाले हैं, और कुछ बिल्कुल गलत हैं। आमतौर पर, आपको यह तय करने के लिए उनमें से प्रत्येक को पढ़ना पड़ता है कि किन्हें रखना है और किन्हें फेंक देना है। यह धीमा, महंगा और थका देने वाला है। अब, एक सुपर-स्मार्ट रोबोट सहायक की कल्पना करें जो उन असाइनमेंट को पढ़ सकता है और आपको बता सकता है, "हे, यह वाला जोखिम भरा लग रहा है, शायद इसे इस्तेमाल न करें," इससे पहले कि आप उसे ग्रेड करने में अपना समय खर्च करें। यही ऑटोमेटेड आइटम इवैल्यूएशन (AIE) की दुनिया है। यह शैक्षिक प्रौद्योगिकी की एक शाखा है जो यह उपयोग करने की कोशिश करती है कि कंप्यूटर टेस्ट प्रश्नों (जिन्हें "आइटम" कहा जाता है) की गुणवत्ता का निर्णय कैसे ले सके, बिना किसी मानव विशेषज्ञ द्वारा प्रत्येक को पढ़े या वास्तविक छात्रों पर इसका परीक्षण किए। सबसे बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या हम एक कंप्यूटर को केवल टेक्स्ट पढ़कर यह पहचानने के लिए सिखा सकते हैं कि एक "खराब" टेस्ट प्रश्न क्या है, जिससे हमें बाद में यह पता लगाने के सिरदर्द से बचाया जा सके कि प्रश्न खराब था?

यह शोध पत्र उस सुपर-स्मार्ट रोबोट सहायक को बनाने के बारे में है। शोधकर्ताओं, होटाका माएदा और यिकाई लू ने एक ऐसा सिस्टम बनाना चाहा जो एक टेस्ट प्रश्न को देख सके और भविष्यवाणी कर सके कि क्या इसे "स्वीकार" (जाने के लिए तैयार) किया जाएगा या "अस्वीकार" (इसे हटा दें) किया जाएगा, जो एक बड़े मानकीकृत परीक्षण कार्यक्रम के 52,759 वास्तविक प्रश्नों के विशाल डेटाबेस पर आधारित था। उन्होंने केवल कच्चे प्रश्नों को कंप्यूटर में नहीं डाला; उन्होंने एक चतुर तकनीक का उपयोग किया। उन्होंने एक बड़े लैंग्वेज मॉडल (एक प्रकार का AI जो लिख और सोच सकता है) से पहले प्रश्न की एक छोटी "आलोचना" या समीक्षा लिखने के लिए कहा, और फिर उस AI समीक्षा और मूल प्रश्न दोनों को अपने प्रेडिक्शन मॉडल में डाला। इसे एक छात्र को किताब का संक्षिप्त सारांश लिखने के लिए काम पर रखने जैसा समझें, इससे पहले कि आप खुद पूरी किताब पढ़ने का निर्णय लें।

परिणाम काफी उत्साहजनक थे, लेकिन कुछ महत्वपूर्ण चेतावनियों के साथ। "फ्यूजन मॉडल" (वह जो प्रश्न और AI आलोचना दोनों को देखता है) सबसे अच्छा प्रदर्शन करने वाला था। इसने कुल मिलाकर लगभग 75% बार सही उत्तर दिया। हालांकि, यह गणित के प्रश्नों के लिए एक सुपरहीरो की तरह था (73% बार सही होना), लेकिन अंग्रेजी भाषा कला (English Language Arts) के प्रश्नों के साथ थोड़ा संघर्ष करता था (केवल 51% सटीकता)। शोधकर्ताओं ने पाया कि यदि वे रोबोट को थोड़ा अधिक "पैरानॉयड" (शंकालु) बना दें—उसे यह बताने के लिए कि जो कुछ भी "खराब हो सकता है" उसे फ्लैग करें, बजाय इसके कि वह निश्चित रूप से बुरा होने का इंतजार करे—तो यह 90% खराब प्रश्नों को पकड़ सकता था, हालांकि यह कुछ अच्छे प्रश्नों को भी गलती से फ्लैग कर देगा।

सबसे महत्वपूर्ण बात यहाँ है: रोबोट उन प्रश्नों को पकड़ने में बहुत अच्छा था जो बहुत कठिन थे, जिनमें भ्रमित करने वाली शब्दावली थी, या जो पाठ्यक्रम से मेल नहीं खाते थे। हालाँकि, यह उन प्रश्नों को पकड़ने में बहुत खराब था जो पक्षपाती, अनुचित, या कुछ समूहों के प्रति संवेदनशील थे। शोध पत्र सुझाव देता है कि जबकि कंप्यूटर टेस्ट प्रश्न के "मैकेनिक्स" (तकनीकी पहलुओं) की जांच करने में बहुत अच्छे हो रहे हैं, उन्हें प्रश्नों के "हृदय" और निष्पक्षता की जांच करने के लिए अभी भी मानव शिक्षकों की आवश्यकता है। इसलिए, भविष्य मनुष्यों को बदलने के बारे में नहीं है, बल्कि उन्हें स्पष्ट कचरे को बाहर निकालने के लिए एक शक्तिशाली उपकरण देने के बारे में है ताकि वे वास्तव में कठिन और महत्वपूर्ण चीजों पर ध्यान केंद्रित कर सकें।

"खराब प्रश्न" डिटेक्टर की कहानी

समस्या: होमवर्क का पहाड़
एक मानकीकृत परीक्षण बनाना एक विशाल लेगो (Lego) महल बनाने जैसा है। आपको इसे खड़ा करने के लिए हजारों व्यक्तिगत ईंटों (प्रश्नों) की आवश्यकता होती है। लेकिन हर ईंट अच्छी नहीं होती। कुछ टूटी हुई हैं, कुछ गलत रंग की हैं, और कुछ बस फिट नहीं बैठतीं। पारंपरिक रूप से, विशेषज्ञों को हर एक ईंट उठानी पड़ती है, उसका निरीक्षण करना पड़ता है, और कभी-कभी यह देखने के लिए कि क्या वह काम करती है, बच्चों के एक समूह पर उसका परीक्षण भी करना पड़ता है। इसमें बहुत समय लगता है और बहुत पैसा खर्च होता है। ऑटोमेटेड आइटम जनरेशन के साथ AI के उदय के साथ, ईंटों का पहाड़ हर दिन बड़ा होता जा रहा है। हमें एक तरीके की आवश्यकता है जिससे हम हर एक को हाथ से जांचे बिना अच्छे और बुरे ईंटों को जल्दी से अलग कर सकें।

प्रयोग: दो-मस्तिष्क दृष्टिकोण
शोधकर्ताओं ने एक कंप्यूटर मस्तिष्क (विशेष रूप से DeBERTaV3-large नामक मॉडल) को यह छंटनी करने के लिए प्रशिक्षित करने का निर्णय लिया। उनके पास 52,759 प्रश्नों का एक विशाल डेटासेट था। लगभग 34% "अस्वीकृत" (खराब होने के कारण स्थायी रूप से हटा दिए गए) थे, और बाकी "स्वीकृत" थे।

उन्होंने कंप्यूटर को सिखाने के तीन अलग-अलग तरीके आजमाए:

1. द रॉ रीडर (The Raw Reader): उन्होंने कंप्यूटर को केवल प्रश्न का टेक्स्ट दिया।
2. द क्रिटिक (The Critic): उन्होंने एक अलग AI (Qwen3) से पहले प्रश्न की दो पंक्तियों की समीक्षा लिखने को कहा, फिर उस समीक्षा को कंप्यूटर को दिया।
3. द फ्यूजन मॉडल (The Fusion Model): उन्होंने दोनों को मिला दिया! उन्होंने कंप्यूटर को मूल प्रश्न और AI की समीक्षा दोनों दिए।

परिणाम: एक स्मार्ट, लेकिन त्रुटिपूर्ण, सहायक
"फ्यूजन मॉडल" स्पष्ट विजेता था। इसने 0.75 की सटीकता (जिसका अर्थ है कि यह 75% बार सही था) और 0.64 का F1 स्कोर प्राप्त किया।

• गणित बनाम अंग्रेजी: मॉडल गणित के प्रश्नों के लिए एक गणित का जादूगर था, जिसने गणित के प्रश्नों के लिए 0.73 का F1 स्कोर प्राप्त किया। लेकिन अंग्रेजी भाषा कला (ELA) के लिए, यह केवल 0.51 के F1 स्कोर के साथ लड़खड़ा गया। लेखक सुझाव देते हैं कि ऐसा इसलिए हो सकता है क्योंकि अंग्रेजी के प्रश्न अक्सर लंबे पठन अंशों (passages) पर निर्भर करते हैं, जिन्हें शोधकर्ताओं को डेटा से बाहर रखना पड़ा क्योंकि वे बहुत लंबे थे।
• "पैरानॉयड" सेटिंग: शोधकर्ताओं ने देखा कि यदि वे "अलार्म थ्रेशोल्ड" को 0.5 से घटाकर 0.25 कर देते हैं, तो मॉडल खराब प्रश्नों को पकड़ने में बहुत बेहतर हो जाता है। इसने 90% अस्वीकृत वस्तुओं को पकड़ा (गणित के लिए 0.90 की संवेदनशीलता और ELA के लिए 0.88)। ट्रेड-ऑफ क्या था? इसने कई अच्छे प्रश्नों को भी गलत तरीके से खराब के रूप में फ्लैग करना शुरू कर दिया (विशिष्टता/specificity गिर गई)। लेखक सुझाव देते हैं कि यह "पैरानॉयड" सेटिंग ऑटोमेटेड आइटम जनरेशन के लिए एकदम सही हो सकती है, जहाँ प्रश्न बनाना सस्ता है लेकिन उनकी समीक्षा करना महंगा है। यदि आप शुरुआत में ही 90% खराब प्रश्नों को पकड़ लेते हैं, तो आप बहुत समय बचाते हैं।

मॉडल ने क्या मिस किया: मानवीय स्पर्श
अपनी सफलता के बावजूद, मॉडल की एक कमजोरी थी। यह उन प्रश्नों को पहचानने में बहुत अच्छा था जो बहुत कठिन थे या जिनमें "साइकोमेट्रिक" (सांख्यिकीय) समस्याएं थीं। हालाँकि, यह पक्षपात, संवेदनशीलता, निष्पक्षता या सुलभता से संबंधित प्रश्नों का पता लगाने में काफी संघर्ष करता था। अंग्रेजी के प्रश्नों के लिए, मॉडल ने इनमें से केवल 27% मुद्दों को ही पकड़ा। लेखक बताते हैं कि ये गहरे मानवीय मुद्दे हैं। एक कंप्यूटर देख सकता है कि कोई शब्द कठिन है, लेकिन उसे यह एहसास नहीं हो सकता कि एक विशिष्ट कहानी किसी विशेष संस्कृति या समूह के लिए अपमानजनक हो सकती है। यह बताता है कि भले ही AI प्रश्नों के "मैकेनिक्स" को फिल्टर करने के लिए भारी काम कर सकता है, लेकिन निष्पक्षता के लिए मानव विशेषज्ञों की उपस्थिति अभी भी अनिवार्य है।

निष्कर्ष
यह शोध पत्र सुझाव देता है कि हम टेस्ट प्रश्नों का स्वचालित मूल्यांकन करने के लिए एक व्यापक उपकरण बना सकते हैं। एक प्रश्न के कच्चे टेक्स्ट को AI-जनरेटेड आलोचना के साथ जोड़कर, हम बेहतर भविष्यवाणी प्राप्त कर सकते है कि कोई प्रश्न पास होगा या फेल। यह कोई जादुई छड़ी नहीं है जो सब कुछ हल कर देती है—विशेष रूप से निष्पक्षता और पक्षपात के मामले में—लेकिन यह एक शक्तिशाली नया उपकरण है जो शिक्षाविदों और परीक्षण कंपनियों का बहुत सारा समय और पैसा बचा सकता है। परीक्षण का भविष्य में एक रोबोट द्वारा पहली छंटनी करना शामिल हो सकता है, जिससे मानव विशेषज्ञ उन प्रश्नों पर ध्यान केंद्रित कर सकें जिन्हें वास्तव में मानवीय हृदय के निर्णय की आवश्यकता है।