Estimating Exam Item Difficulty with LLMs: A Benchmark on Brazil's ENEM Corpus
यह शोध पत्र ब्राजील की ENEM परीक्षा के विरुद्ध दस LLMs का बेंचमार्किंग करता है ताकि यह प्रकट किया जा सके कि हालांकि वे प्रश्नों की कठिनाई को मध्यम रूप से रैंक कर सकते हैं, लेकिन वे व्यवस्थित रूप से आइटम की कठोरता को कम आंकते हैं, मल्टीमॉडल सामग्री के साथ संघर्ष करते हैं, और व्यक्तिगत मूल्यांकन के लिए आवश्यक प्रासंगिक लचीलेपन (contextual plasticity) का अभाव रखते हैं, जो यह सुझाव देता है कि वे आधिकारिक जनरेटर के बजाय कैलिब्रेटेड स्क्रीनर के रूप में सबसे उपयुक्त हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो एक नया गणित का टेस्ट बनाने की कोशिश कर रहे हैं। आपके पास एक सुपर-स्मार्ट रोबोट सहायक (एक AI) है जो आपके लिए प्रश्न लिख सकता है। लेकिन छात्रों को टेस्ट देने से पहले, आपको यह जानना होगा: क्या यह प्रश्न बहुत आसान है? या बहुत कठिन?
पारंपरिक रूप से, शिक्षक इसका उत्तर देने के लिए पहले हजारों छात्रों को यह टेस्ट देते हैं, उनके परिणामों को ग्रेड करते हैं, और कठिनाई का पता लगाने के लिए जटिल गणित का उपयोग करते हैं। इसमें बहुत समय लगता है और बहुत पैसा खर्च होता है।
यह शोध पत्र एक सरल प्रश्न पूछता है: क्या हम बस AI से पूछ सकते हैं, "यह प्रश्न कितना कठिन है?" और उसके उत्तर पर भरोसा कर सकते हैं?
शोधकर्ताओं ने इस विचार का परीक्षण ब्राजील की एक विशाल राष्ट्रीय हाई स्कूल परीक्षा (ENEM) का उपयोग करके किया, जिसमें 1,000 से अधिक वास्तविक प्रश्न हैं। उन्होंने दस अलग-अलग AI मॉडलों से इन प्रश्नों की कठिनाई का अनुमान लगाने के लिए कहा और उनके अनुमानों की तुलना मानव विशेषज्ञों द्वारा गणना किए गए "आधिकारिक" कठिनाई स्कोर से की।
यहाँ उन्हें क्या मिला, जिसे रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है:
1. "रैंकिंग में अच्छा, नंबरों में बुरा" वाली समस्या
AI मॉडल ऐसे छात्र की तरह हैं जो किताबों को उनके आकार के अनुसार क्रम में रखने में तो बहुत अच्छे हैं लेकिन स्केल से उन्हें मापने में बहुत खराब हैं।
- अच्छी खबर: यदि आप AI को 10 प्रश्नों को "सबसे आसान" से "सबसे कठिन" के क्रम में लगाने के लिए कहते हैं, तो वह एक अच्छा काम करता है। वह बता सकता है कि प्रश्न A, प्रश्न B से कठिन है।
- बुरी खबर: यदि आप AI से पूछते हैं, "1 से 10 के पैमाने पर, यह कितना कठिन है?", तो वह लगातार गलत होता है। वह लगभग हमेशा प्रश्नों को वास्तव में होने की तुलना में अधिक आसान समझता है। यह वैसा ही है जैसे कोई व्यक्ति सोचता है कि मैराथन केवल एक "हल्की दौड़" है क्योंकि उसने कभी दौड़ लगाई ही नहीं है।
2. "आंखों पर पट्टी" का प्रभाव (विजुअल्स बनाम टेक्स्ट)
कई परीक्षा प्रश्नों में चित्र, ग्राफ या चार्ट होते हैं। चूंकि कुछ AI चित्र "देख" नहीं सकते, इसलिए शोधकर्ताओं को चित्रों का शब्दों में वर्णन करना पड़ा (जैसे एक अंधा व्यक्ति अपने दोस्त को एक पेंटिंग का वर्णन करता है)।
- परिणाम: जब AI को केवल चित्र के टेक्स्ट विवरण के आधार पर कठिनाई का अनुमान लगाना था, तो वह भ्रमित हो गया। वह केवल टेक्स्ट वाले प्रश्नों की तुलना में इन प्रश्नों को समझने में बहुत खराब साबित हुआ।
- उपमा: कल्पना कीजिए कि आप एक पहेली के टुकड़ों का वर्णन पढ़कर यह अनुमान लगाने की कोशिश कर रहे हैं कि पहेली कितनी कठिन है, बजाय इसके कि आप खुद पहेली को देखें। आप एक महत्वपूर्ण सुराग मिस कर सकते हैं, जिससे पहेली वास्तविक तुलना में आसान या कठिन लग सकती है।
3. "एक ही सांचे में ढलने" का जाल (छात्रों की पृष्ठभूमि)
शोधकर्ता यह देखना चाहते थे कि क्या AI अपने उत्तर को इस आधार पर बदल सकता है कि टेस्ट कौन दे रहा है। उन्होंने AI से पूछा: "फिनलैंड के छात्र के लिए यह कितना कठिन है?" बनाम "ब्राजील के छात्र के लिए यह कितना कठिन है?"
- परिणाम: AI ने अपना विचार बहुत कम बदला। वह इन बदलावों के प्रति काफी हद तक "बहरा" (tone-deaf) था।
- उपमा: कल्पना कीजिए कि एक शेफ सूप बनाता है। यदि आप उससे पूछते हैं, "क्या यह सूप एक बच्चे के लिए बहुत नमकीन है?" या "क्या यह एक बॉडीबिल्डर के लिए बहुत नमकीन है?", तो शेफ बस कंधे उचका देता है और कहता है, "यह वही सूप है।" AI यह नहीं समझ पाया कि अलग-अलग छात्रों की अलग-अलग पृष्ठभूमि और ज्ञान का स्तर होता है। वह अलग-अलग लोगों के अनुकूल अपना "कठिनाई मीटर" नहीं बदल सका।
4. "प्रॉम्प्ट" का खेल (आप कैसे पूछते हैं, यह मायने रखता है)
शोधकर्ताओं ने अलग-अलग तरीकों से पूछकर देखा। कभी उन्होंने बस कहा, "इसे रेट करें।" अन्य बार, उन्होंने कहा, "एक गणित शिक्षक की तरह व्यवहार करें, स्टेप-बाय-स्टेप सोचें, और फिर इसे रेट करें।"
- परिणाम: जिस तरह से आप प्रश्न पूछते हैं, उससे उत्तर काफी बदल जाता है। कुछ "सोचने वाले" प्रॉम्प्ट्स ने AI को रैंकिंग सही करने में मदद की, लेकिन वे इस समस्या को ठीक नहीं कर सके कि वह हर चीज़ को बहुत आसान समझता है।
- उपमा: यह किसी दोस्त से फिल्म की सिफारिश मांगने जैसा है। यदि आप पूछते हैं, "एक अच्छी फिल्म कौन सी है?", तो वह कॉमेडी कह सकता है। यदि आप पूछते हैं, "मंगलवार की बारिश वाली रात के लिए कौन सी अच्छी फिल्म है?", तो वह थ्रिलर कह सकता है। AI का उत्तर इस बात पर निर्भर करता है कि आप प्रश्न कैसे पूछते हैं।
मुख्य निष्कर्ष: "स्क्रीनिंग" टूल
शोध पत्र यह निष्कर्ष निकालता है कि हमें इन AI मॉडलों को ओरेकल (Oracles) (सर्वज्ञ देवता जो सटीक उत्तर देते हैं) के रूप में नहीं, बल्कि स्क्रीनर्स (Screeners) (एक शुरुआती फिल्टर) के रूप में मानना चाहिए।
- सिफारिश: AI का उपयोग नए प्रश्नों के ढेर को जल्दी से स्कैन करने के लिए करें और यह कहने के लिए करें, "हे, यह वाला शायद बहुत आसान लग रहा है, और यह वाला बहुत कठिन लग सकता है।"
- सावधानी: आप AI के सटीक नंबर पर भरोसा नहीं कर सकते। आपको इसके "बायस" (यह समझना कि यह कठिनाई को कम आंकता है) को ठीक करना होगा और आपको चित्रों वाले प्रश्नों की जांच एक इंसान द्वारा करवानी होगी।
संक्षेप में: AI एक सहायक है जो आपको "आसान" प्रश्नों को "कठिन" से अलग करने में मदद कर सकता है, लेकिन यह अभी तक यह तय करने के लिए तैयार नहीं है कि कोई प्रश्न वास्तव में कितना कठिन है, और न ही यह विभिन्न प्रकार के छात्रों की विशिष्ट आवश्यकताओं को समझने के लिए तैयार है। हमें इसे कैलिब्रेट करने और इसमें मानव हस्तक्षेप बनाए रखने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।