Take Out Your Calculators: Estimating the Real Difficulty of Question Items with LLM Student Simulations
यह शोध पत्र यह प्रदर्शित करता है कि आइटम रिस्पॉन्स थ्योरी (IRT) मॉडलों के अनुरूप फिट होने के लिए ओपन-सोर्स लार्ज लैंग्वेज मॉडल्स के साथ विविध छात्र कक्षाओं का अनुकरण करना, मानकीकृत गणितीय प्रश्नों की वास्तविक दुनिया की कठिनाई का प्रभावी ढंग से पूर्वानुमान लगा सकता है, जो 0.82 तक का सहसंबंध प्राप्त करता है और यह प्रकट करता है कि कमजोर गणितीय क्षमताओं वाले मॉडल अक्सर मजबूत मॉडलों की तुलना में बेहतर भविष्यवाणियां प्रदान करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो अपने छात्रों के लिए एक नया गणित का टेस्ट बनाने की कोशिश कर रहे हैं। इसे बांटने से पहले, आपको यह जानना होगा: क्या यह सवाल बहुत कठिन है? क्या यह बहुत आसान है? या क्या यह बिल्कुल सही है?
परंपरागत रूप से, उत्तर खोजने के लिए, आपको सैकड़ों वास्तविक बच्चों को यह टेस्ट देना होगा, उनके टेस्ट देने का इंतज़ार करना होगा, उन्हें ग्रेड करना होगा और आंकड़ों की गणना करनी होगी। यह महंगा है, धीमा है और इसमें हफ्तों लग जाते हैं।
यह शोध पत्र एक साहसी प्रश्न पूछता है: क्या हम यह अनुमान लगाने के लिए कि किसी प्रश्न की कठिनाई कितनी है, AI रोबोटों की एक "डिजिटल क्लासरूम" का उपयोग कर सकते हैं, जिससे हमारा समय और पैसा बच सके?
यहाँ इस कहानी का विवरण दिया गया है कि उन्होंने इसे कैसे आज़माया, उन्होंने क्या खोजा, और उन्हें कौन से आश्चर्यजनक मोड़ मिले।
1. "क्रिस्टल बॉल" जो काम नहीं आया
सबसे पहले, शोधकर्ताओं ने स्पष्ट दृष्टिकोण अपनाया। उन्होंने AI से पूछा: "हे, इस गणित के सवाल को देखो। 4थी कक्षा के बच्चे के लिए यह 1 से 10 के पैमाने पर कितना कठिन है?"
परिणाम: AI इसमें बहुत बुरा था। यह एक पेशेवर शेफ से बिना चखे यह अंदाज़ा लगाने के लिए पूछने जैसा था कि व्यंजन कितना तीखा है। AI ने केवल शब्दों को देखा और अनुमान लगाया, लेकिन वह गणित के साथ संघर्ष करने वाले छात्र की अनुभूति को समझने में विफल रहा। वह कठिनाई का सटीक अनुमान नहीं लगा सका।
2. "रोल-प्ले" समाधान: एक डिजिटल क्लासरूम बनाना
इसलिए, शोधकर्ताओं ने अपनी रणनीति बदली। AI को एक जज बनने के लिए कहने के बजाय, उन्होंने उसे छात्र बनने के लिए कहा।
उन्होंने कंप्यूटर के भीतर एक "आभासी कक्षा" बनाई। उन्होंने AI को बताया:
"अब तुम 'आर्यन' नाम के एक चौथी कक्षा के छात्र हो जो गणित में संघर्ष कर रहा है। यह एक प्रश्न है। तुम्हारा उत्तर क्या होगा?"
"अब, तुम 'सारा' नाम की एक चौथी कक्षा की छात्रा हो जो गणित में बहुत तेज़ है। तुम्हारा उत्तर क्या होगा?"
उन्होंने ऐसा सैकड़ों बार किया, जिससे अलग-अलग कौशल स्तरों (कुछ गणित में बहुत खराब, कुछ औसत, कुछ जीनियस) वाले 300 सिम्युलेटेड छात्रों की एक भीड़ बनाई। उन्होंने इस डिजिटल भीड़ को टेस्ट देने दिया।
3. "जादुई दर्पण" (IRT)
एक बार जब डिजिटल छात्रों ने उत्तर दे दिए, तो शोधकर्ताओं ने केवल स्कोर नहीं देखा। उन्होंने आइटम रिस्पॉन्स थ्योरी (IRT) नामक एक विशेष गणितीय उपकरण का उपयोग किया। इसे एक "जादुई दर्पण" के रूप में सोचें जो उत्तरों के पैटर्न को देखता है और कहता है:
- "आह, संघर्ष कर रहे छात्रों ने इसे गलत किया, लेकिन जीनियस ने इसे सही किया। यह एक कठिन प्रश्न होना चाहिए।"
- "सभी ने इसे सही किया। यह एक आसान प्रश्न है।"
इसके बाद, उन्होंने अपने "जादुई दर्पण" के परिणामों की तुलना वास्तविक दुनिया के डेटा (नेशनल असेसमेंट ऑफ एजुकेशनल प्रोग्रेस से प्राप्त अमेरिकी छात्रों के डेटा) के साथ की।
4. बड़ा आश्चर्य: "कमज़ोर" AI "स्मार्ट" AI से बेहतर है
यहाँ सबसे विरोधाभासी हिस्सा है।
आप सोच सकते हैं कि सबसे शक्तिशाली, सुपर-स्मार्ट AI मॉडल (जैसे वे जो जटिल कैलकुलस हल कर सकते हैं) संघर्ष करने वाले छात्र का अनुकरण करने के लिए सबसे अच्छे होंगे। आप गलत हैं।
- सुपर-मॉडेल्स: जब एक बहुत स्मार्ट AI एक "संघर्ष करने वाले छात्र" की भूमिका निभाने की कोशिश करता है, तो वह गलती से उत्तर सही बताता रहता है क्योंकि वह इतना स्मार्ट है कि वह गलती नहीं कर पाता। यह एक ग्रैंडमास्टर शतरंज खिलाड़ी द्वारा नौसिखिया होने का नाटक करने जैसा है; वह चाहकर भी पूरी तरह से नहीं खेल सकता।
- "कमज़ोर" मॉडल्स: शोधकर्ताओं ने पाया कि थोड़े कमज़ोर गणित कौशल वाले मॉडल्स इस काम के लिए वास्तव में बेहतर थे। क्योंकि वे खुद भी गणित के साथ थोड़ा संघर्ष करते थे, इसलिए उन्होंने वास्तविक गलतियाँ कीं। वे एक वास्तविक छात्र के भ्रम को प्रामाणिक रूप से दिखा सके।
उपमा: कल्पना कीजिए कि आप किसी को जूते के फीते बांधना सिखाने की कोशिश कर रहे हैं। यदि आप एक पेशेवर मोची से अनाड़ी होने का नाटक करने के लिए कहते हैं, तो वह फिर भी एक आदर्श गाँठ बांध देगा। लेकिन यदि आप किसी ऐसे व्यक्ति को कहते हैं जो अभी जूते के फीते बांधना सीख रहा है, तो वह स्वाभाविक रूप से वे गलतियाँ करेगा जिनकी आप तलाश कर रहे हैं।
5. नामों की शक्ति
शोधकर्ताओं ने यह भी पाया कि AI छात्रों को नाम देने से मदद मिली।
- यदि उन्होंने उन्हें केवल "छात्र 1, छात्र 2" कहा, तो सिमुलेशन ठीक था।
- यदि उन्होंने उन्हें विभिन्न लिंगों और पृष्ठभूमियों का प्रतिनिधित्व करने वाले विविध नाम (जैसे "आर्यन," "तमेका," "हीदर," "लाज़ारो") दिए, तो सिमुलेशन और भी अधिक सटीक हो गया।
ऐसा लगता है कि AI को एक विशिष्ट "पहचान" देने से उसे चरित्र में ढलने और एक वास्तविक मानव छात्र की तरह व्यवहार करने में मदद मिलती है।
6. कमी: यह "सही या गलत" के लिए अच्छा है, "क्यों" के लिए नहीं
सिमुलेशन यह अनुमान लगाने में बहुत अच्छा है कि छात्र प्रश्न को सही करेगा या गलत। हालाँकि, यह यह अनुमान लगाने में परफेक्ट नहीं है कि छात्र कौन सा गलत उत्तर चुनेगा।
यदि एक वास्तविक छात्र प्रश्न को गलत करता है क्योंकि वह 'कैरी द वन' (हासिल लेना) भूल गया, तो AI किसी बिल्कुल अलग कारण से गलत कर सकता है। यह मौसम के पूर्वानुमान जैसा है जो सही ढंग से भविष्यवाणी करता है कि बारिश होगी, लेकिन समय का गलत अनुमान लगा देता है। यह बड़े चित्र के लिए उपयोगी है, लेकिन सूक्ष्म विवरणों के लिए नहीं।
निष्कर्ष
यह शोध पत्र दिखाता है कि हमें यह जानने के लिए कि कोई टेस्ट अच्छा है या नहीं, हमेशा वास्तविक छात्रों के टेस्ट देने का हफ्तों तक इंतज़ार करने की आवश्यकता नहीं है। हम AI छात्रों की एक आभासी कक्षा बना सकते हैं, उन्हें टेस्ट लेने दे सकते हैं, और कठिनाई का एक बहुत अच्छा अनुमान प्राप्त कर सकते हैं।
- सबसे अच्छा उपकरण: एक थोड़ा "कमज़ोर" AI मॉडल जिसका उपयोग करें जो गणित में थोड़ा संघर्ष करता हो।
- सबसे अच्छी विधि: AI को अलग-अलग नामों और कौशल स्तरों वाले विभिन्न छात्रों की भूमिका निभाने के लिए कहें।
- लाभ: यह स्कूलों और टेस्ट बनाने वालों के हजारों डॉलर और महीनों का समय बचाता है, जिससे वे वास्तविक बच्चों के लिए तेज़ी से बेहतर टेस्ट बना सकते हैं।
यह एक नए विमान को असली यात्रियों को ले जाने से पहले उसके उड़ान परीक्षण (फ्लाइट सिम्युलेटर) के उपयोग जैसा है। सिमुलेशन परफेक्ट नहीं है, लेकिन यह बताने के लिए पर्याप्त है कि क्या विमान उड़ने के लिए सुरक्षित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।