Response-free item difficulty modelling for multiple-choice items with fine-tuned transformers: Component-wise representation and multi-task learning
यह शोध पत्र प्रदर्शित करता है कि मल्टी-चॉइस आइटम की शब्दावली पर ट्रांसफॉर्मर एनकोडर को एंड-टू-एंड फाइन-ट्यून करना, विशेष रूप से जब इसे मल्टी-टास्क लर्निंग ऑब्जेक्टिव के साथ बढ़ाया जाता है, प्रभावी रूप से रिस्पॉन्स-फ्री आइटम कठिनाई को मॉडल करता है और पारंपरिक फीचर-इंजीनियरिंग पाइपलाइनों से बेहतर प्रदर्शन करता है, विशेष रूप से लो-डेटा व्यवस्था में।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो यह समझने की कोशिश कर रहे हैं कि आपके छात्रों के लिए एक नया बहुविकल्पीय प्रश्न (multiple-choice question) कितना कठिन है। आमतौर पर, आपको यह टेस्ट सैकड़ों छात्रों को देना होगा, यह देखना होगा कि वे कैसे उत्तर देते हैं, और कठिनाई की गणना करने के लिए कुछ जटिल गणित करना होगा। लेकिन क्या होगा अगर आपने अभी तक टेस्ट नहीं लिया है? क्या होगा अगर आपको टेस्ट देने से पहले ही जानना हो कि वह कितना कठिन है?
यह शोध पत्र इस बारे में है कि कंप्यूटर को यह अनुमान लगाना सिखाना कि कोई प्रश्न कितना कठिन है, केवल पृष्ठ पर लिखे शब्दों को पढ़कर, बिना किसी छात्र के उत्तर की आवश्यकता के। लेखक इसे "रिस्पॉन्स-फ्री" (response-free) मॉडलिंग कहते हैं।
यहाँ उनके प्रयोग की कहानी सरल भाषा में दी गई है:
समस्या: पंक्तियों के बीच का अर्थ समझना
पठन बोध (reading comprehension) के प्रश्न पेचीदा होते हैं। कठिनाई केवल बड़े शब्दों के बारे में नहीं है; यह इस बारे में है कि अनुच्छेद (कहानी), प्रश्न, और उत्तर के विकल्प एक साथ मिलकर कैसे काम करते हैं। यदि आप केवल शब्दों को गिनते हैं या परिभाषाएँ देखते हैं, तो आप असली पहेली को मिस कर देते हैं।
शोधकर्ताओं ने एक शक्तिशाली प्रकार के AI का उपयोग करने का निर्णय लिया जिसे ट्रांसफॉर्मर (Transformer) कहा जाता है (वही तकनीक जो ChatGPT जैसे टूल्स के पीछे है) ताकि वे इन प्रश्नों को पढ़ सकें और उनकी कठिनाई का अनुमान लगा सकें। लेकिन उनके सामने एक दुविधा थी: उनके पास हजारों पिछले टेस्ट परिणाम नहीं थे जिनसे वे AI को सिखा सकें, जैसा कि आमतौर पर इन मॉडल्स को सिखाने के लिए किया जाता है। उन्हें बहुत कम डेटा के साथ AI को सिखाना था।
तीन रणनीतियाँ (प्रशिक्षण के तरीके)
इस समस्या को हल करने के लिए, उन्होंने AI को प्रश्न खिलाने के तीन अलग-अलग तरीके आज़माए, जैसे कि तीन अलग-अलग अध्ययन विधियों को आज़माना:
- "स्मूदी" दृष्टिकोण (जॉइंट एनकोडिंग - Joint Encoding):
उन्होंने कहानी, प्रश्न और चारों उत्तर विकल्पों को लिया, उन्हें एक लंबे वाक्य में मिला दिया, और उसे AI को खिला दिया। AI को इस बड़े मिश्रण से कठिनाई का पता लगाना था।
- उपमा: यह एक शेफ को एक कटोरा थमाने जैसा है जहाँ आटा, अंडे और चीनी पहले से ही आपस में मिल चुके हैं और फिर उनसे रेसिपी का अनुमान लगाने को कहा जा रहा है।
- "अलग प्लेटों" वाला दृष्टिकोण (कंपोनेंट-वाइज एनकोडिंग - Component-wise Encoding):
उन्होंने कहानी, प्रश्न और उत्तरों को अलग-अलग "प्लेटों" पर रखा। उन्होंने प्रत्येक भाग को AI को व्यक्तिगत रूप से खिलाया, और फिर अंत में अनुमान लगाने के लिए AI के विचारों को मिला दिया।
- उपमा: यह शेफ को आटा, फिर अंडे, फिर चीनी अलग-अलग कटोरों में देने जैसा है, उनसे प्रत्येक का विश्लेषण करने को कहना है, और फिर उन्हें परिणामों को मिलाकर रेसिपी का अनुमान लगाने के लिए कहना है। शोधकर्ताओं को लगा कि इससे AI को संरचना बेहतर समझ आएगी।
- "दोहरी जिम्मेदारी" वाला दृष्टिकोण (मल्टी-टास्क लर्निंग - Multi-Task Learning):
उन्होंने "स्मूदी" दृष्टिकोण (सब कुछ मिला देना) का उपयोग किया, लेकिन उन्होंने AI को एक दूसरा काम भी दिया। कठिनाई का अनुमान लगाने के साथ-साथ, AI को एक खेल भी खेलना था: "इन चार उत्तरों में से वास्तव में सही उत्तर कौन सा है?"
- उपमा: कल्पना कीजिए कि एक छात्र टेस्ट की तैयारी कर रहा है। केवल "यह प्रश्न कितना कठिन है" याद करने के बजाय, उन्हें वास्तव में प्रश्न को भी हल करना होगा। शोधकर्ताओं को उम्मीद थी कि प्रश्न के उत्तर के तर्क को समझने के लिए मजबूर करके, AI प्रश्न की कठिनाई का अनुमान लगाने में बेहतर हो जाएगा, खासकर जब उसके पास अध्ययन के लिए बहुत कम डेटा हो।
परिणाम: क्या काम आया?
उन्होंने अलग-अलग मात्रा में "अभ्यास डेटा" (छोटे, मध्यम और बड़े समूहों के प्रश्न) के साथ इन तरीकों का परीक्षण किया।
"स्मूदी" बनाम "अलग प्लेटें":
"अलग प्लेटों" वाला तरीका काम नहीं आया। वास्तव में, यह थोड़ा खराब था।क्यों? AI स्मार्ट है। भले ही आप उसे "स्मूदी" (मिश्रित टेक्स्ट) खिलाएं, उसका आंतरिक मस्तिष्क (जिसे 'सेल्फ-अटेंशन' कहा जाता है) पहले से ही यह समझने में सक्षम है कि कौन सा हिस्सा कहानी है और कौन सा उत्तर। उसे मैन्युअल रूप रूप से सामग्री को अलग करने की आवश्यकता नहीं थी।
"दोहरी जिम्मेदारी" वाला विजेता:
"दोहरी जिम्मेदारी" वाला तरीका (मल्टी-टास्क) विजेता रहा, लेकिन केवल तभी जब डेटा कम था।जब AI के पास अभ्यास के लिए बहुत कम प्रश्न (लगभग 800) थे, तो यह तरीका अन्य तरीकों की तुलना में काफी बेहतर था।
क्यों? इसने एक सुरक्षा जाल (safety net) की तरह काम किया। जब AI के पास "कठिनाई" के नियम को सीखने के लिए पर्याप्त उदाहरण नहीं थे, तो "सही उत्तर खोजने" के अतिरिक्त कार्य ने उसे प्रश्न के विवरणों पर ध्यान देने के लिए मजबूर किया। इसने AI को आसान शॉर्टकट लेने से रोक दिया।
हालाँकि, एक बार जब उन्होंने AI को बहुत सारा डेटा (लगभग 23,000 प्रश्न) दे दिया, तो अतिरिक्त मदद की आवश्यकता नहीं रही। AI ने कठिनाई के नियम को अपने आप सीख लिया।
मुख्य निष्कर्ष
आपको AI को यह सिखाने के लिए प्रश्न को मैन्युअल रूप से भागों में तोड़ने की आवश्यकता नहीं है; AI स्वयं इसकी संरचना को समझ सकता है। हालाँकि, यदि आप जल्दी में हैं और आपके पास AI को सिखाने के लिए बहुत कम डेटा है, तो उसे एक दूसरा, संबंधित कार्य देना (जैसे प्रश्न को हल करना) उसे बहुत तेज़ी से और अधिक सटीकता से सीखने में मदद करता है।
लेखक निष्कर्ष निकालते हैं कि यह "दोहरी जिम्मेदारी" वाला दृष्टिकोण उन टेस्ट बनाने के लिए एक शक्तिशाली उपकरण है जब आपके पास पहले हजारों छात्रों द्वारा उन्हें हल करने का इंतज़ार करने का समय नहीं होता है। यह शिक्षकों को केवल शब्दों को देखकर किसी प्रश्न की कठिनाई का एक अच्छा अनुमान लगाने की अनुमति देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।