Simple use of small and medium sized local LLMs for Q-matrix generation
यह शोध पत्र प्रदर्शित करता है कि ओपन-वेट लघु और मध्यम आकार के स्थानीय LLMs, संज्ञानात्मक निदान मॉडल (Cognitive Diagnosis Models) के लिए Q-मैट्रिक्स जनरेशन को प्रभावी ढंग से और कुशलतापूर्वक स्वचालित कर सकते हैं, जो महंगी विशेषज्ञ क्यूरेशन और क्लोज्ड-सोर्स फ्रंटियर मॉडल्स के विकल्प के रूप में गोपनीयता-संरक्षित और संसाधन-सुलभ विकल्प प्रदान करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
शिक्षा की दुनिया में, एक छात्र वास्तव में क्या जानता है, इसे समझना केवल एक ग्रेड देने से कहीं अधिक जटिल है। शिक्षार्थियों की ताकत और कमजोरियों का सही निदान करने के लिए, शिक्षक एक विशेष मानचित्र पर भरोसा करते हैं जिसे 'Q-मैट्रिक्स' कहा जाता है। यह मानचित्र एक सेतु के रूप में कार्य करता है, जो विशिष्ट परीक्षण प्रश्नों को उन्हें हल करने के लिए आवश्यक सटीक मानसिक कौशलों से जोड़ता है। उदाहरण के लिए, भिन्नों (fractions) को जोड़ने का प्रश्न केवल एक गणितीय समस्या नहीं है; यह एक विशिष्ट संज्ञानात्मक क्षमता, जैसे कि 'कॉमन डिनोमिनेटर' खोजने का परीक्षण है। पारंपरिक रूप से, इन मानचित्रों को बनाना एक धीमी, महंगी प्रक्रिया रही है जो मानव विशेषज्ञों के लिए आरक्षित थी, जिन्हें हर एक प्रश्न और कौशल का बारीकी से विश्लेषण करना पड़ता है। यह मैन्युअल कार्य इतना समय लेने वाला है कि यह अक्सर स्कूलों की व्यक्तिगत जरूरतों के अनुसार अपनी शिक्षण पद्धति को अनुकूलित करने की गति को सीमित कर देता है। इसके अलावा, इस प्रक्रिया को तेज करने के लिए आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करने के आधुनिक प्रयास ने नई चिंताएं पैदा कर दी हैं। आज उपलब्ध अधिकांश शक्तिशाली AI उपकरण विशाल, बंद प्रणालियाँ हैं जिन्हें इंटरनेट के माध्यम से दूर स्थित सर्वरों पर संवेदनशील छात्र डेटा भेजने की आवश्यकता होती है, जिससे गोपनीयता और सुरक्षा पर गंभीर सवाल उठते हैं।
विल्नियस यूनिवर्सिटी में सिमास स्टोकोकस द्वारा किया गया एक नया अध्ययन एक अलग मार्ग तलाशता है, जिसमें यह पूछा गया है कि क्या एक मानक लैपटॉप पर सीधे चलने वाले छोटे, अधिक साधारण आर्टिफिशियल इंटेलिजेंस मॉडल इस मैपिंग कार्य को उतनी ही अच्छी तरह से कर सकते हैं। शोधकर्ता ने इन स्थानीय मॉडलों के विभिन्न प्रकारों का परीक्षण किया, जो उपभोक्ता हार्डवेयर पर बिना डेटा को डिवाइस से बाहर भेजे चलाने के लिए पर्याप्त कॉम्पैक्ट डिज़ाइन किए गए हैं। लक्ष्य यह देखना था कि क्या ये छोटे मॉडल सटीकता के साथ परीक्षण प्रश्नों को उनके द्वारा मापे जाने वाले कौशलों से जोड़ सकते हैं, और यह सब छात्र की जानकारी को निजी रखते हुए और क्लाउड कंप्यूटिंग की उच्च लागतों से बचते हुए किया जा सकता है। अध्ययन ने AI से काम करने के एक विशिष्ट तरीके पर ध्यान केंद्रित किया: मॉडल से एक बार में एक कौशल तय करने के लिए कहने के बजाय, शोधकर्ताओं ने मॉडल से एक प्रश्न को देखने और एक ही पूर्ण उत्तर में सभी आवश्यक कौशलों को सूचीबद्ध करने के लिए कहा। यह दृष्टिकोण इस तरह है जैसे एक मानव शिक्षक किसी समस्या को देखते ही तुरंत उसमें शामिल सभी अवधारणाओं को पहचान लेता है, बजाय इसके कि वह उन्हें एक-एक करके जांचे।
इस प्रयोग के परिणाम चौंकाने वाले थे। जब शोधकर्ताओं ने इन स्थानीय मॉडलों का चार अलग-अलग शैक्षिक डेटा सेटों (भिन्न घटाव से लेकर प्रायिकता सिद्धांत तक) पर परीक्षण किया, तो उन्होंने पाया कि छोटे मॉडल उल्लेखनीय सटीकता के साथ प्रदर्शन करते हैं। एक विशेष रूप से कुशल मॉडल, जिसे 'Gemma 4 E4B' के रूप में जाना जाता है, जिसमें केवल चार बिलियन पैरामीटर हैं, ने मात्र पांच मिनट से कुछ अधिक समय में परीक्षणों के एक पूरे सेट के लिए इन कौशल मानचित्रों को उच्च स्तर की शुद्धता के साथ तैयार कर लिया। इस कॉम्पैक्ट मॉडल ने उन कई बड़ी और अधिक जटिल आर्किटेक्चरों को पछाड़ दिया जिन्हें काफी अधिक कंप्यूटिंग शक्ति और समय की आवश्यकता थी। अध्ययन ने प्रदर्शित किया कि एक विशिष्ट 'प्रॉम्प्टिंग रणनीति' का उपयोग करके—जहाँ AI को काम शुरू करने से पहले कौशलों को वर्गीकृत करने के उदाहरण दिए जाते हैं—छोटे मॉडल सामान्य त्रुटियों से बच सकते हैं, जैसे कि यह अनुमान लगाना कि किसी कौशल की आवश्यकता है जबकि वह नहीं है। वास्तव में, सबसे सफल छोटे मॉडल ने 66.02 प्रतिशत का प्रदर्शन स्कोर प्राप्त किया, जो कि बहुत बड़ी प्रणालियों के सर्वश्रेष्ठ परिणामों के बराबर है।
शोध ने यह भी उजागर किया कि कैसे कुछ AI सिस्टमों का परीक्षण पहले गलत तरीके से किया जा रहा था। जब मॉडलों से प्रत्येक कौशल का अलग-अलग मूल्यांकन करने के लिए कहा गया, तो वे अक्सर 'हैलुसिनेशन' (hallucination) का शिकार हुए, यानी उन्होंने ऐसे संबंध बना दिए जो अस्तित्व में ही नहीं थे, जिससे गलत मानचित्र बने। हालांकि, जब मॉडलों को कौशलों की पूरी सूची एक साथ देखने और पूरे प्रश्न के लिए एक एकल निर्णय लेने की अनुमति दी गई, तो उनकी सटीकता में काफी सुधार हुआ। इस पद्धति में बदलाव ने सिद्ध किया कि मॉडल प्रश्न के संदर्भ को बहुत बेहतर समझ सकते हैं जब उन्हें खंडित तरीके से काम करने के लिए मजबूर नहीं किया जाता है। अध्ययन ने स्पष्ट रूप से इस विचार को खारिज कर दिया कि केवल विशाल, क्लाउड-आधारित सुपरकंप्यूटर ही इस कार्य के सक्षम हैं। इसके बजाय, इसने दिखाया कि ओपन-सोर्स मॉडल, जिन्हें व्यक्तिगत कंप्यूटर पर डाउनलोड और चलाया जा सकता है, एक व्यावहारिक और गोपनीयता-सुरक्षित विकल्प हैं। इन स्थानीय मॉडलों को उन विशाल डेटा केंद्रों या महंगे सब्सक्रिप्शन शुल्क की आवश्यकता नहीं होती है जो वाणिज्यिक AI सेवाओं से जुड़े होते हैं, जिससे उन्नत शैक्षिक विश्लेषण उन स्कूलों और शोधकर्ताओं के लिए भी सुलभ हो जाता है जो एंटरप्राइज-लेवल इंफ्रास्ट्रक्चर वहन नहीं कर सकते।
अंततः, यह कार्य सुझाव देता है कि स्वचालित शैक्षिक मूल्यांकन का भविष्य आवश्यक रूप से बड़े और अधिक विशाल आर्टिफिशियल इंटेलिजेंस सिस्टम बनाने पर निर्भर नहीं है। इन मॉडलों के सोचने के तरीके को परिष्कृत करके और उनके छोटे, स्थानीय संस्करणों का उपयोग करके, छात्र की गोपनीयता का सम्मान करते हुए और रोजमर्रा के हार्डवेयर पर कुशलतापूर्वक संचालित होने वाले सटीक नैदानिक उपकरण बनाना संभव है। यह अध्ययन उन शिक्षकों और डेवलपरों के लिए एक स्पष्ट रोडमैप प्रदान करता है जो डेटा सुरक्षा से समझौता किए बिना या अत्यधिक खर्च के बिना संज्ञानात्मक निदान लागू करना चाहते हैं। हालांकि शोध विशिष्ट डेटासेट और मॉडल प्रकारों पर केंद्रित था, लेकिन इसके निष्कर्ष भविष्य के कार्यों के लिए एक मजबूत आधार प्रदान करते हैं, जिसमें विशिष्ट विषयों के लिए इन मॉडलों को फाइन-ट्यून करने और उन्हें वास्तविक दुनिया के कक्षा मूल्यांकन पर परीक्षण करने की क्षमता शामिल है, जिन्हें AI ने पहले कभी नहीं देखा है। साक्ष्य संकेत देते हैं कि अब हम ऐसी बुद्धिमान प्रणालियाँ बना सकते हैं जो न केवल छात्र के सीखने को समझने के लिए पर्याप्त स्मार्ट हैं, बल्कि उस सीखने को सुरक्षित रखने के लिए पर्याप्त छोटी भी हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।