तकनीकी सारांश: KT4EQG

समस्या विवरण

शैक्षिक प्रश्न निर्माण (Educational Question Generation - EQG) का उद्देश्य छात्र के सीखने को बेहतर बनाने के लिए अनुकूलित अभ्यास प्रश्न संश्लेषित करना है। जबकि मौजूदा EQG दृष्टिकोणों ने पाठ की गुणवत्ता, प्रारूप और कठिनाई नियंत्रण में प्रगति की है, वे काफी हद तक सूक्ष्म-स्तरीय वैयक्तिकरण (fine-grained personalization) के मामले में पीछे हैं। अधिकांश वर्तमान प्रणालियाँ यह निर्धारित करने के लिए छात्र की विशिष्ट ज्ञान अवस्था (knowledge state) का प्रभावी ढंग से मॉडल नहीं करती हैं कि कौन से प्रश्न सबसे अधिक सीखने का लाभ प्रदान करेंगे। फलस्वरूप, उत्पन्न किए गए प्रश्न या तो बहुत सरल, बहुत कठिन, या उस सामग्री पर केंद्रित हो सकते हैं जिसे छात्र पहले ही महारत हासिल कर चुका है।

इस शोध पत्र में संबोधित मुख्य चुनौती यह है कि नॉलेज ट्रेसिंग (Knowledge Tracing - KT)—जो ऐतिहासिक प्रदर्शन के आधार पर छात्र की विकसित होती ज्ञान अवस्था का मॉडल बनाती है—को EQG प्रक्रिया में कैसे एकीकृत किया जाए। लक्ष्य केवल एक निश्चित पूल से प्रश्नों का चयन करने (जैसा कि अनुशंसा प्रणालियों में होता है) से आगे बढ़कर, ऐसे नए और विविध प्रश्न उत्पन्न करना है जो विशेष रूप से छात्र की वर्तमान सीखने की आवश्यकताओं और ज्ञान अंतराल (knowledge gaps) के अनुरूप हों।

कार्यप्रणाली: KT4EQG ढांचा

लेखक KT4EQG का प्रस्ताव करते हैं, जो एक व्यक्तिगत EQG ढांचा है जो पीढ़ी कार्य (generation task) को दो अलग-अलग अनुकूलन चरणों में विभाजित करता है: इष्टतम ज्ञान अवधारणा (Knowledge Concept - KC) का चयन करना और उस अवधारणा के अनुरूप प्रश्न उत्पन्न करना।

1. कार्य सूत्रीकरण और उद्देश्य

उद्देश्य एक प्रश्न $x_{t^*}$ उत्पन्न करना है जो अभ्यास के बाद छात्र की समग्र ज्ञान महारत (knowledge mastery) को अधिकतम करे। लेखक सीखने की प्रगति को सभी ज्ञान अवधारणाओं $C$ में महारत की संभावनाओं के योग के रूप में परिभाषित करते हैं।
$$\max_{x_{t^*}} \sum_{c \in C} p(K_c = 1 | H, X_{t^*} = x_{t^*}, A_{t^*} = 1)$$
जहाँ $H$ ऐतिहासिक अभ्यास डेटा है, और $A_{t^*}=1$ यह मान लेता है कि छात्र नए प्रश्न का सफलतापूर्वक उत्तर देता है (अभ्यास को केवल मूल्यांकन के बजाय सीखने के अवसर के रूप रूप में मानना)।

2. दो-चरणीय अनुकूलन

लेखक उद्देश्य फलन (objective function) को दो पदों में विभाजित करते हैं: शैक्षिक मूल्य (Educational Value) और संरेखण (Alignment)।
$$\max_{x_{t^*}, c_{t^*}} \left[ \underbrace{\sum_{c \in C} p(K_c = 1 | H, \psi(X_{t^*}) = c_{t^*}, A_{t^*} = 1)}_{\text{शैक्षिक मूल्य}} \cdot \underbrace{\mathbb{1}[\psi(x_{t^*}) = c_{t^*}]}_{\text{संरेखण}} \right]$$

चरण 1: शैक्षिक मूल्य को अधिकतम करना (अवधारणा चयन)

• तंत्र: यह ढांचा प्रत्येक उम्मीदवार KC के अभ्यास से मिलने वाले "शैक्षिक मूल्य" का अनुमान लगाने के लिए एक नॉलेज ट्रेसर (KT2) का उपयोग करता है। यह मूल्य उस विशिष्ट अवधारणा का अभ्यास करने से छात्र की समग्र ज्ञान महारत में होने वाली संभावित सुधार को दर्शाता है।
• प्रक्रिया: सभी उम्मीदवार KCs पर एक व्यापक खोज (exhaustive search) की जाती है। KT2 मॉडल, जो एक हिडन मार्कोव ट्री संरचना पर आधारित है, ज्ञान अवस्थाओं के पश्च वितरण (posterior distribution) की गणना करता है। वह KC चुना जाता है जो सभी अवधारणाओं में अपडेट की गई महारत की संभावनाओं के उच्चतम योग को प्राप्त करता है, जिसे लक्षित अवधारणा $c_{t^*}$ के रूप में चुना जाता है।

चरण 2: संरेखण को अधिकतम करना (प्रश्न निर्माण)

एक बार इष्टतम KC $c_{t^*}$ के चुने जाने के बाद, एक लार्ज लैंग्वेज मॉडल (LLM) जनरेटर को एक ऐसा प्रश्न $x_{t^*}$ बनाने का कार्य सौंपा जाता है जो इस अवधारणा का निष्ठापूर्वक परीक्षण करता है। यह दो चरणों वाली प्रशिक्षण प्रक्रिया के माध्यम से प्राप्त किया जाता है:

1. सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): एक टेक्स्ट LLM (QWEN3-8B) को प्रश्न-अवधारणा युग्मों (question-concept pairs) के डेटासेट पर फाइन-ट्यून किया जाता है ताकि KC से प्रश्न के बीच बुनियादी मैपिंग को सीखा जा सके।
2. एलाइनमेंट रिवॉर्ड के साथ सुदृढीकरण सीखना (RL): मॉडल को RL का उपयोग करके और अधिक अनुकूलित किया जाता है। रिवॉर्ड सिग्नल एक क्वेश्चन-कॉन्सेप्ट वेरीफायर ($g_\phi$) द्वारा प्रदान किया जाता है।
   • वेरिफायर प्रशिक्षण: वेरिफायर को एक InfoNCE-शैली के कंट्रास्टिव ऑब्जेक्टिव का उपयोग करके प्रशिक्षित किया जाता है ताकि प्रश्नों और अवधारणाओं को एक साझा एम्बेडिंग स्पेस में मैप किया जा सके, जिससे यह सुनिश्चित हो सके कि संरेखित युग्म गैर-संरेखित युग्मों की तुलना में अधिक निकट हैं।
   • रिवॉर्ड गणना: संरेखण रिवॉर्ड $R_{align}$ को एम्बेडिंग स्पेस में उत्पन्न प्रश्न और लक्षित KC के बीच समानता के आधार पर कंप्यूट किया जाता है, जिसे संख्यात्मक स्थिरता के लिए मानकीकृत किया गया है।

मुख्य योगदान

1. KT और EQG का एकीकरण: यह शोध पत्र EQG के जेनरेशन लूप में नॉलेज ट्रेसिंग को स्पष्ट रूप से एकीकृत करने वाला पहला ढांचा प्रस्तावित करता है, जो साधारण अनुशंसा या मोटे तौर पर कठिनाई अनुकूलन से आगे बढ़ता है।
2. विभाजित अनुकूलन: लेखक EQG उद्देश्य को "शैक्षिक मूल्य" (KT मॉडल द्वारा निर्धारित) और "प्रश्न-अवधारणा संरेखण" (सीखे गए वेरिफायर द्वारा निर्धारित) में एक नवीन विभाजन पेश करते हैं।
3. प्रशिक्षण पाइपलाइन: जेनरेट किए गए प्रश्न न केवल प्रवाहपूर्ण हों बल्कि चुनी गई ज्ञान अवधारणा में अर्थपूर्ण रूप से निहित हों, यह सुनिश्चित करने के लिए एक दो-चरणीय प्रशिक्षण पाइपलाइन (SFT + कंट्रास्टिव एलाइनमेंट वेरिफायर के साथ RL) का विकास।
4. अनुकूली नीति (Adaptive Policy): यह ढांचा स्वाभाविक रूप से एक अनुकूली नीति उत्पन्न करता है जहाँ चयनित KCs छात्र के वर्तमान महारत स्तर के आधार पर बदलते रहते हैं (उदाहरण के लिए, कमजोर छात्रों के लिए आसान अवधारणाएं चुनना और उन्नत छात्रों के लिए अधिक चुनौतीपूर्ण अवधारणाएं चुनना)।

प्रयोगात्मक परिणाम

ढांचे का मूल्यांकन दो डेटासेट्स पर किया गया: XES3G5M (विशेषज्ञ-एनोटेटेड KC ट्री) और MOOCRADAR (LLM-निर्मित KC ट्री)।

• प्रदर्शन: KT4EQG ने दोनों डेटासेट्स में सभी ज्ञान मॉड्यूल में लगातार उच्चतम परीक्षा स्कोर (होल्ड-आउट टेस्ट सेट पर औसत अनुमानित शुद्धता) प्राप्त किया, जिसने मानक LLMs (QWEN3-8B), विशेष गणित जनरेटर (ScaleQuest), और कॉन्सेप्ट-कंडीशन प्रॉम्प्ट सिंथेसिस विधियों (PromptCoT-2.0) सहित बेसलाइन्स को पीछे छोड़ दिया।
• ओरेकल (Oracle) के साथ तुलना: हालांकि "ओरेकल" अवधारणा चयन (KT2 द्वारा चुना गया सर्वश्रेष्ठ संभव KC) वाले बेसलाइन्स के प्रदर्शन में महत्वपूर्ण सुधार हुआ, फिर भी KT4EG ने उन्हें पछाड़ दिया। यह इंगित करता है कि फ्रेमवर्क का एलाइनमेंट-प्रशिक्षित जनरेटर मानक जनरेटर्स की तुलना में लक्षित अवधारणा के लिए उच्च गुणवत्ता वाले प्रश्न उत्पन्न करता है, भले ही अवधारणा चयन पूर्णतः सटीक क्यों न हो।
• उत्तरने योग्यता (Answerability): उत्पन्न प्रश्नों ने उच्च उत्तरने योग्यता दर बनाए रखी (आधारभूत LLM के तुलनीय), जो यह दर्शाता है कि शैक्षिक मूल्य के लिए अनुकूलन ने प्रश्नों की समाधान क्षमता या गुणवत्ता से समझौता नहीं किया।
• एब्लेशन अध्ययन (Ablation Studies):
  • RL एलाइनमेंट चरण को हटाने से कम एलाइनमेंट स्कोर ($R_{align}$) प्राप्त हुआ, जो RL चरण की आवश्यकता की पुष्टि करता है।
  • अभ्यास दौरों का विश्लेषण दिखाता है कि प्रभावी अवधारणा चयन (जैसे KT4EQG) वाले तरीकों ने अभ्यास दौरों की संख्या बढ़ने के साथ अधिक संचयी शिक्षण लाभ दिखाया, जबकि रैंडम या खराब अवधारणा चयन वाले तरीकों में प्रतिफल कम होता गया।

महत्व और दावे

यह शोध पत्र दावा करता है कि KT4EQG शैक्षिक प्रणालियों में वैयक्तिकरण का समर्थन करने के लिए नॉलेज ट्रेसिंग को प्रश्न निर्माण के साथ जोड़ने की क्षमता प्रदर्शित करता है।

• शिक्षाशास्त्रीय लाभ: सिस्टम ऐसे प्रश्न उत्पन्न करता है जो अवधारणा-संरेखित और छात्र के सीखने के लिए लाभकारी दोनों हैं, जो उस अंतर को संबोधित करता है जहाँ मौजूदा EQG प्रणालियाँ व्यक्तिगत ज्ञान अवस्थाओं को मॉडल करने में विफल रहती हैं।
• स्केलेबिलिटी: यह दिखाया गया है कि ढांचा मानव-एनोटेटेड ट्री संरचनाओं के बिना भी (LLM-निर्मित ट्री का उपयोग करके) प्रभावी ढंग से काम करता है, जो व्यापक अनुप्रयोग क्षमता का सुझाव देता है।
• सीमित दायरा: लेखक इस कार्य को सूक्ष्म-स्तरीय वैयक्तिकरण की दिशा में एक कदम के रूप में देखते हैं। वे स्वीकार करते हैं कि हालांकि ढांचा प्रश्न चयन और निर्माण में सुधार करता है, सफलता का अंतिम माप छात्र की सीखने की प्रगति है, जिसे यहाँ नॉलेज ट्रेसिंग मॉडल के माध्यम से सिम्युलेट किया गया है। यह कार्य मानव शिक्षकों को बदलने का दावा नहीं करता है, बल्कि अत्यधिक लक्षित अभ्यास सामग्री उत्पन्न करने के लिए एक उपकरण प्रदान करने का है।