तकनीकी सारांश: समस्या-समाधान प्रक्रियाओं के माध्यम से गणितीय दक्षता का अनुरेखण (Tracing)

समस्या विवरण

पारंपरिक नॉलेज ट्रेसिंग (KT) विधियों का लक्ष्य इंटेलिजेंट ट्यूटरिंग सिस्टम में भविष्य के प्रदर्शन की भविष्यवाणी करने के लिए छात्र की ज्ञान अवस्था (knowledge state) को मॉडल करना है। हालाँकि, मौजूदा दृष्टिकोण व्याख्यात्मकता (explainability) और गहराई में मौलिक सीमाओं का सामना करते हैं। वे मुख्य रूप से परिणाम-केंद्रित पर्यवेक्षण (बाइनरी शुद्धता: सही/गलत) और सीमित मेटाडेटा (जैसे, समस्या की कठिनाई, प्रतिक्रिया समय, या ज्ञान अवधारणाएं) पर निर्भर करते हैं। यह अंतिम उत्तर पर निर्भरता छात्र की वास्तविक समझ को पकड़ने में विफल रहती है, क्योंकि यह समस्या-समाधान प्रक्रिया (PSP) को एक "ब्लैक बॉक्स" के रूप में मानती है।

इसके विपरीत, वास्तविक दुनिया के शिक्षक समझ का मूल्यांकन समस्या-समाधान प्रक्रिया के माध्यम से करते हैं, जिसमें तर्क चरणों (reasoning steps), मध्यवर्ती गणनाओं और रणनीतिक विकल्पों का अवलोकन किया जाता है। वर्तमान KT डेटासेट और मॉडल इस समृद्ध जानकारी की काफी हद तक उपेक्षा करते हैं, विशेष रूप से गणितीय क्षेत्रों में जहाँ PSP को बड़े पैमाने पर कैप्चर करना चुनौतीपूर्ण है। फलस्वरूप, मौजूदा मॉडल इस बात की व्याख्या करने में संघर्ष करते हैं कि कोई छात्र क्यों सफल या विफल होता है, और वे कोल्ड-स्टार्ट परिदृश्यों (जहाँ ऐतिहासिक इंटरैक्शन डेटा कम होता है) में खराब प्रदर्शन करते हैं।

कार्यप्रणाली: KT-PSP और STATUSKT

इन अंतरालों को दूर करने के लिए, लेखक एक नया कार्य प्रारूप और एक संगत ढांचा प्रस्तावित करते हैं।

1. समस्या-समाधान प्रक्रिया के साथ नॉलेज ट्रेसिंग (KT-PSP)

लेखक KT कार्य को पुनर्व्याख्यायित करते हैं ताकि छात्र की समस्या-समाधान प्रक्रिया को इंटरैक्शन अनुक्रम में स्पष्ट रूप से शामिल किया जा सके।

• पारंपरिक KT: इनपुट अनुक्रम $S_{conv} = \{(q_t, c_t, r_t)\}$, जहाँ $r_t$ बाइनरी शुद्धता है।
• KT-PSP: इनपुट अनुक्रम $S_{new} = \{(q_t, c_t, r_t, p_t)\}$, जहाँ $p_t$ विस्तृत PSP (चरण-दर-चरण तर्क, मध्यवर्ती गणना आदि) का प्रतिनिधित्व करता है।
  उद्देश्य भविष्य की शुद्धता $P(r_{t+1}=1 | \dots)$ की भविष्यवाणी करना बना रहता है, लेकिन अब यह ऐतिहासिक प्रदर्शन और अंतर्निहित समाधान रणनीतियों दोनों का लाभ उठाता है।

2. KT-PSP-25 डेटासेट

इस नए डोमेन में अनुसंधान की सुविधा के लिए, लेखकों ने KT-PSP-25 जारी किया है, जो एक नवीन डेटासेट है जिसमें शामिल है:

• एक टैबलेट-आधारित गणित प्लेटफॉर्म से 22,289 छात्र-समस्या इंटरैक्शन।
• 1,343 छात्र जो 490 ज्ञान घटकों (knowledge components) के 2,696 प्रश्नों को हल कर रहे हैं।
• हस्तलिखित PSP: पिछले डेटासेट्स के विपरीत, इसमें वास्तविक हस्तलिखित समाधान ट्रेसेस शामिल हैं, जिन्हें गणितीय तर्क को सुरक्षित रखते हुए संरचित टेक्स्ट में बदलने के लिए एक OCR पाइपलाइन (GPT-5 का उपयोग करके) के माध्यम से प्रोसेस किया गया था।
• गोपनीयता: छात्र और प्रश्न आईडी को गुमनाम (anonymized) किया गया था, और डेटा गुणवत्ता एवं गोपनीयता सुनिश्चित करने के लिए OCR आउटपुट को परिष्कृत किया गया था।

3. STATUSKT फ्रेमवर्क

मुख्य योगदान STATUSKT है, जो एक प्रक्रिया-जागरूक KT फ्रेमवर्क है जो एक टीचर-स्टूडेंट-टीचर LLM पाइपलाइन का उपयोग करके कच्चे PSP से गणितीय दक्षता (Mathematical Proficiency - MP) संकेतों को निकालता है। यह पाइपलाइन असंरचित टेक्स्ट को संरचित, व्याख्या योग्य मध्यवर्ती संकेतों में परिवर्तित करती है।

पाइपलाइन तीन चरणों में संचालित होती है:

1. इंडिकेटर एक्सट्रैक्शन (टीचर LLM): समस्या टेक्स्ट और उसके ज्ञान घटकों को देखते हुए, टीचर LLM MP इंडिकेटर्स का एक सेट उत्पन्न करता है। ये गणितीय दक्षता के चार अवलोकन योग्य आयामों (Findell et al., 2001 के आधार पर) को लक्षित करने वाले विशिष्ट प्रश्न हैं:
   • वैचारिक समझ (Conceptual Understanding - CU)
   • रणनीतिक सक्षमता (Strategic Competence - SC)
   • प्रक्रियात्मक प्रवाह (Procedural Fluency - PF)
   • अनुकूलन तर्क (Adaptive Reasoning - AR)
     (नोट: उत्पादक दृष्टिकोण (Productive Disposition) को बाहर रखा गया है क्योंकि इसे टेक्स्ट के माध्यम से आकलन करना कठिन है।)
2. प्रतिक्रिया पीढ़ी (स्टूडेंट LLM): स्टूडेंट LLM वास्तविक छात्र के प्रॉक्सी के रूप में कार्य करता है। यह छात्र के हस्तलिखित PSP का विश्लेषण करता है और MP इंडिकेटर्स के प्रति प्रतिक्रियाएँ उत्पन्न करता है। महत्वपूर्ण रूप से, यह छात्र के मूल तर्क (त्रुटियों सहित) को सुधारने के बजाय उसे सुरक्षित रखता है।
3. दक्षता मूल्यांकन (टीचर LLM): टीचर LLM, मूल इंडिकेटर्स के विरुद्ध स्टूडेंट LLM की प्रतिक्रियाओं का मूल्यांकन करता है ताकि यह निर्धारित किया जा सके कि क्या छात्र ने प्रत्येक विशिष्ट आयाम में महारत प्रदर्शित की है।

एकीकरण (Integration):
इस पाइपलाइन का आउटपुट प्रत्येक आयाम के लिए एक MP अनुपात (संतोषित इंडिकेटर्स का अनुपात) है। ये अनुपातएं KT बैकबोन मॉडल के लिए सहायक इनपुट के रूप में कार्य करती हैं। मॉडल को एक मिश्रित लॉस फंक्शन के साथ प्रशिक्षित किया जाता है:
$$L = BCE(r_{gt}, r_{pred}) + \alpha \sum_{i \in P} MSE(m_{gt}^i, m_{pred}^i)$$
यह दोहरे-उद्देश्य वाला दृष्टिकोण मॉडल को अंतिम शुद्धता और अंतर्निहित दक्षता पैटर्न दोनों को सीखने के लिए मजबूर करता है, जिससे भविष्यवाणात्मक सटीकता और व्याख्यात्मकता दोनों में वृद्धि होती है।

मुख्य योगदान

1. नया कार्य प्रारूप (KT-PSP): KT की एक औपचारिक परिभाषा जो इंटरैक्शन अनुक्रम में समस्या-समाधान प्रक्रियाओं को एकीकृत करती है, जिससे प्रक्रिया-जागरूक मॉडलिंग संभव होती है।
2. KT-PSP-25 डेटासेट: पहला बड़े पैमाने का गणितीय KT डेटासेट जिसमें प्रत्येक इंटरैक्शन के लिए वास्तविक दुनिया के, OCR-ट्रांसक्राइब किए गए हस्तलिखित समस्या-समाधान प्रक्रियाएं शामिल हैं।
3. STATUSKT फ्रेमवर्क: एक नवीन आर्किटेक्चर जो कच्चे PSP को व्याख्या योग्य MP संकेतों में निकालने के लिए तीन-चरणीय LLM पाइपलाइन का उपयोग करता है, जिन्हें बाद में मानक KT मॉडलों में एकीकृत किया जाता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि STATUSKT मौजूदा डीप लर्निंग KT (DLKT) बेसलाइन्स से बेहतर प्रदर्शन करता है और सूक्ष्म, व्याख्या योग्य अंतर्दृष्टि प्रदान करता है।

प्रयोगात्मक परिणाम

विभिन्न बेसलाइन आर्किटेक्चर (DKT, DKVMN, SAKT, SAINT, AKT, आदि) का उपयोग करके KT-PSP-25 पर प्रयोग किए गए।

• समग्र प्रदर्शन (RQ1): STATUSKT ने अधिकांश आर्किटेक्चर में मानक बेसलाइन्स और एक "बेसलाइन+PSP" वेरिएंट (जो केवल कच्चे टेक्स्ट एम्बेडिंग को जोड़ता है) दोनों की तुलना में भविष्यवाणी प्रदर्शन (AUC और सटीकता) में लगातार सुधार किया। लेखक नोट करते हैं कि केवल कच्चा टेक्स्ट एम्बेडिंग अक्सर शोर (noise) पेश करता है या प्रदर्शन में सुधार करने में विफल रहता है, जबकि STATUSKT में संरचित MP डिस्टिलेशन प्रभावी ढंग से प्रक्रिया जानकारी का लाभ उठाता है।
• कोल्ड-स्टार्ट मजबूती (RQ2): सीमित डेटा वाले परिदृश्यों में (प्रति छात्र केवल पहले 5 इंटरैक्शन), STATUSKT बेसलाइन्स से काफी बेहतर रहा। MP संकेतों ने सूचनात्मक 'प्रायर्स' (priors) प्रदान किए, जिससे ऐतिहासिक शुद्धता डेटा की कमी होने पर भी ज्ञान अवस्था अनुमान को स्थिर करने में मदद मिली।
• MP प्रभाव विश्लेषण (RQ3): केस स्टडीज से पता चला कि MP संकेत "MP-help" मामलों में भविष्यवाणियों को ठीक करने में मदद करते हैं, जिससे शुद्धता को विशिष्ट अंतर्निहित कौशलों के साथ संरेखित किया जाता है। हालांकि, लेखकों ने "MP-hurt" मामलों की भी पहचान की जहाँ अत्यधिक समृद्ध या गलत संरेखित इंडिकेटर्स प्रदर्शन को कम कर सकते हैं, जो इंडिकेटर जनरेशन में स्कोप कंट्रोल के महत्व को रेखांकित करता है।

महत्व और दावे

पेपर का दावा है कि छात्रों की समस्या-समाधान प्रक्रियाओं में दर्शाए गए तर्क को शामिल करना अधिक सटीक, व्याख्या योग्य और शैक्षणिक रूप से सार्थक मॉडलिंग की ओर बढ़ने के लिए आवश्यक है।

• व्याख्यात्मकता (Interpretability): "ब्लैक बॉक्स" भविष्यवाणियों के विपरीत, STATUSKT स्पष्ट दक्षता संकेत (जैसे, "छात्र में उच्च प्रक्रियात्मक प्रवाह है लेकिन निम्न अनुकूलन तर्क है") प्रदान करता है, जो सीखने की प्रगति के बारे में सूक्ष्म अंतर्दृष्टि प्रदान करता है।
• शैक्षणिक संरेखण (Pedagogical Alignment): यह ढांचा मानव शिक्षकों के काम करने के तरीके की नकल करता है—केवल उत्तर को नहीं, बल्कि प्रक्रिया को देखकर मूल्यांकन करना—जिससे स्वचालित प्रणालियों और शैक्षिक सिद्धांत के बीच के अंतर को पाटा जा सकता है।
• सीमाएं: लेखक विनम्रतापूर्वक सीमाओं को स्वीकार करते हैं, जिनमें डेटासेट का अपेक्षाकृत छोटा पैमाना, गणित डोमेन तक सीमित होना, और OCR पर निर्भरता शामिल है जो पहचान त्रुटियां पेश कर सकती है या दृश्य तर्क (चित्रों) के तत्वों को खो सकती है। वे यह दावा नहीं करते हैं कि यह ढांचा बिना किसी अतिरिक्त अनुकूलन के सभी विषयों के लिए सार्वभौमिक रूप से लागू है।