तकनीकी सारांश: LearnOpt – मानक परीक्षाओं की अंतर्निहित संज्ञानात्मक संरचना की पुनर्प्राप्ति

1. समस्या का विवरण

भारत में मानकीकृत परीक्षा की तैयारी, विशेष रूप से राष्ट्रीय पात्रता सह प्रवेश परीक्षा (NEET) के लिए, पारंपरिक रूप से एक समान पाठ्यक्रम कवरेज समस्या के रूप में दृष्टिकोण की जाती है। छात्र और कोचिंग केंद्र आमतौर पर अध्यायों में समय समान रूप से आवंटित करते हैं या ऐतिहासिक विषय आवृत्ति के आधार पर प्राथमिकता देते हैं। लेखक तर्क देते हैं कि यह दृष्टिकोण दो संरचनात्मक दोषों से ग्रस्त है:

1. गैर-समान नमूनाकरण (Non-Uniform Sampling): परीक्षाएँ पाठ्यक्रम का समान रूप से नमूना नहीं लेतीं; कुछ संज्ञानात्मक क्रियाएं (cognitive operations) व्यवस्थित रूप से उच्च आवृत्तियों के साथ दिखाई देती हैं।
2. विषय और कौशल का मिश्रण (Conflation of Topic and Skill): एक ही पाठ्यक्रम अध्याय के भीतर के प्रश्न पूरी तरह से अलग संज्ञानात्मक क्रियाओं की मांग कर सकते हैं (जैसे, प्रत्यक्ष तथ्य पुनर्प्राप्ति बनाम बहु-अवधारणा एकीकरण), फिर भी मानक रणनीतियाँ उन्हें समकक्ष मानती हैं।

मुख्य चुनौती परीक्षा की तैयारी को एक प्रतिबंधित अनुकूलन समस्या (constrained optimization problem) के रूप में पुनर्गठित करने में है: एक निश्चित समय बजट और छात्र की वर्तमान ज्ञान स्थिति को देखते हुए अपेक्षित स्कोर को अधिकतम करना। इसके लिए "स्थिरता धारणा" (stationarity assumption) की आवश्यकता है—कि परीक्षा की अंतर्निहित संज्ञानात्मक संरचना समय के साथ इतनी स्थिर है कि ऐतिहासिक डेटा भविष्यवाणात्मक बन सके। यह शोध जांचता है कि क्या यह धारणा NEET के लिए लागू होती है, और यदि नहीं, तो शासन परिवर्तन (regime shifts) का पता कैसे लगाया जाए और उनके अनुकूल कैसे हुआ जाए।

2. कार्यप्रणाली: LearnOpt फ्रेमवर्क

LearnOpt एक चार-घटक पाइपलाइन है जिसे परीक्षा की अंतर्निहित संरचना को पुनः प्राप्त करने और व्यक्तिगत अध्ययन योजनाएं उत्पन्न करने के लिए डिज़ाइन किया गया है।

2.1 डेटा अंतर्ग्रहण और LLM टैगिंग

• इनपुट: 2016-2024 के 1,496 अंग्रेजी भाषा के NEET प्रश्न (जीव विज्ञान, रसायन विज्ञान, भौतिकी)।
• प्रक्रिया: PyMuPDF के माध्यम से कच्चे PDF निकाले जाते हैं। प्रत्येक प्रश्न को एक चेन-ऑफ-एविडेंस प्रॉम्प्ट का उपयोग करके एक लार्ज लैंग्वेज मॉडल (LLM) द्वारा संसाधित किया जाता है।
• आउटपुट: संरचित JSON रिकॉर्ड जिसमें प्रश्न, विकल्प, उत्तर और पाँच अंतर्निहित कौशल श्रेणियों (S1–S5) में एक वर्गीकरण शामिल है। वर्गीकरण के लिए पाठ्य साक्ष्य प्रदान करने हेतु LLM को बाध्य किया जाता है ताकि मानव समीक्षा सक्षम हो सके।
• विश्वसनीयता: एक उपसमूह (74 प्रश्न) पर दो अलग-अलग LLM के बीच अंतर-मॉडल सहमति (Cohen's $\kappa$) 0.51 (मध्यम) थी। असहमति मुख्य रूप से "वैचारिक अनुप्रयोग" (S2), "बहु-अवधारणा एकीकरण" (S3), और "मात्रात्मक तर्क" (S4) के बीच की सीमा पर केंद्रित थी, जबकि "उन्मूलन/निषेध" (Elimination/Negation) श्रेणी (S5) में उच्च सहमति देखी गई।

2.2 परीक्षा ज्ञान ग्राफ (Exam Knowledge Graph)

• संरचना: एक ग्राफ $G=(V, E)$ जिसे FalkorDB में संग्रहीत किया गया है।
• नोड्स (Nodes): प्रश्न, विषय, अध्याय, विषय (Subjects), कौशल, और NCERT अनुभाग।
• किनारे (Edges): संबंधों में TESTS, PART_OF, REQUIRES_SKILL, TAUGHT_IN, और PREREQUISITE_OF शामिल हैं।
• निर्माण: पूर्ववर्ती (Prerequisite) किनारों का अनुमान NCERT अध्याय अनुक्रमण और LLM-अनुमानित अवधारणा निर्भरताओं से लगाया गया है।

2.3 अंतर्निहित कौशल वर्गीकरण (Latent Skill Taxonomy)

लेखक सतह संरचनात्मक विभेदन के आधार पर पाँच कौशल श्रेणियों को परिभाषित करते हैं (6-स्तरीय ब्लूम टैक्सोनॉमी की कम अंतर-रेटर विश्वसनीयता से बचते हुए):

• S1 (प्रत्यक्ष स्मरण - Direct Recall): एकल तथ्य पुनर्प्राप्ति।
• S2 (वैचारिक अनुप्रयोग - Conceptual Application): एक ज्ञात सिद्धांत को नए संदर्भ में लागू करना।
• S3 (बहु-अवधारणा एकीकरण - Multi-concept Integration): अलग-अलग अध्यायों के ज्ञान को जोड़ना।
• S4 (मात्रात्मक तर्क - Quantitative Reasoning): संख्यात्मक गणना या सूत्र अनुप्रयोग।
• S5 (उन्मूलन/निषेध - Elimination/Negation): प्रश्न जो "कौन सा सही नहीं है" या "सभी को छोड़कर" जैसे संरचित होते हैं, जिनमें दावों के संपूर्ण सत्यापन की आवश्यकता होती है।

2.4 अध्ययन अनुकूलन इंजन

अध्ययन योजना को Google OR-Tools CP-SAT सॉल्वर के माध्यम से हल की जाने वाली Knapsack Problem के एक संस्करण के रूप में तैयार किया गया है।

• उद्देश्य: अपेक्षित स्कोर लाभ को अधिकतम करना।
• बाधाएं: समय बजट और पूर्ववर्ती क्रम (एक छात्र किसी अवधारणा में महारत हासिल करने के लिए उसके पूर्ववर्ती विषयों के बिना नहीं जा सकता)।
• मूल्य फलन (Value Function): इसमें ऐतिहासिक आवृत्ति ($R_i$), वर्तमान महारत ($m_i$), और परीक्षा में कौशल श्रेणी की अनुभवजन्य आवृत्ति के आधार पर एक कौशल-भारित शब्द ($W_s$) शामिल है।
• सीखने का मॉडल: प्रत्येक अध्ययन सत्र के बाद महारत की स्थिति को अपडेट करने के लिए पूर्ववर्ती-जागरूक बाधाओं के साथ बेयसियन नॉलेज ट्रेसिंग (BKT) का उपयोग करता है।

3. मुख्य परिणाम

3.1 शासन स्थिरता और संरचनात्मक परिवर्तन (Regime Stability and Structural Break)

2016-2024 के डेटासेट का विश्लेषण प्रकट करता है कि NEET का अंतर्निहित कौशल वितरण खंडवार स्थिर (piecewise stationary) है:

• पूर्व-2023 शासन (2016–2021): वितरण स्थिर है। क्रमिक-वर्ष कुलबैक-लीब्लर (KL) विचलन 0.004 से 0.032 के बीच है, जिसमें क्रमपरिवर्तन परीक्षण (permutation testing) के तहत कोई महत्वपूर्ण बदलाव नहीं है ($p > 0.05$)।
• 2023 का बदलाव: एक महत्वपूर्ण संरचनात्मक परिवर्तन होता है जो NCERT 2023 पाठ्यक्रम युक्तिकरण के साथ मेल खाता है।
  • तुलना: 2016–2021 ($n=1,072$) बनाम 2023–2024 ($n=392$) को मिलाने पर KL विचलन 0.040 ($p=0.0005$) प्राप्त होता है।
  • बदलाव की प्रकृति: प्रत्यक्ष स्मरण (S1) प्रश्न ~4–6% से गिरकर ~2% हो गए। उन्मूलन/निषेध (S5) प्रश्न ~20–29% से बढ़कर ~31–35% हो गए।
  • कारण: इस बदलाव का श्रेय NCERT पाठ्यक्रम से पूरे अध्यायों को हटाने को दिया गया है, जिससे प्रश्न निर्माताओं को शेष सामग्री को अधिक कठोरता से, यानी बहु-कथन सत्यापन (S5) के माध्यम से परीक्षण करने के लिए मजबूर होना पड़ा, न कि केवल अलग तथ्यों की पुनर्प्राप्ति (S1) के माध्यम से।

3.2 विषय बनाम समय भविष्यवक्ता

एक पाठ्यक्रम शासन के भीतर, विषय कौशल प्रोफाइल को वर्ष की तुलना में अधिक मजबूती से भविष्यवाणी करता है।

• भौतिकी (Physics): बहु-अवधारणा एकीकरण (S3, 51.9%) द्वारा प्रधान है और लगभग S5 से रहित है।
• जीव विज्ञान (Biology): S5 (34.6%) और S1 (7.8%) से समृद्ध है।
• रसायन विज्ञान (Chemistry): S2 और S3 के बीच संतुलित है।
• विचलन: विषयों के बीच KL विचलन (जैसे, भौतिकी बनाम जीव विज्ञान = 0.420) एक शासन के भीतर वर्ष-दर-वर्ष विचलन (अधिकतम 0.032) से कहीं अधिक है।

3.3 अनुकूलन मूल्यांकन

कौशल-भारित उद्देश्य का परीक्षण तीन छात्र प्रोफाइल (एक वास्तविक, दो सिंथेटिक) के माध्यम से दो बेसलाइन (समान कवरेज और केवल विषय-आवृत्ति) के विरुद्ध किया गया।

• निष्कर्ष: कौशल-भारित दृष्टिकोण ने अनुशंसित विषयों के क्रम में एक मामूली लेकिन वास्तविक पुनर्गठन उत्पन्न किया। उदाहरण के लिए, इसने उन विषयों को प्राथमिकता दी जो S5 (पोस्ट-2023 शासन में उच्च आवृत्ति) द्वारा प्रधान थे, उन विषयों की तुलना में जिनका ऐतिहासिक आवृत्ति समान थी लेकिन जिनका कौशल प्रोफाइल भार कम था।
• सीमा: वैयक्तिकरण सिग्नल कम हो गया क्योंकि केवल 28.2% प्रश्नों को छात्र स्व-मूल्यांकन में उपयोग किए जाने वाले विशिष्ट ~18 विषयों से मैप किया जा सका; शेष को तटस्थ मानों पर छोड़ दिया गया।

3.4 क्रॉस-परीक्षा तुलना (JEE Advanced)

पाइपलाइन को JEE Advanced पर लागू करने से एक मौलिक रूप से भिन्न संज्ञानात्मक संरचना का पता चला:

• JEE Advanced: बहु-अवधारणा एकीकरण (80.9%) द्वारा प्रधान है जिसमें शुद्ध स्मरण (pure recall) लगभग शून्य है।
• विचलन: JEE Advanced और NEET के बीच KL विचलन (0.505) NEET के भीतर सबसे बड़े क्रॉस-विषय विचलन से अधिक है, जो इंगित करता है कि परीक्षा का स्तर (tier) विषय की तुलना में अंतर्निहित संरचना को अधिक आकार देता है।

4. महत्व और दावे

शोध पत्र निम्नलिखित योगदानों का दावा करता है:

1. खंडवार स्थिरता का अनुभवजन्य प्रमाण: यह प्रदर्शित करता है कि हालांकि परीक्षा संरचनाएं स्थायी रूप से स्थिर नहीं होती हैं, वे पहचान योग्य पाठ्यक्रम शासन के भीतर स्थिर रहती हैं। यह अनुकूलन के लिए ऐतिहासिक डेटा के उपयोग को मान्य करता है बशर्ते कि शासन परिवर्तनों (जैसे 2023 NCERT परिवर्तन) का पता लगाया जाए और उन्हें ध्यान में रखा जाए।
2. अंतर्निहित कौशल निष्कर्षण: यह पाँच-श्रेणी वर्गीकरण पेश करता है जो MCQ की संरचनात्मक विशेषताओं (विशेष रूप से S5: उन्मूलन/निषेध) को पकड़ता है जिन्हें अक्सर मानक वर्गीकरण द्वारा अनदेखा कर दिया जाता है, यह दिखाते हुए कि प्रश्न प्रारूप संज्ञानात्मक मांग का एक विशिष्ट भविष्यवक्ता है।
3. अनुकूलन ढांचा: यह LearnOpt प्रस्तुत करता है, जो "उच्च-महत्वपूर्ण अध्याय" की सलाह से आगे बढ़कर एक प्रतिबंधित अनुकूलन मॉडल है जो अध्ययन के समय को विषय आवृत्ति और परीक्षा की अनुभवजन्य संज्ञानात्मक मांग दोनों के आधार पर भारित करता है।
4. ओपन डेटा: लेखक कोड, ज्ञान ग्राफ, और एनोटेटेड डेटासेट (1,496 प्रश्न कौशल टैग के साथ) जारी करते हैं ताकि इन पैटर्न के स्वतंत्र सत्यापन की अनुमति मिल सके।

लेखक अपने उपकरण की वर्तमान स्थिति के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि वैयक्तिकरण सिग्नल वर्तमान में विषय मैपिंग की सूक्ष्मता द्वारा सीमित है और 2025 के डेटा का विश्वसनीय रूप से विश्लेषण नहीं किया जा सका क्योंकि उपलब्ध स्रोतों में पूर्ण प्रश्न पाठ उपलब्ध नहीं था। प्राथमिक योगदान परीक्षा की अंतर्निहित संरचना का विश्लेषण है, न कि एक पूरी तरह से परिपक्व, उत्पादन-ग्रेड ट्यूटरिंग सिस्टम।