KNIGHT: Knowledge Graph-Driven Multiple-Choice Question Generation with Adaptive Hardness Calibration
KNIGHT एक नॉलेज ग्राफ-संचालित फ्रेमवर्क है जो बाहरी स्रोतों से उच्च-गुणवत्ता वाले, कठिनाई-नियंत्रित बहुविकल्पीय प्रश्न डेटासेट को कुशलतापूर्वक उत्पन्न करने के लिए लार्ज लैंग्वेज मॉडल्स का लाभ उठाता है, जिससे RAG सिस्टम के मूल्यांकन के लिए मैनुअल असेसमेंट निर्माण की लागत और समय संबंधी बाधाओं को दूर किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जिसे अपने छात्रों के लिए एक क्विज़ बनाना है। आमतौर पर, आपको घंटों तक पाठ्यपुस्तकों को पढ़ने, तथ्यों को चुनने और सही कठिनाई स्तर वाले प्रश्न लिखने में समय बिताना पड़ता है। यदि आप एक कठिन क्विज़ बनाना चाहते हैं, तो आपको सब कुछ फिर से शुरू करना पड़ता है।
यह शोध पत्र KNIGHT नामक एक नए टूल का परिचय देता है (Knowledge Graph-Driven Natural Item Generation with Adaptive Hardness Tuning)। KNIGHT को एक ऐसे रोबोट के रूप में न सोचें जो शून्य से प्रश्न लिखता है, बल्कि इसे एक स्मार्ट लाइब्रेरियन (पुस्तकालयाध्यक्ष) के रूप में समझें जो क्विज़ लिखने से पहले एक कस्टम मानचित्र (मैप) बनाता है।
यह इस प्रकार काम करता है, जिसे सरल चरणों में विभाजित किया गया है:
1. "मानचित्र" (ज्ञान ग्राफ - The Knowledge Graph)
हर बार जब इसे एक प्रश्न लिखना होता है, तो AI से पूरी किताब पढ़ने के लिए कहने के बजाय, KNIGHT पहले विषय का एक सरलीकृत मानचित्र बनाता है।
- उपमा: कल्पना कीजिए कि आप किसी को "जीव विज्ञान" (Biology) के बारे में पढ़ाना चाहते हैं। उन्हें 500 पन्नों का विश्वकोश देने के बजाय, लाइब्रेरियन कागज का एक एकल पन्ना बनाता है जिसमें बिंदु (इकाइयाँ जैसे "कोशिकाएं," "DNA," "पौधे") और उन्हें जोड़ने वाली रेखाएं (संबंध जैसे "कोशिकाएं DNA बनाती हैं") होती हैं।
- यह क्यों मदद करता है: यह मानचित्र छोटा है, पढ़ने में तेज़ है, और इसे पुन: उपयोग किया जा सकता है। एक बार जब "जीव विज्ञान" के लिए मानचित्र तैयार हो जाता है, तो लाइब्रेरियन उस बड़े विश्वकोश को दोबारा देखे बिना आसान प्रश्न, कठिन प्रश्न या पेचीदा प्रश्न बना सकता है।
2. रास्ता बनाना (मल्टी-हॉप प्रश्न - Drawing the Path)
एक प्रश्न बनाने के लिए, KNIGHT केवल एक बिंदु नहीं चुनता; यह मानचित्र की रेखाओं के साथ एक पथ (रास्ता) का अनुसरण करता है।
- आसान प्रश्न (स्तर 1): पथ छोटा है। यह बिंदु A से बिंदु B तक जाता है।
- उदाहरण: "जीव विज्ञान को कोशिकाओं से क्या जोड़ता है?"
- कठिन प्रश्न (स्तर 3): पथ लंबा और घुमावदार है। यह बिंदु A से बिंदु B, फिर बिंदु C, और फिर बिंदु D तक जाता है।
- उदाहरण: "यदि जीव विज्ञान से कोशिकाएं आती हैं, और कोशिकाओं से DNA आता है, और DNA से जेनेटिक्स (आनुवंशिकी) आती है, तो कौन सा क्षेत्र अंतिम चरण का अध्ययन करता है?"
- जादू: सिस्टम कठिनाई को केवल मानचित्र पर कितने "हॉप्स" (कदम) लिए जाने का निर्णय लेकर नियंत्रित करता है।
3. "गुणवत्ता नियंत्रण" निरीक्षक (The Quality Control Inspector)
सिर्फ इसलिए कि एक रोबोट एक वाक्य लिख सकता है, इसका मतलब यह नहीं है कि वह एक अच्छा प्रश्न है। KNIGHT में एक अंतर्निहित निरीक्षक (एक अन्य AI) है जो अंतिम क्विज़ में शामिल होने से पहले हर प्रश्न की पांच सख्त नियमों के विरुद्ध जांच करता है:
- व्याकरण: क्या अंग्रेजी सही है?
- एक उत्तर: क्या केवल एक ही सही उत्तर है? (कोई भ्रमित करने वाले प्रश्न नहीं जिनमें दो सही विकल्प हों)।
- अद्वितीय विकल्प: क्या गलत उत्तर (डिस्ट्रैक्टर्स) वास्तव में एक-दूसरे से अलग हैं?
- सत्यता: क्या उत्तर केवल मानचित्र और स्रोत पाठ का उपयोग करके पाया जा सकता है? (यह AI को मनगढ़ंत बातें बनाने या "भ्रमित" होने से रोकता है)।
- विषय पर आधारित: क्या प्रश्न वास्तव में विषय के अनुकूल है?
4. यह पुराने तरीकों से बेहतर क्यों है?
शोध पत्र KNIGHT की तुलना क्विज़ बनाने के अन्य तरीकों से करता है:
- "साधारण" तरीका: बस एक AI से "जीव विज्ञान का प्रश्न लिखें" कहना। इससे अक्सर मनगढ़ंत तथ्य या बहुत आसान प्रश्न मिलते हैं।
- "RAG" तरीका: AI को हर बार एक लंबा दस्तावेज़ पढ़ने के लिए देना। यह धीमा, महंगा है, और AI अभी भी भ्रमित हो सकता है।
- KNIGHT का तरीका: मानचित्र का उपयोग करके, KNIGHT सस्ता और तेज़ है। यह मानचित्र को एक बार बनाता है, और फिर उसी छोटे मानचित्र से सैकड़ों प्रश्न उत्पन्न करता है। यह अधिक कठिन और तार्किक प्रश्न भी बनाता है क्योंकि वे मानचित्र में वास्तविक संबंधों पर आधारित होते हैं, न कि केवल रैंडम अनुमान पर।
परिणाम
शोधकर्ताओं ने इतिहास, जीव विज्ञान और गणित के तीन विषयों पर KNIGHT का परीक्षण किया। उन्होंने पाया कि:
- प्रश्न व्याकरणिक रूप से सटीक और स्पष्ट थे।
- "कठिन" प्रश्न वास्तव में कठिन थे (छात्र और AI मॉडल उन्हें गलत कर देते थे), और "आसान" वाले आसान थे।
- सिस्टम ने बहुत कम गलतियाँ कीं जहाँ उत्तर स्रोत सामग्री में नहीं मिल सका (जिसका अर्थ है कि इसने "भ्रम" या झूठ नहीं बोला)।
- इसने AI मॉडलों को प्रसिद्ध, महंगे बेंचमार्क के समान क्रम में रखा, जो साबित करता है कि यह बुद्धिमत्ता को परखने का एक विश्वसनीय तरीका है।
संक्षेप में: KNIGHT एक ऐसा सिस्टम है जो ज्ञान का एक छोटा, पुन: प्रयोज्य मानचित्र बनाता है और फिर उस मानचित्र का उपयोग करके तेजी से और सस्ते में उच्च गुणवत्ता वाले, कठिनाई-नियंत्रित क्विज़ बनाता है, जिसके लिए हर प्रश्न के लिए पूरी किताबें दोबारा पढ़ने की आवश्यकता नहीं होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।