BengaliMCQ: Automatic Generation and Answer Prediction of Academic Multiple-Choice Questions in a Low-Resource Language
यह शोध पत्र एक संरचना-जागरूक रिट्रीवल-ऑगमेंटेड जनरेशन फ्रेमवर्क पेश करता है जो इस कम-संसाधन वाली भाषा में बहुविकल्पीय प्रश्न निर्माण और उत्तर भविष्यवाणी में महत्वपूर्ण सुधार करने के लिए बंगाली पाठ्यपुस्तकों को पदानुक्रमित ग्राफ के रूप में मॉडल करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल) पढ़ने, लिखने और तर्क करने के लिए शक्तिशाली उपकरण बन गए हैं। ये सिस्टम पाठ की विशाल मात्रा को प्रोसेस कर सकते हैं, लेकिन उन्हें एक व्यावहारिक सीमा का सामना करना पड़ता है: वे एक साथ पूरी लाइब्रेरी नहीं पढ़ सकते। जब किसी लंबे पाठ्यपुस्तक अध्याय के आधार पर एक विशिष्ट प्रकार का प्रश्न बनाने के लिए कहा जाता है, तो मॉडल शब्दों की भारी मात्रा में खो जाता है, जिससे वह सबसे महत्वपूर्ण विवरणों को चूक जाता है। इस समस्या को हल करने के लिए, शोधकर्ता 'रिट्रीवल-ऑगमेंटेड जनरेशन' नामक तकनीक का उपयोग करते हैं। यह दृष्टिकोण एक लाइब्रेरियन की तरह कार्य करता है जो शिक्षक को पुस्तक सौंपने से पहले यह खोज लेता है कि छात्र को किन सटीक पृष्ठों की आवश्यकता है। हालाँकि, इन पृष्ठों को खोजने के मानक तरीके अक्सर एक पाठ्यपुस्तक को वाक्यों की एक सपाट सूची की तरह मानते हैं, जिससे अध्याय, शीर्षक और अनुच्छेदों के संगठन की अनदेखी हो जाती है। यह विशेष रूप से बंगाली जैसी भाषाओं के साथ काम करने में कठिन है, जहाँ इन सिस्टम को प्रशिक्षित करने के लिए कम डिजिटल संसाधन उपलब्ध हैं, जिससे परिणाम अक्सर गलत या अप्रासंगिक होते हैं।
बांग्लादेश के ब्रैक यूनिवर्सिटी (BRAC University) के शोधकर्ताओं की एक टीम ने कंप्यूटर को केवल उसके शब्दों को ही नहीं, बल्कि एक पुस्तक की संरचना को समझने के लिए प्रशिक्षित करके इस समस्या को हल करने का प्रयास किया। उन्होंने 'बंगालीएमसीक्यू' (BengaliMCQ) नामक एक प्रणाली विकसित की, जिसे छात्रों के लिए बहुविकल्पीय प्रश्न (MCQs) स्वचालित रूप से बनाने और उच्च सटीकता के साथ उन प्रश्नों के उत्तर देने के लिए डिज़ाइन किया गया है, और वह भी बंगाली भाषा का उपयोग करते हुए। आर्टिफिशियल इंटेलिजेंस को पूरी पाठ्यपुस्तक खिलाने के बजाय, उनकी प्रणाली पहले पुस्तक का एक मानचित्र (मैप) बनाती है। यह पाठ्यपुस्तक को एक पदानुक्रम (hierarchy) के रूप में मानती है, जो अध्यायों को शीर्षकों से, शीर्षकों को अनुच्छेदों से और अनुच्छेदों को व्यक्तिगत वाक्यों से जोड़ती है। यह मानचित्र कंप्यूटर को यह देखने की अनुमति देता है कि विचार एक खंड से दूसरे खंड में कैसे प्रवाहित होते हैं, ठीक वैसे ही जैसे एक वंशावली (family tree) रिश्तेदारों के बीच संबंधों को दर्शाती है।
इस मानचित्र को उपयोगी बनाने के लिए, शोधकर्ताओं ने एक विशेष कंप्यूटर प्रोग्राम को इसे नेविगेट करने के लिए प्रशिक्षित किया। उन्होंने हजारों नमूना प्रश्नों और पुस्तकों के उन विशिष्ट अंशों का एक डेटासेट बनाया जो उनके उत्तर देते हैं। इस प्रशिक्षण का उपयोग करते हुए, सिस्टम ने यह पहचानना सीखा कि किसी विशिष्ट विषय के लिए पुस्तक के कौन से हिस्से सबसे अधिक प्रासंगिक थे। जब कोई उपयोगकर्ता सिस्टम से "प्रकाश संश्लेषण" (photosynthesis) या "बंगाली साहित्य" जैसे विषय पर प्रश्न बनाने के लिए कहता है, तो सिस्टम पूरी पुस्तक को स्कैन नहीं करता है। इसके बजाय, वह अपने मानचित्र का उपयोग करके केवल पांच सबसे महत्वपूर्ण अंशों को प्राप्त करता है। इन छोटे, केंद्रित अंशों को फिर एक लार्ज लैंग्वेज मॉडल को भेजा जाता है, जो उच्च गुणवत्ता वाला प्रश्न लिखने या सही उत्तर खोजने के लिए उनका उपयोग करता है। यह प्रक्रिया सूचना की मात्रा को काफी कम कर देती है जिसे कंप्यूटर को प्रोसेस करना होता है, जिससे कार्य तेज़ और अधिक सटीक हो जाता है।
इस दृष्टिकोण के परिणाम आश्चर्यजनक थे। मानक तकनीकों के मुकाबले अपने तरीके की तुलना करने वाले परीक्षणों में, नया सिस्टम सही जानकारी खोजने में कहीं बेहतर साबित हुआ। जहाँ अन्य तरीके अक्सर सही अंश खोजने में संघर्ष करते थे, वहीं शोधकर्ताओं की प्रणाली ने लगातार सबसे प्रासंगिक पाठ की पहचान की। जब उन्होंने प्रश्न उत्पन्न करने की क्षमता का परीक्षण किया, तो आउटपुट न केवल अधिक सटीक था, बल्कि अधिक विविध और शैक्षणिक रूप से सुदृढ़ भी था। शायद सबसे प्रभावशाली बात यह है कि सिस्टम ने 91.41 प्रतिशत की उत्तर भविष्यवाणी सटीकता प्राप्त की। इसका अर्थ है कि जब इसे पिछले परीक्षा के किसी प्रश्न के दिए जाने पर, सिस्टम दस में से नौ बार से अधिक सही उत्तर की पहचान कर सका। इसके विपरीत, अन्य तरीकों ने जो एक साथ पूरी पुस्तक को पढ़ने का प्रयास किया या कम संरचित खोज विधियों का उपयोग किया, वे काफी खराब प्रदर्शन करते रहे, क्योंकि वे अप्रासंगिक पाठ के शोर में खो जाते थे।
शोधकर्ताओं ने यह भी पाया कि पुस्तक की संरचना उनकी सफलता का सबसे महत्वपूर्ण कारक थी। जब उन्होंने पाठ के पदानुक्रम का प्रतिनिधित्व करने वाले कनेक्शनों को हटा दिया—जैसे कि एक अध्याय और उसके उप-शीर्षकों के बीच का संबंध—तो सिस्टम का प्रदर्शन गिर गया। इससे यह सिद्ध हुआ कि सामग्री के संगठन को समझना केवल शब्दों तक पहुँच रखने से कहीं अधिक महत्वपूर्ण था। उन्होंने यह भी पाया कि सिस्टम तब सबसे अच्छा काम करता है जब इसे संबंधित वाक्यों की एक विशिष्ट संख्या खोजने और कमजोर कनेक्शनों को अनदेखा करने के लिए प्रशिक्षित किया जाता है। इन सेटिंग्स को सूक्ष्म रूप से व्यवस्थित करके, उन्होंने यह सुनिश्चित किया कि सिस्टम केवल विचारों के बीच सबसे मजबूत संबंधों पर ध्यान केंद्रित करे।
यह सुनिश्चित करने के लिए कि उनके कार्य की गुणवत्ता केवल कंप्यूटर स्कोर तक सीमित न रहे, टीम ने उत्पन्न किए गए प्रश्नों की समीक्षा के लिए मानव विशेषज्ञों को नियुक्त किया। साहित्य और विज्ञान के दो विशेषज्ञों ने सिस्टम द्वारा बनाए गए प्रश्नों के एक यादृच्छिक नमूने का मूल्यांकन किया। विशेषज्ञों ने अधिकांश प्रश्नों को प्रासंगिक और उपयोगी बताया, जिसमें जीव विज्ञान (biology) के प्रश्नों को उच्चतम अंक मिले। इस मानवीय सत्यापन ने पुष्टि की कि सिस्टम केवल पैटर्न की नकल नहीं कर रहा था, बल्कि वास्तव में ऐसी सामग्री का उत्पादन कर रहा था जो एक वास्तविक कक्षा के मानकों को पूरा करती है। अध्ययन ने एक महत्वपूर्ण दक्षता लाभ को भी रेखांकित किया: इस संरचित दृष्टिकोण का उपयोग करके, सिस्टम ने आवश्यक संदर्भ खोए बिना, प्रोसेस किए जाने वाले टेक्स्ट की मात्रा को 43,000 से अधिक शब्दों से घटाकर केवल 1,651 शब्द कर दिया।
इन सफलताओं के बावजूद, शोधकर्ता स्वीकार करते हैं कि उनका कार्य त्रुटिहीन नहीं है। सिस्टम को सिखाने के लिए उपयोग किए गए प्रशिक्षण डेटा को अन्य आर्टिफिशियल इंटेलिजेंस मॉडल्स द्वारा बनाया गया था, जिसका अर्थ है कि इसकी नींव में त्रुटियों या "भ्रम" (hallucinations) की एक छोटी संभावना बनी हुई है। इसके अतिरिक्त, मानव मूल्यांकन एक छोटे समूह के विशेषज्ञों और विषयों के एक विशिष्ट सेट तक सीमित था। टीम का सुझाव है कि विश्वसनीयता को और बेहतर बनाने के लिए भविष्य के कार्यों में पूरी तरह से मनुष्यों द्वारा क्यूरेट किए गए बड़े डेटासेट शामिल होने चाहिए। फिर भी, यह अध्ययन कम-संसाधन वाली भाषाओं के लिए शैक्षिक तकनीक के लिए एक स्पष्ट मार्ग प्रदर्शित करता है। पाठ्यपुस्तकों की प्राकृतिक संरचना का सम्मान करके और आर्टिफिशियल इंटेलिजेंस को निर्देशित करने के लिए इसका उपयोग करके, ऐसे उपकरण बनाना संभव है जो अत्यधिक सटीक और सीखने की प्रक्रिया के लिए गहराई से प्रासंगिक हों, जो जटिल तकनीक और छात्रों एवं शिक्षकों की रोजमर्रा की जरूरतों के बीच के अंतर को पाट सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।