TeachMateGPT: A Multi-Agent Knowledge-Grounded Framework for Pedagogical Assessment Generation from Science Curriculum Materials

कल्पना कीजिए कि आप एक शिक्षक हैं जो अपनी विज्ञान कक्षा के लिए एक क्विज़ बनाने की कोशिश कर रहे हैं। आपके पास एक मोटी, आधिकारिक पाठ्यपुस्तक है जिसमें सभी उत्तर मौजूद हैं, लेकिन आपके पास हर पेज को पलटकर सही प्रश्न खोजने का समय नहीं है। आप एक सुपर-स्मार्ट कंप्यूटर रोबोट (एक आर्टिफिशियल इंटेलिजेंस) की ओर मुड़ते हैं ताकि वह आपकी मदद कर सके। आप उससे पूछते हैं, "मेरे लिए एसिड रेन (अम्लीय वर्षा) पर एक क्विज़ बनाओ," और रोबोट टाइप करना शुरू कर देता है। लेकिन यहाँ एक पेच है: कभी-कभी ये रोबोट उन अति-उत्साही छात्रों की तरह होते हैं जिन्होंने कुछ तथ्य रट लिए हैं और फिर स्मार्ट दिखने के लिए चीजें बनाना शुरू कर देते हैं। वे कोई फर्जी विज्ञान नियम या किसी दूसरे अध्याय से कोई तथ्य उठा सकते हैं। इसे "हैलुसिनेशन" (hallucinating) कहा जाता है। इसे रोकने के लिए, वैज्ञानिक एक तरकीब का उपयोग करते हैं जिसे रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) कहते हैं। RAG को एक लाइब्रेरी कार्ड देने और एक सख्त नियम के रूप में सोचें: "आप अपना क्विज़ तभी लिख सकते हैं जब आप उस सटीक पेज की ओर इशारा कर सकें जहाँ से आपने उत्तर पाया है।"

हालाँकि, लाइब्रेरी कार्ड होने के बावजूद, रोबोट अभी भी भ्रमित हो सकता है। यदि पाठ्यपुस्तक जटिल तरीके से व्यवस्थित है, या यदि रोबोट आसपास के संदर्भ (context) के बिना केवल एक छोटा, अलग वाक्य उठा लेता है, तो वह अभी भी एक खराब प्रश्न लिख सकता है। बड़ा सवाल यह है कि शोधकर्ता यह कैसे हल करें कि एक ऐसा रोबोट बनाया जाए जो न केवल कोई भी पेज उठाए, बल्कि पाठ के ढांचे को समझे, यह जाने कि उसके पास उत्तर देने के लिए पर्याप्त जानकारी नहीं है, और काम दिखाने से पहले अपने काम की जाँच करे? यह एक नया अध्ययन इस समस्या को हल करने की कोशिश कर रहा है, विशेष रूप से बांग्लादेश के विज्ञान शिक्षकों के लिए जो एक बहुत ही विशिष्ट राष्ट्रीय पाठ्यपुस्तक का उपयोग करते हैं।

---

मिलिए TeachMateGPT से: सुरक्षा जाल के साथ रोबोट लाइब्रेरियन

यह पेपर एक नए सिस्टम TeachMateGPT का परिचय देता है। आप इसे केवल एक एकल रोबोट के रूप में नहीं, बल्कि एक उच्च-तकनीकी कारखाने में काम करने वाले विशेषज्ञ श्रमिकों की एक टीम के रूप में देख सकते हैं, जो सभी मिलकर एक शिक्षक के अनुरोध को एक सटीक, पाठ्यपुस्तक-सटीक क्विज़ में बदलने के लिए काम करते हैं। यह सिस्टम विशेष रूप से बांग्लादेश के नेशनल करिकुलम एंड टेक्स्टबुक बोर्ड (NCTB) कक्षा 8 की विज्ञान पाठ्यपुस्तक के लिए डिज़ाइन किया गया है, जो एक महत्वपूर्ण संसाधन है लेकिन AI के लिए इसे पूरी तरह से नेविगेट करना अक्सर कठिन होता है।

यहाँ यह कारखाना चरण-दर-चरण कैसे काम करता है:

1. स्मार्ट इंडेक्स (COPE)
सबसे पहले, सिस्टम को पाठ्यपुस्तक को व्यवस्थित करना होगा। कल्पना कीजिए कि पाठ्यपुस्तक एक विशाल, अस्त-व्यस्त अटारी है। एक सामान्य रोबोट शायद चीजों का एक रैंडम डिब्बा उठा लेगा। TeachMateGPT एक विशेष टूल COPE (करिकुलम-ओरिएंटेड पेडागोगिकल एम्बेडिंग) का उपयोग करता है। टेक्स्ट को यादृच्छिक टुकड़ों में काटने के बजाय, COPE पुस्तक के "फैमिली ट्री" (वंशवृक्ष) को समझता है। यह जानता है कि एक "अध्याय" में "पाठ" होते हैं, जिनमें "अनुभाग" होते हैं, और उनमें "परिभाषाएं" होती हैं। यह एक ऐसा मानचित्र बनाता है जहाँ सूचना का हर हिस्सा अपने माता-पिता और पड़ोसियों से जुड़ा होता है। यदि रोबोट को किसी विशिष्ट जानवर के बारे में जानना है, तो वह केवल शब्द "जानवर" नहीं खोजता; वह पूरे पैराग्राफ को खोजता है कि वह जीवन के फैमिली ट्री में कहाँ फिट बैठता है। यह सुनिश्चित करता है कि रोबोट केवल शब्दों को नहीं, बल्कि संदर्भ को भी समझे।

2. गेटकीपर्स (द रूटिंग एजेंट्स)
इससे पहले कि रोबोट उत्तरों की तलाश शुरू करे, "गेटकीपर" एजेंटों की एक टीम शिक्षक के अनुरोध की जाँच करती है।

• इटेंट एजेंट (Intent Agent) पूछता है: "क्या यह एक वास्तविक विज्ञान का प्रश्न है, या शिक्षक ने बस 'नमस्ते' कहा है?"
• एम्बिग्युटी एजेंट (Ambiguity Agent) पूछता है: "क्या प्रश्न स्पष्ट है? यदि शिक्षक कहता है 'जानवरों के बारे में एक क्विज़ बनाओ,' तो एजेंट रुक जाता है और पूछता है, 'कौन सा अध्याय? किस प्रकार का जानवर?'"
• सेफ्टी एजेंट (Safety Agent) यह सुनिश्चित करता है कि कोई भी हानिकारक या अप्रासंगिक अनुरोध अंदर न आए।
  यदि अनुरोध बहुत अस्पष्ट या असुरक्षित है, तो सिस्टम विनम्रता से रुक जाता है और अधिक विवरण मांगता है। यह अनुमान लगाने से इनकार कर देता है।

3. डिटेक्टिव टीम (हाइब्रिड रिट्रीवल)
एक बार जब अनुरोध स्पष्ट हो जाता है, तो सिस्टम सबूतों की तलाश में निकल पड़ता है। यह एक ही समय में दो प्रकार की खोज का उपयोग करता है:

• सिमेंटिक डिटेक्टिव (Semantic Detective): शब्दों के अर्थ को देखता है (जैसे, "एसिड रेन" को खोजना भले ही टेक्स्ट में "उच्च अम्लता वाली वर्षा" लिखा हो)।
• लेक्सिकल डिटेक्टिव (Lexical Detective): सटीक वैज्ञानिक शब्दों को देखता है जो केवल अर्थ के आधार पर छूट सकते हैं।
  यदि सिस्टम को सबूत मिल जाते हैं, तो यह एक "फेल-क्लोज्ड" (Fail-Closed) नियम का उपयोग करता है। यह एक सख्त शिक्षक की तरह है जो कहता है, "यदि आपके पास पर्याप्त प्रमाण नहीं है, तो आपको शून्य मिलेगा।" यदि सिस्टम के पास प्रश्न का समर्थन करने के लिए पर्याप्त पाठ्यपुस्तक पृष्ठ नहीं हैं, तो वह कुछ भी मनगढ़ंत बनाने के बजाय, प्रश्न बनाने से ही इनकार कर देता है।

4. राइटर्स (स्पेशलिस्ट एजेंट्स)
एक बार सबूत एकत्र हो जाने के बाद, विभिन्न "लेखक" कार्यभार संभाल लेते हैं।

• MCQ स्पेशलिस्ट: बहुविकल्पीय प्रश्न लिखता है (जैसे "A, B, C, या D?")।
• क्रिएटिव क्वेश्चन स्पेशलिस्ट: लंबे, कहानी-आधारित प्रश्न लिखता है जो बोर्ड परीक्षाओं में आम हैं (जहाँ एक छात्र एक परिदृश्य पढ़ता है और चार भागों में उत्तर देता है)।
  इन लेखकों को केवल उसी साक्ष्य का उपयोग करने के लिए मजबूर किया जाता है जो डिटेक्टिव्स ने खोजा है। वे तथ्यों को गढ़ने के लिए अपनी "याददाश्त" का उपयोग नहीं कर सकते।

5. इंस्पेक्टर (SAVER)
इससे पहले कि क्विज़ शिक्षक को सौंपा जाए, SAVER (सोर्स-एट्रीब्यूटेड वेरिफिकेशन एंड एविडेंस रैंकिंग) नामक एक अंतिम इंस्पेक्टर काम की जाँच करता है। यह प्रत्येक प्रश्न को देखता है और तीन प्रश्न पूछता है:

1. फेथफुलनेस (Faithfulness): क्या आपने वास्तव में यह तथ्य पाठ्यपुस्तक में पाया है?
2. रेलेवेंस (Relevance): क्या यह उस चीज़ से मेल खाता है जो शिक्षक ने पूछा था?
3. हैलुसिनेशन रिस्क (Hallucination Risk): क्या आपने कुछ मनगढ़ंत बनाया है?
   यदि स्कोर कम है, तो सिस्टम प्रश्न को शिक्षक की समीक्षा के लिए फ्लैग (चिह्नित) कर देता है। यह स्वचालित रूप से इसे हटाता नहीं है; यह बस कहता है, "हे, इसे चेक करें, मैं इसके बारे में 100% निश्चित नहीं हूँ।"

उन्होंने क्या पाया?

शोधकर्ताओं ने इस सिस्टम का परीक्षण 198 विज्ञान प्रश्नों (143 बहुविकल्पीय और 55 रचनात्मक प्रश्न) को उत्पन्न करके किया, जो कक्षा 8 की पाठ्यपुस्तक के सभी 14 अध्यायों को कवर करते हैं। इसके बाद उन्होंने तीन वास्तविक विज्ञान शिक्षकों से परिणामों को ग्रेड करने के लिए कहा।

परिणाम काफी प्रभावशाली थे। एक मानक, "वैनिला" AI सिस्टम (जो केवल टेक्स्ट उठाता है और लिखता है) की तुलना में:

• फेथफुलनेस (स्रोत के प्रति तथ्य कितने सच्चे हैं) 0.68 से बढ़कर 0.96 हो गई। इसका मतलब है कि नया सिस्टम इस बारे में लगभग पूरी तरह ईमानदार है कि उसने अपनी जानकारी कहाँ से प्राप्त की।
• आंसर रेलेवेंसी (उत्तर प्रश्न के साथ कितनी अच्छी तरह फिट बैठता है) 0.60 से बढ़कर 0.89 हो गई।
• टीचर यूटिलिटी (शिक्षकों ने प्रश्नों को कितना उपयोगी पाया) 5-पॉइंट स्केल पर स्कोर 2.00 से उछलकर 4.80 हो गया।

अध्ययन ने यह भी दिखाया कि यदि आप "स्मार्ट इंडेक्स" (COPE) को हटा देते हैं, तो गुणवत्ता काफी गिर जाती है। यदि आप "इंस्पेक्टर" (SAVER) को हटा देते हैं, तो सिस्टम फिर से तथ्य बनाने लगता है। यह साबित करता है कि पुस्तक की संरचना को समझना और काम की दोबारा जाँच करना दोनों ही आवश्यक हैं।

सीमाएँ और भविष्य

लेखक सावधानीपूर्वक यह नोट करते हैं कि उनका सिस्टम अभी क्या नहीं कर सकता है।

• यह केवल टेक्स्ट-आधारित है: सिस्टम पाठ्यपुस्तक के शब्दों को पढ़ता है, लेकिन उसे चित्रों के साथ संघर्ष करना पड़ता है। यदि किसी प्रश्न के लिए सर्किट या कोशिका के आरेख (डायग्राम) को देखने की आवश्यकता है, तो सिस्टम चित्र को "देख" नहीं सकता। उसे विजुअल प्रश्न के बिंदु को मिस करने के लिए टेक्स्ट विवरण पर निर्भर रहना पड़ता है।
• इसे मानवीय आँखों की आवश्यकता है: यह सिस्टम एक सहायक के रूप में डिज़ाइन किया गया है, न कि प्रतिस्थापन के रूप में। यह प्रश्नों को चेक करने के लिए शिक्षकों को फ्लैग करता है, लेकिन अंतिम निर्णय नहीं लेता है। छात्रों को देने से पहले शिक्षकों को काम की समीक्षा करनी ही होगी।
• एक विशिष्ट पुस्तक के लिए विशिष्ट: यह सिस्टम विशेष रूप से बांग्लादेश की कक्षा 8 की विज्ञान पाठ्यपुस्तक के लिए बनाया गया है। बिना महत्वपूर्ण परिवर्तनों के यह किसी अन्य ग्रेड, किसी अन्य विषय या किसी अन्य देश के पाठ्यक्रम के लिए पूरी तरह से काम नहीं कर सकता है।

संक्षेप में, TeachMateGPT सुझाव देता है कि AI को पाठ्यपुस्तक का बेहतर मानचित्र, अनुमान लगाने से रोकने के लिए एक सख्त नियम और एक अंतर्निहित इंस्पेक्टर देकर, हम एक ऐसा उपकरण बना सकते हैं जो सटीकता से समझौता किए बिना शिक्षकों का समय बचाने में मदद करता है। यह एक ऐसे भविष्य की ओर एक कदम है जहाँ AI शिक्षा के लिए एक विश्वसनीय सह-पायलट (co-pilot) बन सकता है, न कि एक जोखिम भरा ऑटोपायलट।