Cognitively Diverse Multiple-Choice Question Generation: A Hybrid Multi-Agent Framework with Large Language Models
यह शोध पत्र ReQUESTA को प्रस्तुत करता है, जो एक हाइब्रिड मल्टी-एजेंट फ्रेमवर्क है जो संज्ञानात्मक रूप से विविध और साइकोमेट्रिक रूप से श्रेष्ठ बहुविकल्पीय प्रश्न व्यवस्थित रूप से उत्पन्न करने के लिए नियम-आधारित घटकों के साथ लार्ज लैंग्वेज मॉडल्स को ऑर्केस्ट्रेट करता है, जो कठिनाई, विभेदन और पठन बोध लक्ष्यों के साथ संरेखण में सिंगल-पास ज़ीरो-शॉट बेसलाइन से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
बड़ी समस्या: "वन-शॉट" शेफ (The "One-Shot" Chef)
कल्पना कीजिए कि आपने एक बहुत ही प्रतिभाशाली, अत्यंत बुद्धिमान शेफ (एक लार्ज लैंग्वेज मॉडल, या LLM) से एक जटिल तीन-कोर्स वाला भोजन बनाने के लिए कहा है। आप उन्हें केवल एक निर्देश देते हैं: "मेरे लिए एक भोजन बनाओ जिसमें एक एपेटाइज़र (appetizer), एक मुख्य व्यंजन (main course) और एक मिठाई (dessert) हो।"
शेफ एक स्वादिष्ट भोजन तो बना सकता है, लेकिन वह यह भी कर सकता है:
- यह जांचना भूल सकता है कि मिठाई बहुत मीठी तो नहीं है।
- मुख्य व्यंजन ऐसा परोस सकता है जो थोड़ा कच्चा रह गया हो।
- एपेटाइज़र को मुख्य व्यंजन से बिल्कुल अलग दिखा सकता है।
शिक्षा की दुनिया में, यह "वन-शॉट" शेफ ही वह तरीका है जिससे कंप्यूटर आमतौर पर बहुविकल्पीय प्रश्न (MCQs) बनाते हैं। वे सरल प्रश्न बनाने में अच्छे होते हैं (जैसे "आसमान का रंग क्या है?"), लेकिन उन्हें गहरी सोच वाले कठिन, उच्च-गुणवत्ता वाले प्रश्न बनाने में संघर्ष करना पड़ता है (जैसे "पात्र ने वह चुनाव क्यों किया?")। वे अक्सर ऐसे प्रश्न बनाते हैं जो बहुत आसान होते हैं, जिनमें भ्रमित करने वाले उत्तर होते हैं, या जिनके "डिस्ट्रैक्टर्स" (गलत विकल्प) स्पष्ट रूप से गलत होते हैं।
समाधान: ReQUESTA (द रेस्टोरेंट किचन)
इस शोध पत्र के लेखकों ने ReQUESTA नामक एक सिस्टम बनाया है। एक ही शेफ से सब कुछ एक साथ करने के लिए कहने के बजाय, उन्होंने रसोई को एक अत्यधिक संगठित रेस्टोरेंट और विशेषज्ञ कर्मचारियों की एक टीम में बदल दिया।
ReQUESTA को एक अकेले रोबोट के रूप में नहीं, बल्कि एक ऑर्केस्ट्रा का संचालन करने वाले कंडक्टर, या एक फिल्म क्रू का प्रबंधन करने वाले फिल्म निर्देशक के रूप में सोचें।
यहाँ उनका "किचन" कैसे काम करता है:
- द प्रीप्रोसेसर (तैयारी करने वाला कुक - The Prep Cook): इससे पहले कि कोई खाना बनाना शुरू करे, यह एजेंट टेक्स्ट को प्रबंधनीय टुकड़ों में काट देता है। यह सुनिश्चित करता है कि सामग्री तैयार है।
- द प्लानर (हेड शेफ - The Head Chef): यह एजेंट टेक्स्ट को पढ़ता है और एक विस्तृत रेसिपी लिखता है। यह तय करता है: "हमें यहाँ तथ्यों के बारे में एक प्रश्न, पात्र की सोच के बारे में एक प्रश्न और मुख्य विषय के बारे में एक प्रश्न चाहिए।" यह अभी खाना नहीं बनाता; यह केवल योजना बनाता है।
- द जनरेटर्स (लाइन शेफ - The Line Chefs): यहाँ तीन अलग-अलग शेफ हैं, जिनमें से प्रत्येक का एक विशिष्ट कार्य है:
- शेफ A केवल "तथ्य" (Fact) वाले प्रश्न बनाता है (क्या हुआ था?)।
- शेफ B केवल "अनुमान" (Inference) वाले प्रश्न बनाता है (ऐसा क्यों हुआ?)।
- शेफ C केवल "मुख्य विचार" (Big Idea) वाले प्रश्न बनाता है (मुख्य बिंदु क्या है?)।
- इन्हें अलग क्यों किया गया? क्योंकि एक ही शेफ से एक साथ तीनों काम करने के लिए कहना अक्सर गलतियों का कारण बनता है। विशेषज्ञता उन्हें उनके विशिष्ट कार्य में बेहतर बनाती है।
- द इवैल्यूएटर (फूड क्रिटिक - The Food Critic): एक बार जब कोई व्यंजन बन जाता है, तो वह सीधे ग्राहक के पास नहीं जाता। क्रिटिक उसे चखता है। क्या प्रश्न स्पष्ट है? क्या गलत उत्तर (डिस्ट्रैक्टर्स) इतने पेचीदा हैं कि वे बिना पढ़ाई किए आए व्यक्ति को भ्रमित कर सकें, लेकिन इतने पेचीदा नहीं कि वे सबको ही भ्रमित कर दें? यदि व्यंजन खराब है, तो क्रिटिक उसे सुधारने के नोट्स के साथ लाइन शेफ के पास वापस भेज देता है।
- द फॉर्मेटर (प्लेटिंग स्पेशलिस्ट - The Plating Specialist): अंत में, यह एजेंट यह सुनिश्चित करता है कि सभी प्लेटों का आकार एक जैसा हो और अक्षर (A, B, C, D) पूरी तरह से संरेखित (aligned) हों।
प्रयोग: टेस्ट टेस्ट (The Taste Test)
यह देखने के लिए कि यह "टीम किचन" "वन-शॉट शेफ" से बेहतर है या नहीं, शोधकर्ताओं ने एक बड़ा टेस्ट आयोजित किया।
- सेटअप: उन्होंने 20 शैक्षणिक लेख (जैसे पाठ्यपुस्तकों के अध्याय) लिए और दो सिस्टमों से उनके लिए प्रश्न बनाने को कहा।
- सिस्टम A (ReQUESTA): वह टीम किचन जिसमें प्लानर, विशेषज्ञ शेफ और क्रिटिक हैं।
- सिस्टम B (GPT-5 बेसलाइन): वह "वन-शॉट" शेफ जिसे बस एक ही प्रॉम्प्ट मिला था कि "प्रश्न बनाओ।"
- टेस्टर्स: 572 वास्तविक लोगों ने लेख पढ़े और प्रश्नों के उत्तर दिए।
- जज: विशेषज्ञ मानव परीक्षकों ने भी गुणवत्ता के आधार पर प्रश्नों को ग्रेड देने के लिए उन्हें देखा।
परिणाम: टीम किचन की जीत (The Team Kitchen Wins)
परिणामों ने दिखाया कि ReQUESTA टीम किचन ने एकल शेफ की तुलना में बहुत बेहतर भोजन (प्रश्न) तैयार किया।
- कठिन और स्मार्ट प्रश्न: ReQUESTA द्वारा बनाए गए प्रश्न उत्तर देने में कठिन थे। यह कोई बुरी बात नहीं है! इसका मतलब है कि प्रश्न वास्तव में यह परीक्षण कर रहे थे कि छात्र ने सामग्री को समझा है या नहीं, न कि केवल अनुमान लगाया है। वे यह बताने में बेहतर थे कि कौन सा छात्र सामग्री को जानता है और कौन सा नहीं।
- बेहतर "गलत उत्तर" (Distractors): एक बहुविकल्पीय प्रश्न में, गलत उत्तर विश्वसनीय होने चाहिए। यदि गलत उत्तर बेतुके हैं, तो कोई भी सही उत्तर का अनुमान लगा सकता है।
- "वन-शॉट" शेफ अक्सर बेतुके गलत उत्तर बनाता था।
- ReQUESTा के "क्रिटिक" और "विशेषज्ञ शेफों" ने ऐसे गलत उत्तर बनाए जो बहुत वास्तविक लगते थे। वे भाषाई रूप से सुसंगत (Linguistically consistent) थे (वे सही उत्तर की तरह दिखते और सुनाई देते थे) और अर्थपूर्ण रूप से तर्कसंगत (Semantically plausible) थे (वे संदर्भ में सही अर्थ रखते थे)।
- मुख्य विचार पर ध्यान केंद्रित करना: ReQUESTA के प्रश्न टेक्स्ट के सबसे महत्वपूर्ण हिस्सों पर अधिक केंद्रित थे। एकल शेफ अक्सर छोटी, महत्वहीन बातों में भटक जाता था।
मुख्य निष्कर्ष (The Big Takeaway)
इस शोध पत्र का सबसे महत्वपूर्ण सबक यह नहीं है कि हमारे पास एक "अधिक स्मार्ट" कंप्यूटर दिमाग है। शोधकर्ताओं ने दोनों सिस्टमों के लिए समान शक्तिशाली AI मॉडल (GPT-5) का उपयोग किया था।
अंतर यह था कि उन्होंने काम को कैसे व्यवस्थित किया।
- पुराना तरीका: "सब कुछ एक साथ, जल्दी से करें।" (Single-pass prompting)
- नया तरीका (ReQUESTA): "पहले योजना बनाएं, विशेषज्ञों को सौंपें, काम की जाँच करें, गलतियों को सुधारें और फिर प्रस्तुत करें।" (Agentic orchestration)
यह पेपर सिद्ध करता है कि बेहतर परिणाम प्राप्त करने के लिए आपको आवश्यक रूप से एक बड़े, अधिक महंगे AI की आवश्यकता नहीं है। आपको बस एक बेहतर वर्कफ़्लो (Workflow) की आवश्यकता है। एक बड़े, अव्यवस्थित काम को छोटे, नियंत्रित चरणों में तोड़कर और विभिन्न "एजेंटों" से एक-दूसरे के काम की जाँच करवाकर, आप उच्च-गुणवत्ता वाले, विश्वसनीय शैक्षिक उपकरण बना सकते हैं जिन्हें एक एकल AI प्रॉम्प्ट कभी भी मैच नहीं कर सकता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।