Generative AI-Based Virtual Assistant using Retrieval-Augmented Generation: An evaluation study for bachelor projects
यह शोध पत्र मास्ट्रिचट यूनिवर्सिटी के छात्रों को परियोजना-विशिष्ट नियमों के साथ सहायता करने के लिए डिज़ाइन किए गए एक रिट्रीवल-ऑगमेंटेड जनरेशन-आधारित वर्चुअल असिस्टेंट को प्रस्तुत और मूल्यांकित करता है, जो हैलुसिनेशन जैसी सामान्य लार्ज लैंग्वेज मॉडल की सीमाओं को दूर करने और एक विशिष्ट शैक्षिक डोमेन में सटीक, संदर्भ-विशिष्ट प्रतिक्रियाएं सुनिश्चित करने में इसकी प्रभावशीलता को प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक व्यस्त विश्वविद्यालय विभाग की कल्पना करें जहाँ सैकड़ों छात्र अपने अंतिम प्रोजेक्ट्स पर काम कर रहे हैं। उन्हें नियमों, विनियमों और परीक्षा के विवरणों का एक पहाड़ का सामना करना पड़ता है जिनका पालन करना अनिवार्य है। आमतौर पर, जब कोई छात्र भ्रमित होता है—उदाहरण के लिए: "क्या मैं इस बैठक को छोड़ सकता हूँ यदि मेरी बस खराब हो गई हो?"—तो उन्हें ईमेल के माध्यम से एक थके हुए प्रोजेक्ट समन्वयक (कोऑर्डिनेटर) से संपर्क करना पड़ता है। समन्वयक सैकड़ों समान ईमेलों से घिरा हुआ है, और छात्र जवाब के लिए कई दिनों तक इंतजार करता है।
यह लेख एक टीम के बारे में बताता है जिसने इस बाधा को दूर करने के लिए एक इंटेलिजेंट डिजिटल असिस्टेंट विकसित किया है। इस असिस्टेंट को एक ऐसे जादुई भविष्यवक्ता के रूप में न देखें जो सब कुछ जानता है, बल्कि इसे एक अत्यंत तेज़, अत्यंत व्यवस्थित लाइब्रेरियन (पुस्तकालयाध्यक्ष) के रूप में देखें जिसने इमारत की हर एक नियम पुस्तिका पढ़ ली है।
यहाँ बताया गया है कि उन्होंने इसे कैसे विकसित किया और उन्होंने क्या खोजा, जिसे सरल भाषा में समझाया गया है:
समस्या: "भ्रमित" होने वाला लाइब्रेरियन
सामान्य तौर पर, जब आप किसी चैटबॉट जैसे मानक AI से स्कूल के नियमों के बारे में कोई विशिष्ट प्रश्न पूछते हैं, तो वह चीजें बना देता है। यह एक ऐसे लाइब्रेरियन की तरह है जो इतना आत्मविश्वासी है कि यदि उसे नियम नहीं मिलता, तो वह बस एक नियम गढ़ लेता है। इसे "हैलुसिनेशन" (hallucination) कहा जाता है। स्कूल के संदर्भ में, नियम गढ़ना खतरनाक है।
समाधान: "रिट्रीवल-ऑगमेंटेड" लाइब्रेरियन
AI को मनगढ़ंत बातें करने से रोकने के लिए, टीम ने RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) नामक एक प्रणाली विकसित की।
- रिट्रीवल (खोज) वाला भाग: उत्तर देने से पहले, यह पहले लाइब्रेरी (आधिकारिक दस्तावेजों का एक डेटाबेस) में दौड़ता है और प्रश्न से संबंधित सटीक पृष्ठ प्राप्त करता है। यह ऐसा है जैसे लाइब्रेरियन बोलने से पहले बोलने के लिए नियम पुस्तिका को शेल्फ से भौतिक रूप से निकाल लेता है।
- जनरेशन (निर्माण) वाला भाग: AI फिर उन विशिष्ट पृष्ठों को पढ़ता है और केवल उसी के आधार पर उत्तर लिखता है जो उसने पाया है।
- सेल्फ-रिफ्लेक्शन (दूसरी राय): यह सबसे चतुर हिस्सा है। उत्तर लिखने के बाद, AI एक "स्व-जांच" (self-check) करता है। वह खुद से पूछता है: "क्या मैंने अभी यह बनाया है? क्या यह वास्तव में उन पृष्ठों से मेल खाता है जिन्हें मैंने प्राप्त किया था?" यदि उत्तर "नहीं" है, तो वह फिर से प्रयास करता है या छात्र से अपना प्रश्न स्पष्ट करने के लिए कहता है। यह एक शिक्षक की तरह है जो अपना होमवर्क जमा करने से पहले उसे खुद सुधारता है।
प्रयोग: एक क्लासरूम टेस्ट
टीम ने मास्ट्रिच यूनिवर्सिटी के वास्तविक छात्रों के साथ इस असिस्टेंट का परीक्षण किया।
- सेटअप: उन्होंने छात्रों को दो समूहों में विभाजित किया। एक समूह को अपने दिमाग (और शायद किसी इंसान से पूछकर) का उपयोग करके प्रोजेक्ट नियमों के बारे में कठिन सवालों के जवाब देने थे। दूसरे समूह को AI असिस्टेंट का उपयोग करने की अनुमति दी गई थी।
- प्रश्न: प्रश्न ऐसे परिदृश्य थे जैसे: "बस की देरी के कारण मेरी एक बैठक छूट गई। मेरे ग्रेड का क्या होगा?"
उन्होंने क्या खोजा
- AI अधिक स्मार्ट बना: जब छात्रों ने असिस्टेंट का उपयोग किया, तो उन्हें बहुत अधिक बार सही उत्तर मिले। उदाहरण के लिए, एक परिदृश्य में, सही उत्तर देने वाले छात्रों की संख्या 32% से बढ़कर 57% हो गई।
- कम अनुमान लगाना: AI का उपयोग करने से पहले, कई छात्र बस कहते थे: "मुझे नहीं पता।" AI का उपयोग करने के बाद, "मुझे नहीं पता" वाले जवाब काफी कम हो गए। AI ने भ्रम को स्पष्ट करने में मदद की।
- गति: असिस्टेंट ने लगभग 10 सेकंड में जवाब दिया। ईमेल के जवाब के लिए इंतजार करने की तुलना में छात्र गति से संतुष्ट थे।
- यह अभी भी पूर्ण नहीं है:
- कुछ पेचीदा परिदृश्यों में, AI ने वास्तव में छात्रों को उत्तर देने में और भी खराब बना दिया। ऐसा इसलिए हुआ क्योंकि आधिकारिक दस्तावेजों में विवरणों की कमी थी या AI "बैठक" और "परीक्षा" के बीच अंतर नहीं कर सका।
- कुछ छात्रों ने स्वाभाविक रूप से पूछने के बजाय सीधे प्रश्नों को कॉपी और पेस्ट करके सिस्टम को धोखा देने की कोशिश की, जिसे टीम को रोकना पड़ा।
- AI कभी-कभी विभिन्न प्रकार के पाठ्यक्रमों में भ्रमित हो जाता था, जो दर्शाता है कि इसे स्कूल के शब्दों के लिए एक बेहतर "शब्दकोश" की आवश्यकता है।
निष्कर्ष
लेख यह निष्कर्ष निकालता है कि यह "इंटेलिजेंट लाइब्रेरियन" छात्रों को मानव कर्मचारियों पर बोझ डाले बिना जटिल स्कूल नियमों को समझने में मदद करने के लिए एक उत्कृष्ट उपकरण है। यह तेज़ है, "मुझे नहीं पता" वाले जवाबों को कम करता है, और आम तौर पर छात्रों को अधिक आत्मविश्वासी बनाता है।
हालाँकि, यह अभी भी मानव का पूर्ण विकल्प नहीं है। इसके लिए बेहतर प्रशिक्षण डेटा (अधिक पूर्ण नियम पुस्तकें) और उन स्थितियों को संभालने के स्मार्ट तरीकों की आवश्यकता है जो स्पष्ट रूप से नियमों के अंतर्गत नहीं आती हैं। लेकिन एक पहले कदम के रूप में, इसने सफलतापूर्वक सिद्ध किया है कि यदि AI को अपना काम जांचने के लिए सही उपकरण दिए जाएं, तो वह शिक्षा में एक सहायक, विश्वसनीय साथी बन सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।