From Learning Resources to Competencies: LLM-Based Tagging with Evidence and Graph Constraints
यह शोध पत्र एक एंड-टू-एंड पाइपलाइन प्रस्तुत करता है जो कॉम्पिटेंसी ग्राफ्स और एविडेंस स्पैन्स द्वारा नियंत्रित लार्ज लैंग्वेज मॉडल्स का लाभ उठाकर लर्निंग रिसोर्सेज को संरचित दक्षताओं के साथ स्वचालित और पारदर्शी रूप से टैग करता है, जो मौजूदा बेसलाइन्स की तुलना में बेहतर प्रदर्शन प्राप्त करने के साथ-साथ मानव-ऑडिट योग्य करिकुलम एनालिटिक्स को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अराजक डिजिटल लाइब्रेरी के लाइब्रेरियन हैं जहाँ हर किताब, वीडियो और क्विज़ एक "लर्निंग रिसोर्स" (सीखने का संसाधन) है। आपका लक्ष्य छात्रों को विशिष्ट कौशल (जिन्हें "कॉम्पिटेंसीज़" कहा जाता है), जैसे कि "लीनियर अलजेब्रा" या "पब्लिक स्पीकिंग" सीखने के लिए सही सामग्री खोजने में मदद करना है।
वर्तमान में, एक मानव लाइब्रेरियन को प्रत्येक दस्तावेज़ के हर पन्ने को पढ़ना पड़ता है और मैन्युअल रूप से यह लिखना पड़ता है कि वे कौन से कौशल सिखाते हैं। यह काम धीमा, उबाऊ और गलतियों से भरा है। यदि लाइब्रेरियन से कोई पन्ना छूट जाता है, तो छात्र को शायद कभी भी मदद न मिल पाए।
यह शोध पत्र इस टैगिंग कार्य को करने के लिए तीन विशेषज्ञों की एक टीम को एक साथ काम में लगाकर एक नया, स्मार्ट तरीका प्रस्तावित करता है: एक सर्चर (खोजकर्ता), एक स्मार्ट रीडर (बुद्धिमान पाठक), और एक लॉजिक चेकर (तर्क परीक्षक)।
समस्या: "ब्लैक बॉक्स" लाइब्रेरियन
एआई (AI) का उपयोग करके इस टैगिंग को करने के पिछले प्रयासों में दो बड़ी समस्याएं थीं:
- यह मनुष्यों के लिए बहुत अधिक काम था: उन्हें सब कुछ मैन्युअल रूप से जांचना पड़ता था।
- एआई एक "ब्लैक बॉक्स" था: यदि एआई कहता, "यह PDF 'प्रोबेबिलिटी' सिखाता है," तो वह यह नहीं बता सकता था कि क्यों। उसने बस एक उत्तर दे दिया। यदि उत्तर गलत होता, तो किसी को पता नहीं चलता कि एआई कहाँ गलत हुआ, जिससे उस पर भरोसा करना कठिन हो जाता।
समाधान: "LBG" पाइपलाइन
लेखकों ने एक सिस्टम बनाया जिसे LBG (LLM + BM25 + Graph) कहा जाता है। इसे एक तीन-चरणीय असेंबली लाइन के रूप में सोचें जो बिखरी हुई कोर्स सामग्री को एक सटीक स्किल मैप में बदल देती है।
चरण 1: द सर्चर (रिट्रीवल/खोज)
इससे पहले कि एआई कौशलों का अनुमान लगाने की कोशिश करे, वह संभावित कौशलों की एक "मेन्यू" (सूची) देखता है।
- रूपक (Metaphor): कल्पना कीजिए कि आप एक फल का वर्णन करने की कोशिश कर रहे हैं। पूरी दुनिया के डिक्शनरी (जिसमें "कार", "बादल" और "टोस्टर" शामिल हैं) से अनुमान लगाने के बजाय, आप पहले उन शीर्ष 20 फलों को खोजने के लिए एक सर्च इंजन का उपयोग करते हैं जो आपके द्वारा देखे जा रहे फल से मिलते-जुलते हों।
- यह कैसे काम करता है: सिस्टम दस्तावेज़ को स्कैन करता है और एक तेज़ सर्च टूल (BM25) का उपयोग करके विश्वविद्यालय की आधिकारिक स्किल लिस्ट से सबसे संभावित कौशलों (उम्मीदवारों) की एक छोटी सूची निकालता है। यह एआई को मनमाने अनुमान लगाने से रोकता है।
चरण 2: द स्मार्ट रीडर (LLM)
अब, एक लार्ज लैंग्वेज मॉडल (स्मार्ट रीडर) दस्तावेज़ और उस छोटी उम्मीदवार सूची को देखता है।
- रूपक: यह एक सख्त संपादक की तरह है जिसे केवल उन 20 फलों में से चुनने की अनुमति है जिन्हें सर्चर ने खोजा है। संपादक एक विशिष्ट पैराग्राफ पढ़ता है, सूची में से सबसे अच्छे फल को चुनता है, और उसे उस सटीक वाक्य की ओर इशारा करना होगा जो उसे सिद्ध करता है।
- नवाचार: एआई सिर्फ "प्रोबेबिलिटी" नहीं कहता। वह कहता है, "यह पैराग्राफ प्रोबेबिलिटी सिखाता है, और यहाँ वह विशिष्ट वाक्य है: 'छह आने की संभावना 1 में से 1 है।'" यह प्रमाण का एक "पेपर ट्रेल" (साक्ष्य का मार्ग) बनाता है।
चरण 3: द लॉजिक चेकर (ग्राफ कंस्ट्रेंट्स)
अंत में, सिस्टम कौशलों के "फैमिली ट्री" (वंशवृक्ष) की जाँच करता है।
- रूपक: कल्पना कीजिए कि एक फैमिली ट्री है जहाँ "एडवांस्ड कैलकुलस" "बेसिक मैथ" का बच्चा है। यदि लॉजिक चेकर देखता है कि एक दस्तावेज़ को "एडवांस्ड कैलकुलस" के रूप में टैग किया गया है लेकिन उसमें "बेसिक मैथ" का कोई उल्लेख नहीं है, तो वह रेड फ्लैग (चेतावनी) दिखाता है। यह जरूरी नहीं कि टैग को हटा दे, लेकिन यह जाँचता है कि क्या तर्क सही है। यह डुप्लिकेट्स को भी साफ करता है (उदाहरण के लिए, यदि एआई ने एक ही छोटे वाक्य के लिए "मैथ" और "कैलकुलस" दोनों को टैग किया है, तो वह केवल अधिक विशिष्ट वाले को रखने का निर्णय ले सकता है)।
परिणाम: यह कितना प्रभावी रहा?
टीम ने एक वास्तविक विश्वविद्यालय के कंप्यूटर साइंस विभाग पर इस सिस्टम का परीक्षण किया, जिसमें 430 विभिन्न कोर्स सामग्रियां (PDF, क्विज़, स्लाइड्स) और 22 अलग-अलग कौशल शामिल थे।
- सटीकता (Accuracy): LBG सिस्टम दस्तावेजों को कौशलों से सही ढंग से मिलाने में सबसे बेहतर था। इसने निम्नलिखित को पीछे छोड़ दिया:
- वह एआई जिसने बिना किसी मदद के अनुमान लगाया (Zero-shot)।
- वह एआई जिसे कुछ उदाहरण मिले लेकिन कोई सर्च हेल्प नहीं मिली (Few-shot)।
- पारंपरिक सर्च इंजन जो केवल समान शब्दों को देखते थे।
- पुराने जमाने के कंप्यूटर प्रोग्राम जो पिछले डेटा पर प्रशिक्षित थे।
- भरोसा (Trust): क्योंकि सिस्टम को सटीक वाक्य (प्रमाण) की ओर इशारा करना अनिवार्य था, इसलिए मनुष्यों के लिए काम को सत्यापित करना बहुत आसान था। इसके द्वारा बनाया गया "प्रमाण" यांत्रिक रूप से वैध था (वाक्य वास्तव में टेक्स्ट में मौजूद थे)।
- दक्षता (Efficiency): यह सिस्टम तब भी अच्छा काम करता रहा जब इसे कई विकल्पों के बीच से अनुमान लगाना पड़ा, जिससे यह साबित हुआ कि पहले विकल्पों को सीमित करना (चरण 1) और बाद में तर्क की जाँच करना (चरण 3) एआई को स्मार्ट बनाता है।
मुख्य निष्कर्ष (The Bottom Line)
यह शोध पत्र दिखाता है कि आपको लर्निंग मटेरियल को टैग करने के लिए किसी सुपर-इंटेलिजेंट, जादुई एआई की आवश्यकता नहीं है। इसके बजाय, आपको बेहतर परिणाम तब मिलते हैं जब आप एआई को चुनने के लिए एक सीमित मेन्यू देते हैं, उसे अपना काम दिखाने (प्रमाण) के लिए मजबूर करते हैं, और एक लॉजिक चेकर रखते हैं जो यह सुनिश्चित करता है कि कौशल आपस में मेल खाते हों।
यह एक ऐसा सिस्टम बनाता है जो न केवल सटीक है बल्कि पारदर्शी भी है, जिससे शिक्षक और छात्र टैग्स पर भरोसा कर सकते हैं क्योंकि वे देख सकते हैं कि एआई ने सबूत कहाँ से पाया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।