W-RAG: Source-Aware Retrieval for Enterprise Document Generation from Heterogeneous Knowledge Bases
यह शोधपत्र W-RAG प्रस्तुत करता है, जो एक स्रोत-जागरूक (source-aware) रिट्रीवल फ्रेमवर्क है जो ऑन्टोलॉजी-निर्देशित रिट्रीवल और स्रोत-स्तरीय वेटिंग का उपयोग करके दस्तावेज़ कवरेज और जनरेशन की गुणवत्ता में सुधार करके विषम एंटरप्राइज नॉलेज बेस में ग्लोबल रैंकिंग की सीमाओं को संबोधित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कार्यस्थल में, नीति नियमावली (पॉलिसी मैनुअल), विलय रिपोर्ट (मर्जर रिपोर्ट्स), या उत्पाद लॉन्च योजनाओं जैसे जटिल दस्तावेज़ लिखने के लिए अक्सर कई अलग-अलग जगहों से जानकारी जुटाने की आवश्यकता होती है। एक टीम को एक साथ कंपनी के आंतरिक नियमों, वैज्ञानिक शोध पत्रों, सरकारी नियमों और बाज़ार की खबरों का परामर्श करने की आवश्यकता हो सकती है। इसमें मदद करने के लिए, कंप्यूटर वैज्ञानिकों ने ऐसी प्रणालियाँ विकसित की हैं जो आर्टिफिशियल इंटेलिजेंस (AI) को वाक्य लिखने से पहले तथ्यों को खोजने की अनुमति देती हैं। यह दृष्टिकोण, जिसे 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) कहा जाता है, एक डिजिटल सहायक की तरह काम करता है जो दस्तावेजों के एक पुस्तकालय को पढ़ता है और प्रतिक्रिया का मसौदा तैयार करने के लिए उन नोट्स का उपयोग करता है। इसका लक्ष्य AI को अधिक सटीक और वास्तविकता पर आधारित बनाना है, ताकि वह तथ्य खुद से न बना सके। हालाँकि, एक महत्वपूर्ण समस्या तब उत्पन्न होती है जब ये प्रणालियाँ एक ही समय में कई अलग-अलग प्रकार के पुस्तकालयों से जानकारी एकत्र करने का प्रयास करती हैं।
चुनौती यह है कि सभी सूचना स्रोत समान नहीं होते, और वे एक ही दस्तावेज़ में एक ही भूमिका नहीं निभाते। एक मानक प्रणाली अक्सर प्रत्येक टेक्स्ट को इस तरह मान लेती है जैसे कि वे एक ही दौड़ में प्रतिस्पर्धा कर रहे हों, और केवल इस आधार पर शीर्ष परिणामों को चुनती है कि उपयोगकर्ता के प्रश्न से उनके शब्द कितनी निकटता से मेल खाते हैं। कॉर्पोरेट परिवेश में, यह तरीका अक्सर विफल हो जाता है। यह सामान्य समाचार लेखों के सैकड़ों पृष्ठों को खींच सकता है क्योंकि उनमें सही कीवर्ड मौजूद हैं, जबकि किसी विशिष्ट सरकारी नियम या तकनीकी सुरक्षा दिशानिर्देश के एक एकल, महत्वपूर्ण पैराग्राफ को पूरी तरह से अनदेखा कर सकता है। इसका परिणाम एक ऐसा मसौदा होता है जो सुनने में प्रवाहपूर्ण तो लगता है लेकिन उसमें वे आवश्यक, विशिष्ट विवरणों की कमी होती है जो दस्तावेज़ को कानूनी या तकनीकी रूप से वैध बनाने के लिए आवश्यक होते हैं। AI का 'कॉन्टेक्स्ट विंडो' (context window) एक प्रकार के स्रोत के प्रभुत्व में आ जाता है, जिससे पूर्ण चित्र बनाने के लिए आवश्यक विविध साक्ष्यों की कमी रह जाती है।
शोधकर्ताओं—ह्रिद्या धुलिपाला, राजेश ओमबेस, माइकल वांग और टिएन एन. न्गुयेन—ने इस विशिष्ट समस्या को हल करने का लक्ष्य रखा। उन्होंने एक नया फ्रेमवर्क प्रस्तावित किया जिसे W-RAG कहा जाता है, जिसका अर्थ है 'सोर्स-अवेयर रिट्रीवल' (स्रोत-जागरूक पुनर्प्राप्ति)। सभी दस्तावेजों को एक बड़े पूल में एक साथ प्रतिस्पर्धा करने देने के बजाय, यह नई प्रणाली खोज प्रक्रिया को व्यवस्थित करती है। यह पहले दस्तावेज़ के लिए आवश्यक विशिष्ट विषयों की पहचान करती है, जैसे कि "डेटा गोपनीयता" या "वित्तीय अनुपालन", और अवधारणाओं के एक संरचित मानचित्र का उपयोग करके प्रासंगिक अंशों को खोजती है। फिर, सब कुछ एक साथ रैंक करने के बजाय, यह प्रत्येक विशिष्ट लाइब्रेरी के भीतर सर्वश्रेष्ठ दस्तावेजों को रैंक करती है। अंत में, यह प्रत्येक लाइब्रेरी को एक विशिष्ट बजट आवंटित करती है, यह तय करती है कि अंतिम दस्तावेज़ का कितना हिस्सा कॉर्पोरेट रिपोर्टों द्वारा भरा जाना चाहिए, कितना वैज्ञानिक शोध पत्रों द्वारा, और कितना कानूनी ग्रंथों द्वारा। यह सुनिश्चित करता है कि अंतिम मसौदा साक्ष्य का एक संतुलित संयोजन हो, जो कार्य की वास्तविक आवश्यकताओं को दर्शाता हो, न कि केवल एक स्रोत में उपलब्ध टेक्स्ट की मात्रा को।
यह परीक्षण करने के लिए कि क्या यह दृष्टिकोण वास्तव में काम करता है, टीम ने इस प्रकार के एंटरप्राइज लेखन के लिए विशेष रूप से डिज़ाइन किया गया एक नया डेटासेट बनाया। उन्होंने स्वास्थ्य देखभाल नीतियों को तैयार करने से लेकर विलय और अधिग्रहण की रिपोर्ट तैयार करने तक, एक सौ यथार्थवादी परिदृश्य निर्मित किए। प्रत्येक परिदृश्य के लिए, उन्होंने सूचना की चार अलग-अलग लाइब्रेरी बनाईं: एक जिसमें कॉर्पोरेट फाइलिंग और परिचालन मार्गदर्शिकाएँ थीं, दूसरी वैज्ञानिक शोध के साथ, तीसरी कानूनी और नियामक ग्रंथों के साथ, और चौथी मार्केट न्यूज़ और उद्योग रिपोर्टों के साथ। इसके बाद उन्होंने AI को इन मिश्रित स्रोतों के आधार पर दस्तावेज़ लिखने के लिए कहा। शोधकर्ताओं ने पाया कि मानक प्रणालियाँ, जो केवल एक वैश्विक सूची से शीर्ष परिणाम चुनती हैं, काफी संघर्ष करती हैं। ये प्रणालियाँ अक्सर ऐसे दस्तावेज़ बनाती थीं जो प्रवाहपूर्ण तो थे लेकिन अपूर्ण थे, क्योंकि वे कार्य की अनिवार्य आवश्यकताओं को पूरा करने में विफल रहीं क्योंकि उन्होंने छोटे, विशिष्ट पुस्तकालयों को अनदेखा कर दिया था।
परिणामों ने एक स्पष्ट अंतर दिखाया जब नए 'सोर्स-अवेयर' (स्रोत-जागरूक) तरीके का उपयोग किया गया। प्रत्येक ज्ञान आधार की विशिष्ट भूमिकाओं का सम्मान करने के लिए सिस्टम को मजबूर करके, जनरेट किए गए दस्तावेज़ों की गुणवत्ता में नाटकीय सुधार हुआ। इस नए दृष्टिकोण ने पिछले सर्वोत्तम तरीकों की तुलना में दस्तावेज़ की आवश्यकताओं की संतुष्टि में पचास प्रतिशत से अधिक और मानक प्रणालियों की तुलना में एक सौ प्रतिशत से अधिक की वृद्धि की। इसने यह भी सुनिश्चित किया कि दस्तावेज़ लिखने के लिए उपयोग की गई जानकारी सूचना के सही मिश्रण से आई है, न कि सबसे बड़े या सबसे अधिक टेक्स्ट-भारी लाइब्रेरी की ओर झुकी हुई है। अध्ययन सुझाव देता है कि जटिल, वास्तविक दुनिया के लेखन कार्यों के लिए, जानकारी का चयन और संतुलन कैसे किया जाता है, यह उसे खोजने की क्षमता जितना ही महत्वपूर्ण है। साक्ष्यों के संयोजन को सावधानीपूर्वक प्रबंधित करके, सिस्टम ऐसे मसौदे तैयार कर सकता है जो न केवल तथ्यात्मक रूप से ठोस हों, बल्कि संरचनात्मक रूप से भी पूर्ण हों, जो आधुनिक एंटरप्राइज लेखन की विविध आवश्यकताओं को पूरा करते हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।