Neuro-Symbolic Question Answering Architecture Integrating Ontology-Constrained Query Generation
यह शोध पत्र ORACOLO प्रस्तुत करता है, जो एक न्यूरो-सिंबोलिक प्रश्न-उत्तर आर्किटेक्चर है जो डेंस रिट्रीवल फॉलबैक के साथ ऑन्टोलॉजी-प्रतिबंधित SPARQL क्वेरी जनरेशन को एकीकृत करता है, जो शुद्ध डेंस रिट्रीवल की तुलना में काफी बेहतर तथ्यात्मक सटीकता प्रदर्शित करते हुए तुलनीय निष्ठा बनाए रखता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स टेक्स्ट लिखने में असाधारण रूप से कुशल हो गए हैं। वे वाक्यों में अगले शब्द की भविष्यवाणी करके, डेटा के विशाल भंडारों से सीखे गए पैटर्न के आधार पर, प्रश्नों के उत्तर दे सकते हैं, कहानियों का सारांश बना सकते हैं और बातचीत कर सकते हैं। हालाँकि, इन मॉडल्स में एक मौलिक कमजोरी है: वे यह नहीं जानते कि एक सत्य तथ्य और केवल सुनने में विश्वसनीय लगने वाले वाक्य के बीच क्या अंतर है। इसे ठीक करने के लिए, इंजीनियरों ने 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) नामक एक विधि विकसित की। यह दृष्टिकोण मॉडल को उत्तर देने से पहले कुछ दस्तावेज़ पढ़ने के लिए देता है, जिससे उसे केवल अपनी स्मृति के बजाय वास्तविक साक्ष्यों पर आधारित उत्तर देने के लिए मजबूर किया जाता है। फिर भी, इस पद्धति के साथ एक नई समस्या उत्पन्न होती है। जब सिस्टम साक्ष्य खोजता है, तो उसे अक्सर एक ऐसा पैराग्राफ मिलता है जहाँ उत्तर एक वाक्य के भीतर दबा होता है। मॉडल को फिर एक जासूस की तरह कार्य करना पड़ता है, जो गद्य (prose) में से उस विशिष्ट तथ्य को बाहर निकाल सके। ऐसा करते समय, वह आसानी से संदर्भ को गलत पढ़ सकता है या मान (value) का गलत पुनर्निर्माण कर सकता है, जिससे उत्तर प्रवाहपूर्ण तो होते हैं लेकिन सूक्ष्म रूप से गलत हो जाते हैं।
इसे हल करने के लिए, इटली के सलेर्नो विश्वविद्यालय के शोधकर्ताओं ने ORACOLO नामक एक नया सिस्टम बनाया। वे यह जानना चाहते थे कि क्या वे केवल प्लेन टेक्स्ट खोजने के बजाय ज्ञान के एक औपचारिक मानचित्र (formal map), जिसे ऑन्टोलॉजी (ontology) कहा जाता है, का उपयोग करके तथ्यों की खोज को अधिक सटीक बना सकते हैं। एक ऑन्टोलॉजी एक संरचित डेटाबेस है जहाँ तथ्यों को स्पष्ट, अलग कनेक्शनों के रूप में संग्रहीत किया जाता है, जैसे कि एक लाइब्रेरी कार्ड कैटलॉग जहाँ प्रत्येक पुस्तक को उसके लेखक और वर्ष के साथ एक कठोर प्रारूप में सूचीबद्ध किया जाता है। चुनौती यह है कि ये कैटलॉग सामान्य लोगों के लिए प्रश्न पूछना कठिन बनाते हैं क्योंकि इनके लिए एक विशेष, औपचारिक भाषा की आवश्यकता होती है। टीम ने दोनों दुनियाओं के सर्वश्रेष्ठ गुणों को मिलाया: उन्होंने एक न्यूरल नेटवर्क का उपयोग किया, जो मानव भाषा को समझने में कुशल एक प्रकार का आर्टिफिशियल इंटेलिजेंस है, ताकि उपयोगकर्ता के प्रश्न को एक औपचारिक क्वेरी (query) में अनुवादित किया जा सके। फिर, उन्होंने उस क्वेरी को एक संरचित मानचित्र के विरुद्ध निष्पादित करने के लिए एक सिम्बोलिक इंजन (symbolic engine), जो एक सख्त कंप्यूटर प्रोग्राम है, का उपयोग किया। यदि मानचित्र ने एक स्पष्ट उत्तर दिया, तो सिस्टम ने उसका उपयोग किया। यदि मानचित्र ने कुछ भी वापस नहीं दिया, तो सिस्टम ने पारंपरिक विधि का उपयोग करते हुए टेक्स्ट पैराग्राफ खोजने का विकल्प चुना। इस हाइब्रिड दृष्टिकोण ने उन्हें यह परीक्षण करने की अनुमति दी कि क्या संरचित मानचित्र टेक्स्ट खोज की तुलना में अधिक सटीक तथ्य प्रदान कर सकता है, भले ही दोनों विधियाँ अंतिम उत्तर लिखने के लिए एक ही लैंग्वेज मॉडल का उपयोग करती हों।
शोधकर्ताओं ने इस सिस्टम का परीक्षण स्विट्जरलैंड के लुगानो विश्वविद्यालय के एक वास्तविक पुस्तकालय कैटलॉग पर किया। इस कैटलॉग में पुस्तकों के बारे में लगभग एक लाख तथ्य शामिल थे, जिनमें शीर्षक, लेखक, प्रकाशन तिथियां और सामग्री का सारांश शामिल था। उन्होंने इस कैटलॉग के आधार पर प्रश्नों का एक सेट बनाया, जो "यह पुस्तक किसने लिखी?" जैसे सरल अनुरोधों से लेकर सूचना की जटिल श्रृंखलाओं तक विस्तृत था। इसके बाद उन्होंने अपने नए सिस्टम की तुलना एक मानक संस्करण से की जो केवल टेक्स्ट सर्च का उपयोग करता था, यह सुनिश्चित करते हुए कि दोनों सिस्टम अंतिम उत्तर उत्पन्न करने के लिए बिल्कुल एक ही लैंग्वेज मॉडल का उपयोग करें। यह एक महत्वपूर्ण कदम था, क्योंकि इसका अर्थ था कि परिणामों में कोई भी अंतर सूचना खोजने के तरीके से आया था, न कि लेखक की बुद्धिमत्ता से। परिणामों ने सटीकता में स्पष्ट सुधार दिखाया। नए सिस्टम ने टेक्स्ट-ओनली सिस्टम की तुलना में बहुत अधिक बार उत्तर में विशिष्ट तथ्यों की सही पहचान की। जबकि टेक्स्ट-ओकी सिस्टम लगभग उन प्रतिशत बार सही उत्तर देने में सफल रहा, नए सिस्टम ने इसे लगभग सैंतालीस प्रतिशत तक सुधार दिया।
अध्ययन से पता चला कि यह सुधार विशेष रूप रूप से सटीक तथ्यों को प्राप्त करने की क्षमता से आया था। जब प्रश्न में जानकारी के एक एकल टुकड़े के बारे में पूछा गया, जैसे कि लेखक का नाम या प्रकाशन वर्ष, तो नया सिस्टम काफी बेहतर था। इसने तब भी अच्छा प्रदर्शन किया जब प्रश्न के लिए दो सूचनाओं को एक साथ जोड़ने की आवश्यकता थी। हालाँकि, जब प्रश्न के लिए तथ्यों के बारे में तर्क करने (reasoning) की आवश्यकता थी, जैसे कि किसी पुस्तक की सामग्री से एक विषय का अनुमान लगाना, तो यह लाभ समाप्त हो गया। उन मामलों में, दोनों सिस्टम समान रूप से प्रदर्शन करते थे। यह सुझाव देता है कि यह नया आर्किटेक्चर कंप्यूटर को सोचने में स्मार्ट नहीं बनाता है; बल्कि, यह कंप्यूटर को उन सटीक कच्चे माल को खोजने में बेहतर बनाता है जिनके साथ उसे सोचना है। सिस्टम ने यह भी सिद्ध किया कि संरचित मानचित्र ने उत्तरों को साक्ष्यों के प्रति उस तरह से "वफादार" (faithful) नहीं बनाया जैसा कि टेक्स्ट सर्च ने बनाया था। दोनों सिस्टम उन्हें दिए गए विवरणों का पालन करने में समान रूप से अच्छे थे। अंतर केवल यह था कि नए सिस्टम को शुरुआत में ही बेहतर, अधिक सटीक जानकारी दी गई थी।
इस शोध का एक प्रमुख निष्कर्ष यह था कि सिस्टम अपने स्वयं के दोषों को कैसे संभालता है। शोधकर्ताओं ने पाया कि औपचारिक मानचित्र हमेशा काम नहीं करता था। लगभग चौबीस प्रतिशत मामलों में, मानव भाषा से औपचारिक क्वेरी में अनुवाद विफल रहा, या क्वेरी ने कोई परिणाम नहीं दिया। इन क्षणों में, सिस्टम ने हार नहीं मानी। इसने विफलता का पता लगाया और तुरंत उत्तर खोजने के लिए टेक्स्ट सर्च पद्धति पर स्विच कर दिया। इस सुरक्षा जाल (safety net) का अर्थ था कि सिस्टम तब भी प्रतिक्रिया प्रदान कर सकता था जब सख्त मानचित्र उत्तर खोजने में असमर्थ था। हालाँकि, शोधकर्ताओं ने यह भी पाया कि सिस्टम तब सबसे सटीक था जब औपचारिक मानचित्र सही ढंग से काम कर रहा था। जब सिस्टम ने टेक्स्ट फॉलबैक (text fallback) पर भरोसा किया, तो सटीकता में सुधार बहुत कम था। इसने पुष्टि की कि संरचित मानचित्र ही सटीकता का स्रोत था, जबकि टेक्स्ट सर्च एक विश्वसनीय बैकअप के रूप में कार्य करता था।
अध्ययन ने इन सिस्टम्स की गुणवत्ता को मापने के तरीके में एक आश्चर्यजनक समस्या को भी उजागर किया। उत्तरों का मूल्यांकन करने के लिए उपयोग किया जाने वाला एक सामान्य मीट्रिक "प्रासंगिकता" (relevance) है, जो यह जाँचता है कि उत्तर विषय के साथ कितनी अच्छी तरह मेल खाता है। शोधकर्ताओं ने पाया कि एक ऐसा सिस्टम जिसने कोई तथ्यात्मक त्रुटि नहीं की लेकिन केवल प्रवाहपूर्ण ढंग से अनुमान लगाया, वह उनके सटीक सिस्टम की तुलना में उच्च स्कोर प्राप्त कर सकता था। ऐसा इसलिए हुआ क्योंकि अनुमान लगाने वाले सिस्टम ने लंबे, प्रवाहमयी उत्तर लिखे जो एकदम सही लग रहे थे, जबकि सटीक सिस्टम ने कभी-कभी छोटे, सीधे उत्तर दिए या जब वह तथ्य नहीं ढूंढ सका तो उत्तर देने से मना कर दिया। यह सुझाव देता है कि प्रासंगिकता स्कोर भ्रामक हो सकते हैं, जो सार के बजाय शैली को पुरस्कृत करते हैं। शोधकर्ताओं ने निष्कर्ष निकाला कि इन सिस्टम्स का वास्तव में मूल्यांकन करने के लिए, हमें यह देखना चाहिए कि तथ्य कितने सही हैं, न कि केवल यह कि उत्तर कितना अच्छा सुनाई देता है।
अंत में, टीम ने इस नए सिस्टम को चलाने की लागत का परीक्षण किया। एक प्रश्न को अनुवादित करने, मानचित्र के विरुद्ध जाँचने और फिर उत्तर लिखने की प्रक्रिया में केवल लैंग्वेज मॉडल से अनुमान लगाने की तुलना में काफी अधिक समय लगा। औसतन, नए सिस्टम को एक प्रश्न का उत्तर देने में लगभग 292 सेकंड लगे, जबकि टेक्स्ट-ओनली सिस्टम को लगभग पैंतीस सेकंड लगे। शोधकर्ताओं ने नोट किया कि यह देरी मुख्य रूप से सूचना को प्रोसेस करने में लैंग्वेज मॉडल्स द्वारा लिए गए समय के कारण थी, न कि मानचित्र को चेक करने के समय के कारण। उन्होंने पाया कि उनकी प्रक्रिया का एक विशिष्ट चरण, जो जटिल प्रश्नों को छोटे हिस्सों में तोड़ने की कोशिश करता था, वास्तव में सिस्टम को धीमा कर रहा था बिना परिणामों में सुधार किए। इस चरण को हटाने से सटीकता को नुकसान पहुँचाए बिना समय में काफी कमी आई। यह सुझाव देता है कि हालांकि यह सिस्टम वर्तमान में तत्काल, इंटरैक्टिव उपयोग के लिए बहुत धीमा है, लेकिन यह उन स्थितियों के लिए व्यावहारिक हो सकता है जहाँ गति से अधिक सटीकता महत्वपूर्ण है, जैसे कि ऐतिहासिक रिकॉर्ड को सत्यापित करना या संस्थागत डेटा की जाँच करना। यह कार्य यह प्रदर्शित करता है कि मानव भाषा के लचीलेपन को संरचित डेटा की सटीकता के साथ जोड़कर, हम ऐसे सिस्टम बना सकते हैं जो केवल भाषा पर निर्भर रहने वाले सिस्टम की तुलना में कहीं अधिक विश्वसनीय हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।