NeSy-RAG: Neuro-Symbolic RAG for Explainable Question Answering
NeSy-RAG एक मॉड्यूलर न्यूरो-सिंबोलिक रिट्रीवल-ऑगमेंटेड जनरेशन फ्रेमवर्क है जो पारदर्शी, नियतात्मक उत्तर प्रदान करने और उपयोगकर्ता के संदर्भ की कमी का स्वतः पता लगाने के लिए रिट्रीव किए गए टेक्स्ट से एट्रिब्यूटेबल प्रोलॉग (Prolog) मॉड्यूल को सिंथेसाइज करता है, जो ShARC बेंचमार्क पर मानक RAG बेसलाइन की तुलना में बेहतर सटीकता प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन एक जासूस के बजाय, आपके पास एक सुपर-स्मार्ट, अविश्वसनीय रूप से बातूनी रोबोट सहायक है। यह रोबोट लाइब्रेरी की लगभग हर किताब पढ़ चुका है और लगभग किसी भी सवाल का जवाब दे सकता है। इसे हम "लार्ज लैंग्वेज मॉडल" (LLM) कहते हैं। हालाँकि, इसमें एक पेंच है: कभी-कभी यह रोबोट चीजें मनगढ़ंत बनाता है, या "हैलुसिनेट" (hallucinate) करता है, और जब यह अपने सोचने के तरीके को समझाता है, तो यह एक स्पष्ट मानचित्र के बजाय एक धुंधले सपने जैसा लगता है। आप हमेशा यह नहीं जान पाते कि इसने आपको उत्तर क्यों दिया या इसने वास्तव में लाइब्रेरी के सही पन्ने पढ़े भी हैं या नहीं। कानून या चिकित्सा जैसे गंभीर क्षेत्रों में यह एक बड़ी समस्या है, जहाँ आपको पता होना चाहिए कि जानकारी वास्तव में कहाँ से आई है और यह सुनिश्चित होना चाहिए कि वह सत्य है। इसे ठीक करने के लिए, वैज्ञानिक इन बातूनी रोबटों को "सिंबोलिक रीजनिंग" (symbolic reasoning) के साथ जोड़ने की कोशिश कर रहे हैं—जो कंप्यूटर तर्क का एक प्रकार है जो एक सख्त, चरण-दर-चरण गणितीय प्रमाण की तरह काम करता है। इसे रोबोट को एक कठोर चेकलिस्ट देने के रूप में समझें ताकि वह केवल अनुमान न लगा सके। बड़ा सवाल यह है: क्या हम एक ऐसा रोबोट बना सकते हैं जो इतना बातूनी हो कि हमें समझ सके और इतना सख्त भी कि उस पर भरोसा किया जा सके?
यहाँ NeSy-RAG आता है, जो जोनास गन और माइकल गेर्ट्ज़ द्वारा प्रस्तावित एक नया फ्रेमवर्क है जो इस पहेली को सुलझाने की कोशिश करता है। कल्पना कीजिए कि रोबोट का पुस्तकालय बिखरे हुए कागजों (टेक्स्ट चंक्स) से भरा एक विशाल गोदाम है। आमतौर पर, जब आप कोई सवाल पूछते हैं, तो रोबोट कुछ कागज उठाता है, उन्हें पढ़ता है और उत्तर का अनुमान लगाता है। NeSy-RAG कुछ अलग करता है। जब यह एक कागज उठाता है, तो यह केवल उसे पढ़ता नहीं है; यह तुरंत उस कागज को "प्रोलॉग" (Prolog) नामक भाषा में लिखे एक छोटे, आत्मनिर्भर "लॉजिक पजल" (तर्क पहेली) में अनुवादित कर देता है। यह एक पैराग्राफ को सख्त "If-Then" (यदि-तो) नियमों के सेट में बदलने जैसा है। उदाहरण के लिए, यदि टेक्स्ट कहता है, "आप लाभ का दावा कर सकते हैं यदि आप 18 वर्ष से ऊपर हैं," तो सिस्टम इसे एक नियम में बदल देगा: यदि आयु > 18, तो पात्र।
यहीं पर यह बहुत चतुर हो जाता है। सिस्टम उन कागजों से मिले लॉजिक पजल्स का एक पूरा संग्रह बनाता है। लेकिन पूरे अस्त-व्यस्त पुस्तकालय को एक साथ हल करने के बजाय, यह "0-एरिटी प्रेडिकेट्स" (0-arity predicates) नामक एक विशेष तकनीक का उपयोग करता है। इसे हर जटिल नियम को एक सरल "हाँ/नहीं" वाले प्रश्न में बदलने के रूप में समझें, जैसे "क्या व्यक्ति 18 वर्ष से अधिक आयु का है?" या "क्या व्यक्ति नागरिक है?" रोबोट आपके प्रश्न से मेल खाने वाले विशिष्ट "हाँ/नहीं" प्रश्नों को खोजने के लिए एक स्मार्ट सर्च का उपयोग करता है। यह इन सबको एक अंतिम लॉजिक क्वेरी में जोड़ता है और उसे चलाता है। क्योंकि यह एक लॉजिक प्रोग्राम चला रहा है, इसलिए इसका उत्तर नियतात्मक (deterministic) है—यह या तो सत्य है या असत्य, इसमें कोई अनुमान शामिल नहीं है। इससे भी बेहतर, यह हर चरण के लिए एक सटीक "रसीद" रखता है, जो दिखाता है कि किस टेक्स्ट के टुकड़े ने किस नियम को जन्म दिया, ताकि आप उत्तर को स्रोत तक ट्रैक कर सकें।
लेकिन क्या होगा अगर रोब सहित के पास पर्याप्त जानकारी नहीं है? शायद आप पूछते हैं, "क्या मैं पात्र हूँ?" लेकिन रोबोट नहीं जानता कि आपकी आयु क्या है। एक सामान्य रोबोट शायद "हाँ" या "नहीं" का अनुमान लगाएगा और उम्मीद करेगा कि सब ठीक रहे। हालाँकि, NeSy-RAG के पास एक "नॉलेज-गैप डिटेक्टर" (ज्ञान-अंत अंतराल डिटेक्टर) है। यह अपने लॉजिक पजल को देखता है और महसूस करता है, "अरे, मेरे पास 'आयु' वेरिएबल के लिए एक मान (value) गायब है!" अनुमान लगाने के बजाय, यह रुक जाता है और आपसे पूछता है, "आपकी आयु क्या है?" यह तब तक लक्षित फॉलो-अप सवाल पूछता रहता है जब तक कि इसके पास पहेली को हल करने के लिए सभी हिस्से न हों। यह तथ्यों को मनगढ़ंत बनाने से रोकता है।
शोधकर्ताओं ने इस प्रणाली का परीक्षण ShARC नामक एक डेटासेट पर किया, जिसमें यूके सरकारी लाभों के बारे में कानूनी प्रश्न शामिल हैं। उन्होंने इस सिस्टम को इस विशिष्ट डेटा पर प्रशिक्षित नहीं किया; उन्होंने बस इसे चलते समय (on the fly) सब समझने दिया। परिणाम उत्साहजनक थे। NeSy-RAG ने 61.1% बार सही उत्तर दिया। यह एक मानक "चैटबॉट-ओनली" सिस्टम की तुलना में काफी बेहतर था, जिसने बिना लॉजिक नियमों के समान कार्य करने की कोशिश की थी और केवल 42.8% सही उत्तर दिए थे। नया सिस्टम तेज़ भी था, जो प्रति प्रश्न औसतन 7.4 सेकंड लेता है, जबकि मानक चैटबॉट दृष्टिकोण 11.4 सेकंड लेता है।
हालाँकि, पेपर सावधानी बरतते हुए इसे एक पूर्ण समाधान नहीं कहता है। यह सिस्टम अभी भी एक प्रोटोटाइप है। कभी-कभी, यह थोड़ा अधिक सतर्क हो जाता है। यदि यह किसी गायब तथ्य के बारे में 100% निश्चित नहीं है, तो यह अतिरिक्त जानकारी मांगेगा भले ही इसकी सख्त आवश्यकता न हो, जिससे यह निश्चित "हाँ" या "नहीं" देने के बजाय "अधिक जानकारी चाहिए" (जिसे शोधकर्ता "more" कहते हैं) कहता है। वास्तव में, इसने लगभग 31% "हाँ" वाले उत्तरों को "more" के रूप में गलत वर्गीकृत किया, जो बताता है कि यह बहुत अधिक "missing info" फ्लैग जेनरेट करता है। हालांकि यह गति के लिए थोड़ा निराशाजनक हो सकता है, लेखक नोट करते हैं कि कानून जैसे उच्च-दांव वाले मामलों में, आत्मविश्वास से गलत होने के बजाय सतर्क रहना सुरक्षित है। सिस्टम को "अप्रासंगिक" (irrelevant) प्रश्नों के साथ भी थोड़ी कठिनाई हुई, कभी-कभी यह भ्रमित हो जाता था कि टेक्स्ट का टुकड़ा प्रश्न से संबंधित है या नहीं।
संक्षेप में, NeSy-RAG दिखाता है कि टेक्स्ट को सख्त लॉजिक पजल्स में बदलकर और जानकारी के गायब हिस्सों के लिए सवाल पूछकर, हम एक ऐसा AI बना सकते हैं जो अधिक पारदर्शी, अधिक सटीक और झूठ बोलने की कम संभावना वाला हो। यह अभी तक सब कुछ पूरी तरह से हल करने वाला कोई जादुई हथियार नहीं है, लेकिन यह ऐसे AI सहायकों को बनाने की दिशा में एक मजबूत कदम है जिन पर आप सच्चाई के लिए वास्तव में भरोसा कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।