A Human-in-the-Loop, LLM-Centered Architecture for Knowledge-Graph Question Answering
यह शोध पत्र एक संवादात्मक, मानव-इन-द-लूप फ्रेमवर्क प्रस्तुत करता है जो नॉलेज ग्राफ के लिए साइफर (Cypher) क्वेरी उत्पन्न करने और समझाने के लिए लार्ज लैंग्वेज मॉडल्स का लाभ उठाता है, जिससे उपयोगकर्ता विविध डोमेन में सटीक, व्याख्यात्मक और कठोर प्रश्नोत्तर प्राप्त करने के लिए प्राकृतिक भाषा के अनुरोधों को पुनरावृत्ति के साथ परिष्कृत कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से विस्तृत पुस्तकालय है जहाँ हर किताब, लेखक और तथ्य अदृश्य धागों से जुड़े हुए हैं। यह एक नॉलेज ग्राफ (Knowledge Graph) है। यह सटीक उत्तर खोजने के लिए उत्तम है, लेकिन यह एक बहुत ही सख्त, रोबोटिक भाषा (जिसे सायफर/Cypher कहा जाता है) बोलता है जिसे केवल कंप्यूटर विशेषज्ञ ही समझते हैं।
दूसरी ओर, आपके पास एक लार्ज लैंग्वेज मॉडल (LLM) है—इसे एक अत्यंत बुद्धिमान, बातूनी लाइब्रेरियन समझें जो उत्तम मानवीय भाषा बोलता है लेकिन कभी-कभी चीजें मनगढ़ंत बना देता है (हैलुसिनेशन/hallucinations) या तथ्यों को गलत बताता है क्योंकि वह किताबों को जाँचने के बजाय अपनी याददाश्त पर निर्भर रहता है।
यह शोध पत्र एक ऐसे नए सिस्टम का परिचय देता है जो आपके और उस रोबोटिक पुस्तकालय के बीच एक अनुवादक और सुरक्षा जाल (safety net) के रूप में कार्य करता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. समस्या: "ब्लैक बॉक्स" (The Black Box)
आमतौर पर, जब आप कंप्यूटर से कोई प्रश्न पूछते हैं, तो वह आपको एक उत्तर देता है। लेकिन यदि कंप्यूटर गलत है, तो आपको पता नहीं चलता कि वह क्यों गलत है। यह एक रेस्तरां में भोजन ऑर्डर करने जैसा है जहाँ शेफ आपको बिना यह बताए कि उसमें क्या है, बस एक प्लेट थमा देता है। यदि आपको किसी चीज़ से एलर्जी है, तो आप मुसीबत में पड़ सकते हैं।
डेटा की दुनिया में, पिछले सिस्टमों ने केवल पुस्तकालय की किताबें "पढ़कर" उनका सारांश देने की कोशिश की। लेकिन यह अक्सर तब विफल हो जाता है जब उत्तर के लिए तीन या चार अलग-अलग बिंदुओं को जोड़ने की आवश्यकता होती है (जैसे, "किसने उस पेपर को लिखा जिसका उपयोग उस सॉफ्टवेयर के लिए किया गया था जिसे इस लेखक ने बनाया था?")। कंप्यूटर भूलभुलैया में खो जाता है।
2. समाधान: "ह्यूमन-इन-द-लूप" फ्रेमवर्क (The "Human-in-the-Loop" Framework)
लेखकों ने एक ऐसा सिस्टम बनाया है जहाँ AI केवल उत्तर का अनुमान नहीं लगाता है। इसके बजाय, यह डेटाबेस के लिए निर्देश लिखता है (सायफर क्वेरी), उन निर्देशों का अर्थ सरल अंग्रेजी में समझाता है, और फिर यदि यह गलत हो जाता है तो आपको इसे सुधारने की अनुमति देता है।
इसे एक अंतरिक्ष यान के को-पायलट की तरह समझें:
- पायलट (आप): आप कहते हैं, "मैं 'ग्राफक्लस्ट' (graphclust) सॉफ्टवेयर के लेखकों को देखना चाहता हूँ।"
- को-पायलट (AI): यह आपके अनुरोध को अंतरिक्ष यान के नियंत्रण कोड में अनुवादित करता है। लेकिन इंजन चलाने के बजाय, यह आपकी ओर मुड़ता है और कहता है: "मैं 'ग्राफक्लस्ट' नामक एक सॉफ्टवेयर पैकेज खोज रहा हूँ और उसके लेखकों तक जाने वाली रेखा का पता लगा रहा हूँ।"
- सुधार (Correction): आप महसूस करते हैं, "रुको, मेरा मतलब 'ग्राफक्लस्ट' नाम के प्रकाशन से था, न कि सॉफ्टवेयर से!"
- ठीक करना (The Fix): AI तुरंत कोड को फिर से लिखता है ताकि वह प्रकाशन को खोज सके। यह शुरू से शुरू नहीं करता; यह बस आपके फीडबैक के आधार पर निर्देश में थोड़ा बदलाव करता है।
3. सिस्टम के तीन मुख्य भाग
शोध पत्र इस सिस्टम को तीन भूमिकाओं के रूप में वर्णित करता है, जिन्हें एक ही AI द्वारा निभाया जाता है:
- अनुवादक (Generator): आपके अंग्रेजी प्रश्न को सख्त डेटाबेस कोड में बदलता है।
- व्याख्याकार (Explander): यह अभी लिखे गए कोड को पढ़ता है और कहता है, "मैं चरण-दर-चरण क्या कर रहा हूँ, यहाँ बताया गया है।" यह महत्वपूर्ण है क्योंकि यह आपको क्वेरी चलाने से पहले गलती पकड़ने में मदद करता है।
- संपादक (Amender): यदि आप कहते हैं, "यह गलत है, जन्म वर्ष की जाँच करें," तो AI बाकी हिस्से को तोड़े बिना उस विशिष्ट भाग को ठीक करने के लिए कोड को संपादित करता है।
4. उन्होंने क्या परीक्षण किया ("मूवी" और "वास्तविक दुनिया" परीक्षण)
यह देखने के लिए कि क्या यह वास्तव में काम करता है, शोधकर्ताओं ने तीन प्रयोग चलाए:
मूवी टेस्ट (प्रशिक्षण का मैदान): उन्होंने फिल्मों के बारे में एक नकली डेटाबेस बनाया। उन्होंने AI से 90 जटिल प्रश्न पूछे।
- परिणाम: AI तर्क समझाने में अच्छा था (सर्वश्रेष्ठ मॉडलों के लिए लगभग 70-80% सटीकता)। हालाँकि, इसमें सारांश देते समय विशिष्ट वर्षों (जैसे "2020 की फिल्में") का उल्लेख करना भूल जाने की एक अजीब आदत थी, संभवतः इसलिए क्योंकि यह बहुत संक्षिप्त होने की कोशिश कर रहा था।
- "दोष पहचान" (Fault Detection): जब शोधकर्ताओं ने जानबूझकर प्रश्नों में "बग्स" डाले (जैसे यह पूछना कि क्या एक अभिनेता फिल्म "खाता" है), तो सर्वश्रेष्ठ AI मॉडल इस बेतुकी बात को पहचानने और यह कहने में बहुत अच्छे थे कि, "हे, यह समझ में नहीं आता।"
मैथ टेस्ट (MaRDI): उन्होंने इसे गणितीय अनुसंधान, सॉफ्टवेयर और लेखकों के वास्तविक डेटाबेस पर आज़माया।
- परिणाम: अधिकांश AI मॉडल सरल प्रश्नों के लिए पहली बार में ही काम पूरा कर सकते थे। लेकिन पेचीदा प्रश्नों के लिए (जैसे "कौन से सॉफ्टवेयर पैकेज एक ही लेखकों को साझा करते हैं?"), कई मॉडल अटक गए। सर्वश्रेष्ठ मॉडलों ने लगभग सब कुछ हल किया, लेकिन कुछ काफी संघर्ष करते रहे।
हाइना टेस्ट (असली चुनौती): यह सबसे कठिन परीक्षण था। उन्होंने तंजानिया में चित्तीदार हाइना (spotted hyenas) के बारे में एक वास्तविक डेटाबेस का उपयोग किया, जिसमें वास्तविक जीवविज्ञानियों द्वारा लिखे गए प्रश्न थे (जैसे, "कितने प्रतिशत शावकों के पिता वे नर थे जो अपने जन्म समूह में रहे?")।
- परिणाम: यहीं पर अंतर बहुत बड़ा हो गया। जहाँ AI गणित के प्रश्नों पर शानदार प्रदर्शन करता था, वहीं वह हाइना के प्रश्नों के साथ अधिक संघर्ष करता था। केवल कुछ शीर्ष-स्तरीय मॉडल (जैसे
o3औरdeepseek-reasoner) ही पांचों विशेषज्ञ प्रश्नों का सही उत्तर दे सके। कई अन्य मॉडल पूरी तरह से विफल रहे या इसे सही करने के लिए उन्हें कई प्रयासों की आवश्यकता पड़ी।
- परिणाम: यहीं पर अंतर बहुत बड़ा हो गया। जहाँ AI गणित के प्रश्नों पर शानदार प्रदर्शन करता था, वहीं वह हाइना के प्रश्नों के साथ अधिक संघर्ष करता था। केवल कुछ शीर्ष-स्तरीय मॉडल (जैसे
5. बड़ा निष्कर्ष (The Big Takeaway)
शोध पत्र निष्कर्ष निकालता है कि पारदर्शिता ही कुंजी है। AI को अपनी "विचार प्रक्रिया" (कोड) समझाने के लिए मजबूर करके और मनुष्यों को सुधार करने की अनुमति देकर, हम उत्तरों पर बहुत अधिक भरोसा कर सकते हैं।
हालाँकि, शोध पत्र यह चेतावनी भी देता है कि सभी AI मॉडल एक समान नहीं होते।
- कुछ मॉडल समझाने और त्रुटियों को ठीक करने में माहिर हैं।
- कुछ सरल कार्यों में अच्छे हैं लेकिन जटिल, वास्तविक दुनिया के जीव विज्ञान के प्रश्नों पर विफल हो जाते हैं।
- कुछ मॉडल "आलसी" हैं और सारांश देते समय महत्वपूर्ण विवरण (जैसे तारीखें) भूल जाते हैं।
संक्षेप में: यह सिस्टम एक डरावने, रोबोटिक डेटाबेस को एक बातचीत में बदल देता है। आप पूछते हैं, AI एक योजना प्रस्तावित करता है, उसे समझाता है, और आप इसे तब तक ट्यून करते हैं जब तक कि यह एकदम सही न हो जाए। यह अभी जादू नहीं है—कुछ मॉडल अभी भी भ्रमित हो जाते हैं—लेकिन यह जटिल डेटा को बिना कंप्यूटर भाषा सीखे आम लोगों के लिए सुलभ बनाने की दिशा में एक बड़ा कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।