A Multi-Agent Framework for Diagnosis and Plan Repair in Knowledge Graph Question Answering
यह शोध पत्र TRACE का प्रस्ताव करता है, जो एक मल्टी-एजेंट फ्रेमवर्क है जो लक्षित साक्ष्य पुनर्प्राप्ति (evidence retrieval) और सत्यापन के माध्यम से LLM रीजनिंग प्लान्स का गतिशील रूप से निदान और मरम्मत करके नॉलेज ग्राफ क्वेश्चन अनsweringिंग को बढ़ाता है, जिससे मतिभ्रम (hallucinations) को कम किया जा सके और मौजूदा स्थिर दृष्टिकोणों की तुलना में सटीकता में सुधार किया जा सके।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, कंप्यूटरों ने उस प्रवाह के साथ पढ़ना, लिखना और तर्क करना सीख लिया है जो कभी असंभव लगता था। ये सिस्टम, जिन्हें लार्ज लैंग्वेज मॉडल्स (large language models) के रूप में जाना जाता है, उस विशाल मात्रा में टेक्स्ट का उपयोग करके जटिल प्रश्नों के उत्तर दे सकते हैं जिसका उन्होंने अध्ययन किया है। हालाँकि, यह ताकत ही उनकी कमजोरी भी है। क्योंकि ये मॉडल इस बात पर निर्भर करते हैं जो उन्होंने याद किया है, वे कभी-कभी तथ्य गढ़ सकते हैं या आत्मविश्वास के साथ ऐसी बातें कह सकते हैं जो केवल गलत हैं, एक ऐसी समस्या जिसे शोधकर्ता 'हैलुसिनेशन' (hallucination) कहते हैं। इसे ठीक करने के लिए, वैज्ञानिकों ने इन मॉडलों को नॉलेज ग्राफ्स (knowledge graphs) से जोड़ना शुरू कर दिया है, जो तथ्यों के संरचित डेटाबेस हैं और दुनिया के एक विश्वसनीय मानचित्र की तरह कार्य करते हैं। हालाँकि यह संयोजन मदद करता है, वर्तमान विधियाँ अक्सर एक कठोर पथ का पालन करती हैं: वे एक योजना बनाती हैं, तथ्य खोजती हैं, और आगे बढ़ती हैं। यदि योजना में शुरुआत में ही कोई गलती हो जाती है, तो सिस्टम अक्सर उसे देख नहीं पाता, और गलत रास्ते पर चलते हुए अंत तक गलत उत्तर देता रहता है। चुनौती एक ऐसा सिस्टम बनाने की थी जो न केवल तथ्य खोज सके, बल्कि रुक सके, अपने काम की जाँच कर सके, और खुद को तब सुधार सके जब साक्ष्य उसकी अपेक्षाओं से मेल न खाते हों।
शोधकर्ताओं के एक दल ने इस चुनौती का समाधान एक नए फ्रेमवर्क 'TRACE' के साथ किया है, जिसे आर्टिफिशियल इंटेलिजेंस को जटिल प्रश्नों के उत्तर देते समय अधिक विश्वसनीय बनाने के लिए डिज़ाइन किया गया है। कंप्यूटर को चरणों की एक श्रृंखला के माध्यम से दौड़ने देने के बजाय, TRACE इस प्रक्रिया को योजना बनाने, जाँच करने और सुधारने के एक सावधानीपूर्ण लूप में विभाजित करता है। सिस्टम एक लार्ज लैंग्वेज मॉडल से एक संरचित योजना बनाने के लिए कहकर शुरुआत करता है, जो अनिवार्य रूप से एक चरण-दर-चरण खाका है कि वह उत्तर खोजने के लिए कैसे इरादा रखता है। इस योजना को फिर एक विशेष एजेंट को सौंपा जाता है जो प्रत्येक विशिष्ट चरण के लिए साक्ष्य खोजने के लिए नॉलेज ग्राफ के पास जाता है। तीसरा एजेंट एक सख्त ऑडिटर (auditor) के रूप में कार्य करता है, जो मॉडल के अनुमानित अवलोकनों की तुलना डेटाबेस से प्राप्त वास्तविक तथ्यों से करता है। यदि तथ्य मेल खाते हैं, तो सिस्टम आगे बढ़ता है। यदि वे मेल नहीं खाते, तो सिस्टम एक मरम्मत तंत्र (repair mechanism) को सक्रिय करता है जो निदान करता है कि वास्तव में क्या गलत हुआ और उसके अनुसार योजना को समायोजित करता है।
शोधकर्ताओं ने तीन अलग-अलग कठिन प्रश्नों के सेटों पर इस दृष्टिकोण का परीक्षण किया, जिनमें सूचना के कई टुकड़ों को जोड़ने की आवश्यकता होती है। उन्होंने पाया कि TRACE उन अन्य विधियों की तुलना में लगातार बेहतर प्रदर्शन करता है जो नॉलेज ग्राफ के साथ बातचीत करने के लिए एजेंटों पर निर्भर करती हैं। GPT-4 नामक एक शक्तिशाली मॉडल का उपयोग करते समय, इस नए फ्रेमवर्क ने 80.0 प्रतिशत का सटीक मिलान स्कोर प्राप्त किया, जिसका अर्थ है कि इसने 80 प्रतिशत बार सही उत्तर दिया, जबकि अगली सर्वश्रेष्ठ विधि का स्कोर 78.0 प्रतिशत था। इससे भी महत्वपूर्ण बात यह है कि सिस्टम ने अपने आंशिक उत्तरों की गुणवत्ता में उल्लेखनीय सुधार दिखाया, जिसका स्कोर 48.8 के मुकाबले 66.8 रहा। यह सुझाव देता है कि भले ही सिस्टम पूर्ण उत्तर न दे पाए, फिर भी वह पिछले तरीकों की तुलना में सत्य के बहुत करीब होता है। अध्ययन ने यह भी दिखाया कि यह दृष्टिकोण छोटे, कम शक्तिशाली मॉडलों के साथ भी अच्छी तरह से काम करता है, जिससे उन्हें तथ्य गढ़ने के सामान्य जाल से बचने में मदद मिलती है।
TRACE को जो चीज़ विशिष्ट बनाती है, वह है इसका त्रुटियों को संभालने का तरीका। पारंपरिक प्रणालियों में, यदि कोई मॉडल तर्क की श्रृंखला के पहले चरण में गलती करता है, तो वह त्रुटि अक्सर फैल जाती है, जिससे पूरी तरह से गलत निष्कर्ष निकलता है। TRACE इसे हर एक चरण में नॉलेज ग्राफ को एक चेकपॉइंट के रूप में उपयोग करके रोकता है। यदि सिस्टम यह कहने की कोशिश करता है कि एक प्रसिद्ध चित्रकार एक विशिष्ट शहर में मरा था, लेकिन डेटाबेस दिखाता है कि वह किसी अन्य शहर में मरा था, तो सिस्टम तुरंत रुक जाता है। यह केवल संघर्ष को अनदेखा नहीं करता; यह एक मरम्मत रणनीति को सक्रिय करता है। त्रुटि के प्रकार के आधार पर, सिस्टम या तो गलत तथ्य को सही तथ्य से बदल सकता है, या एक अलग रास्ता आज़माने के लिए पिछले चरण पर वापस जा सकता है, या यह सुनिश्चित करने के लिए कि कोई भी बाधा छूट न जाए, प्रश्न को छोटे, अधिक प्रबंधनीय भागों में तोड़ सकता है। यह प्रक्रिया एक स्कोरिंग प्रणाली द्वारा निर्देशित होती है जो मूल्यांकन करती है कि कौन सी मरम्मत रणनीति सबसे विश्वसनीय मार्ग प्रदान करती है, यह सुनिश्चित करती है कि अंतिम उत्तर अनुमान के बजाय सत्यापित साक्ष्यों पर आधारित हो।
शोधकर्ताओं ने इस अधिक सावधानीपूर्वक चलने वाले सिस्टम को चलाने की लागत पर भी विचार किया। क्योंकि इस प्रक्रिया में योजना की जाँच और संभावित रूप से मरम्मत शामिल है, इसलिए एक अपेक्षा की जा सकती है कि यह काफी अधिक कंप्यूटिंग शक्ति का उपयोग करेगा। हालाँकि, अध्ययन में पाया गया कि TRACE अन्य उन्नत विधियों की तुलना में उत्तर तक पहुँचने के लिए कम शब्दों, या टोकन (tokens) का उपयोग करता है। हालांकि यह एक प्रतिस्पर्धी की तुलना में मॉडल को अधिक संख्या में कॉल करता है, लेकिन टेक्स्ट की कुल मात्रा कम है, जिससे यह सिस्टम समग्र रूप से अधिक कुशल बनता है। यह दक्षता लाभ सिस्टम की एक गलत रास्ते को उसके निष्कर्ष तक व्यर्थ रूप से पीछा करने के बजाय, एक डेड एंड (dead end) का पता चलते ही जल्दी रुकने की क्षमता से आता है। परिणाम बताते हैं कि आत्म-सुधार और सत्यापन के लिए एक तंत्र बनाकर, आर्टिफिशियल इंटेलिजेंस न केवल स्मार्ट, बल्कि अपने तर्क में अधिक कुशल और विश्वसनीय भी बन सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।