Reducing Hallucinations in Language Model-based SPARQL Query Generation Using Post-Generation Memory Retrieval
यह शोध पत्र PGMR का प्रस्ताव करता है, जो एक मॉड्यूलर फ्रेमवर्क है जो बड़े भाषा मॉडलों (LLMs) द्वारा प्राकृतिक भाषा प्लेसहोल्डर्स के साथ मध्यवर्ती क्वेरीज़ उत्पन्न कराने और तत्पश्चात उन्हें एक सुदृढ़, गैर-पैरामीट्रिक मेमोरी रिट्रीवल मॉड्यूल द्वारा हल करने के माध्यम से SPARQL क्वेरी जनरेशन में मतिभ्रम (hallucinations) को कम करता है, जिससे विभिन्न डेटासेट्स और वितरण बदलावों (distribution shifts) में क्वेरी की शुद्धता और सुरक्षा में उल्लेखनीय सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (जिसे Large Language Model या LLM कहा जाता है) है जो कहानियाँ लिखने और तर्क पहेलियों को सुलझाने में माहिर है। हालाँकि, इस लाइब्रेरियन की एक अजीब सी आदत है: जब उससे एक विशाल, अराजक लाइब्रेरी कैटलॉग (जिसे Knowledge Graph कहा जाता है) में विशिष्ट वस्तुओं को खोजने के लिए कहा जाता है, तो वह अक्सर शेल्फ नंबर खुद ही बना लेता है। वे आत्मविश्वास से कह सकते हैं, "किताब शेल्फ Q937 पर है," भले ही वह शेल्फ अस्तित्व में ही न हो। डेटा की दुनिया में, इन नकली शेल्फ नंबरों को hallucinated URIs कहा जाता है, और ये लाइब्रेरियन को सही उत्तर खोजने में विफल कर देते हैं।
यह शोध पत्र PGMR (Post-Generation Memory Retrieval) नामक एक नई प्रणाली पेश करता है जो इस समस्या को ठीक करती है। यह इस प्रकार काम करता है, जिसे सरल चरणों में विभाजित किया गया है:
1. समस्या: लाइब्रेरियन का अनुमान लगाने का खेल
सामान्यतः, जब आप लाइब्रेरियन से पूछते हैं, "हैम्बर्ग का मेयर कौन है?" तो वह उत्तर खोजने के लिए एक विशिष्ट खोज क्वेरी (जिसे SPARQL query कहा जाता है) लिखने की कोशिश करता है। ऐसा करने के लिए, उसे लाइब्रेरी के सिस्टम में "हैम्बर्ग" और "मेयर" के सटीक, गुप्त कोडों को जानने की आवश्यकता होती है। चूँकि वह सोचते समय इन्हें खोज नहीं सकता, इसलिए वह अपनी याददाश्त पर भरोसा करता है। यदि उसकी याददाश्त धुंधली है, तो वह Q12345 जैसा एक कोड अनुमान लगा लेता है। यदि वह कोड गलत है, तो खोज विफल हो जाती है, या वह गलत जानकारी देता है।
2. समाधान: "प्लेसहोल्डर" रणनीति
लाइब्रेरियन को तुरंत गुप्त कोडों का अनुमान लगाने के लिए कहने के बजाय, PGMR खेल के नियमों को बदल देता है।
चरण 1: ड्राफ्ट (लाइब्रेरियन का काम)
लाइब्रेरियन को गुप्त कोडों के बजाय वर्णनात्मक प्लेसहोल्डर्स (descriptive placeholders) का उपयोग करके खोज क्वेरी लिखने के लिए कहा जाता है।- इसके बजाय:
wd:Q1055(हैम्बर्ग के लिए एक गुप्त कोड) - वे लिखते हैं:
[ENT] Hamburg [/ENT] (उत्तरी जर्मनी का एक प्रमुख शहर) - इसके बजाय:
wdt:P190("जुड़वां शहर" के लिए एक गुप्त कोड) - वे लिखते हैं:
[REL] twinned administrative body [/REL] (वह शहर जो जुड़वां शहर हैं)
लाइब्रेरियन अब विशिष्ट, कठिन कोडों की चिंता किए बिना प्रश्न के तर्क (logic) पर ध्यान केंद्रित करने के लिए स्वतंत्र है (वाक्य की संरचना)। वे अनिवार्य रूप से एक "रफ ड्राफ्ट" लिख रहे हैं।
- इसके बजाय:
चरण 2: लुकअप (रिट्रीवर का काम)
एक बार जब लाइब्रेरियन ड्राफ्ट पूरा कर लेता है, तो एक अलग, अत्यंत सटीक उपकरण (Retriever) कार्यभार संभाल लेता है। इस उपकरण के पास लाइब्रेरी का एक पूर्ण और अद्यतित (up-to-date) इंडेक्स होता है। यह लाइब्रेरियन के वर्णनात्मक नोट्स ("हैम्बर्ग, उत्तरी जर्मनी का एक प्रमुख शहर") को पढ़ता है और तुरंत उस वास्तविक गुप्त कोड (Q1055) को खोज निकालता है जो उस विवरण से मेल खाता है।यह विवरण को वास्तविक कोड के साथ बदल देता है, जिससे रफ ड्राफ्ट एक अंतिम, कार्यशील क्वेरी में बदल जाता है।
3. यह क्यों एक गेम-चेंजर है
शोध पत्र का दावा है कि यह विधि तीन मुख्य कारणों से एक बड़ा सुधार है:
यह "नकली कोड" (Hallucinations) को रोकता है:
पिछले परीक्षणों में, लाइब्रेरियन लगभग 75% बार नकली कोड बना लेता था। PGMR के साथ, नकली कोड की दर घटकर लगभग 0% हो गई। क्योंकि लाइब्रेरियन को कभी भी कोड का अनुमान नहीं लगाना पड़ता, इसलिए वह इसे बना नहीं सकता। रिट्रीवर केवल उन्हीं कोडों का उपयोग करता है जो वास्तव में लाइब्रेरी में मौजूद हैं।इसे पता होता है कि कब कहना है "मुझे नहीं पता":
कभी-कभी लाइब्रेरी के पास उत्तर ही नहीं होता। पुराने सिस्टम में, लाइब्रेरियन बस एक नकली कोड का अनुमान लगा लेता और गलत उत्तर दे देता। PGMR के साथ, रिट्रीवर अपने इंडेक्स की जाँच करता है। यदि वह विवरण के लिए कोई मेल खाने वाला कोड नहीं पाता है, तो वह रुक जाता है और कहता है, "मैं इसे नहीं ढूँढ पा रहा हूँ।" शोध पत्र दिखाता है कि सिस्टम को अनिश्चित होने पर उत्तर देने से मना करने के लिए ट्यून किया जा सकता है, जो इसे बहुत अधिक सुरक्षित और विश्वसनीय बनाता है।यह अव्यवस्था (Clutter) के विरुद्ध भी सक्षम है:
शोधकर्ताओं ने परीक्षण किया कि क्या होता है यदि रिट्रीवर को भ्रमित करने के लिए लाइब्रेरी के इंडेक्स में लाखों अप्रासंगिक किताबें (शोर/noise) भर दी जाएं। यहाँ तक कि जब मेमोरी को विचलित करने वाली, बेकार जानकारी के साथ 9 गुना बड़ा किया गया, तब भी सिस्टम की गति में बहुत कम गिरावट आई और इसने सही कोड खोज लिए। यह घास के ढेर में सुई खोजने जैसा है, भले ही कोई आपके ऊपर 9 और घास के ढेर डाल दे।
निचोड़ (The Bottom Line)
PGMR को एक ऐसी टीम के रूप में सोचें जहाँ एक व्यक्ति आर्किटेक्ट (Architect) (LLM) है जो ब्लूप्रिंट डिजाइन करता है, और दूसरा व्यक्ति सप्लायर (Supplier) (Retriever) है जो निर्माण के लिए आवश्यक सटीक, वास्तविक सामग्री खोजता है। डिज़ाइन को सामग्री सोर्सिंग से अलग करके, यह प्रणाली सुनिश्चित करती है कि अंतिम इमारत वास्तविक, मौजूदा हिस्सों से बनाई जाए, न कि काल्पनिक हिस्सों से।
शोध पत्र निष्कर्ष निकालता है कि यह सरल अलगाव AI को संरचित डेटा के बारे में जटिल प्रश्नों के उत्तर बहुत अधिक सटीकता और सुरक्षा के साथ देने की अनुमति देता है, बिना चीजें बनाने की परेशान करने वाली आदत के।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।