Detecting Hallucinations for Large Language Model-based Knowledge Graph Reasoning
यह शोध पत्र LUCID को प्रस्तुत करता है, जो लार्ज लैंग्वेज मॉडल-आधारित नॉलेज ग्राफ रीजनिंग के लिए एक नवीन हैलुसिनेशन डिटेक्शन विधि है, जो ग्राफ न्यूरल नेटवर्क के माध्यम से LLM अटेंशन स्कोर, सिमेंटिक समानता और स्ट्रक्चरल ग्राफ सूचना का संयुक्त रूप से लाभ उठाकर अत्याधुनिक प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, सुशिक्षित सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) को काम पर रख रहे हैं ताकि वह एक जटिल प्रश्न का उत्तर दे सके। यह सुनिश्चित करने के लिए कि आपका सहायक केवल मनगढ़ंत बातें न बनाए, आप उसे तथ्यों से भरी एक विशाल, व्यवस्थित फाइलिंग कैबिनेट देते हैं जिसे नॉलेज ग्राफ (KG) कहा जाता है। आप सहायक को बताते हैं, "इन विशिष्ट फोल्डरों में देखें और मुझे बताएं कि आपको क्या मिलता है।"
समस्या क्या है? भले ही फाइलिंग कैबिनेट ठीक सामने हो, आपका सहायक कभी-कभी विचलित हो जाता है, ख्यालों में खो जाता है, या आत्मविश्वास के साथ ऐसा तथ्य गढ़ लेता है जो फोल्डरों में मौजूद ही नहीं है। इसे हैलुसिनेशन (Hallucination) कहा जाता है। वास्तविक दुनिया में, यदि आपका सहायक किसी डॉक्टर या वकील की मदद कर रहा है, तो तथ्य गढ़ना विनाशकारी हो सकता है।
प्रस्तुत शोध पत्र एक नया टूल पेश करता है जिसे LUCID कहा जाता है (इसका अर्थ है halLUcination deteCtIon method for LLM-based knowleDge graph reasoning)। LUCID को एक अत्यधिक सतर्क सुरक्षा गार्ड के रूप में समझें जो आपके सहायक को काम करते समय देखता रहता है।
LUCID कैसे काम करता है, इसे सरल उपमाओं में यहाँ समझाया गया है:
1. समस्या: "ख्यालों में खोया हुआ" सहायक
लेखकों ने पाया कि भले ही सहायक के सामने सही तथ्य मौजूद हों, फिर भी वे लगभग 29.65% समय मनगढ़ंत उत्तर देते हैं।
- उदाहरण: कल्पना कीजिए कि फाइलिंग कैबिनेट स्पष्ट रूप से कहता है, "PLS Inc. 'MarketMakers' को प्रायोजित करता है।" लेकिन सहायक कैबिनेट को देखता है, "Dealmakers Expo" नाम का एक फोल्डर देखता है (जो सुनने में समान लगता है), और आत्मविश्वास से कहता है, "PLS Inc. Dealmakers Expo को प्रायोजित करता है।" सहायक हैलुसिनेशन कर रहा है क्योंकि उसने उस शब्द को चुना जो सही लग रहा था बजाय उसके जो वास्तव में वहां मौजूद था।
2. समाधान: तीन-परत वाला सुरक्षा गार्ड (LUCID)
पिछले सुरक्षा गार्ड केवल दो चीजों को देखते थे:
- "आंतरिक अवस्था" (Internal State) गार्ड: क्या सहायक घबराया हुआ या अनिश्चित लग रहा था? (यह इस तथ्य को पकड़ने में विफल रहता है कि सहायक आत्मविश्वास के साथ गलत हो सकता है)।
- "टेक्स्ट मैच" (Text Match) गार्ड: क्या उत्तर फाइलिंग कैबिनेट के शब्दों से मेल खाता था? (यह तथ्यों की संरचना को पकड़ने में विफल रहता है)।
LUCID अलग है। यह एक तीन-आंखों वाले सुरक्षा गार्ड की तरह कार्य करता है जो एक साथ तीन विशिष्ट चीजों की जांच करता है:
आंख 1: "फोकस" ट्रैकर (LLM अटेंशन)
कल्पना कीजिए कि सहायक के पास एक लेजर पॉइंटर है। जब सहायक उत्तर लिख रहा होता है, तो LUCID देखता है कि लेजर पॉइंटर कहाँ चमक रहा है।- चाल: यदि सहायक "PLS Inc." के बारे में बात कर रहा है, लेकिन उसका लेजर पॉइंटर सही फोल्डर ("MarketMakers") के बजाय गलत फोल्डर ("Dealmakers") के ऊपर मंडरा रहा है, तो LUCID जान जाता है कि कुछ गलत है। यह मापता है कि सहायक वास्तव में फाइलिंग कैबिनेट के किन हिस्सों को "देख" रहा है।
आंख 2: "अर्थ" जांचकर्ता (KG सिमेंटिक्स)
यह आंख इस बात की जांच करती है कि सहायक द्वारा उपयोग किए जा रहे शब्द प्रश्न के संदर्भ में वास्तव में तर्कसंगत हैं या नहीं। यह एक अनुवादक की तरह है जो यह जांचता है कि दो तथ्यों के बीच का संबंध तार्किक है या नहीं।आंख 3: "मैप" पाठक (KG स्ट्रक्चर)
यह सबसे महत्वपूर्ण हिस्सा है। फाइलिंग कैबिनेट केवल एक सूची नहीं है; यह कनेक्शनों का एक जाल है। LUCID कनेक्शनों के आकार को देखता है।- उपमा: यदि तथ्य एक मकड़ी के जाल की तरह जुड़े हुए हैं, तो LUCID जांचता है कि क्या सहायक जाल का सही ढंग से अनुसरण कर रहा है। यदि सहायक एक ऐसे निष्कर्ष पर पहुँच जाता है जो जाल के पैटर्न को तोड़ देता है, तो LUCID उसे तुरंत पकड़ लेता है।
3. यह कैसे सीखता है (प्रशिक्षण)
LUCID केवल अनुमान नहीं लगाता; इसे एक ग्राफ न्यूरल नेटवर्क (GNN) पर प्रशिक्षित किया गया है।
- इसे एक ऐसे जासूस के रूप में समझें जिसने हजारों ऐसे मामलों का अध्ययन किया है जहाँ सहायक सही था और हजारों ऐसे मामले जहाँ वह गलत था।
- जासूस ने हैलुसिनेशन के विशिष्ट "पैटर्न" को पहचानना सीख लिया है: जब लेजर पॉइंटर गलत फोल्डर पर हो, अर्थ थोड़ा अलग हो, और तथ्यों का जाल टूट रहा हो।
- प्रशिक्षित होने के बाद, LUCID किसी नए उत्तर को देखकर कह सकता है, "इस बात की 80% संभावना है कि यह एक हैलुसिनेशन है।"
4. परिणाम: गार्ड काम करता है
लेखकों ने नौ अलग-अलग डेटासेट्स (विभिन्न प्रकार की फाइलिंग कैबिनेट और प्रश्न) का उपयोग करके 15 अन्य सुरक्षा गार्डों (मौजूदा विधियों) के विरुद्ध LUCID का परीक्षण किया।
- स्कोर: LUCID हर बार जीता, उसने अन्य सभी को पीछे छोड़ दिया। यह "ख्यालों में खो जाने" को पहचानने में सबसे सटीक था।
- व्यावहारिक लाभ: शोध पत्र LUCID का उपयोग करके पैसा बचाने का एक चतुर तरीका दिखाता है।
- कल्पना कीजिए कि आपके पास एक सस्ता, तेज़ सहायक (Qwen2.5-7B) है और एक महंगा, सुपर-स्मार्ट सहायक (Qwen3-235B) है।
- आप सस्ते सहायक को सारा काम करने देते हैं।
- LUCID उस सहायक पर नज़र रखता है। यदि LUCID कहता है, "अरे, यह उत्तर एक हैलुसिनेशन जैसा लग रहा है!" तो आप केवल उस विशिष्ट प्रश्न को दोबारा जांचने के लिए महंगे सहायक के पास भेजते हैं।
- परिणाम: आपको लगभग उतनी ही सटीकता मिलती है जितनी कि यदि आपने महंगे सहायक का उपयोग हर चीज़ के लिए किया होता, लेकिन आप 55% पैसा बचा लेते हैं क्योंकि आपने महंगा चेक-अप केवल तभी किया जब वास्तव में उसकी आवश्यकता थी।
सारांश
संक्षेप में, यह शोध पत्र कहता है: "LLMs नॉलेज ग्राफ का उपयोग करने में बेहतरीन हैं, लेकिन वे कभी-कभी झूठ भी बोलते हैं। हमने LUCID बनाया है, एक ऐसा टूल जो यह देखता है कि AI तथ्यों को कैसे देखता है, उन तथ्यों का अर्थ क्या है, और वे आपस में कैसे जुड़े हैं। इन तीन दृष्टिकोणों को मिलाकर, LUCID झूठ को पकड़ने में हमारे पास मौजूद किसी भी अन्य उपकरण से बेहतर है, और यह हमें पैसा बचाने में भी मदद कर सकता है क्योंकि हम 'विशेषज्ञों' को केवल तभी बुलाते हैं जब 'नौसिखिए' गलती करने वाले होते हैं।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।