Improving Factuality in LLMs via Inference-Time Knowledge Graph Construction
यह शोध पत्र एक ऐसे नवीन ढांचे का प्रस्ताव करता है जो अनुमान (inference) के दौरान संरचित ज्ञान ग्राफ (knowledge graphs) को गतिशील रूप से निर्मित और परिष्कृत करके लार्ज लैंग्वेज मॉडल्स की तथ्यात्मक सटीकता में सुधार करता है, जो असंरचित टेक्स्ट-आधारित दृष्टिकोणों की सीमाओं को दूर करने के लिए मॉडल के आंतरिक ज्ञान को बाहरी रिट्रीवल के साथ एकीकृत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (लार्ज लैंग्वेज मॉडल, या LLM) है। इस लाइब्रेरियन ने लाखों किताबें पढ़ी हैं और वह आपको लगभग कुछ भी बता सकता है। हालाँकि, किसी भी इंसान की तरह, उसकी भी चीजों को पूरी तरह से याद रखने की एक सीमा है। कभी-कभी, वह दो समान कहानियों को आपस में मिला सकता है, किसी विशिष्ट विवरण को भूल सकता है, या पूरे आत्मविश्वास के साथ कोई ऐसा तथ्य बना सकता है जो सुनने में सही लगता है लेकिन वास्तव में नहीं है। इसे शोधकर्ता "हैलुसिनेशन" (hallucination) कहते हैं।
इसे ठीक करने के लिए, इस पेपर के लेखक इस लाइब्रेरियन के काम करने का एक नया तरीका प्रस्तावित करते हैं, जिसे वे "इन्फरेंस-टाइम नॉलेज ग्राफ कंस्ट्रक्शन" (Inference-Time Knowledge Graph Construction) कहते हैं।
यहाँ उनका तरीका कैसे काम करता है, इसे एक छिपे हुए खजाने को खोजने के लिए मानचित्र (मैप) बनाने के रूपक (analogy) का उपयोग करके सरल चरणों में समझाया गया है।
समस्या: "अनस्ट्रक्चर्ड" (अव्यवस्थित) खोज
आमतौर पर, जब आप लाइब्रेरियन से कोई कठिन सवाल पूछते हैं, तो वे केवल गहराई से सोचने (जैसे "चेन ऑफ थॉट") की कोशिश कर सकते हैं। या, वे इंटरनेट पर कुछ टेक्स्ट देख सकते हैं और उसे पढ़ सकते हैं।
- समस्या: एक लंबे, अव्यवस्थित पैराग्राफ को पढ़ना एक शहर के बारे में उपन्यास पढ़ने जैसा है ताकि आप उस शहर की एक विशिष्ट सड़क ढूंढ सकें। इसमें भटक जाना, गलत मोड़ लेना, या अप्रासंगिक विवरणों से विचलित होना आसान है। लाइब्रेरियन गलत तथ्य पकड़ सकता है क्योंकि जानकारी व्यवस्थित नहीं थी।
समाधान: एक "मानचित्र" बनाना (नॉलेज ग्राफ)
केवल टेक्स्ट पढ़ने के बजाय, लेखक लाइब्रेरियन को सवाल का जवाब देते समय एक मानचित्र (नॉलेज ग्राफ) बनाना सिखाते हैं। यह मानचित्र बिंदुओं (तथ्यों) को रेखाओं (संबंधों) के माध्यम से जोड़ता है।
यहाँ उनकी 4-चरणीय प्रक्रिया दी गई है:
1. बीज मानचित्र बनाना (इनिशियलाइजेशन)
जब आप कोई प्रश्न पूछते हैं (जैसे, "बर्नस्टीन के सिम्फोनिक डांस (Bernstein's Symphonic Dances) किस नाटक पर आधारित थे?"), तो लाइब्रेरियन पहले अपनी स्मृति से एक छोटा, कच्चा स्केच बनाता है।
- वे लिखते हैं: डैग अचात्ज़ (Dag Achatz) → ट्रांसक्राइब किया गया → सिम्फोनिक डांस → है → वेस्ट साइड स्टोरी (West Side Story) से।
- समस्या: लाइब्रेरियन की आंतरिक स्मृति अधूरी हो सकती है। वे वेस्ट साइड स्टोरी पर रुक सकते हैं और सोच सकते हैं, "यही उत्तर है!" लेकिन वास्तव में, वेस्ट साइड स्टोरी खुद किसी और चीज़ पर आधारित थी। मानचित्र का एक हिस्सा गायब है।
2. मानचित्र का विस्तार करना (इंटरनल एक्सपेंशन)
लाइब्रेरियन अपने स्केच को देखता है और पूछता है, "मैं इन बिंदुओं के बारे में और क्या जानता हूँ?" वे अपनी मानसिक शक्ति का उपयोग करके मानचित्र में और अधिक रेखाएँ जोड़ने का प्रयास करते हैं।
- वे जोड़ सकते हैं: वेस्ट साइड स्टोरी → रचित है → लियोनार्ड बर्नस्टीन द्वारा।
- समस्या: इस विस्तार के बावजूद, लाइब्रेरियन अभी भी उस महत्वपूर्ण कड़ी को खोजने में चूक सकता है जो वेस्ट साइड स्टोरी को मूल नाटक, रोमियो और जूलियट से जोड़ती है। उनकी आंतरिक स्मृति में एक अंतराल है।
3. "सिटी गाइड" (शहर मार्गदर्शिका) से परामर्श करना (एक्सटर्नल रिट्रीवल)
यही जादुई कदम है। लाइब्रेरियन महसूस करता है, "मुझे यकीन नहीं है कि मेरे पास पूरी तस्वीर है।" इसलिए, वे रुकते हैं और एक विश्वसनीय, बाहरी सिटी गाइड (जैसे विकिपीडिया या गूगल सर्च) से परामर्श करते हैं।
- वे गाइड में वेस्ट साइड स्टोरी को खोजते हैं।
- गाइड कहता है: "वेस्ट साइड स्टोरी रोमियो और जूलियट से प्रेरित थी।"
- लाइब्रेरियन इस नए, सत्यापित तथ्य को लेता है और अपने मानचित्र में जोड़ देता है: वेस्ट साइड स्टोरी → प्रेरित है → रोमियो और जूलियट से।
- लाभ: यदि लाइब्रेरियन ने पहले कोई गलती की थी (उदाहरण के लिए, यह सोचना कि संगीत किसी अलग वर्ष का था), तो सिटी गाइड उनके मानचित्र को केवल जोड़ने के बजाय उसे सुधारने में मदद करता है।
4. खजाना खोजना (ग्राफ पर उत्तर देना)
अब, एक पूर्ण, सुधारा हुआ मानचित्र होने के साथ जो डैग अचात्ज़ को रोमियो और जूलियट तक जोड़ता है, लाइब्रेरियन मानचित्र पर रास्ता ट्रेस करता है। क्योंकि रास्ता स्पष्ट है और सिटी गाइड द्वारा सत्यापित है, वे आत्मविश्वास से कह सकते हैं: "उत्तर रोमियो और जूलियट है।"
यह बेहतर क्यों है?
यह पेपर दावा करता है कि यह विधि तीन मुख्य कारणों से श्रेष्ठ है:
- अराजकता पर संरचना: अनस्ट्रक्चर्ड टेक्स्ट के सैलाब में बहने के बजाय, लाइब्रेरियन एक संरचित मानचित्र के साथ काम करता है। यह अप्रासंगिक जानकारी से विचलित होना कठिन बनाता है।
- स्व-सुधार (Self-Correction): लाइब्रेरियन केवल अपनी स्मृति पर भरोसा नहीं करता है। वे अपने मानचित्र को ठीक करने के लिए बाहरी गाइड का उपयोग करते हैं। यदि लाइब्रेरियन सोचता है कि "A, B की ओर ले जाता है," लेकिन गाइड कहता है कि "A, C की ओर ले जाता है," तो लाइब्रेरियन मानचित्र को अपडेट कर देता है।
- छोटे लाइब्रेरियन बड़े काम कर सकते हैं: प्रयोगों ने दिखाया कि छोटे, कम शक्तिशाली "लाइब्रेरियन" (छोटे AI मॉडल) भी बड़े मॉडलों के समान प्रदर्शन कर सकते हैं यदि वे इस मानचित्र बनाने वाली विधि का उपयोग करें। बाहरी गाइड खेल के मैदान को समान स्तर पर ले आता है।
परिणाम
लेखकों ने तीन अलग-अलग प्रकार की ट्रिविया चुनौतियों पर इसका परीक्षण किया।
- परिणाम: उनकी विधि ने मानक तरीकों की तुलना में लगातार अधिक सही उत्तर प्राप्त किए।
- "रिकॉल" (Recall) में उछाल: उन्होंने पाया कि बाहरी गाइड का उपयोग करके, उनके द्वारा बनाए गए "मानचित्र" में सही तथ्य बहुत अधिक बार शामिल थे (केवल AI की स्मृति पर निर्भर रहने की तुलना में "रिकॉल", या सही तथ्यों को खोजने में एक बड़ी छलांग)।
कमी (सीमाएं)
लेखक अपनी खामियों के बारे में ईमानदार हैं:
- Garbage In, Garbage Out: यदि लाइब्रेरियन मानचित्र का प्रारंभिक भाग गलत बनाता है, और बाहरी गाइड उसे नहीं पकड़ पाता है, तो अंतिम उत्तर फिर भी गलत होगा।
- पूर्ण नहीं है: मानचित्र पर सही तथ्य होने और वास्तव में सही उत्तर चुनने के बीच अभी भी एक अंतर है। यह प्रणाली अभी तक 100% पूर्ण नहीं है।
सारांश
संक्षेप में, यह पेपर सुझाव देता है कि AI को केवल "सोचने" या "पैराग्राफ पढ़ने" के लिए कहने के बजाय, हमें उसे तथ्यों का एक दृश्य मानचित्र बनाने, उस मानचित्र की जांच एक विश्वसनीय विश्वकोश से करने, मानचित्र में किसी भी त्रुटि को सुधारने और फिर उत्तर तक पहुँचने के लिए मानचित्र का अनुसरण करने के लिए कहना चाहिए। यह AI को अधिक सटीक, झूठ बोलने की संभावना कम, और समझने में आसान बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।