GraphER: An Efficient Graph-Based Enrichment and Reranking Method for Retrieval-Augmented Generation
GraphER एक नवीन, रिट्रीवर-अज्ञेय (retriever-agnostic) विधि है जो बिना किसी समर्पित नॉलेज ग्राफ की आवश्यकता के या महत्वपूर्ण विलंबता (latency) के बिना, बहुआयामी डेटा निकटता को कैप्चर करने के लिए ऑफलाइन ग्राफ-आधारित संवर्धन और क्वेरी-टाइम पुनर्रैंकिंग करके रिट्रीवल-ऑगमेंटेड जनरेशन को बेहतर बनाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक जटिल केस सुलझाने की कोशिश कर रहे हैं। आपके पास सुरागों (दस्तावेज़, तालिकाएं, लेख) का एक विशाल पुस्तकालय है, और आपको अपराध को सुलझाने के लिए विशिष्ट साक्ष्य खोजने की आवश्यकता है।
AI की दुनिया में, इसे रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) कहा जाता है। AI एक जासूस की तरह कार्य करता है, जो अपनी अंतिम रिपोर्ट लिखने से पहले सही सुराग खोजने के लिए पुस्तकालय की खोज करता है।
समस्या: "शाब्दिक" खोज (The "Literal" Search)
पारंपरिक रूप से, AI सिमेंटिक सर्च (Semantic Search) का उपयोग करता है। इसे एक ऐसे लाइब्रेरियन के रूप में समझें जो केवल शब्द मिलान (word matching) के आधार पर सुराग ढूंढता है।
- परिदृश्य: आप पूछते हैं, "जॉन स्मिथ कहाँ गया?"
- शाब्दिक खोज: लाइब्रेरियन उन दस्तावेज़ों की तलाश करता है जिनमें "जॉन," "स्मिथ," और "गया" शब्द शामिल हों।
- विफलता: यदि सुराग "कस्टमर्स" (Customers) नामक एक डेटाबेस टेबल में छिपा है (जो जॉन का नाम सूचीबद्ध करता है), लेकिन प्रश्न में "कस्टमर्स" का उल्लेख नहीं है, तो लाइब्रेरियन इसे मिस कर सकता है। वह "स्टोर्स" (Stores) के बारे में एक दस्तावेज़ में "जॉन" शब्द देख सकता है, लेकिन वह उस महत्वपूर्ण कड़ी को मिस कर देगा कि जॉन वास्तव में एक विशिष्ट स्टोर से "कस्टमर" टेबल के माध्यम से जुड़ा हुआ है।
पुराना तरीका एक पहेली को केवल टुकड़ों के रंग को देखकर सुलझाने जैसा है, यह भूलकर कि उनके आकार कैसे फिट बैठते हैं।
समाधान: GraphER (द "सुपर-कनेक्टर")
इस पेपर के लेखकों ने महसूस किया कि सुराग केवल इस बारे में नहीं हैं कि वे क्या कहते हैं; वे इस बारे में हैं कि वे कैसे जुड़े हुए हैं।
उन्होंने एक दो-चरणीय जादू प्रस्तावित किया है:
चरण 1: ऑफलाइन तैयारी (द "टैगिंग" चरण)
इससे पहले कि जासूस काम शुरू भी करे, GraphER पूरी लाइब्रेरी में जाता है और हर दस्तावेज़ में अदृश्य टैग (invisible tags) जोड़ देता है।
- स्ट्रक्चरल टैग्स (Structural Tags): "हे, यह दस्तावेज़ एक 'कस्टमर' टेबल है, और यह 'ऑर्डर्स' टेबल से जुड़ा हुआ है।"
- कॉन्सेप्चुअल टैग्स (Conceptual Tags): "इस लेख में 'लियोनार्डो डिकैप्रियो' का उल्लेख है, और उस मूवी रिव्यू में भी है।"
- कॉन्टेक्स्टुअल टैग्स (Contextual Tags): "यह पैराग्राफ उसी किताब में उसी के ठीक बाद आता है।"
इसे लाइब्रेरी की हर किताब को एक गुप्त मानचित्र देने के रूप में समझें जो दिखाता है कि कौन सी अन्य किताबें उसकी मित्र हैं। यह ऑफलाइन होता है, इसलिए यह बाद में जासूस की गति को धीमा नहीं करता है।
चरण 2: ऑनलाइन खोज (द "रीरैंकिंग" चरण)
अब, जासूस (AI) को एक प्रश्न मिलता है।
- प्रारंभिक स्वीप: लाइब्रेरियन एक त्वरित खोज करता है और शीर्ष 200 सबसे संभावित उम्मीदवारों को निकाल लेता है।
- ग्राफ चेक: इन 200 किताबों को जासूस को सौंपने के बजाय, GraphER उन गुप्त मानचित्रों (टैग्स) को देखता है जिन्हें हमने पहले जोड़ा था। यह उन 200 किताबों को जोड़ने वाला एक अस्थायी जाल बनाता है।
- उदाहरण: "किताब A" (स्टोर्स के बारे में) "किताब B" (ऑर्डर्स के बारे में) से जुड़ी है। "किताब B" "किताब C" (कस्टमर्स के बारे में) से जुड़ी है।
- स्मूथिंग (The Smoothing): GraphER एक चतुर गणितीय ट्रिक का उपयोग करता है जिसे ग्राफ कोहेसिव स्मूथिंग (Graph Cohesive Smoothing) कहा जाता है। एक पार्टी में दोस्तों के समूह की कल्पना करें। यदि एक दोस्त जासूस के लिए बहुत महत्वपूर्ण है, तो उसके दोस्त भी थोड़े अधिक महत्वपूर्ण हो जाते हैं, क्योंकि वे एक ही सर्कल का हिस्सा हैं।
- यदि "किताब C" (कस्टमर्स) को शुरू में कम रैंक दी गई थी क्योंकि इसमें "स्टोर" शब्द नहीं था, लेकिन यह "किताब A" (स्टोर्स) के साथ मजबूती से जुड़ी हुई है जो कि उच्च रैंक पर थी, तो GraphER "किताब C" को सूची में ऊपर ले आता है।
यह अन्य तरीकों से बेहतर क्यों है?
- "एजेंटिक" पद्धति के मुकाबले: कुछ AI जासूस समस्याओं को हल करने के लिए पूछते हैं, "मुझे और जानकारी चाहिए, मुझे एक और सवाल पूछने दो!" और फिर से खोज करते हैं। यह धीमा और महंगा है (जैसे मदद के लिए एक दोस्त को कॉल करना, फिर दूसरे को कॉल करना, फिर दूसरे को...)। GraphER तेज़ है क्योंकि यह सारा जुड़ाव एक ही बार में कर देता है।
- "नॉलेज ग्राफ" पद्धति के मुकाबले: कुछ सिस्टम काम शुरू करने से पहले पूरी दुनिया का एक विशाल, स्थायी मानचित्र बनाने की कोशिश करते हैं। यह बनाए रखना कठिन और महंगा है। GraphER केवल उन विशिष्ट सुरागों के लिए एक अस्थायी, मिनी-मैप बनाने जैसा है जिन्हें जासूस वर्तमान में देख रहा है। यह हल्का है और किसी भी मौजूदा लाइब्रेरी सिस्टम में फिट हो जाता है।
परिणाम
पेपर के प्रयोगों में, GraphER एक ऐसे जासूस की तरह था जिसने अंततः गायब कड़ी को ढूंढ लिया।
- पुराना तरीका: इसने "स्टोर" और "ऑर्डर" के सुराग तो ढूंढ लिए, लेकिन "कस्टमर" के सुराग को मिस कर दिया। AI SQL क्वेरी को हल नहीं कर सका।
- GraphER तरीका: इसने "स्टोर" और "ऑर्डर" के सुराग ढूंढे, देखा कि वे "कस्टमर" के सुराग से जुड़े हुए हैं, और उसे भी ऊपर खींच लिया। AI के पास सभी टुकड़े थे और उसने केस को पूरी तरह से सुलझा लिया।
निचोड़ (The Bottom Line)
GraphER एक स्मार्ट, कुशल तरीका है जिससे AI को जानकारी खोजने में मदद मिलती है—न केवल इस आधार पर कि किन शब्दों का उपयोग किया गया है, बल्कि इस आधार पर भी कि जानकारी के विभिन्न हिस्से एक-दूसरे से कैसे जुड़े हुए हैं। यह AI को ऐसे चश्मे देने जैसा है जो उसे दुनिया के डेटा को आपस में बांधने वाले अदृश्य धागों को देखने की अनुमति देता है, यह सुनिश्चित करता है कि वह किसी महत्वपूर्ण सुराग को केवल इसलिए मिस न कर दे क्योंकि वह लाइब्रेरी के किसी दूसरे सेक्शन में छिपा हुआ था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।