Efficient RAG with Intent-Aware Retrieval and Semantics-Preserving Chunking
यह शोध पत्र InSemRAG प्रस्तुत करता है, जो एक रिट्रीवल-ऑगमेंटेड जनरेशन फ्रेमवर्क है जो एक इंटेंशन-अवेयर रिट्राइवर और सेमैंटिक्स-प्रिजर्विंग चंकिंग को एक इटरेटिव मैकेनिज्म के भीतर संयोजित करके मल्टी-हॉप और एविडेंस-सेंसिटिव कार्यों पर प्रदर्शन को बढ़ाता है, जबकि कंप्यूटेशनल लेटेंसी को महत्वपूर्ण रूप से कम करने के लिए स्मॉल लैंग्वेज मॉडल्स का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन थोड़ा भुलक्कड़ सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो लिखने और बात करने में तो बहुत अच्छा है, लेकिन उसे हाल ही में दुनिया में क्या हुआ है, इसकी पूरी जानकारी नहीं है। उनकी मदद करने के लिए, आप उन्हें किताबों का एक विशाल पुस्तकालय (बाहरी डेटाबेस) देते हैं ताकि वे उत्तर खोज सकें। इस सेटअप को RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) कहा जाता है।
हालाँकि, इस पुस्तकालय का उपयोग करने के पुराने तरीके में दो बड़ी समस्याएँ हैं, जैसे कि एक अनाड़ी लाइब्रेरियन:
- "एक ही आकार सबके लिए" वाली खोज (The "One-Size-Fits-All" Search): लाइब्रेरियन हर सवाल के लिए बिल्कुल एक ही खोज पद्धति का उपयोग करता है। यदि आप "पुस्तकालय कहाँ है?" जैसा सरल सवाल पूछते हैं, तो वह ज़रूरत से ज़्यादा सोच-विचार कर सकता है। यदि आप "पुस्तकालय क्यों जल गया?" जैसा जटिल सवाल पूछते हैं, तो वह आग की सुरक्षा के बारे में कोई रैंडम पन्ना निकाल सकता है बजाय इसके कि वह आग के इतिहास के बारे में जानकारी लाए। वह आपके इरादे (intent) को नहीं समझता।
- "फटे हुए पन्ने" की समस्या (The "Torn Page" Problem): जब लाइब्रेरियन आपको दिखाने के लिए कोई पन्ना निकालता है, तो वह अक्सर उसे स्टिकी नोट पर फिट करने के लिए बीच से फाड़ देता है। यदि वाक्य बीच में ही कट गया हो, तो अर्थ खो जाता है। यह एक रेसिपी पढ़ने जैसा है जो कहती है "दो कप मैदा डालें, फिर..." और अगला पन्ना गायब है। सहायक भ्रमित हो जाता है क्योंकि सबूत टूट चुके होते हैं।
यह पेपर InSemRAG नामक एक नया सिस्टम पेश करता है जो इन समस्याओं को ठीक करता है। इसे एक स्मार्ट, कुशल सहायक के साथ अपग्रेड करने के रूप में देखें जो भारी काम करने के लिए एक छोटे, तेज़ रोबोट (एक स्मॉल लैंग्वेज मॉडल, या SLM) का उपयोग करता है।
InSemRAG कैसे काम करता है, यहाँ सरल उपमाओं (analogies) का उपयोग किया गया है:
1. स्मार्ट खोज (इरादा-जागरूक रिट्रीवल - Intent-Aware Retrieval)
एक कठोर खोज पद्धति के बजाय, नया सिस्टम एक गिरगिट की तरह व्यवहार करता है।
- समस्या: कभी-कभी आपको एक सटीक कीवर्ड खोज की आवश्यकता होती है (जैसे किसी विशिष्ट पुस्तक के शीर्षक को खोजना), और कभी-कभी आपको एक व्यापक, वैचारिक खोज की आवश्यकता होती है (जैसे "उदासी के बारे में किताबें" खोजना)।
- समाधान: सिस्टम पहले आपके सवाल को देखता है। वह छोटे रोबोट से पूछता है, "इस तरह की खोज के लिए क्या चाहिए?"
- यदि सवाल विशिष्ट है, तो वह कीवर्ड मिलान (keyword matching) पर अधिक जोर देता है।
- यदि सवाल अमूर्त (abstract) है, तो वह अर्थ समझने पर जोर देता है।
- यह आपके विशिष्ट प्रश्न के लिए सही जानकारी प्राप्त करने हेतु, स्वाद के अनुसार मसालों को समायोजित करने वाले शेफ की तरह, इन दोनों खोज शैलियों को गतिशील रूप से मिलाता है।
2. "गोंद" तंत्र (सिमेंटिक्स-प्रिजर्विंग चंकिंग - Semantics-Preserving Chunking)
एक बार जब लाइब्रेरियन पन्ने निकाल लेता है, तो सिस्टम जाँचता है कि क्या वे फटे हुए हैं।
- समस्या: मानक सिस्टम केवल टेक्स्ट को निश्चित आकार के टुकड़ों (chunks) में काट देते हैं। ऐसा करने से अक्सर वाक्य बीच में ही कट जाते हैं या कोई सर्वनाम (जैसे "वह") उस व्यक्ति ("राष्ट्रपति") से अलग हो जाता है जिसे वह संदर्भित करता है।
- समाधान: सिस्टम एक फटे हुए दस्तावेज़ की जाँच करने वाले जासूस की तरह काम करता है।
- वह हर कागज़ के टुकड़े की जाँच करता है। यदि कोई टुकड़ा "क्षतिग्रस्त" दिखता है (जैसे कि वाक्य अधूरा है या तर्क टूटा हुआ है), तो वह उसे केवल फेंक नहीं देता।
- वह मूल पुस्तक तक वापस पहुँचता है, फटने से पहले का वाक्य और फटने के बाद का वाक्य लेता है, और उन्हें एक पूर्ण पैराग्राफ में फिर से जोड़ने (stitch) के लिए छोटे रोबोट का उपयोग करता है।
- वह इस नए पैराग्राफ को संकुचित (compress) करता है ताकि यह फिट हो सके, लेकिन बिना अर्थ खोए।
3. "दोहरा-चेक" लूप (The "Double-Check" Loop)
सिस्टम केवल एक बार जानकारी लेकर यह उम्मीद नहीं करता कि सब ठीक होगा। यह एक रिट्रीव-एंड-चेक लूप का उपयोग करता है।
- जानकारी इकट्ठा करने और ठीक करने के बाद, यह पूछता है: "क्या हमारे पास सवाल का जवाब देने के लिए पहेली के सभी टुकड़े मौजूद हैं?"
- यदि कोई टुकड़ा गायब है (उदाहरण के लिए, सवाल में तीन कारणों के बारे में पूछा गया था, लेकिन साक्ष्य में केवल दो ही हैं), तो यह छोटे रोबोट को लापता हिस्सा खोजने के लिए पुस्तकालय में वापस भेज देता है, और प्रक्रिया को तब तक दोहराता रहता है जब तक कि उत्तर पूरा न हो जाए।
यह विशेष क्यों है?
आमतौर पर, इस तरह की जाँच और सुधार करने के लिए एक बहुत शक्तिशाली, धीमे और महंगे कंप्यूटर मस्तिष्क की आवश्यकता होती है। लेकिन यह पेपर दिखाता है कि आप खोजने और ठीक करने के लिए एक छोटे, तेज़ और सस्ते रोबोट (एक स्मॉल लैंग्वेज मॉडल) का उपयोग कर सकते हैं।
परिणाम:
- बेहतर उत्तर: उन कठिन परीक्षणों पर, जिनमें कई कड़ियों को जोड़ने की आवश्यकता होती है (जैसे "क्यों X हुआ, जिससे Y हुआ?"), इस सिस्टम ने पिछले तरीकों की तुलना में काफी बेहतर स्कोर प्राप्त किया।
- तेज़: भले ही यह अधिक जाँच और सुधार करता है, यह वास्तव में अन्य जटिल सिस्टम की तुलना में 4 गुना तेज़ है जो समान समस्याओं को हल करने की कोशिश करते हैं, क्योंकि यह बड़े, धीमे मस्तिष्क के बजाय छोटे, कुशल रोबोट का उपयोग करता है।
संक्षेप में, InSemRAG आपके AI सहायक को एक स्मार्ट लाइब्रेरियन देने जैसा है जो आपकी विशिष्ट आवश्यकताओं के लिए ठीक से खोज करना जानता है, और एक सावधान संपादक देने जैसा है जो यह सुनिश्चित करता है कि जानकारी सौंपने से पहले कोई भी पन्ना फटा न हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।