Query-Adaptive Semantic Chunking for Retrieval-Augmented Generation: A Dynamic Strategy with Contextual Window Expansion
यह शोध पत्र क्वेरी-एडेप्टिव सिमेंटिक चंकिंग (QASC) प्रस्तुत करता है, जो एक गतिशील रणनीति है जो फिक्स्ड, सिमेंटिक और एजेंटिक चंकिंग विधियों की तुलना में काफी उच्च रिट्रीवल प्रासंगिकता और सुसंगतता प्राप्त करने के लिए दस्तावेज़ विभाजन प्रक्रिया में उपयोगकर्ता की क्वेरी को एकीकृत करती है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप 100 कुकबुक्स (पाक-पुस्तिकाओं) के एक विशाल, अव्यवस्थित पुस्तकालय में एक विशिष्ट रेसिपी खोजने की कोशिश कर रहे हैं।
पुराना तरीका (पारंपरिक चंकिंग - Traditional Chunking)
अभी, अधिकांश कंप्यूटर सिस्टम जो सवालों के जवाब देते हैं (जिन्हें RAG सिस्टम कहा जाता है), इन कुकबुक्स को समान आकार के टुकड़ों में काटते हैं, जैसे ब्रेड के एक लोफ को समान आकार के स्लाइस में काटना, चाहे उसके अंदर कुछ भी हो।
- यदि आप पूछते हैं, "मैं सावरडो (sourdough) कैसे बनाऊं?" तो सिस्टम आपको वह स्लाइस दे सकता है जिसमें रेसिपी तो है, लेकिन साथ ही इसमें बेकर के बचपन की एक कहानी और असंबंधित मसालों की सूची भी शामिल है।
- यदि आप अतिरिक्त फालतू सामग्री से बचने के लिए स्लाइस को छोटा करते हैं, तो आप रेसिपी को बीच से काट सकते हैं, जिससे आटे को गूंथने (kneading) का महत्वपूर्ण चरण छूट सकता है।
- सिस्टम को एकदम सही स्लाइस का आकार अनुमान लगाना पड़ता है, लेकिन हर सवाल के लिए कोई एक आकार काम नहीं करता। यह हर बार एक चौकोर टुकड़े को गोल छेद में फिट करने की कोशिश करने जैसा है।
नया तरीका (QASC)
यह पेपर एक नई रणनीति पेश करता है जिसे क्वेरी-एडेप्टिव सिमेंटिक चंकिंग (QASC) कहा जाता है। ब्रेड को अंधाधुंध काटने के बजाय, QASC एक स्मार्ट, चौकस पाठक की तरह काम करता है जो कुछ भी काटने से पहले किताब के उन सटीक हिस्सों को हाइलाइट करता है जिनकी आपको आवश्यकता है।
यह इस प्रकार काम करता है, एक सरल तीन-चरणीय प्रक्रिया के माध्यम से:
- "सीड" (बीज) खोजना (हाइलाइटर):
जब आप कोई प्रश्न पूछते हैं, तो QASC पूरे दस्तावेज़ को पढ़ता है और उन वाक्यों की तलाश करता है जो आपके प्रश्न के सबसे करीब हैं। यह एक पाठक की तरह है जो एक पन्ने को स्कैन करता है और कहता है, "आहा! यह वाक्य बिल्कुल वही है जो मैं ढूंढ रहा हूँ!" इन्हें सीड सेंटेंस (seed sentences) कहा जाता है।
- उपमा: यदि आप पूछते हैं, "फ्रांस की राजधानी क्या है?", तो सिस्टम "पेरिस फ्रांस की राजधानी है" वाले वाक्य को हाइलाइट करता है।
- विंडो का विस्तार करना (कॉन्टेक्स्ट बबल):
एक अकेला हाइलाइट किया गया वाक्य अक्सर अपने आप में पर्याप्त नहीं होता। इसे यह समझाने के लिए कि "क्यों" या "कैसे", उससे पहले वाले या बाद वाले वाक्य की आवश्यकता हो सकती है। QASC उस सीड सेंटेंस के चारों ओर संदर्भ (context) का एक "बबल" बनाता है। यह सुनिश्चित करने के लिए कि उत्तर अपने आप में समझ में आए, यह हाइलाइट के आसपास के कुछ वाक्य पहले और बाद के वाक्य लेता है।
- उपमा: यदि हाइलाइट किया गया वाक्य है "वह दौड़ जीत गया," तो सिस्टम आसपास के वाक्यों को भी ले लेता है ताकि यह पता चल सके कि "वह" कौन है और "वह" कौन सी दौड़ थी, ताकि उत्तर भ्रमित करने वाला न हो।
- विलय और पॉलिश करना (अंतिम कट):
कभी-कभी, दो हाइलाइट किए गए क्षेत्र एक-दूसरे के करीब होते हैं। QASC उन्हें एक सुचारू, सुसंगत टुकड़े (chunk) में मिला देता है। यह यह भी जांचता है कि टुकड़ा किसी विचार के बीच में शुरू या समाप्त न हो।
- उपमा: यदि आपने दो पैराग्राफ हाइलाइट किए हैं जो एक-दूसरे के ठीक बगल में हैं, तो QASC उन्हें एक पूर्ण, सुसंगत पैराग्राफ में जोड़ने के लिए आपस में जोड़ देता है, बजाय इसके कि वे आपको कागज के दो अलग-अलग टुकड़ों के रूप में मिले।
यह बेहतर क्यों है?
पेपर ने इस विधि का परीक्षण "समान स्लाइस" वाले पुराने तरीके और कुछ अन्य फैंसी तरीकों के विरुद्ध किया। उन्हें क्या पता चला:
- बेहतर उत्तर: क्योंकि टुकड़े विशेष रूप से आपके प्रश्न के इर्द-गिर्द बनाए गए हैं, इसलिए कंप्यूटर को यह अनुमान लगाने की आवश्यकता नहीं है कि क्या महत्वपूर्ण है। उसे तुरंत सही जानकारी मिल जाती है।
- कम भ्रम: कंप्यूटर द्वारा उत्पन्न किए गए उत्तर अधिक सटीक थे और उनमें गलतियाँ (hallucinations) कम हुईं क्योंकि प्रदान किया गया संदर्भ प्रश्न पर पूरी तरह केंद्रित था।
- गति बनाम गुणवत्ता: हालांकि इस विधि में टुकड़ों को सेट करने में थोड़ा अधिक समय लगता है (क्योंकि इसे पहले प्रश्न को पढ़ना पड़ता है), फिर भी यह वास्तविक समय के उपयोग के लिए पर्याप्त तेज़ है। यह एक बेहतर परिणाम के लिए एक छोटा सा इंतज़ार है।
निष्कर्ष
सोचिए कि पारंपरिक चंकिंग एक फैक्ट्री मशीन की तरह है जो सब कुछ एक ही आकार में काट देती है। QASC एक व्यक्तिगत लाइब्रेरियन की तरह है जो आपके विशिष्ट अनुरोध को सुनता है, आपके द्वारा आवश्यक सटीक पन्ने ढूंढता है, और आपको एक सटीक रूप से बंधा हुआ, प्रासंगिक बुकलेट थमाता है।
यह पेपर साबित करता है कि दस्तावेज़ को काटने का निर्णय उपयोगकर्ता के प्रश्न को लेने देकर—पहले काटने के बजाय बाद में पूछने के बजाय—हमें काफी बेहतर, अधिक सटीक और अधिक सहायक उत्तर मिलते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।