MDKeyChunker: Single-Call LLM Enrichment with Rolling Keys and Key-Based Restructuring for High-Accuracy RAG

यहाँ भविक मंगल द्वारा लिखित शोध पत्र "MDKeyChunker: High-Accuracy RAG के लिए Rolling Keys और Key-Based Restructuring के साथ Single-Call LLM Enrichment" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मानक रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) पाइपलाइनों में तीन व्यवस्थित विफलता मोड की पहचान करता है:

1. चंक बाउंड्री फ्रैगमेंटेशन (Chunk Boundary Fragmentation): निश्चित-आकार का विभाजन (जैसे, 256-512 टोकन) अक्सर सिमेंटिक सामंजस्य को खंडित कर देता है, जिससे टेबल्स को उनके कैप्शन से, या कोड ब्लॉक्स को उनकी व्याख्याओं से अलग कर दिया जाता है। यह रिट्रीवल रिकॉल और उत्तर की गुणवत्ता को कम करता है।
2. मेटाडेटा एक्सट्रैक्शन लागत (Metadata Extraction Cost): चंक्स को मेटाडेटा (सारांश, एंटिटी, कीवर्ड्स) के साथ समृद्ध करने के लिए आमतौर पर कई अलग-अलग LLM कॉल्स की एक श्रृंखला की आवश्यकता होती है (प्रत्येक फील्ड के लिए एक कॉल), जिससे $O(n \cdot m)$ जटिलता उत्पन्न होती है जहाँ $n$ चंक्स की संख्या है और $m$ एक्सट्रैक्शन चरणों की संख्या है। यह महत्वपूर्ण विलंबता (latency) और लागत बाधाएं पैदा करता है।
3. कॉन्टेक्स्टुअल आइसोलेशन (Contextual Isolation): स्वतंत्र चंक प्रोसेसिंग से पर्यायवाची शब्दों का प्रसार (जैसे, एक ही विषय के लिए "admissions timeline" बनाम "application deadlines") होता है क्योंकि चंक्स में इंटर-चंक कॉन्टेक्स्ट की कमी होती है, जिससे सिस्टम दस्तावेज़ के माध्यम से संबंधित सामग्री को पहचानने में असमर्थ रहता है।

2. कार्यप्रणाली (Methodology)

MDKeyChunker एक एकीकृत, तीन-चरणीय पाइपलाइन का प्रस्ताव करता है जो विशेष रूप से मार्कडाउन (Markdown) दस्तावेजों के लिए डिज़ाइन किया गया है ताकि इन समस्याओं का समाधान किया जा सके:

चरण 1: स्ट्रक्चर-अवेयर चंकिंग (Structure-Aware Chunking)

निश्चित टोकन काउंट के बजाय, सिस्टम परमाणु सिमेंटिक इकाइयों (atomic semantic units) की पहचान करने के लिए मार्कडाउन को पार्स करता है।

• परमाणु इकाइयाँ (Atomic Units): हेडर्स, कोड ब्लॉक्स (fenced/indented), टेबल्स, लिस्ट्स और ब्लॉककोट को अविभाज्य इकाइयों के रूप में माना जाता है।
• विभाजन तर्क (Splitting Logic): पार्सर केवल सिमेंटिक सीमाओं (जैसे, हेडर्स के बीच) पर विभाजित होता है जबकि जटिल संरचनाओं की अखंडता को बनाए रखता है।
• प्रतिबंध (Constraints): चंक्स न्यूनतम ($\tau_{min} = 100$ वर्ण) और सॉफ्ट मैक्सिमम ($\tau_{max} = 1500$ वर्ण) थ्रेसहोल्ड द्वारा सीमित हैं, लेकिन परमाणु ब्लॉक (जैसे, बड़े टेबल्स) को तब भी नहीं विभाजित किया जाता है यदि वे $\tau_{max}$ से अधिक हों।

चरण 2: Rolling Keys के साथ Single-Call LLM Enrichment

यह मुख्य नवाचार है। कई कॉल्स के बजाय, एक एकल LLM इनवोकेशन (single LLM invocation) सात मेटाडेटा फील्ड्स को एक साथ निकालता है:

1. टाइटल, समरी, कीवर्ड्स, एंटिटीज, क्वेश्चंस, सिमेंटिक की (Semantic Key), और रिलेटेड कीज़ (Related Keys)।

• रोलिंग की डिक्शनरी (Rolling Key Dictionary): LLM को पिछले चंक्स से निकाले गए कीज़ का एक डिक्शनरी $K$ प्राप्त होता है।
  • यदि वर्तमान चंक किसी पूर्व विषय को जारी रखता है, तो LLM को $K$ से मौजूदा की का पुन: उपयोग करने के लिए निर्देशित किया जाता है।
  • यदि यह एक नया उप-विषय पेश करता है, तो एक नई की जोड़ी जाती है।
  • कॉन्टेक्स्ट विंडो के आकार को प्रबंधित करने के लिए डिक्शनरी को LRU (Least Recently Used) इविक्शन पॉलिसी का उपयोग करके 40 प्रविष्टियों तक सीमित किया जाता है।
• लाभ: यह विषयों को कैनोनिकल (canonicalize) बनाता है (पर्यायवाची प्रसार को कम करता है) और जटिल स्कोरिंग फॉर्मूला के बिना दस्तावेज़-स्तरीय संदर्भ बनाए रखता है।

चरण 3: Key-Based Restructuring (Bin-Packing)

समृद्धिकरण (enrichment) के बाद, पाइपलाइन संबंधित सामग्री को एक साथ लाने के लिए चंक्स को पुनर्गठित करती है।

• विलय (Merging): एक ही सिमेंटिक की साझा करने वाले चंक्स को फर्स्ट-फिट बिन-पैकिंग एल्गोरिदम का उपयोग करके एक एकल रिट्रीवल यूनिट में विलय कर दिया जाता है।
• प्रतिबंध: विलय $\tau_{merge} = 3000$ वर्णों की अधिकतम सीमा के अधीन है।
• ऑर्फ़न हैंडलिंग (Orphan Handling): बिना की (keys) वाले चंक्स को संरक्षित किया जाता है लेकिन यदि वे बहुत छोटे हैं तो उनके साथ सेक्शन कॉन्टेक्स्ट जोड़ा जा सकता है।
• परिणाम: एक ही विशिष्ट उप-विषय (जैसे, एक दस्तावेज़ के दो अलग-अलग अनुभागों में दिखने वाले "model types") पर चर्चा करने वाले दूरस्थ अंशों को एक एकल, सुसंगत रिट्रीवल यूनिट में विलय कर दिया जाता है।

3. प्रमुख योगदान (Key Contributions)

1. Single-Call Enrichment Protocol: एक नवीन प्रॉम्प्ट डिज़ाइन जो एक ही LLM कॉल में सात अलग-अलग मेटाडेटा फील्ड्स निकालता है, जिससे पारंपरिक पाइपलाइनों की तुलना में अनुमान लागत (inference cost) में $m$ (फील्ड्स की संख्या) के कारक से कमी आती है।
2. Rolling Key Propagation: एक तंत्र जो हल्के वजन वाली डिक्शनरी का उपयोग करके चंक्स के बीच विषयात्मक निरंतरता बनाए रखता है, जो हैंड-ट्यून्ड स्कोरिंग के स्थान पर LLM-नेटिव सिमेंटिक मैचिंग का उपयोग करता है।
3. Key-Based Restructuring: एक एल्गोरिदम जो बिन-पैकिंग के माध्यम से सिमेंटिक रूप से संबंधित चंक्स को वैश्विक स्तर पर मर्ज करता है, प्रभावी रूप से "आभासी" (virtual) अनुभाग बनाता है जो मूल दस्तावेज़ लेआउट से परे जाते हैं।
4. ओपन-सोर्स कार्यान्वयन: 76 यूनिट टेस्ट के साथ एक पूर्णतः कार्यात्मक पायथन लाइब्रेरी, जो OpenAI-संगत एंडपॉइंट्स का समर्थन करती है, और सत्यापन में शून्य कोड-ब्लॉक या टेबल स्प्लिट प्रदर्शित करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

सिस्टम का मूल्यांकन 18 मार्कडाउन दस्तावेजों (354 KB) के संग्रह पर 30 विविध प्रश्नों के साथ किया गया।

• संरचनात्मक अखंडता (Structural Integrity): कोड-ब्लॉक या टेबल विभाजन के शून्य मामले देखे गए।
• समृद्धिकरण दक्षता (Enrichment Efficiency): सभी 7 मेटाडेटा फील्ड्स के लिए 100% फिल रेट प्राप्त किया। रोलिंग की तंत्र ने 89.8% क्रॉस-रेफरेंस रेट प्राप्त किया, जो पुष्टि करता है कि LLM ने पर्यायवाची शब्द बनाने के बजाय पूर्ववर्ती कीज़ का सफलतापूर्वक पुन: उपयोग किया।
• पुनर्गठन प्रभाव (Restructuring Impact): 13 की-ग्रुप्स के माध्यम से 28 चंक्स को मर्ज करके कुल चंक काउंट को 269 से घटाकर 244 (9.3% की कमी) कर दिया।
• रिट्रीवल प्रदर्शन (Retrieval Performance):
  • Config D (Structure-only + BM25): इसने पूर्ण Recall@5 = 1.000 और MRR = 0.911 प्राप्त किया।
  • Config C (Full Pipeline + Dense Retrieval): इसने Recall@5 = 0.867 और MRR = 0.744 प्राप्त किया।
  • तुलना: इस विशिष्ट सेटअप में पूर्ण डेंस पाइपलाइन (Config C) ने BM25 बेसलाइन (Config D) से थोड़ा कम प्रदर्शन किया, लेकिन यह निश्चित-आकार के डेंस रिट्रीवल (Config A: Recall@5 = 0.933) की तुलना में काफी बेहतर था।