Trace Only What You Need: Structure-Aware On-Demand Hypergraph Memory for Long-Document Question Answering

तकनीकी सारांश: DocTrace – लंबे दस्तावेज़ों के QA के लिए स्ट्रक्चर-अवेयर ऑन-डिमांड हाइपरग्राफ मेमोरी

1. समस्या विवरण

लंबे दस्तावेज़ आधारित प्रश्नोत्तर (Long-document Question Answering - QA) के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को विस्तृत टेक्स्ट में बिखरे हुए साक्ष्यों पर तर्क करने की आवश्यकता होती है, जहाँ उत्तर अक्सर घटनाओं के क्रम, अनुभाग-स्तरीय संदर्भ और विभिन्न भागों के बीच संबंधों पर निर्भर करते हैं। जबकि रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) संदर्भ सीमाओं को कम करने के लिए प्रासंगिक साक्ष्य प्राप्त करता है, मौजूदा दृष्टिकोण तीन महत्वपूर्ण सीमाओं का सामना करते हैं:

1. महंगी क्वेरी-अज्ञेय (Query-Agnostic) संगठन: वर्तमान स्ट्रक्चर्ड RAG विधियाँ (जैसे पदानुक्रमित सारांश या नॉलेज ग्राफ) अक्सर किसी क्वेरी के ज्ञात होने से पहले ही पूरे दस्तावेज़ को प्री-इंडेक्स करती हैं। इससे पर्याप्त शुरुआती विलंबता (latency) और टोकन ओवरहेड होता है, जिससे ऐसा ज्ञान उत्पन्न होता है जिसका विशिष्ट प्रश्नों के लिए सीमित उपयोग हो सकता है।
2. दस्तावेज़ संरचना का अपर्याप्त उपयोग: कई विधियाँ दस्तावेज़ों को चंक्स (chunks) में समतल (flatten) कर देती हैं, जिससे सेक्शन बाउंड्रीज़, पैराग्राफ ऑर्डर और स्थानीय पड़ोस संबंधी संबंधों जैसे संरचनात्मक संकेत खो जाते हैं। यह सटीक तर्क के लिए आवश्यक नैरेटिव फ्लो और घटना प्रगति के संरक्षण को कमजोर करता है।
3. ऐतिहासिक तर्क का पुन: उपयोग न होना: मौजूदा सिस्टम आमतौर पर प्रत्येक प्रश्न को एक अलग उदाहरण के रूप में देखते हैं। एक बार प्रश्न का उत्तर मिल जाने के बाद, परिणामी तर्क पथों (reasoning trajectories) को त्याग दिया जाता है, जिससे सिस्टम को संरचनात्मक रूप से समान भविष्य के प्रश्नों के लिए समान अन्वेषण पैटर्न को दोहराने के लिए मजबूर होना पड़ता है।

2. कार्यप्रणाली: DocTrace फ्रेमवर्क

DocTrace एक मल्टी-एजेंट RAG फ्रेमवर्क है जिसे क्वेरी-ट्रिगर की गई ज्ञान संगठन, दस्तावेज़-संरचना-जागरूक रिट्रीवल, और अनुभव-निर्देशित तर्क के माध्यम से इन सीमाओं को दूर करने के लिए डिज़ाइन किया गया है। यह तीन मुख्य घटकों पर संचालित होने वाले एक ऑर्केस्ट्रेटर-इन्वेस्टिगेटर आर्किटेक्चर का उपयोग करता है:

A. ऑर्केस्ट्रेटर-इन्वेस्टिगेटर आर्किटेक्चर

• ऑर्केस्ट्रेटर ($\omega$): वैश्विक तर्क प्रक्रिया का प्रबंधन करता है। यह जटिल प्रश्नों को परस्पर निर्भर उप-प्रश्नों में विभाजित करता है, जिन्हें डायरेक्टेड एसाइक्लिक ग्राफ्स (DAGs) के रूप में दर्शाया जाता है। यह योजना बनाने का समन्वय करता है, इन्वेस्टिगेटर्स को कार्य सौंपता है, और अंतिम उत्तरों का संश्लेषण करता है।
• इन्वेस्टिगेटर एजेंट ($\alpha_i$): विशिष्ट उप-प्रश्नों को निष्पादित करते हैं। वे साक्ष्य प्राप्त करते हैं, वर्किंग मेमोरी के साथ इंटरैक्ट करते हैं, और मध्यवर्ती उत्तर उत्पन्न करते हैं।

B. मुख्य घटक

1. दस्तावेज़ स्ट्रक्चरल ट्री इंडेक्स ($T$)

एक फ्लैट लिस्ट के बजाय, DocTrace दस्तावेज़ को चार स्तरों (दस्तावेज़, अध्याय, अनुभाग और पैराग्राफ) पर नोड्स के साथ एक पदानुक्रमित पेड़ ($T$) के रूप में प्रस्तुत करता है।

• निर्माण: हेडिंग पैटर्न का अनुमान लगाने और दस्तावेज़ को पार्स करने के लिए LLM का उपयोग करता है, जिसे नेम्ड एंटिटी रिकग्निशन (NER) द्वारा पूरक किया जाता है।
• रिट्रीवल (TreePPR): जब कोई उप-प्रश्न उठता है, तो सिस्टम पेड़ पर पर्सनलाइज्ड पेज रैंक (TreePPR) का उपयोग करता है। यह सीड नोड्स से प्रासंगिकता स्कोर को प्रसारित करता है जबकि दस्तावेज़ की संरचनात्मक सीमाओं और सिब्लिंग संबंधों का सम्मान करता है, जिससे यह सुनिश्चित होता है कि प्राप्त साक्ष्य नैरेटिव फ्लो और संरचनात्मक संदर्भ बनाए रखते हैं।

2. हाइपरग्राफ-स्ट्रक्चर्ड वर्किंग मेमोरी ($M$)

यह एक क्वेरी-ट्रिगर किया गया, एजेंट-साझा मेमोरी है जिसे तर्क के दौरान ऑन-डिमांड बनाया जाता है। इसमें दो पूरक दृश्य शामिल हैं:

• एब्स्ट्रैक्शन व्यू ($M_A$): चयनित ट्री नोड्स पर मल्टी-लेवल पदानुक्रमित सारांशों को व्यवस्थित करता है। यह उन उप-प्रश्नों के उत्तर देने में सहायता करता है जहाँ साक्ष्य सीधे पढ़ने के लिए बहुत व्यापक हैं, जिससे एजेंट सारांशों से मूल टेक्स्ट तक गहराई से जा सकते हैं।
• रिलेशन व्यू ($M_R$): केवल वर्तमान उप-प्रश्न के लिए चयनित प्रासंगिक ट्री नोड्स से निकाले गए $n$-ary संबंधों और संस्थाओं (entities) को संग्रहीत करता है। यह ग्लोबल नॉलेज ग्राफ बनाने के बजाय मल्टी-हॉप रिलेशनल रीजनिंग का समर्थन करता है।
• तंत्र: $M$ को प्रत्येक उप-प्रश्न की विशिष्ट साक्ष्य आवश्यकताओं के आधार पर क्रमिक रूप से बनाया जाता है, जिससे पूरे दस्तावेज़ के प्री-इंडेक्सिंग की लागत से बचा जा जाता है।

3. ग्राफ-स्ट्रक्चर्ड एक्सपीरियंस मेमोरी ($D_M$)

पिछले इंटरैक्शन से सीखने में सक्षम बनाने के लिए, सफल तर्क योजनाओं (DAGs) को एक हेट्रोजेनियस ग्राफ मेमोरी में संग्रहीत किया जाता है।

• स्कीमा: नोड्स में क्वेश्चन स्केलेटन, रीजनिंग DAGs, सिग्नेचर (विषय संस्थाएं, बाधाएं), और रीजनिंग मोटिफ्स शामिल हैं।
• रिट्रीवल और पुन: उपयोग: जब एक नया प्रश्न आता है, तो ऑर्केस्ट्रेटर $D_M$ से संरचनात्मक रूप से समान रीजनिंग DAGs को प्राप्त करता है। ये प्राप्त योजनाएं नए रीजनिंग पाथ को इनिशियलाइज़ करने के लिए फ्यू-शॉट उदाहरणों के रूप में कार्य करती हैं, जिससे सिस्टम को शून्य से शुरू करने के बजाय सफल डीकंपोज़िशन पैटर्न का पुन: उपयोग करने की अनुमति मिलती है।

3. प्रमुख योगदान

1. क्वेरी-ट्रिगर की गई ज्ञान संगठन: DocTrace महंगे प्री-इंडेक्सिंग की आवश्यकता को समाप्त करता है और प्रत्येक उप-प्रश्न की विशिष्ट साक्ष्य आवश्यकताओं द्वारा संचालित, हाइपरग्राफ-स्ट्रक्चर्ड वर्किंग मेमोरी ($M$) को क्रमिक रूप से निर्मित करता है।
2. दस्तावेज़-संरचना-जागरूक रिट्रीवल: दस्तावेज़ स्ट्रक्चरल ट्री इंडेक्स ($T$) और TreePPR का उपयोग करके, फ्रेमवर्क दस्तावेज़ के नैरेटिव फ्लो को बनाए रखने वाले साक्ष्य प्राप्त करने के लिए सिमेंटिक समानता के साथ-साथ संरचनात्मक संकेतों (पदानुक्रम, क्रम) का लाभ उठाता है।
3. पुन: प्रयोज्य तर्क अनुभव: सिस्टम सफलतापूर्वक प्राप्त तर्क प्रक्षेपवक्रों (trajectories) को $D_M$ में DAGs के रूप में स्पष्ट रूप से मॉडल और संग्रहीत करता है, जिससे संरचनात्मक रूप से समान भविष्य के प्रश्नों के लिए रीजनिंग पैटर्न का पुन: उपयोग करना संभव होता है।
4. दक्षता और प्रभावशीलता: फ्रेमवर्क हाइब्रिड स्ट्रक्चर्ड बेसलाइन्स की तुलना में काफी कम कंप्यूटेशनल लागत के साथ स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है।

4. प्रयोगात्मक परिणाम

प्रयोग चार लॉन्ग-डॉक्यूमेंट QA डेटासेट्स पर किए गए: NarrativeQA, EN.QA, EN.MC, और DetectiveQA।

• प्रदर्शन: DocTrace ने चार में से तीन डेटासेट्स पर सर्वश्रेष्ठ प्रदर्शन किया।
  • NarrativeQA पर, इसने सबसे मजबूत बेसलाइन (ComoRAG) को 8.85% F1 और 4.40% Exact Match (EM) से पीछे छोड़ दिया।
  • EN.MC पर, यह दूसरे स्थान पर रहा, जिसने बिना ऑनलाइन लर्निंग वाले वेरिएंट में ComoRAG को 1.82% Accuracy (ACC) से पछाड़ दिया।
• दक्षता: DocTrace ने ComoRAG की तुलना में कुल कंप्यूटेशनल लागत को 53.32% कम कर दिया। यह दक्षता लाभ पूर्ण-दस्तावेज़ प्री-इंडेक्सिंग से बचने और ऑन-डिमांड मेमोरी निर्माण के कारण हुआ।
• एब्लेशन स्टडीज: ऑर्केस्ट्रेटर की प्लानिंग क्षमता या वर्किंग मेमोरी ($M$) को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई (जैसे, बिना प्लानिंग के EN.QA पर F1 में 5.11% की गिरावट), जो स्ट्रक्चर्ड डीकंपोज़िशन और ऑन-डिमांड मेमोरी की आवश्यकता की पुष्टि करता है।
• बैकबोन रोबस्टनेस: DocTrace ने विभिन्न LLM बैकबोन (GPT-4o-mini, Qwen3, DeepSeek) में डायरेक्ट इन-कॉन्टेक्स्ट लर्निंग (IO) प्रॉम्प्टिंग के मुकाबले लगातार बेहतर प्रदर्शन किया, जिसमें औसत लाभ 23.59% F1 और 35.37% ACC रहा।

5. महत्व और दावे

पेपर का दावा है कि DocTrace स्थिर, प्री-कंप्यूटेड नॉलेज स्ट्रक्चर्स से डायनेमिक, ऑन-डिमांड रीजनिंग सिस्टम की ओर एक बदलाव का प्रतिनिधित्व करता है। इसका महत्व यह प्रदर्शित करने में है कि:

• उच्च-गुणवत्ता वाले लॉन्ग-डॉक्यूमेंट QA के लिए पूरे दस्तावेज़ के महंगे, क्वेरी-अज्ञेय प्री-इंडेक्सिंग की आवश्यकता नहीं है।
• इवेंट ऑर्डर और नैरेटिव फ्लो वाले कार्यों के लिए दस्तावेज़ पदानुक्रम को संरक्षित करना महत्वपूर्ण है।
• ऐतिहासिक तर्क प्रक्षेपवक्यों का पुन: उपयोग जटिल, बहु-चरणीय प्रश्नों के अन्वेषण को प्रभावी ढंग से निर्देशित कर सकता है, जिससे सटीकता और दक्षता दोनों में सुधार होता है।

लेखक नोट करते हैं कि सिस्टम वर्तमान में टेक्स्ट-आधारित दस्तावेज़ों पर केंद्रित है और प्लानिंग तथा जनरेशन के लिए LLM कॉल्स पर निर्भर है। दक्षता में और सुधार करने के लिए मल्टीमॉडल रीजनिंग और अधिक लाइटवेट एजेंट डिज़ाइन का पता लगाने के लिए भविष्य के कार्य का सुझाव दिया गया है।