Knowledge Is Not Static: Order-Aware Hypergraph RAG for Language Models

यहाँ शोध पत्र "Order-Aware Hypergraph RAG for Language Models" (OKH-RAG) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम, जिनमें ग्राफ और हाइपरग्राफ का उपयोग करने वाले सिस्टम भी शामिल हैं, मौलिक रूप से रिट्रीव किए गए साक्ष्य (evidence) को एक अक्रमित सेट (unordered set) के रूप में मानते हैं। वे परम्यूटेशन इनवेरियेंस (permutation invariance) को मानते हैं, जिसका अर्थ है कि तथ्य जिस क्रम में प्रस्तुत किए जाते हैं, उससे तर्क प्रक्रिया (reasoning outcome) पर कोई प्रभाव नहीं पड़ता है।

हालाँकि, लेखकों का तर्क है कि यह धारणा कई वास्तविक दुनिया के तर्क कार्यों (जैसे आपदा प्रतिक्रिया, चिकित्सा निदान, कानूनी कारणता) के लिए त्रुटिपूर्ण है, जहाँ परिणाम न केवल इस पर निर्भर करते हैं कि कौन सी अंतःक्रियाएं होती हैं, बल्कि इस पर भी कि वे किस अनुक्रम (sequence) में घटित होती हैं।

• ग्राफ की सीमा: मानक नॉलेज ग्राफ (KGs) केवल बाइनरी संबंधों को मॉडल करते हैं, जिससे कई संस्थाओं (entities) के बीच होने वाली उच्च-स्तरीय अंतःक्रियाओं को पकड़ने में विफलता होती है।
• स्थिर हाइपरग्राफ की सीमा: जबकि हाइपरग्राफ $n$-ary संबंधों को मॉडल कर सकते हैं, मौजूदा हाइपरग्राफ-RAG विधियाँ अभी भी हाइपरएज को स्थिर, समयहीन तथ्यों के रूप में मानती हैं। वे कालिक विकास (temporal evolution), कारणता (causality) और पूर्वता (precedence) को पकड़ने में विफल रहती हैं जो प्रक्रिया-आधारित तर्क के लिए आवश्यक हैं।

मुख्य परिकल्पना (Core Hypothesis): प्रभावी तर्क के लिए साक्ष्य को एक सेट के रूप में नहीं, बल्कि एक क्रमित प्रक्षेपवक्र (ordered trajectory) के रूप में रिट्रीव करने की आवश्यकता होती है जो अंतर्निहित गतिशील प्रक्रिया को दर्शाता हो।

2. कार्यप्रणाली: OKH-RAG (Methodology)

प्रस्तावित ढांचा, Order-Aware Knowledge Hypergraph RAG (OKH-RAG), ज्ञान को स्पष्ट पूर्वता संरचनाओं (precedence structures) के साथ उच्च-क्रम की अंतःक्रियाओं के रूप में मॉडल करता है। यह तीन चरणों में कार्य करता है:

A. नॉलेज हाइपरग्राफ निर्माण और ऑर्डर लर्निंग (Knowledge Hypergraph Construction & Order Learning)

1. हाइपरग्राफ प्रतिनिधित्व ($H$):

   • संस्थाएँ (Entities - $V$): वस्तुओं, अवस्थाओं या अस्थायी एंकरों (जैसे, "पोर्ट ऑफ ह्यूस्टन," "T-48 पर चक्रवात की स्थिति") का प्रतिनिधित्व करती हैं।
   • हाइपरएज (Hyperedges - $E$): $n$-ary अंतःक्रियाओं को मॉडल करने के लिए संस्थाओं के मनमाने उपसमुच्चयों ($|V_e| \ge 2$) को जोड़ते हैं। प्रत्येक हाइपरएज में एक प्राकृतिक भाषा विवरण, संबंध प्रकार और विशेषताएँ शामिल होती हैं।
   • ऑर्डर-अवेयर ऑग्मेंटेशन ($H^\prec$): सिस्टम एक असतत अनुक्रम सूचकांक $\ell$ और एक सीखा हुआ पूर्वता संबंध $\prec$ पेश करता है। यह स्थिर हाइपरग्राफ को अवस्थाओं के एक अनुक्रम में बदल देता है, जहाँ $e_i \prec e_j$ का अर्थ है कि $e_i$ को $e_j$ से पहले होना चाहिए।

2. पूर्वता सीखना (Learning Precedence):

   • चूंकि स्पष्ट टेम्पोरल एनोटेशन अक्सर उपलब्ध नहीं होते हैं, OKH-RAG एक पैरामीट्रिक ट्रांजिशन मॉडल $P_\theta(e_j | e_i)$ सीखता है।
   • आर्किटेक्चर: डेंस हाइपरएज एम्बेडिंग्स ($h_e$) और एक लो-रैंक वेट मैट्रिक्स $W$ का उपयोग करके एक द्विपद (bilinear) मॉडल। यह मॉडल स्वाभाविक रूप से असममित ($P_\theta(e_j | e_i) \neq P_\theta(e_i | e_j)$) है, जो स्पष्ट टाइमस्टैम्प के बिना दिशात्मकता को कैप्चर करता है।
   • प्रशिक्षण: तीन स्व-पर्यवेक्षित संकेतों के साथ एक कंट्रास्टिव ऑब्जेक्टिव का उपयोग करता है:
     1. दस्तावेज़ क्रम (Document Order): स्रोत पाठ में स्थितिजन्य निकटता।
     2. एंटिटी-ओवरलैप कंसिस्टेंसी (Entity-Overlap Consistency): कैनोनिकल रीजनिंग चेन्स में साझा संस्थाएँ।
     3. रिट्रीवल-इंड्यूस्ड प्रेफरेंस (Retrieval-Induced Preference): सफल रिट्रीवल प्रक्षेपवक्रों में पाए जाने वाले ट्रांजिशन को सुदृढ़ करना (सेल्फ-ट्रेनिंग)।

B. ऑर्डर-अवेयर हाइपरग्राफ रिट्रीवल (Order-Aware Hypergraph Retrieval)

स्वतंत्र तथ्यों को रैंक करने के बजाय, रिट्रीवल को ट्रैजेक्टरी इन्फरेंस (trajectory inference) के रूप में पुनर्गठित किया जाता है। लक्ष्य एक इष्टतम क्रमित हाइपरएज अनुक्रम $\gamma = (e^{(1)}, \dots, e^{(L)})$ खोजना है जो एक संयुक्त स्कोर को अधिकतम करता है:

$$\text{Score}(\gamma) = \underbrace{\sum \text{Rel}(e, q)}_{\text{Relevance}} + \lambda \underbrace{\sum \log P_\theta(e^{(k+1)}|e^{(k)})}_{\text{Order Coherence}} + \mu \underbrace{\text{Prec}(\gamma)}_{\text{Precedence}} + \nu \underbrace{\text{Ovlp}(\gamma)}_{\text{Entity Continuity}} + \rho \underbrace{\text{Cov}(\gamma)}_{\text{Phase Coverage}}$$

• Relevance (प्रासंगिकता): क्वेरी और हाइपरएज के बीच कोसाइन सिमिलैरिटी।
• Order Coherence (क्रम सुसंगति): क्रमिक हाइपरएजों के बीच ट्रांजिशन की संभावना।
• Precedence Consistency (पूर्वता निरंतरता): संरचनात्मक आंशिक क्रम $\prec$ के साथ संरेखण।
• Entity Continuity (संस्था निरंतरता): उन श्रृंखलाओं को पुरस्कृत करता है जहाँ क्रमिक चरण संस्थाओं को साझा करते हैं (तार्किक प्रवाह सुनिश्चित करना)।
• Phase Coverage (चरण कवरेज): यह सुनिश्चित करता है कि प्रक्षेपवक्र विभिन्न तर्क चरणों (जैसे, पूर्वानुमान $\to$ चेतावनी $\to$ प्रभाव $\to$ रिकवरी) को कवर करे।
• Inference (अनुमान): उम्मीदवार स्पेस को कुशलतापूर्वक खोजने के लिए बीम सर्च (Beam Search) (प्राथमिक) या विटेर्बी DP (छोटे सेट्स के लिए) का उपयोग करता है।

C. रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation)

रिट्रीव किए गए क्रमित प्रक्षेपवपथों को संरचनात्मक एनोटेशन (स्टेप इंडेक्स, होराइजन, फेज) के साथ संख्यांकित साक्ष्य श्रृंखलाओं (numbered evidence chains) के रूप में LLM को प्रस्तुत किया जाता है। यह जनरेटर को निम्नलिखित सक्षम बनाता है:

• पूर्व-शर्तों (preconditions) और डाउनस्ट्रीम परिणामों को पहचानना।
• समय क्षितिज (time horizons) के माध्यम से बढ़ते प्रभाव को ट्रैक करना।
• केवल अलग-थलग तथ्यों के बजाय प्रक्रिया के आधार पर उत्तरों का संश्लेषण करना।

3. मुख्य योगदान (Key Contributions)

1. ऑर्डर-अवेयर रिप्रेजेंटेशन: एक नॉलेज हाइपरग्राफ प्रतिनिधित्व पेश करता है जो स्पष्ट पूर्वता संरचना को एनकोड करता है, और क्रम को एक विचार के बाद की चीज़ के बजाय एक प्रथम-श्रेणी के संरचनात्मक गुण के रूप में मानता है।
2. ट्रैजेक्टरी-आधारित रिट्रीवल: RAG रिट्रीवल को तथ्यों के परम्यूटेशन-इनवेरिएंट सेट चुनने से बदलकर अंतःक्रियाओं के एक क्रमित अनुक्रम (प्रक्षेपवक्र) को इन्फर करने के रूप में पुनर्गठित करता है।
3. सीखा हुआ ट्रांजिशन मॉडल: बिना किसी स्पष्ट टेम्पोरल लेबल के सीधे डेटा से अंतःक्रिया क्रम सीखने के लिए एक स्व-पर्यवेक्षित विधि विकसित करता है।
4. सैद्धांतिक औचित्य: एक औपचारिक प्रस्ताव प्रदान करता है जो सिद्ध करता है कि क्रम-संवेदनशील प्रश्नों के लिए, परम्यूटेशन-इनवेरिएंट रिट्रीवल गणितीय रूप से अपर्याप्त है ($P(y|k_a, k_b, q) \neq P(y|k_b, k_a, q)$)।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस ढांचे का मूल्यांकन CyPortQA पर किया गया था, जो उष्णकटिबंधीय चक्रवात और पोर्ट संचालन परिदृश्यों (2,917 वास्तविक दुनिया के व्यवधान परिदृश्य) के लिए एक बेंचमार्क है।

• बेसलाइन्स (Baselines): Text-RAG (असंरचित), GraphRAG (बाइनरी ग्राफ), और HyperGraphRAG (अक्रमित हाइपरग्राफ) के विरुद्ध तुलना की गई।
• प्रदर्शन: OKH-RAG ने सभी प्रश्न प्रकारों (सत्य/असत्य, बहुविकल्पीय, लघु उत्तर, पाठ विवरण) में उच्चतम समग्र सटीकता (53.4%) प्राप्त की, जो सर्वश्रेष्ठ बेसलाइन (HyperGraphRG, 51.1%) से बेहतर है।
• एब्लेशन स्टडीज (Ablation Studies):
  • शफलिंग टेस्ट (Shuffling Test): जब OKH-RAG में रिट्रीव किए गए हाइपरएज के क्रम को बदला गया, तो सटीकता काफी गिर गई (53.4% से 48.7% तक), जो यह सिद्ध करता है कि क्रम ही प्रदर्शन में सुधार का प्राथमिक चालक है, न कि केवल हाइपरग्राफ संरचना।
  • घटक विश्लेषण (Component Analysis): "Precedence Consistency" या "Phase Coverage" को हटाने से सबसे अधिक प्रदर्शन गिरावट हुई, जो सही क्रम और व्यापक तर्क कवरेज दोनों की आवश्यकता को रेखांकित करती है।
  • ट्रांजिशन मॉडल: सीखा हुआ ट्रांजिशन मॉडल ह्यूरिस्टिक ऑर्डरिंग नियमों से बेहतर रहा, जो डेटा से सॉफ्ट ऑर्डरिंग प्रेफरेंस सीखने के मूल्य को प्रदर्शित करता है।

5. महत्व और प्रभाव (Significance and Impact)

• प्रतिमान परिवर्तन (Paradigm Shift): यह पेपर RAG में "सेट-आधारित" रिट्रीवल धारणा को चुनौती देता है, और ट्रैजेक्टरी-आधारित रिट्रीवल की ओर बढ़ने की वकालत करता है।
• प्रक्रिया तर्क (Process Reasoning): यह LLMs को गतिशील प्रक्रियाओं, कारण श्रृंखलाओं और विकसित होती प्रणालियों पर तर्क करने में सक्षम बनाता है, जो वैज्ञानिक खोज, आपातकालीन प्रबंधन और जटिल प्रणाली विश्लेषण जैसे डोमेन के लिए महत्वपूर्ण है।
• सामान्यीकरण (Generalizability): हालांकि चक्रवात परिदृश्यों पर परीक्षण किया गया है, यह ढांचा किसी भी ऐसे डोमेन में लागू किया जा सकता है जहाँ घटनाओं का क्रम परिणाम निर्धारित करता है (जैसे, कानूनी मामले की प्रगति, चिकित्सा उपचार मार्ग, सॉफ्टवेयर डिबगिंग)।

निष्कर्षतः, OKH-RAG प्रदर्शित करता है कि साक्ष्य को कैसे व्यवस्थित किया जाता है, यह इस बात जितना ही महत्वपूर्ण है कि क्या साक्ष्य रिट्रीव किया गया है। स्पष्ट क्रम मॉडलिंग के साथ उच्च-क्रम की अंतःक्रियाओं को एकीकृत करके, यह बड़े भाषा मॉडलों में तर्क की निष्ठा और निरंतरता को महत्वपूर्ण रूप से बढ़ाता है।