🤖 AI

HypRAG: Hyperbolic Dense Retrieval for Retrieval Augmented Generation

यह शोध पत्र HypRAG को प्रस्तुत करता है, जो एक हाइपरबोलिक डेंस रिट्रीवल फ्रेमवर्क है जो प्राकृतिक भाषा की पदानुक्रमित संरचना (hierarchical structure) को बेहतर ढंग से पकड़ने के लिए लोरेन्त्ज़ मॉडल और एक नवीन ज्योमेट्री-अवेयर पूलिंग ऑपरेटर का लाभ उठाता है, जिससे पारंपरिक यूक्लिडियन दृष्टिकोणों की तुलना में रिट्रीवल-ऑगमेंटेड जनरेशन सिस्टम में संदर्भ और उत्तर की प्रासंगिकता में उल्लेखनीय सुधार होता है और मतिभ्रम (hallucination) के जोखिमों को कम किया जाता है।

मूल लेखक: Hiren Madhu, Ngoc Bui, Ali Maatouk, Leandros Tassiulas, Smita Krishnaswamy, Menglin Yang, Sukanta Ganguly, Kiran Srinivasan, Rex Ying

प्रकाशित 2026-06-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hiren Madhu, Ngoc Bui, Ali Maatouk, Leandros Tassiulas, Smita Krishnaswamy, Menglin Yang, Sukanta Ganguly, Kiran Srinivasan, Rex Ying

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ HypRAG पेपर का स्पष्टीकरण दिया गया है, जिसे रोज़मर्रा के उदाहरणों के साथ सरल अवधारणाओं में विभाजित किया गया है।

बड़ी समस्या: "भीड़भाड़ वाला कमरा" बनाम "ट्रीहाउस" (Treehouse)

कल्पना कीजिए कि आप किताबों के एक विशाल पुस्तकालय को व्यवस्थित करने की कोशिश कर रहे हैं।

पुराना तरीका (यूक्लिडियन स्पेस - Euclidean Space): वर्तमान AI सिस्टम इन किताबों को एक सपाट, 2D कमरे (जैसे एक विशाल पार्किंग लॉट) में व्यवस्थित करते हैं। यदि आपके पास एक व्यापक विषय जैसे "जानवर" (Animals) और एक विशिष्ट विषय जैसे "रेड पांडा" (The Red Panda) है, तो उन्हें एक ही सपाट स्थान में फिट होना पड़ता है। क्योंकि कमरा सपाट है, "रेड पांडा" "सभी स्तनधारियों" और यहाँ तक कि "महासागर" के भी बिल्कुल बगल में आ जाता है, सिर्फ इसलिए क्योंकि उनके कुछ शब्द समान हैं। यह एक पारिवारिक वंशावली (family tree) को एक ही रेखा में फिट करने जैसा है; अंततः, शाखाएँ इतनी भीड़भाड़ वाली हो जाती हैं कि दूर के रिश्तेदार भी एक-दूसरे के ठीक बगल में खड़े दिखाई देते हैं। इससे AI भ्रमित हो जाता है और "भ्रमित जानकारी" (hallucinate) देने लगता है (यानी मनगढ़ंत बातें बनाने लगता है) क्योंकि वह गलत किताब उठा लेता है।
नया तरीका (हाइपरबोलिक स्पेस - Hyperbolic Space): लेखक इस पुस्तकालय को व्यवस्थित करने का एक नया तरीका प्रस्तावित करते हैं: एक बढ़ता हुआ ट्रीहाउस। इस स्थान में, जैसे-जैसे आप ऊपर जाते हैं, "फर्श" तेजी से (exponentially) बड़ा होता जाता है।
- व्यापक विषय (जैसे "विज्ञान") नीचे (तने के पास) रहते हैं।
- विशिष्ट विषय (जैसे "क्वांटम फिजिक्स" या "लीनियर अलजेब्रा") बिना एक-दूसरे को भीड़भाड़ दिए ऊपरी शाखाओं पर फैल सकते हैं।
- यह स्वाभाविक रूप रूप से सामान्य विचारों को विशिष्ट विवरणों से अलग रखता है, ठीक वैसे ही जैसे एक वास्तविक फैमिली ट्री चचेरे भाइयों को माता-पिता से अलग रखता है।

समाधान: HypRAG

यह पेपर HypRAG पेश करता है, जो एक ऐसा सिस्टम है जो इस "ट्रीहाउस" ज्यामिति (geometry) का उपयोग करता है ताकि AI किसी प्रश्न का उत्तर देने से पहले सही जानकारी खोज सके। उन्होंने इस सिस्टम के दो संस्करण बनाए हैं:

HyTE-FH (नेटिव ट्रीहाउस): यह मॉडल पूरी तरह से शुरुआत से ही "ट्रीहाउस" ज्यामिति के भीतर बनाया गया है। यह पहले दिन से ही 3D शाखाओं में सोचना सीखता है।
HyTE-H (नवीनीकृत घर): यह एक मानक AI मॉडल (जो एक सपाट पार्किंग लॉट में रहता है) को लेता है और उसके ज्ञान को ट्रीहाउस में प्रोजेक्ट करता है। यह एक सपाट मानचित्र को ग्लोब के चारों ओर लपेटने जैसा है ताकि दूरियाँ अधिक सार्थक हो सकें।

गुप्त नुस्खा: "आउटवर्ड आइंस्टीन मिडपॉइंट" (Outward Einstein Midpoint)

एक बड़ी चुनौती जिसे यह पेपर हल करता है, वह यह है कि एक लंबे दस्तावेज़ को एक एकल "बुकमार्क" (एम्बेडिंग) में कैसे सारांशित किया जाए बिना उसके विशिष्ट विवरणों को खोए।

समस्या: यदि आप मानक गणित का उपयोग करके किसी दस्तावेज़ के सभी शब्दों के "स्थान" का औसत निकालने की कोशिश करते हैं, तो परिणाम कमरे के केंद्र (ओरिजिन) की ओर खिंच जाता है। कल्पना कीजिए कि लोगों का एक समूह एक पहाड़ी पर खड़ा है; यदि आप उनसे समूह के बीच में खड़े होने के लिए कहते हैं, तो वे सब केंद्र में एक सघन गेंद की तरह सिमट जाते हैं। यह पदानुक्रम (hierarchy) को नष्ट कर देता है, जिससे विशिष्ट विवरण भी सामान्य विषयों जितने ही सामान्य दिखने लगते हैं।
समाधान: लेखकों ने एक नया उपकरण बनाया जिसे Outward Einstein Midpoint कहा जाता है। इसे एक ऐसे चुंबक के रूप में सोचें जो विशेष रूप से "विशिष्ट" शब्दों (जो शाखाओं पर दूर स्थित हैं) को अंदर की ओर खींचने के बजाय, उन्हें और बाहर की ओर खींचता है। यह सुनिश्चित करता है कि जब AI किसी दस्तावेज़ का सारांश बनाता है, तो "विशिष्ट विवरण" विशिष्ट बने रहते हैं और भीड़ में खो नहीं जाते।

उन्होंने क्या पाया (परिणाम)

टीम ने वास्तविक दुनिया के डेटा पर अपने सिस्टम का परीक्षण किया और कुछ प्रभावशाली चीजें पाईं:

बेहतर उत्तर: एक प्रश्न पूछने वाले सिस्टम (RAG) में उपयोग किए जाने पर, उनका मॉडल मानक मॉडलों की तुलना में सही संदर्भ खोजने और सही उत्तर देने में 29% तक बेहतर था।
छोटा है तो शक्तिशाली है: उनके मॉडल ने ये परिणाम तब प्राप्त किए जब वह उद्योग के लीडरों द्वारा उपयोग किए जाने वाले विशाल मॉडलों की तुलना में बहुत छोटा (कम पैरामीटर्स वाला) था। यह एक कॉम्पैक्ट कार के इंजन के साथ फेरारी की गति प्राप्त करने जैसा है।
"रेडियल" प्रमाण: उन्होंने सिद्ध किया कि उनके मॉडल ने वास्तव में पदानुक्रम (hierarchy) को सीखा है। उनके सिस्टम में, सामान्य अवधारणाएं (जैसे "गणित") केंद्र के करीब हैं, और विशिष्ट अवधारणाएं (जैसे "लीनियर ट्रांसफॉर्मेशन") दूर हैं। मानक मॉडलों में, सब कुछ एक ही दूरी पर सिमटा हुआ होता है।
तेज़ खोज: क्योंकि "ट्रीहाउस" संरचना इतनी व्यवस्थित है, AI लाखों दस्तावेज़ों को मानक फ्लैट मॉडलों की तुलना में 3 गुना तेज़ी से खोज सकता है, जिसके लिए किसी विशेष, महंगे हार्डवेयर की आवश्यकता नहीं है।

पेपर से एक वास्तविक उदाहरण

पेपर में एक केस स्टडी शामिल है जहाँ एक उपयोगकर्ता पूछता है, "Bixby गाइड की विशेषता क्या है?" (एक विशिष्ट सैमसंग टीवी ट्यूटोरियल)।

मानक मॉडल: वे भ्रमित हो गए। या तो उन्होंने "पिक्चर क्वालिटी" (क्योंकि "TV" एक व्यापक विषय है) के बारे में सामान्य टीवी मैनुअल ढूंढ लिए, या उन्होंने आत्मविश्वास के साथ एक उत्तर मनगढ़ंत बनाया कि Bixby सामान्य रूप से कैसे काम करता है, भले ही टेक्स्ट में ऐसा कुछ नहीं कहा गया था।
HypRAG: इसने ठीक वही पैराग्राफ खोज लिया जो Bivxy गाइड ट्यूटोरियल का वर्णन करता है। क्योंकि "गाइड" को उनके ट्रीहाउस में सामान्य "TV" श्रेणी से अलग रखा गया था, इसलिए AI भटका नहीं। इसने सही साक्ष्य प्राप्त किया और एक सटीक, सत्यपूर्ण उत्तर दिया।

सारांश

यह पेपर तर्क देता है कि ज्यामिति मायने रखती है। AI जहाँ ज्ञान संग्रहीत करता है, उस गणितीय स्थान के आकार को एक सपाट तल (flat plane) से बदलकर एक घुमावदार "ट्रीहाउस" में बदलकर, वे स्वाभाविक रूप से व्यापक विषयों और विशिष्ट विवरणों के बीच के अंतर को सुरक्षित रख सकते हैं। इससे ऐसा AI मिलता है जो झूठ बोलने की संभावना कम रखता है, सही साक्ष्य खोजने में अधिक सक्षम है, और तेज़ी से चलता है।

तकनीकी सारांश: HypRAG: रिट्रीवल ऑगमेंटेड जनरेशन के लिए हाइपरबोलिक डेंस रिट्रीवल

समस्या विवरण (Problem Statement)

रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम साक्ष्य (evidence) के आधार पर भाषा मॉडल के उत्तरों को पुख्ता करने के लिए डेंस रिट्रीवल (dense retrieval) पर निर्भर करते हैं। हालाँकि, वर्तमान डेंस रिट्रीवर्स मुख्य रूप से यूक्लिडियन स्पेस (Euclidean space) में संचालित होते हैं, जो प्राकृतिक भाषा की अंतर्निहित पदानुक्रमित संरचना (hierarchical structure) को पकड़ने में विफल रहते हैं। प्राकृतिक भाषा व्यापक विषयों से लेकर विशिष्ट संस्थाओं (entities) तक एक वृक्ष-नुमा (tree-like) तरीके से व्यवस्थित होती है, एक ऐसी संरचना जिसे यूक्लिडियन एम्बेडिंग्स, 'पॉलीनोमियल वॉल्यूम ग्रोथ' के कारण संरक्षित करने में संघर्ष करती है। यह ज्यामितीय बेमेल "क्राउडिंग" (crowding) का कारण बनता है, जहाँ अर्थपूर्ण रूप से दूर स्थित दस्तावेज़ (जैसे, पैरेंट और चाइल्ड कैटेगरी) स्पुरियस रूप से समान दिखाई देते हैं, जिससे अप्रासंगिक संदर्भों का रिट्रीवल होता है और डाउनस्ट्रीम जनरेशन में मतिभ्रम (hallucination) का जोखिम बढ़ जाता है। इसके अलावा, मौजूदा हाइपरबोलिक दृष्टिकोण अक्सर प्री-ट्रेन्ड यूक्लिडियन एम्बेडिंग्स को प्रोजेक्ट करने पर निर्भर करते हैं या दस्तावेज़-स्तरीय निरूपण में पदानुक्रमित संरचना को ढहने (collapse) से बचाने में विफल रहते हैं।

कार्यप्रणाली (Methodology)

लेखक HypRAG पेश करते हैं, जो लोरेन्त्ज़ मॉडल (Lorentz model) का उपयोग करने वाला एक हाइपरबोलिक डेंस रिट्रीवल फ्रेमवर्क है। यह दृष्टिकोण दो प्राथमिक मॉडल वेरिएंट और एक नवीन एकत्रीकरण तंत्र (aggregation mechanism) से बना है:

1. मॉडल आर्किटेक्चर (Model Architectures)

HyTE-FH (पूरी तरह से हाइपरबोलिक): एक ट्रांसफॉर्मर एनकोडर जो पूरी तरह से लोरेन्त्ज़ मॉडल के भीतर संचालित होता है। यह मानक यूक्लिडियन ऑपरेशन्स (लीनियर लेयर्स, लेयर नॉर्मलाइजेशन, रेसिडुअल कनेक्शंस और सेल्फ-अटेंशन) को उनके हाइपरबोलिक समकक्षों से बदल देता है। यह एंड-टू-एंड रिप्रेजेंटेशन लर्निंग को सक्षम बनाता है जहाँ अर्थपूर्ण अमूर्तता (semantic abstraction) और विशिष्टता को रेडियल आयामों (radial dimensions) के साथ एनकोड किया जाता है।
HyTE-H (हाइब्रिड): एक ऐसा आर्किटेक्चर जो ऑफ-द-शेल्फ प्री-ट्रेन्ड यूक्लिडियन एनकोडर्स से एम्बेडिंग्स को हाइपरबोलिक स्पेस में प्रोजेक्ट करता है। यह सिस्टम को मजबूत यूक्लिडियन इनिशियलाइजेशन का लाभ उठाने और रिट्रीवल के लिए हाइपरबोलिक ज्योमेट्री का उपयोग करने की अनुमति देता है, जिससे पैरामीटर दक्षता मिलती है।

2. आउटवर्ड आइंस्टीन मिडपॉइंट (Outward Einstein Midpoint - OEM)

एक महत्वपूर्ण योगदान "रिप्रेजेंटेशनल कोलैप्स" (representational collapse) की समस्या का समाधान है। मानक पूलिंग रणनीतियाँ (जैसे, यूक्लिडियन एवरेजिंग के बाद प्रोजेक्शन) व्यवस्थित रूप से रिप्रेजेंटेशन को ओरिजिन की ओर सिकोड़ देती हैं, जिससे दस्तावेज़ की विशिष्टता को एनकोड करने वाली रेडियल गहराई नष्ट हो जाती है।

सैद्धांतिक अंतर्दृष्टि: लेखक सिद्ध करते हैं कि मानक आइंस्टीन मिडपॉइंट, जो टोकन को उनके लोरेन्त्ज़ फैक्टर द्वारा वेट करता है, हाइपरबोलिक स्पेस के घातीय वॉल्यूम ग्रोथ (exponential volume growth) का मुकाबला करने के लिए अपर्याप्त है, जिससे पदानुक्रमित संरचना का पतन होता है।
समाधान: आउटवर्ड आइंस्टीन मिडपॉइंट (OEM) एक ज्योमेट्री-अवेयर पूलिंग ऑपरेटर है जो स्पष्ट रूप से उन टोकन के योगदान को बढ़ाता है जिनका हाइपरबोलिक रेडियस बड़ा होता है। यह एक रेडियस-डिपेंडेंट वेटिंग फंक्शन $\phi_p(x_i) = x_{i,0}^p$ (जहाँ $x_{i,0}$ टाइम कोऑर्डिनेट/रेडियल डेप्थ है) का उपयोग करता है ताकि यह सुनिश्चित किया जा सके कि एग्रीगेटेड डॉक्यूमेंट रिप्रेजेंटेशन आउटवर्ड बायस बनाए रखे, जिससे सामान्य और विशिष्ट अवधारणाओं के बीच पदानुक्रमित पृथक्करण सुरक्षित रहता है।

3. प्रशिक्षण और अनुमान (Training and Inference)

प्रशिक्षण: मॉडल तीन चरणों वाली प्रशिक्षण प्रक्रिया से गुजरते हैं: (1) हाइपरबोलिक मास्कड लैंग्वेज मॉडलिंग (HyTE-FH के लिए), (2) जियोडेसिक डिस्टेंस का उपयोग करके सामान्य-डोमेन क्वेरी-डॉक्यूमेंट पेयर्स पर कॉन्ट्रास्टिव प्री-ट्रेनिंग, और (3) हार्ड नेगेटिव्स के साथ कॉन्ट्रास्टिव फाइन-ट्यूनिंग।
दक्षता: हाइपरबोलिक स्पेस में काम करने के बावजूद, सिस्टम मौजूदा एप्रोक्सिमेट नियरएस्ट नेबर (ANN) इंफ्रास्ट्रक्चर के साथ सहजता से एकीकृत होता है। लोरेन्त्ज़ एम्बेडिंग में टाइम कोऑर्डिनेट के साइन को फ्लिप करके, हाइपरबोलिक नियरएस्ट-नेबर सर्च को स्टैंडर्ड मैक्सिमम इनर प्रोडक्ट सर्च (MIPS) में बदला जा सकता है, जिससे कस्टम डिस्टेंस फंक्शन्स के बिना मानक FAISS इंडेक्स का उपयोग संभव होता है।

मुख्य परिणाम (Key Results)

लेखक MTEB बेंचमार्क और RAGBench सूट (जैसे, CovidQA, Cuad, ExpertQA जैसे कई डेटासेट्स) पर HypRAG का मूल्यांकन करते हैं।

RAG प्रदर्शन: HypRAG वेरिएंट लगातार यूक्लिडियन बेसलाइन्स से बेहतर प्रदर्शन करते हैं।
- HyTE-H RAGBench पर कॉन्टेक्स्ट रेलेवेंस और आंसर रेलेवेंस पर यूक्लिडियन बेसलाइन्स की तुलना में 29% तक की बढ़त हासिल करता है, और अक्सर वर्तमान स्टेट-ऑफ-द-आर्ट रिट्रीवर्स की तुलना में काफी छोटे मॉडल का उपयोग करता है।
- HyTE-FH सभी मेट्रिक्स (Faithfulness, Context Relevance, Answer Relevance) में यूक्लिडियन और हाइब्रिड बेसलाइन्स की तुलना में उच्चतम औसत प्रदर्शन प्राप्त करता है।
पदानुक्रमित एनकोडिंग (Hierarchical Encoding): डॉक्यूमेंट रेडियस का विश्लेषण प्रकट करता है कि हाइपरबोलिक मॉडल अवधारणा-स्तर के पदानुक्रमों को स्वाभाविक रूप से एनकोड करते हैं। पूरी तरह से हाइपरबोलिक मॉडल (HyTE-FH) सामान्य अवधारणाओं (लेवल 1) से विशिष्ट संस्थाओं (लेवल 5) तक 20.2% रेडियल दूरी में वृद्धि दिखाता है। इसके विपरीत, यूक्लिडियन मॉडल फ्लैट या घटते रेडियल डिस्ट्रीब्यूशन प्रदर्शित करते हैं, जो इस संरचना को पकड़ने में विफल रहते हैं।
पदानुक्रम-संवेदनशील रिट्रीवल: एक विशेष Meish पदानुक्रम बेंचमार्क पर, HyTE-FH विभिन्न स्तरों की विशिष्टता (जैसे, अपने पैरेंट या ग्रैंडपैरेंट के ऊपर एक विशिष्ट चाइल्ड नोड को सही ढंग से रैंक करना) पर दस्तावेज़ों के बीच अंतर करने में यूक्लिडियन मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करता है, जिससे "हबनेस" (hubness) और पैरेंट/सिबलिंग कन्फ्यूजन कम होता है।
एब्लेशन स्टडीज: OEM पूलिंग रणनीति अनिवार्य साबित हुई है। OEM को मानक यूक्लिडियन एवरेजिंग या मानक आइंस्टीन मिडपॉइंट से बदलने पर प्रदर्शन में महत्वपूर्ण गिरावट आती है, जो पुष्टि करता है कि रेडियल कोलैप्स को रोकने के लिए आउटवर्ड बायस आवश्यक है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि एम्बेडिंग ज्योमेट्री एक मौलिक डिज़ाइन विकल्प है, न कि केवल एक प्रदर्शन ट्यूनिंग पैरामीटर। रिट्रीवल स्पेस के इंडक्टिव बायस को भाषा की पदानुक्रमित प्रकृति के साथ संरेखित करके, HypRAG साक्ष्य की विश्वसनीयता और प्रासंगिकता में सुधार करता है।

लेखकों द्वारा रेखांकित किए गए प्रमुख निष्कर्ष इस प्रकार हैं:

ज्यामितीय इंडक्टिव बायस (Geometric Inductive Bias): हाइपरबोलिक ज्योमेट्री अर्थपूर्ण संबंधों के वृक्ष-नुमा संरचना के लिए एक स्वाभाविक फिट प्रदान करती है, जो व्यापक विषयों और सूक्ष्म संस्थाओं को दर्शाने के बीच के तनाव को हल करती है, जो यूक्लिडियन स्पेस में समस्या पैदा करती है।
पैरामीटर दक्षता (Parameter Efficiency): हाइपरबोलिक मॉडल बड़े पैमाने के यूक्लिडियन रिट्रीवर्स की तुलना में कम पैरामीटर्स के साथ बेहतर रिट्रीवल प्रदर्शन प्राप्त कर सकते हैं, जो यह सुझाव देता है कि ज्यामितीय संरेखण केवल स्केल (scale) से अधिक प्रभावी है।
मजबूती (Robustness): प्रस्तावित ज्योमेट्री-अवेयर पूलिंग (OEM) हाइपरबोलिक लर्निंग के एक महत्वपूर्ण विफलता मोड (रिप्रेजेंटेशनल कोलैप्स) को संबोधित करती है, जिससे अनुक्रम एकत्रीकरण (sequence aggregation) के दौरान दस्तावेज़ की विशिष्टता को संरक्षित करना संभव होता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि हाइपरबोलिक रिप्रेजेंटेशन एनकोडिंग के दौरान मामूली कंप्यूटेशनल ओवरहेड पेश करते हैं, वे RAG में मतिभ्रम और रिट्रीवल त्रुटियों के लिए एक सिद्धांत-आधारित समाधान प्रदान करते हैं, जिससे यह सुनिश्चित होता है कि रिट्रीव किया गया संदर्भ क्वेरी के लिए संरचनात्मक और अर्थपूर्ण रूप से उपयुक्त है।