💬 NLP

LightRetriever: A LLM-based Text Retrieval Architecture with Extremely Faster Query Inference

LightRetriever एक नवीन रिट्रीवल आर्किटेक्चर है जो डॉक्यूमेंट एनकोडिंग के लिए एक पूर्ण आकार के LLM को बरकरार रखते हुए एम्बेडिंग लुकअप तक सीमित एक हल्केवेट क्वेरी एनकोडर का उपयोग करके 1000x से अधिक तेज़ क्वेरी इन्फरेंस और 10x उच्च थ्रूपुट प्राप्त करता है, और यह सब मूल रिट्रीवल प्रदर्शन का 95% बनाए रखते हुए किया जाता है।

मूल लेखक: Guangyuan Ma, Yongliang Ma, Xuanrui Gou, Zhenpeng Su, Ming Zhou, Songlin Hu

प्रकाशित 2026-02-02

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Guangyuan Ma, Yongliang Ma, Xuanrui Gou, Zhenpeng Su, Ming Zhou, Songlin Hu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप लाखों किताबों (दस्तावेजों) वाली एक विशाल लाइब्रेरी चला रहे हैं और लोगों का एक निरंतर प्रवाह आ रहा है जो सवाल पूछ रहे हैं (क्वेरी)।

पुराना तरीका: थका हुआ लाइब्रेरियन
परंपरागत रूप से, जब कोई व्यक्ति "सेब एक फल है क्या?" जैसा सवाल पूछता है, तो लाइब्रेरी एक अत्यंत बुद्धिमान, उच्च प्रशिक्षित लाइब्रेरियन (एक लार्ज लैंग्वेज मॉडल या LLM) का उपयोग करती है जो तुरंत सवाल को पढ़ता है, उसके गहरे अर्थ को समझता है, और फिर सबसे अच्छे मिलान खोजने के लिए पूरी लाइब्रेरी को स्कैन करता है।

समस्या यह है कि यह लाइब्रेरियन एक जीनियस है, लेकिन वे धीमे और महंगे भी हैं। हर बार जब कोई नया व्यक्ति आता है, तो आपको इस भारी, धीमे लाइब्रेरियन को सवाल को प्रोसेस करने के लिए जगाना पड़ता है। यदि एक साथ 1,000 लोग आते हैं, तो लाइब्रेरियन अभिभूत हो जाता है, लाइन लंबी हो जाती है, और सिस्टम धीमा हो जाता है।

नया तरीका: LightRetriever
इस पेपर के लेखक, "LightRetriever," एक चतुर नया सिस्टम प्रस्तावित करते हैं जो काम को दो बहुत अलग भूमिकाओं में विभाजित करता है ताकि इसे अविश्वसनीय रूप से तेज़ बनाया जा सके:

दस्तावेज़ पक्ष (भारी काम):
लाइब्रेरी अभी भी उस अत्यंत बुद्धिमान, भारी लाइब्रेरियन का उपयोग करती है जो किसी के आने से पहले सभी किताबों को पढ़ने और इंडेक्स करने के लिए करती है। यह ऑफलाइन, बैकग्राउंड में होता है। लाइब्रेरियन हर किताब का एक विस्तृत "मानचित्र" बनाता है और उसे डेटाबेस में स्टोर करता है। यह "भारी" हिस्सा है, लेकिन चूंकि यह एक बार किया जाता है और स्टोर किया जाता है, इसलिए यह रियल-टाइम सर्च को धीमा नहीं करता है।
क्वेरी पक्ष (बिजली की तरह तेज़ लुकअप):
यही असली जादू है। जब कोई व्यक्ति एक सवाल लेकर आता है, तो सिस्टम भारी लाइब्रेरियन को नहीं जगाता है। इसके बजाय, यह एक छोटे, अत्यंत तेज़ सहायक का उपयोग करता है।

यह कैसे काम करता है: सहायक केवल सवाल में दिए गए शब्दों (जैसे, "सेब", "फल") को देखता है। यह एक पहले से बने "चीट शीट" (शब्दों के अर्थों की एक कैश की गई सूची) की जांच करता है जिसे भारी लाइब्रेरियन द्वारा पहले ही तैयार किया गया था।
उपमा: बजाय इसके कि लाइब्रेरियन हर बार कोई व्यक्ति पूछे तो "सेब" का क्या मतलब है इस पर एक नया निबंध लिखे, सहायक बस एक स्टिकी नोट की ओर इशारा करता है जो पहले से ही कहता है "सेब = गोल, लाल, फल।" वह इन नोट्स को उत्तर बनाने के लिए आपस में जोड़ देता है।
परिणाम: यह लुकअप होने में लगभग कोई समय नहीं लेता। यह एक धीमे, विस्तृत साक्षात्कार के बजाय एक त्वरित "लिस्ट चेक करने" की क्रिया में बदलने जैसा है।

समझौता: गति बनाम बुद्धिमत्ता
पेपर का दावा है कि यह नया तरीका पुराने तरीके की तुलना में सवालों को प्रोसेस करने में 1,000 गुना तेज़ है।

गति: आप सिस्टम क्रैश हुए बिना प्रति सेकंड हजारों सवाल संभाल सकते हैं।
सटीकता: आश्चर्यजनक रूप से, सिस्टम अभी भी बहुत स्मार्ट है। भले ही "क्वेरी असिस्टेंट" बहुत कम काम कर रहा है, फिर भी यह भारी लाइब्रेरियन की तुलना में लगभग 95% उतनी ही अच्छी तरह से सही किताबें ढूंढ लेता है।

यह क्यों मायने रखता है
लेखकों ने कई अलग-अलग प्रकार के सवालों (सरल तथ्यों से लेकर जटिल तर्क तक) पर इसका परीक्षण किया और पाया कि अधिकांश रोजमर्रा की खोजों के लिए, आपको हर एक सवाल के लिए जीनियस-स्तर के दिमाग की आवश्यकता नहीं होती है। आपको बस एक तेज़ लुकअप सिस्टम की आवश्यकता है जो स्मार्ट उत्तरों को ढूंढना जानता हो।

संक्षेप में:
LightRetriever एक बार लाइब्रेरी को व्यवस्थित करने के लिए एक जीनियस को नियुक्त करने (ऑफलाइन) जैसा है, लेकिन केवल जीनियस के नोट्स की ओर इशारा करके सवालों के जवाब देने के लिए एक सुपर-फास्ट रोबोट को नियुक्त करने (ऑनलाइन) जैसा है। यह लाइब्रेरी को अविश्वसनीय रूप से तेज़ और सस्ता बनाता है, जबकि लगभग सभी के लिए सही उत्तर भी ढूंढता है।

तकनीकी सारांश: LightRetriever

समस्या विवरण (Problem Statement)

वर्तमान लार्ज लैंग्वेज मॉडल (LLM)-आधारित टेक्स्ट रिट्रीवल सिस्टम आमतौर पर सिमेट्रिक डुअल-एनकोडर आर्किटेक्चर का उपयोग करते हैं, जहाँ दस्तावेजों और क्वेरी दोनों को डेंस या स्पार्स रिप्रेजेंटेशन उत्पन्न करने के लिए गहरे पैरामीटराइज्ड LLMs द्वारा प्रोसेस किया जाता है। हालाँकि यह दृष्टिकोण गहन प्रासंगिक मॉडलिंग (deep contextual modeling) के माध्यम से रिट्रीवल क्षमताओं को काफी बढ़ाता है, लेकिन यह ऑनलाइन डिप्लॉयमेंट में एक महत्वपूर्ण बाधा उत्पन्न करता है। दस्तावेजों को ऑफलाइन प्री-एनकोड और इंडेक्स किया जा सकता है, लेकिन सर्च क्वेरी वास्तविक समय (real-time) में आती हैं और तत्काल एनकोडिंग की आवश्यकता होती है। ऑनलाइन सर्वर (जैसे A800 GPU) पर क्वेरी इन्फरेंस के लिए फुल-साइज़्ड LLM को सर्व करने से उच्च विलंबता (high latency), कम थ्रूपुट और अत्यधिक संसाधन खपत होती है। यह शोध पत्र एक मौलिक तनाव (fundamental tension) को रेखांकित करता है: जबकि दस्तावेज़ भारी प्री-कंप्यूटेशन से लाभान्वित होते हैं, क्वेरी एनकोडर्स को सख्त ऑनलाइन बाधाओं के तहत काम करना चाहिए, फिर भी मौजूदा विधियाँ क्वेरी को उसी कंप्यूटेशनल रूप से महंगे डीप मॉडलिंग से गुजरने के लिए मजबूर करती हैं जो दस्तावेजों के लिए आवश्यक है।

कार्यप्रणाली: LightRetriever (Methodology: LightRetriever)

लेखक LightRetriever का प्रस्ताव करते हैं, जो एक नवीन हाइब्रिड रिट्रीवल आर्किटेक्चर है जो स्पष्ट रूप से डॉक्यूमेंट और क्वेरी एनकोडर्स के बीच विषमता (asymmetry) को तोड़ता है। मुख्य अंतर्दृष्टि यह है कि जबकि दस्तावेजों को LLMs की पूर्ण मॉडलिंग शक्ति की आवश्यकता होती है, क्वेरी को मजबूत रिट्रीवल प्रदर्शन प्राप्त करने के लिए समान रूप से भारी प्रोसेसिंग की आवश्यकता नहीं होती है। यह आर्किटेक्चर मुख्य मॉडलिंग लागत को डॉक्यूमेंट साइड पर स्थानांतरित करता है और क्वेरी साइड को एक अत्यंत हल्के ऑपरेशन तक सीमित कर देता है।

1. एसिमेट्रिक आर्किटेक्चर (Asymmetric Architecture)

डॉक्यूमेंट साइड: डेंस और स्पार्स एनकोडिंग दोनों के लिए एक फुल-साइज़्ड LLM एनकोडर ( $Enc_d$ ) को बनाए रखता है। दस्तावेजों को ऑफलाइन प्री-कंप्यूट किया जाता है।
क्वेरी साइड: ऑनलाइन सर्विंग के दौरान डीप ट्रांसफॉर्मर इन्फरेंस को समाप्त करता है। क्वेरी एनकोडर ( $Enc_q$ ) को एक सरल एम्बेडिंग लुकअप मैकेनिज्म तक सीमित कर दिया गया है।

2. डेंस रिट्रीवल मैकेनिज्म (Dense Retrieval Mechanism)

डेंस रिट्रीवल के लिए, LightRetriever तीन-चरणीय प्रक्रिया का उपयोग करता है:

ट्रेनिंग (Training): सिस्टम को प्रशिक्षित करने के लिए एक फुल-साइज़्ड LLM का उपयोग किया जाता है। एक दिए गए क्वेरी टोकन $t_i$ (जिसे टास्क इंस्ट्रक्शन के साथ जोड़ा गया है) के लिए, मॉडल टोकन-लेवल रिप्रेजेंटेशन $v^{den}_{t_i} = Enc_q(Inst; t_i)$ उत्पन्न करता है। अंतिम डेंस क्वेरी वेक्टर $v^{den}_q$ को इन टोकन वेक्टर्स के औसत द्वारा कंप्यूट किया जाता है:
$v^{den}_q = \frac{1}{n} \sum_{i=0}^{n-1} v^{den}_{t_i}$
सिस्टम को क्वेरी और प्रासंगिक डॉक्यूमेंट वेक्टर्स को संरेखित करने के लिए कंट्रास्टिव लॉस (इक्वेशन 2) का उपयोग करके अनुकूलित किया जाता है।
कैशिंग (Caching): चूंकि इन्फरेंस के दौरान क्वेरी टोकन एक-दूसरे के साथ गहराई से इंटरैक्ट नहीं करते हैं, इसलिए टोकन वेक्टर्स कैश करने योग्य (cacheable) होते हैं। सर्व करने से पहले, सिस्टम LLM की पूरी शब्दावली ( $V$ ) के लिए टोकन एम्बेडिंग्स को प्री-कंप्यूट करता है और उन्हें एक सिंगल एम्बेडिंग लुकअप मैट्रिक्स $E$ (आकार $[V, H]$ ) में स्टोर करता है।
ऑनलाइन सर्विंग (Online Serving): इन्फरेंस के समय, क्वेरी को टोकनाइज किया जाता है, और डेंस वेक्टर को प्रत्येक टोकन के लिए कैश किए गए एम्बेडिंग्स को लुकअप करके और उनका औसत निकालकर जनरेट किया जाता है। यह एक बड़े ट्रांसफॉर्मर के फॉरवर्ड पास को एक सिंगल एम्बेडिंग लुकअप और एवरेजिंग ऑपरेशन से बदल देता है, जिसके लिए केवल एक RAM-रेसिडेंट एम्बेडिंग लेयर की आवश्यकता होती है।

3. स्पार्स रिट्रीवल मैकेनिज्म (Sparse Retrieval Mechanism)

स्पार्स रिट्रीवल के लिए, क्वेरी साइड और भी हल्का है:

क्वेरी एनकोडिंग (Query Encoding): स्पारस क्वेरी वेक्टर $v^{spr}_q$ एक टर्म-आधारित, अनलर्नबल (unlearnable) वेक्टर है जो सीधे टोकनाइजेशन से प्राप्त होता है, जहाँ टोकन $t$ के लिए मान केवल क्वेरी में उसकी गणना (count) है। इसके लिए किसी एनकोडर की आवश्यकता नहीं है।
डॉक्यूमेंट एनकोडिंग (Document Encoding): डॉक्यूमेंट को फुल LLM द्वारा प्रोसेस किया जाता है। फाइनल-लेयर हिडन स्टेट्स को मॉडल के लैंग्वेज मॉडलिंग हेड के माध्यम से वोकैबुलरी स्पेस में प्रोजेक्ट किया जाता है। स्पर्सिटी (sparsity) लाने के लिए, एक ReLU एक्टिवेशन और लॉग-सैचुरेशन फंक्शन लागू किया जाता है, जिसके बाद सीक्वेंस लेंथ पर मैक्स-पूलिंग की जाती है।
हाइब्रिड स्कोरिंग (Hybrid Scoring): अंतिम रिट्रीवल रैंकिंग बनाने के लिए डेंस और स्पारस स्कोर को लीनियरली इंटरपोलेट किया जाता है।

मुख्य योगदान (Key Contributions)

अत्यधिक क्वेरी इन्फरेंस स्पीड: डीप क्वेरी मॉडलिंग को एम्बेडिंग लुकअप से बदलकर, LightRetriever एक A800 GPU पर फुल Llama-8b मॉडल को सर्व करने की तुलना में क्वेरी एनकोडिंग में 1000x की स्पीडअप प्राप्त करता है।
थ्रूपुट में सुधार: यह आर्किटेक्चर एंड-टू-एंड रिट्रीवल थ्रूपुट (Queries Per Second) में 10x की वृद्धि सक्षम करता है।
परफॉरमेंस रिटेंशन: भारी क्वेरी-साइड कंप्यूटेशन के बावजूद, यह विधि विविध बेंचमार्क पर फुल सिमेट्रिक LLM-आधारित रिट्रीवर्स के लगभग 95% रिट्रीवल प्रदर्शन को बनाए रखती है।
सामान्यीकरण (Generalization): इस दृष्टिकोण को विभिन्न फाउंडेशन मॉडल्स (Llama-1B/3B/8B, Qsec-1.5B/3B/7B) और रिट्रीवल टास्क (BeIR, CMTEB) पर मान्य किया गया है, जो बिना किसी टास्क-विशिष्ट आर्किटेक्चरल बदलाव के मजबूती (robustness) प्रदर्शित करता है।

प्रयोगात्मक परिणाम (Experimental Results)

पेपर में BeIR के 15 अंग्रेजी कार्यों और CMTEB Retrieval के 8 चीनी कार्यों पर LightRetriever का मूल्यांकन किया गया है।

स्पीड: 1M पैसेज के विरुद्ध 65,536 क्वेरीज़ के बेंचमार्क पर, LightRetriever ने कुल एंड-टू-एंड रिट्रीवल समय को ~119s (Full-Llama8b) से घटाकर ~9.36s कर दिया, जिससे फुल मॉडल के 549 QPS की तुलना में 6,999 QPS का थ्रूपुट प्राप्त हुआ।
प्रभावशीलता (Effectiveness):
- LightRetriever-Llama3.1-8b ने BeIR पर 54.4 का nDCG@10 और CMTEB-R पर 63.0 प्राप्त किया।
- यह फुल सिमेट्रिक Llama3.1-8b बेसलाइन (56.8 और 67.6) की तुलना में क्रमशः -2.4 और -4.6 अंकों की मामूली गिरावट को दर्शाता है, जबकि भारी क्वेरी इन्फरेंस लागत से बचा है।
- यह विधि BGE-m3 (BeIR पर 49.6) जैसे अन्य कुशल बेसलाइन्स से बेहतर प्रदर्शन करती है और E5-Mistral एवं LLM2Vec के करीब पहुँचती है।
एब्लेशन स्टडीज (Ablation Studies):
- फुल डॉक्यूमेंट एनकोडर को हटाने (सिमेट्रिक लाइटवेट) से गंभीर प्रदर्शन गिरावट (जैसे, BeIR पर -13.8) हुई, जो डीप डॉक्यूमेंट मॉडलिंग की आवश्यकता की पुष्टि करती है।
- केवल एम्बेडिंग बैग का उपयोग क्वेरी ट्रेनिंग के लिए करने से (फुल ट्रांसफॉर्मर के बिना) भी महत्वपूर्ण प्रदर्शन हानि (-11.2 on BeIR) हुई, जो इंगित करता है कि प्रभावी रिप्रेजेंटेशन सीखने के लिए ट्रेनिंग चरण के दौरान डीप मॉडलिंग आवश्यक है, भले ही इन्फरेंस के समय इसे हटा दिया जाए।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि LightRetriever लेटेंसी-सेंसिटिव और हाई-थ्रूपुट रिट्रीवल परिदृश्यों के लिए एक स्केलेबल प्रतिमान (paradigm) प्रदान करता है। यह LLM-आधारित रिट्रीवल के लिए सेमैंटिक अंडरस्टैंडिंग बेनिफिट्स को खोए बिना, रियल-टाइम क्वेरी एनकोडिंग के लिए विशाल LLMs को डिप्लॉय करने की व्यावहारिक अक्षमता को संबोधित करता है। लेखक इस बात पर जोर देते हैं कि उनका कार्य कंप्यूटेशनल बोझ को ऑनलाइन क्वेरी साइड से ऑफलाइन डॉक्यूमेंट साइड पर स्थानांतरित करता है, जिससे सिस्टम बड़े मॉडल्स की शक्ति का लाभ उठाते हुए प्रोडक्शन सर्च इंजन के लिए आवश्यक रिस्पॉन्सिवनेस बनाए रख सकते हैं। इस पद्धति को LLM-आधारित रिट्रीवर्स के क्वेरी साइड पर ऑनलाइन एफिशिएंसी बॉटलनेक को स्पष्ट रूप से संबोधित करने वाले पहले समाधान के रूप में प्रस्तुत किया गया है।