Hierarchical BM25: Lexical Search at Billion-Document Scale
Hierarchical BM25 एक मेमोरी-गहन फ्लैट इंडेक्स को एक दो-स्तरीय आर्किटेक्चर से बदलकर अरबों-पैमाने के लेक्सिकल सर्च को इंटरैक्टिव बनाता है, जो प्रासंगिक डॉक्यूमेंट समूहों को चुनने के लिए एक छोटे, रेजिडेंट कोर्स इंडेक्स का उपयोग करता है, जिससे रिट्रीव किए गए सबसेट के लिए सटीक स्कोरिंग को बनाए रखते हुए निश्चित मेमोरी और लेटेंसी बाउंड्स प्राप्त होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ऐसी लाइब्रेरी में एक विशिष्ट तथ्य खोजने की कोशिश कर रहे हैं जिसमें एक अरब पुस्तकें हैं। कंप्यूटर विज्ञान की दुनिया में, यह "लेक्सिकल सर्च" (lexical search) की चुनौती है—यानी शब्दों के सटीक मिलान के आधार पर दस्तावेज़ खोजना, जैसे कि "hierarchical BM25" वाक्यांश को खोजना, न कि केवल इसके सामान्य विचार को खोजना। दशकों से, कंप्यूटर इसमें बेहतर होते जा रहे हैं, लेकिन एक पेंच है: एक अरब पुस्तकों को तुरंत खोजने के लिए, आपको आमतौर पर अपने कंप्यूटर की मुख्य मेमोरी (RAM) में हर एक पुस्तक के हर एक शब्द का एक विशाल मानचित्र रखना पड़ता है। यह मानचित्र इतना बड़ा है—लगकी तरह से 400 गीगाबाइट—कि यह ऐसा है जैसे आप दौड़ते समय अपने बैकपैक में पूरी लाइब्रेरी ले जाने की कोशिश कर रहे हों। यदि आपके पास इतनी मेमोरी नहीं है, तो आपको हर सवाल के लिए अलमारियों (हार्ड ड्राइव) तक बार-बार आना-जाना पड़ेगा, जिसमें सेकंड्स लगते हैं। उस दुनिया में जहाँ हम पलक झपकते ही उत्तर की उम्मीद करते हैं, चार से बारह सेकंड इंतज़ार करना पेंट सूखने देखने जैसा है; यह अनुभव को खराब कर देता है। यह शोध पत्र इसी समस्या को संबोधित करता है: हम एक सुपरकंप्यूटर की मेमोरी के बिना एक अरब दस्तावेज़ों को तुरंत कैसे खोज सकते हैं?
लेखक Hierarchical BM25 नामक एक चतुर नया तरीका प्रस्तावित करते हैं। पूरी लाइब्रेरी को एक साथ याद करने के बजाय, वे एक दो-चरणीय रणनीति का सुझाव देते हैं जो एक मानव लाइब्रेरियन द्वारा आपकी मदद करने के तरीके की नकल करती है। सबसे पहले, वे एक अरब दस्तावेज़ों को उनके विषयों के आधार पर लगभग 1,000 अलग-अलग "गलियारों" (aisles) या समूहों में व्यवस्थित करते हैं। वे इन गलियारों का एक छोटा, अत्यंत तेज़ इंडेक्स बनाते जो आसानी से मेमोरी (लगभग 4.4 GB) में समा जाता है। जब आप कोई प्रश्न पूछते हैं, तो कंप्यूटर हर किताब को स्कैन नहीं करता; यह पहले इस छोटे इंडेक्स की जांच करता है ताकि यह पता लगाया जा सके कि कौन से 40 गलियारे में उत्तर होने की सबसे अधिक संभावना है। फिर यह केवल उन विशिष्ट गलियारों में गहराई से उतरकर सटीक पुस्तकें खोजता है।
यहाँ असली जादू एक समझौता (trade-off) है। लेखक स्वीकार करते हैं कि अन्य 960 गलियारों को छोड़कर, वे कभी-कभी बिल्कुल सटीक उत्तर को चूक सकते हैं। वे इसे "रैंक सेफ्टी" (rank safety) को त्यागना कहते हैं—जो कि यह गारंटी है कि आपको हर बार सटीक शीर्ष 10 परिणाम मिलेंगे। हालाँकि, उनका तर्क है कि आधुनिक खोज प्रणालियों में, 11वें स्थान के बजाय 10वें सबसे अच्छे परिणाम को प्राप्त करना शायद ही कभी मायने रखता है, क्योंकि एक दूसरा कंप्यूटर ("रीरैंकर") बाद में उन्हें क्रमबद्ध कर ही देगा। जो वास्तव में मायने रखता है, वह है गति। इस समझौते को करके, वे कुछ ऐसा हासिल करते हैं जो पहले असंभव था: वे लगभग 300 मिलीसेकंड (एक सेकंड के तीसरे हिस्से से भी कम) में एक अरब दस्तावेज़ों को खोज सकते हैं और इसके लिए बहुत कम मेमोरी की आवश्यकता होती है।
अपने परीक्षणों में, यह नई विधि खोजने के पुराने, मानक तरीके की तुलना में 4.7 से 5.6 गुना तेज़ थी, भले ही पुराने तरीके ने मदद के लिए कई प्रोसेसरों का उपयोग किया हो। जहाँ पुराना तरीका प्रति सेकंड 3 से अधिक प्रश्नों को संभालने में संघर्ष कर रहा था, वहीं यह नया सिस्टम 32 प्रश्न प्रति सेकंड तक संभाल सकता था जब "गलियारे" पहले से ही गर्म और तैयार (warm and ready) थे। लेखकों ने यह भी पाया कि विभिन्न पुस्तक समूहों को एक-दूसरे के विरुद्ध स्कोर करने के तरीके में एक सूक्ष्म बग था और उन्होंने इसे ठीक किया, जिससे यह सुनिश्चित हुआ कि जब वे खोज करें, तो गणित पूरी तरह से सटीक हो।
हालाँकि, लेखक इस बात को लेकर बहुत सावधान हैं कि वे इसे एक पूर्ण समाधान नहीं कह सकते। वे स्पष्ट रूप से कहते हैं कि यह तरीका एक सन्निकटन (approximation) है, गारंटी नहीं। उन्होंने 5,00,000 दस्तावेज़ों के एक छोटे परीक्षण पर इसकी प्रभावशीलता को मापा और पाया कि केवल 5% से 10% समूहों की जाँच करके, उन्होंने एक पूर्ण खोज की लगभग 83% से 92% "गुणवत्ता" को पुनः प्राप्त किया। उनका सुझाव है कि यह अरब-दस्तावेज़ों के पैमाने पर भी बना रहेगा, लेकिन उन्होंने अभी तक इसे एक प्राकृतिक, वास्तविक दुनिया के डेटासेट पर सिद्ध नहीं किया है। वे यह भी नोट करते हैं कि उनका तरीका लंबे, जटिल प्रश्नों (16 से 32 शब्द) के लिए सबसे अच्छा काम करता है, जो आधुनिक AI सिस्टम में आम हैं, जबकि पुराने तरीके छोटे, सरल वेब सर्च के लिए डिज़ाइन किए गए थे।
संक्षेप में, यह शोध पत्र सुझाव देता है कि यदि आप सबसे अच्छे उत्तर को चूकने की एक छोटी सी संभावना स्वीकार करने के लिए तैयार हैं, तो आप एक अरब दस्तावेज़ों के लिए एक ऐसा सर्च इंजन बना सकते हैं जो तेज़, सस्ता है और एक मानक कंप्यूटर की मेमोरी में समा सकता है। यह एक व्यावहारिक इंजीनियरिंग जीत है जो गणितीय पूर्णता के बजाय गति और दक्षता को प्राथमिकता देती है, और यह स्वीकार करती है कि वास्तविक दुनिया में, एक धीमे "परफेक्ट" उत्तर की तुलना में एक तेज़ "काफी अच्छा" उत्तर अक्सर बेहतर होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।