FlashTrie: A GPU-Accelerated Constrained Beam Search for Generative Retrieval
FlashTrie एक GPU-त्वरित प्रणाली है जो जनरेटिव रिट्रीवल के लिए कंस्ट्रेंड बीम सर्च को अनुकूलित करने हेतु एक बिट-कंप्रेस्ड ट्राई लेआउट और कोऑपरेटिव CUDA कर्नेल का उपयोग करती है ताकि CPU बॉटलनेक्स को समाप्त किया जा सके, जिससे बड़े पैमाने के वाणिज्यिक खोज अनुप्रयोगों में 24x तक की गति वृद्धि और 0.71% राजस्व वृद्धि प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट हैं जो अभी-अभी सुनी गई एक पहेली के आधार पर गुप्त कोड (जैसे "DocID: 4592") की एक सूची लिखने की कोशिश कर रहे हैं। लेकिन इसमें एक पेच है: आप केवल वही कोड लिख सकते हैं जो 800 मिलियन वैध प्रविष्टियों वाली एक विशाल, पूर्व-अनुमोदित फोनबुक में वास्तव में मौजूद हैं। यदि आप एक ऐसा कोड अनुमान लगाते हैं जो किताब में नहीं है, तो यह एक विफलता (fail) मानी जाएगी।
लंबे समय तक, रोबोटों ने एक बहुत ही तेज़, बहुत व्यवस्थित लाइब्रेरियन (जो एक मानक कंप्यूटर चिप या CPU पर चल रहा था) से हर अनुमान की जाँच करने के लिए पूछकर यह काम किया। लेकिन जैसे-जैसे अनुमानों की सूची बढ़ती गई, लाइब्रेरियन अभिभूत होने लगा। फोनबुक की जाँच करना एक ट्रैफिक जाम बन गया, जिससे सब कुछ धीमा हो गया। रोबोट को यह देखने के लिए कि क्या उसका अनुमान मान्य है, लाइन में एक-एक करके कदम दर कदम इंतजार करना पड़ता था।
पेश है FlashTrie। माइक्रोसॉफ्ट और एनवीडिया (Nvidia) के शोधकर्ताओं ने लाइब्रेरियन को नौकरी से निकालने और पूरी 800-मिलियन-प्रविष्टि वाली फोनबुक को सीधे रोबोट की सुपर-फास्ट, हाई-स्पीड मेमोरी (GPU) में स्थानांतरित करने का निर्णय लिया। लेकिन उन्होंने केवल किताब को स्थानांतरित नहीं किया; उन्होंने इसे फिर से बनाया।
"बिट-पैक्ड" (Bit-Packed) फोनबुक का जादू
पुरानी फोनबुक को एक विशाल पुस्तकालय के रूप में सोचें जहाँ प्रत्येक पुस्तक एक विशाल, खाली कमरे में रखी गई थी जिसमें बहुत सारी खाली जगह बर्बाद हो रही थी। FlashTrie इन किताबों को सिकोड़ देता है। यह "बिट कम्प्रेशन" नामक एक चतुर तकनीक का उपयोग करता है ताकि जानकारी को इतनी कुशलता से भरा जा सके कि आप 800 मिलियन कीवर्ड्स को केवल 3.1 GB की जगह में समाहित कर सकें। यह इतना छोटा है कि यह पूरी तरह से रोबोट की हाई-स्पीड मेमोरी के अंदर फिट हो जाता है, जिससे उसे पेज लेने के लिए कभी भी धीमी, बाहरी हार्ड ड्राइव का इंतजार नहीं करना पड़ता।
सहयोगात्मक नृत्य (The Cooperative Dance)
पुराने सिस्टम में, रोबोट एक अनुमान लगाता था, लाइब्रेरियन से उसे जाँचने के लिए कहता था, उत्तर का इंतजार करता था, दूसरा अनुमान लगाता था, और यही प्रक्रिया दोहराता था। यह एक अकेला, क्रमिक (sequential) कार्य था।
FlashTrie खेल बदल देता है। यह एक "सहकारी CUDA कर्नेल" (cooperative CUDA kernel) का उपयोग करता है, जो 512 नर्तकों (threads) वाले एक विशाल डांस फ्लोर की तरह है जो पूर्ण तालमेल में एक साथ काम करते हैं।
- विस्तार (The Expansion): एक व्यक्ति द्वारा एक अनुमान की जाँच करने के बजाय, सैकड़ों नर्तक एक ही समय में हजारों अनुमानों की जाँच करते हैं।
- सत्यापन (The Validation): वे यह देखने के लिए कि क्या अनुमान फोनबुक से मेल खाते हैं, एक "पैरेलल बाइनरी सर्च" (एक सुपर-फास्ट लुकअप विधि) का उपयोग करते हैं।
- छंटनी (The Pruning): यदि कोई अनुमान खराब है, तो वे उसे तुरंत बाहर फेंक देते हैं। यदि वह अच्छा है, तो वे उसे रखते हैं।
चूंकि यह सब डांस फ्लोर (GPU) पर होता है और रोबोट को हर एक कदम के बाद मुख्य कंप्यूटर (CPU) से बात करने के लिए रुकना नहीं पड़ता, इसलिए यह प्रक्रिया अविश्वसनीय रूप से तेज़ हो जाती है।
परिणाम: गति और समझदारी
टीम ने 800 मिलियन कीवर्ड्स की एक लाइब्रेरी पर इसका परीक्षण किया।
- गति: जब उन्होंने अनुमानों की संख्या (बीम विड्थ) को 1,000 तक बढ़ाया, तो पुराने CPU सिस्टम ने लगभग 46 मिलीसेकंड का समय लिया और सूची बढ़ने के साथ यह धीमा होता गया। FlashTrie ने समय को 3 मिलीसेकंड के नीचे रखा (विशेष रूप से, औसत 1.91 ms था और सबसे धीमे 1% मामले 3.31 ms से कम थे)।
- बढ़ावा (The Boost): इसका मतलब है कि FlashTrie अत्यधिक अनुकूलित CPU संस्करण की तुलना में 24 गुना तक तेज़ है।
- गुणवत्ता: महत्वपूर्ण बात यह है कि तेज़ होने का मतलब कम सटीक होना नहीं था। FlashTrie ने उतने ही सही कोड खोजे जितने कि धीमे सिस्टम ने। वास्तव में, क्योंकि FlashTrie इतना तेज़ है, रोबोट समय सीमा के भीतर रहते हुए केवल 200 के बजाय 600 अनुमानों की जाँच कर सकता था।
वास्तविक दुनिया का प्रभाव: पैसा टेस्ट
शोधकर्ताओं ने इसे केवल कंप्यूटर लैब तक ही सीमित नहीं रखा। उन्होंने FlashTrie का परीक्षण एक वास्तविक, लाइव कमर्शियल सर्च इंजन (वही जिसे आप इंटरनेट पर चीजें खोजने के लिए उपयोग करते हैं) में किया। उन्होंने विभिन्न देशों में 16 दिनों तक एक प्रयोग चलाया।
- FlashTrie का उपयोग करके अधिक अनुमानों की जाँच करने से, सर्च इंजन ने बेहतर विज्ञापन दिखाए।
- इससे राजस्व (विज्ञापन से होने वाली कमाई) में 0.71% की वृद्धि हुई।
- इसने अंग्रेजी प्रश्नों के लिए क्लिक में 0.17% और गैर-अंग्रेजी प्रश्नों के लिए 0.20% की वृद्धि की।
- महत्वपूर्ण बात यह है कि विज्ञापनों की गुणवत्ता में कोई गिरावट नहीं आई; "डिफेक्ट रेट" (दिखाए गए खराब विज्ञापन) समान रहा।
FlashTrie क्या नहीं है
यह ध्यान रखना महत्वपूर्ण है कि यह शोध पत्र क्या काम नहीं करता या यहाँ जिसकी आवश्यकता नहीं है। शोधकर्ताओं ने स्पष्ट रूप से GPU पर पुराने-शैली के "पॉइंटर-आधारित" (pointer-based) लाइब्रेरी का उपयोग करने से इनकार कर दिया क्योंकि वे बहुत अधिक भ्रम पैदा करते हैं और नर्तकों को धीमा कर देते हैं। उन्होंने यह भी दिखाया कि बिना डेटा स्ट्रक्चर को पुनर्गठित किए (जैसे कि एक "लीनियर-प्रोब" विधि) केवल पुराने सिस्टम को GPU पर ले जाने से वह उनके नए तरीके की तुलना में 71 से 209 गुना धीमा हो जाएगा। यह तेजी केवल तेज़ हार्डवेयर के उपयोग से नहीं, बल्कि फोनबुक के विशिष्ट डिज़ाइन और इस "नृत्य" (dance) से आती है।
निचोड़ (The Bottom Line)
FlashTrie साबित करता है कि आपको गति और सटीकता के बीच किसी एक को चुनने की आवश्यकता नहीं है। "फोनबुक" को कैसे संग्रहीत किया जाता है और "जाँच" कैसे की जाती है, इसे फिर से डिज़ाइन करके, उन्होंने एक धीमी, क्रमिक बाधा को एक बिजली की तरह तेज़, समानांतर पार्टी में बदल दिया। यह रोबटों को वास्तविक समय की इंटरनेट खोजों के लिए आवश्यक सख्त समय सीमाओं के भीतर रहते हुए, बड़े (अधिक विकल्प जाँचने) और तेज़ सोचने की अनुमति देता है। इस सिस्टम का कोड समीक्षा प्रक्रिया के बाद जनता के लिए जारी किया जाएगा, ताकि अन्य लोग इस नई खोज पद्धति को आजमा सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।