Kunlun: Establishing Scaling Laws for Massive-Scale Recommendation Systems through Unified Architecture Design
यह शोध पत्र कुनलुन (Kunlun) को पेश करता है, जो बड़े पैमाने के अनुशंसा तंत्रों (recommendation systems) के लिए एक एकीकृत आर्किटेक्चर है, जो जेनरालाइज्ड डॉट-प्रोडक्ट अटेंशन (Generalized Dot-Product Attention) और हायरार्किकल सीड पूलिंग (Hierarchical Seed Pooling) जैसे निम्न-स्तरीय अनुकूलन और कम्प्यूटेशन स्किप (Computation Skip) जैसे उच्च-स्तरीय नवाचारों के माध्यम से खराब स्केलिंग दक्षता को संबोधित करके पूर्वानुमानित स्केलिंग लॉ (scaling laws) स्थापित करता है, जिससे स्केलिंग दक्षता दोगुनी हो जाती है और मेटा एड्स (Meta Ads) में महत्वपूर्ण उत्पादन प्रभाव प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, उच्च-गति वाले डिजिटल मार्केटप्लेस (जैसे कि मेटा उपयोग करता है अपने विज्ञापनों के लिए) का संचालन कर रहे हैं। हर सेकंड, लाखों लोग स्क्रॉल कर रहे हैं, और सिस्टम को यह अनुमान लगाना होता है कि प्रत्येक व्यक्ति किस विज्ञापन पर क्लिक करेगा। इन अनुमानों को लगाने के लिए, सिस्टम एक "मस्तिष्क" (मशीन लर्निंग मॉडल) का उपयोग करता है जो दो प्रकार के सुरागों को देखता है:
- कहानी (अनुक्रम/Sequence): उपयोगकर्ता ने हाल ही में क्या किया (जैसे, "मैंने एक जूता देखा, फिर एक टोपी, फिर एक बैकपैक")।
- स्नैपशॉट (संदर्भ/Context): उपयोगकर्ता अभी कौन है (जैसे, "बारिश हो रही है," "वे न्यूयॉर्क में हैं," "उनकी उम्र 25 वर्ष है")।
लंबे समय तक, एक ऐसा "मस्तिष्क" बनाना जो इन दोनों (कहानी और स्नैपशॉट) को कुशलतापूर्वक संभाल सके, वर्गाकार पहियों वाली रेस कार चलाने जैसा था। यह काम तो करता था, लेकिन यह अविश्वसनीय रूप से धीमा था और बहुत अधिक ईंधन (कंप्यूटिंग पावर) बर्बाद करता था। शोधकर्ता इस समस्या को "खराब स्केलिंग दक्षता" (poor scaling efficiency) कहते हैं। मूल रूप से, जब उन्होंने मस्तिष्क को स्मार्ट बनाने के लिए उसे बड़ा करने की कोशिश की, तो वह अतिरिक्त लागत के अनुपात में तेजी से स्मार्ट नहीं हुआ।
यहाँ आता है कुनलुन (Kunlun)। विविध चोटियों को एकजुट करने वाली पर्वत श्रृंखला के नाम पर आधारित, कुनलुन एक नया आर्किटेक्चर है जिसे इन वर्गाकार पहियों को ठीक करने के लिए डिज़ाइन किया गया है। पेपर का दावा है कि यह दो स्तरों पर सिस्टम को अनुकूलित करके इस समस्या को हल करता है: "नट और बोल्ट" (लो-लेवल) और "ट्रैफिक प्रबंधन" (हाई-लेवल)।
कुनलुन कैसे काम करता है, इसके लिए रोजमर्रा के उदाहरणों का उपयोग किया गया है:
1. लो-लेवल सुधार: इंजन को ठीक करना
पुराने सिस्टम के हिस्से अक्षम थे, जिससे कंप्यूटर का "इंजन" (GPU) डेटा की प्रतीक्षा करते समय खाली बैठा रहता था। कुनलुन इन्हें उच्च-प्रदर्शन वाले हिस्सों से बदल देता है:
- GDPA (व्यक्तिगत अनुवादक):
- समस्या: पुराना सिस्टम "स्नैपशॉट" के आधार पर "कहानी" का अनुवाद करने के लिए एक भद्दे, चरण-दर-चरण प्रक्रिया का उपयोग करता था जिससे समय बर्बाद होता था।
- समाधान: कुनलिंग GDPA (जनरलाइज्ड डॉट-प्रोडक्ट अटेंशन) का उपयोग करता है। इसे एक ऐसे अनुवादक के रूप में सोचें जो केवल शब्द-दर-शब्द अनुवाद नहीं करता, बल्कि तुरंत पूरे वाक्य के संदर्भ को समझ लेता है। यह चरणों को आपस में जोड़ देता है ताकि कंप्यूटर को बार-बार रुकना और शुरू न करना पड़े, जिससे इंजन बहुत सुचारू रूप से चलता है।
- HSP (सारांश बनाने वाला):
- समस्या: उपयोगकर्ताओं का इतिहास लंबा होता है (हजारों क्लिक)। पुराना सिस्टम हर एक क्लिक को व्यक्तिगत रूप से पढ़ने की कोशिश करता था, जो बहुत भारी पड़ता था।
- समाधान: HSP (हाइरार्किकल सीड पूलिंग) एक स्मार्ट संपादक की तरह है। 500 पन्नों की जीवनी पढ़ने के बजाय, यह किताब पढ़ता है, 10 पन्नों का सारांश लिखता है, और फिर 1 पन्ने का संक्षिप्त विवरण (एब्स्ट्रैक्ट) बनाता है। यह लंबे इतिहास को एक संक्षिप्त, शक्तिशाली सारांश में समेट देता है जिसे सिस्टम बिना थके प्रभावी ढंग से उपयोग कर सकता है।
- स्लाइडिंग विंडो अटेंशन (स्थानीय फोकस):
- समस्या: पुराना सिस्टम यह तुलना करने की कोशिश करता था कि उपयोगकर्ता ने कभी सबसे पहले क्या किया था और वह अभी क्या कर रहा है। लेकिन आमतौर पर, आपने पिछले सप्ताह जो किया वह पिछले साल की तुलना में बहुत अधिक मायने रखता है।
- समाधान: स्लाइडिंग विंडो अटेंशन सिस्टम को बताता है, "पूरा इतिहास मत देखो; बस पिछले कुछ पन्नों को देखो।" यह हालिया इंटरैक्शन पर ध्यान केंद्रित करता है, जिससे सटीक भविष्यवाणियों को बनाए रखते हुए कंप्यूटिंग पावर की भारी बचत होती है।
2. हाई-लेवल सुधार: स्मार्ट ट्रैफिक कंट्रोल
भले ही आपके पास एक बेहतरीन इंजन हो, लेकिन यदि आप गलत दिशा में गाड़ी चलाते हैं या हर रेड लाइट पर रुकते हैं, तो आप ईंधन बर्बाद कर सकते हैं। कुनलुन संसाधनों के वितरण के तरीके को बदल देता है:
- CompSkip (एक्सप्रेस लेन):
- समस्या: पुराने सिस्टम ने मस्तिष्क को हर एक स्टेप पर वही भारी काम करने के लिए मजबूर किया, भले ही इसकी आवश्यकता न हो।
- समाधान: CompSkip एक स्मार्ट ट्रैफिक लाइट सिस्टम की तरह है। यह पहचान लेता है कि कुछ चरणों को पूर्ण "सेल्फ-चेक" (Self-Attention) की आवश्यकता नहीं है और कुछ को पूर्ण "सारांश" (HSP) की आवश्यकता नहीं है। यह वैकल्पिक परतों (layers) पर अनावश्यक चरणों को छोड़ देता है। यदि कार सीधी जा रही है, तो उसे हर सेकंड रियरव्यू मिरर देखने की आवश्यकता नहीं है। यह ऊर्जा की भारी बचत करता है।
- इवेंट-लेवल पर्सनलाइजेशन (VIP ट्रीटमेंट):
- समस्या: पुराना सिस्टम एक "क्लिक" (एक मजबूत संकेत) को एक "इम्प्रेशन" (सिर्फ विज्ञापन देखना) के समान मानता था। इसने कम मूल्य वाले इवेंट्स पर संसाधन बर्बाद किए।
- समाधान: कुनलुन महत्वपूर्ण इवेंट्स को VIP ट्रीटमेंट देता है। यदि कोई उपयोगकर्ता कुछ खरीदने वाला है (एक उच्च-मूल्य वाला इवेंट), तो सिस्टम अधिक कंप्यूटिंग पावर और गहरा विश्लेषण आवंटित करता है। यदि यह केवल सामान्य ब्राउज़िंग है, तो यह हल्के और तेज़ तरीके का उपयोग करता है। यह एक ऐसे रेस्टोरेंट की तरह है जो एक VIP अतिथि को पूरा टेस्टिंग मेनू देता है और बस गुजरने वाले व्यक्ति को केवल एक त्वरित कॉफी देता है।
परिणाम: "स्केलिंग लॉ"
पेपर का दावा है कि इन सुधारों को जोड़कर, कुनलुन वह हासिल करता है जिसके लिए उद्योग संघर्ष कर रहा था: अनुमानित स्केलिंग लॉ (Predictable Scaling Laws)।
अतीत में, कंप्यूटिंग पावर को दोगुना करने से हमेशा बुद्धिमत्ता दोगुनी नहीं होती थी। कुनलुन के साथ, संबंध अनुमानित और कुशल है।
- दक्षता में वृद्धि: नवीनतम सुपर-कंप्यूटरों (NVIDIA B200 GPUs) पर, कुनलुन पिछले तरीकों की तुलना में हार्डवेयर का दोगुना कुशलतापूर्वक उपयोग करता है (उपयोगिता को 17% से बढ़ाकर 37% कर देता है)।
- वास्तविक दुनिया का प्रभाव: यह केवल एक लैब प्रयोग नहीं है। मेटा ने अपने प्रमुख विज्ञापन मॉडलों में कुनलुन को तैनात किया है। परिणाम? शीर्ष व्यावसायिक मेट्रिक्स में 1.2% का सुधार। विज्ञापनों की दुनिया में, जहाँ प्रतिदिन अरबों निर्णय लिए जाते हैं, यह छोटा सा प्रतिशत एक बड़ी जीत है।
संक्षेप में: कुनलुन सिफारिश प्रणाली (recommendation systems) बनाने का एक स्मार्ट, लीन और अधिक व्यवस्थित तरीका है। यह वर्गाकार पहियों पर ईंधन बर्बाद करना बंद करता है, अनावश्यक स्टॉप को छोड़ देता है, और सबसे महत्वपूर्ण सुरागों को VIP ट्रीटमेंट देता है, जिससे सिस्टम बड़ा होने पर काफी अधिक स्मार्ट हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।