🤖 machine learning

Expand More, Shrink Less: Shaping Effective-Rank Dynamics for Dense Scaling in Recommendation

RankMixer आर्किटेक्चर में एम्बेडिंग कोलैप्स (embedding collapse) और सीमित अभिव्यंजनात्मकता (limited expressivity) को संबोधित करने के लिए, यह शोधपत्र RankElastor का प्रस्ताव करता है, जो एक नवीन अनुशंसा मॉडल (recommendation model) है जिसमें पैरामीटराइज्ड फुल मिक्सिंग (parameterized full mixing) और GLU-सुधारित P-FFNs हैं जो प्रतिनिधित्व स्पेक्ट्रा (representation spectra) को स्थिर करते हैं और सुदृढ़ सघन स्केलिंग (robust dense scaling) को सक्षम करते हैं।

मूल लेखक: Guoming Li, Shangyu Zhang, Junwei Pan, Wentao Ning, Jin Chen, Gengsheng Xue, Chao Zhou, Shudong Huang, Haijie Gu, Menglin Yang

प्रकाशित 2026-05-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Guoming Li, Shangyu Zhang, Junwei Pan, Wentao Ning, Jin Chen, Gengsheng Xue, Chao Zhou, Shudong Huang, Haijie Gu, Menglin Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: रिकमेंडेशन इंजन की दुविधा

कल्पना कीजिए कि आप एक विशाल पुस्तकालय (एक रिकमेंडेशन सिस्टम) चला रहे हैं जो लाखों पाठकों को किताबें सुझाता है। ऐसा करने के लिए, पुस्तकालय हर किताब और हर पाठक को एक अनूठा "ID कार्ड" (एम्बेडिंग) आवंटित करता है। इन ID कार्डों में बहुत सारी जानकारी होती है।

हाल ही में, एक नया, बहुत ही स्मार्ट लाइब्रेरियन RankMixer काम पर रखा गया है। RankMixer इन ID कार्डों को व्यवस्थित करने में माहिर है। यह कार्डों को लेता है, उन्हें आपस में जोड़कर संबंध खोजता है, और फिर बेहतर सुझाव देने के लिए उन्हें एक प्रोसेसिंग मशीन के माध्यम से चलाता है।

हालाँकि, शोधकर्ताओं ने इस पेपर में RankMixer के साथ एक छिपी हुई समस्या का पता लगाया है। जैसे-जैसे पुस्तकालय बड़ा होता जाता है और ID कार्ड अधिक जटिल होते जाते हैं, कार्ड अपनी विशिष्टता खोने लगते हैं। वे सभी एक जैसे दिखने लगते हैं, जैसे कि एक जैसे दिखने वाले फोटोकॉपी के ढेर हों। तकनीकी शब्दों में, सिस्टम "एम्बेडिंग कोलैप्स" (Embedding Collapse) का शिकार हो जाता है। जानकारी एक छोटे, सपाट स्थान में दब जाती है, और पुस्तकालय यह अंतर करने में असमर्थ हो जाता है कि कौन सी मिस्ट्री नॉवेल है और कौन सी कुकबुक, भले ही वे बहुत अलग हों।

समस्या: "सॉ टूथ" (Sawtooth) रोलरकोस्टर

शोधकर्ताओं ने बारीकी से देखा कि RankMixer इन ID कार्डों को परत-दर-परत (layer by layer) कैसे प्रोसेस करता है। उन्हें एक अजीब पैटर्न मिला, जैसे कि एक रोलरकोस्टर जो ऊपर-नीचे तो जाता है लेकिन समय के साथ धीरे-धीरे नीचे की ओर खिसकता जाता है:

शफलिंग (Token Mixing): RankMixer पहले कार्डों को शफल करता है। यह ताश के पत्तों को मेज पर फैलाने जैसा है। यह कदम वास्तव में मददगार है! यह जानकारी को फैला देता है और ID कार्डों को अधिक विविध बनाता है ("Expand" वाला हिस्सा)।
प्रोसेसिंग (P-FFN): इसके बाद, कार्ड एक प्रोसेसिंग मशीन से गुजरते हैं। दुर्भाग्य से, यह मशीन कार्डों को वापस एक सपाट ढेर में कुचल देती है। यह विविधता को कम कर देता है ("Shrink" वाला हिस्सा)।

पुराने RankMixer में, "Shrink" वाला चरण बहुत अधिक शक्तिशाली था। भले ही शफलिंग ने जानकारी को फैलाने की कोशिश की, लेकिन प्रोसेसिंग मशीन ने उसे वापस कुचल दिया। इसका परिणाम एक "डैम्प्ड ऑसिलेशन" (damped oscillation) था—एक ऐसी लहरदार रेखा जो धीरे-धीरे एक सपाट, बेकार स्थिति की ओर बढ़ती है। पुस्तकालय अपनी क्षमता का विस्तार तो कर रहा था, लेकिन तुरंत उसे वापस सिकोड़ देता था।

समाधान: RankElastor

इसे ठीक करने के लिए, लेखकों ने एक नया लाइब्रेरियन बनाया जिसे RankElastor कहा जाता है। उनका आदर्श वाक्य है "Expand More, Shrink Less" (अधिक विस्तार करें, कम सिकुड़ें)। उन्होंने पुस्तकालय के वर्कफ़्लो में दो विशिष्ट अपग्रेड किए:

1. "मास्टर शफर" (Parameterized Full Mixing)

पुराना तरीका: RankMixer कार्डों को शफल करने के लिए एक कठोर नियम का उपयोग करता था। यह एक ऐसी मशीन की तरह था जो एक बार में केवल 10 कार्डों के ब्लॉक को ही बदल सकती थी। यह कुशल था, लेकिन यह सूक्ष्म, विस्तृत समायोजन नहीं कर सकता था।
नया तरीका: RankElastor एक "मास्टर शफर" का उपयोग करता है। यह एक सीखने योग्य (learnable), लचीली प्रणाली है जो हर एक कार्ड को दूसरे हर कार्ड के साथ विस्तृत तरीके से मिला सकती है।
उपमा: कल्पना कीजिए कि आप सलाद मिला रहे हैं। पुराना तरीका एक बड़े चम्मच का उपयोग करने जैसा था जो केवल सलाद के बड़े टुकड़ों को ही उठा सकता था। नया तरीका चॉपस्टिक्स का उपयोग करने जैसा है जो चावल के प्रत्येक दाने को चुन सकता है और उन्हें पूरी तरह से मिला सकता है। यह सिस्टम को बहुत समृद्ध, विविध ID कार्ड बनाने की अनुमति देता है जो आसानी से कोलैप्स नहीं होते।

2. "स्मार्ट प्रोसेसर" (GLU-improved P-FFNs)

पुराना तरीका: प्रोसेसिंग मशीन एक मानक एक्टिवेशन फंक्शन (GELU) का उपयोग करती थी। इसे एक लाइट स्विच की तरह समझें जो या तो चालू (ON) है या बंद (OFF), या एक डिमर (dimmer) जो कभी-कभी अटक जाता है। यह जानकारी को बहुत ज़ोर से कुचल देता था।
नया तरीका: RankElastor ने इसे एक GLU (Gated Linear Unit) प्रोसेसर के साथ बदल दिया।
उपमा: कल्पना कीजिए कि पुराना प्रोसेसर एक भारी दरवाजे की तरह था जो बंद हो जाता था, जिससे अधिकांश रोशनी रुक जाती थी। नया GLU प्रोसेसर एक स्मार्ट खिड़की की तरह है जिसमें डिमर स्विच और एक गेट है। यह सही मात्रा में रोशनी आने दे सकता है और प्रवाह को सटीक रूप से नियंत्रित कर सकता है। यह एक "गेटकीपर" के रूप में कार्य करता है जो जानकारी को सपाट होने से रोकता है, जिससे ID कार्ड विशिष्ट और उपयोगी बने रहते हैं।

परिणाम: एक स्वस्थ पुस्तकालय

शोधकर्ताओं ने दो विशाल, वास्तविक दुनिया के डेटासेट्स (Criteo और Avazu) पर RankElastor का परीक्षण किया, जो ऑनलाइन विज्ञापनों और यूजर क्लिक्स के विशाल कैटलॉग की तरह हैं।

बेहतर सिफारिशें: RankMixer और अन्य शीर्ष प्रतिस्पर्धियों की तुलना में RankElastor ने बेहतर भविष्यवाणियां कीं। इसने सिफारिशों की सटीकता (AUC द्वारा मापा गया) में एक छोटा लेकिन सांख्यिकीय रूप से महत्वपूर्ण सुधार किया। विशाल रिकमेंडेशन सिस्टम की दुनिया में, मामूली सुधार भी एक बड़ी जीत है।
कोई कोलैप्स नहीं: जब उन्होंने "इफेक्टिव रैंक" (Effective Rank - जो ID कार्डों की विविधता का एक माप है) को देखा, तो पाया कि RankElestor ने कार्डों को बहुत अधिक विविध बनाए रखा। रोलरकोस्टर के एक सपाट रेखा की ओर जाने के बजाय, कार्ड पूरी प्रक्रिया के दौरान "बाउंसी" और विविध बने रहे।
स्केलिंग अप (Scaling Up): जब उन्होंने पुस्तकालय को बड़ा किया (अधिक लेयर्स या व्यापक प्रोसेसिंग जोड़कर), तो RankElastor और भी बेहतर होता गया। पुराना RankMixer बिना कोलैप्स हुए स्केल करने में संघर्ष करता था, लेकिन RankElastor ने विकास को सहजता से संभाला।

सारांश

यह पेपर तर्क देता है कि बेहतर रिकमेंडेशन सिस्टम बनाने के लिए, हमें जानकारी को दबने से रोकना होगा। कठोर शफलिंग को लचीले मिश्रण से बदलकर और स्मार्ट प्रोसेसिंग गेट्स का उपयोग करके, RankElastor यह सुनिश्चित करता है कि सिस्टम डेटा की समझ को "सिकुड़ने" के बजाय "विस्तार" (expand) करे। यह सुनिश्चित करता है कि सिफारिशें ताज़ा, विविध और सटीक बनी रहें, भले ही सिस्टम विशाल आकार तक बढ़ जाए।

तकनीकी सारांश: अधिक विस्तार करें, कम सिकुड़ें: डेंस स्केलिंग के लिए प्रभावी-रैंक डायनेमिक्स को आकार देना

1. समस्या विवरण

यह शोध पत्र डेंस रिकमेंडेशन मॉडल्स के संदर्भ में एम्बेडिंग कोलैप्स (embedding collapse) की चुनौती को संबोधित करता है। जबकि RankMixer जैसे हालिया आर्किटेक्चर ने टोकन मिक्सिंग और प्रति-टोकन फीडफॉरवर्ड नेटवर्क (P-FFNs) के बीच बारी-बारी से बदलाव करके रिकमेंडेशन सिस्टम को स्केल करने में सफलता प्रदर्शित की है, वे एक मौलिक सीमा से ग्रस्त हैं: सीखी गई रिप्रजेंटेशन्स (representations) अक्सर लो-रैंक सबस्पेस (low-rank subspaces) में केंद्रित हो जाती हैं।

यह घटना, जिसे एम्बेडिंग कोलैप्स के रूप में जाना जाता है, मॉडल की एक्सप्रेसिविटी (expressivity) को सीमित करती है और स्केलिंग द्वारा प्रदान किए गए विस्तारित रिप्रजेंटेशन स्पेस का कम उपयोग करती है। लेखक पहचानते हैं कि RankMixer का विशिष्ट आर्किटेक्चर परतों के माध्यम से प्रभावी रैंक (effective rank) में एक "डैम्प्ड ऑसिलेटरी ट्रेजेक्टरी" (damped oscillatory trajectory) प्रेरित करता है:

टोकन मिक्सिंग मॉड्यूल प्रभावी रैंक को थोड़ा बढ़ाता है।
P-FFN मॉड्यूल इसके बाद प्रभावी रैंक को सिकोड़ता (contract) है।

जबकि यह वैकल्पिक व्यवहार पारंपरिक रिकमेंडर्स (जो मोनोटोनिक रैंक डिके दिखाते हैं) की तुलना में मामूली सुधार प्रदान करता है, यह मॉडल की गहराई बढ़ने के साथ कोलैप्स को मौलिक रूप से रोकने में विफल रहता है। शोधपत्र का तर्क है कि टोकन मिक्सिंग की कठोर, नॉन-पैरामीट्रिक प्रकृति और P-FFNs में मानक एक्टिवेशन फंक्शन्स ही स्पेक्ट्रल अस्थिरता (spectral instability) के प्राथमिक कारण हैं।

2. कार्यप्रणाली: RankElastor

इन सीमाओं को दूर करने के लिए, लेखक RankElastor प्रस्तावित करते हैं, जो एक नया डीप रिकमेंडर आर्किटेक्चर है जिसे प्रमाणित कोलैप्स शमन (collapse mitigation) के साथ स्पेक्ट्रम-रोबस्ट रिप्रजेंटेशन्स उत्पन्न करने के लिए डिज़ाइन किया गया है। इसका मूल दर्शन "अधिक विस्तार करें, कम सिकुड़ें" (Expand More, Shrink Less) है, जिसे दो प्रमुख आर्किटेक्चरल नवाचारों के माध्यम से प्राप्त किया गया है:

A. पैरामीटराइज्ड फुल टोकन मिक्सिंग (Parameterized Full Token Mixing)

RankMixer में, टोकन मिक्सिंग को एक नॉन-पैरामीट्रिक ब्लॉक-ट्रांसपोज़ (block-transpose) ऑपरेशन के माध्यम से लागू किया जाता है। लेखक इसे एक सीखने योग्य मिक्सिंग ऑपरेटर (learnable mixing operator) पेश करके सामान्यीकृत करते हैं जो ग्रिड स्केल को सूक्ष्मतम रेजोल्यूशन ( $d=1$ ) तक कम कर देता है।

तंत्र (Mechanism): एक निश्चित परम्यूटेशन के बजाय, RankElastor फ्लैटन किए गए रिप्रजेंटेशन पर एक डेंस लीनियर ट्रांसफॉर्मेशन का उपयोग करता है: $vec(M^\top) = LN((W + I)vec(X^\top))$ , जहाँ $W$ एक सीखने योग्य मिक्सिंग मैट्रिक्स है।
सैद्धांतिक आधार: थ्योरम 3.1 यह प्रदर्शित करता है कि कोर्स-ग्रेन्ड ब्लॉक मिक्सिंग (जहाँ $d^* > 1$ है) फुल मिक्सिंग ( $d^* = 1$ ) की तुलना में स्पष्ट रूप से कम एक्सप्रेसिव है। मानक मिक्सिंग में ब्लॉक-क्रोनकर (block-Kronecker) बाधा मॉडल को सूक्ष्म-स्तरीय, उच्च-रैंक कोऑर्डिनेट इंटरैक्शन को व्यक्त करने से रोकती है, विशेष रूप से तब जब इनपुट रिप्रजेंटेशन्स पहले से ही स्पेक्ट्रली कोलैप्स्ड हों। फुल मिक्सिंग इस बाधा को हटा देती है, जिससे समृद्ध इंटरैक्शन संभव होते हैं।

B. GLU-इम्प्रूव्ड P-FFNs

लेखक RankMixer में मानक GELU-आधारित P-FFNs को GLU-शैली के गेटेड फीडफॉरवर्ड मॉड्यूल्स से बदलते हैं।

तंत्र: नया मॉड्यूल गेटेड एक्टिवेशन्स का उपयोग करता है: $Z_t = (GELU(M_t W_1) \odot (M_t W_2))W_3 + M_t W_r$ ।
सैद्धांतिक आधार: थ्योरम 3.2 सिद्ध करता है कि GLU-इम्प्रूव्ड P-FFNs अधिक प्रभावी रैंक रिकवरी क्षमताएं प्रदान करते हैं। मानक FFNs के विपरीत, जो (विशेष रूप से लो-रैंक इनपुट्स पर) नियत या संभाव्य रूप से प्रभावी रैंक को सिकोड़ सकते हैं, GLU गेट की मल्टीप्लिकेटिव प्रकृति डिग्री-2 इंटरैक्शन को प्रेरित करती है। यह मॉड्यूल को स्पेक्ट्रम रोबस्टनेस बनाए रखने और प्रभावी रैंक में योगात्मक वृद्धि ( $\delta > 0$ ) प्रेरित करने में सक्षम बनाता है, बशर्ते कि हिडन विड्थ (hidden width) विशिष्ट स्केलिंग शर्तों को पूरा करती हो।

3. प्रमुख योगदान

RankMixer का विश्लेषण: शोधपत्र प्रमाणिक साक्ष्य और सैद्धांतिक औचित्य दोनों प्रदान करता है कि RankMixer के मुख्य मॉड्यूल (टोकन मिक्सिंग और P-FFNs) संयुक्त रूप से स्पेक्ट्रल रोबस्टनेस को बाधित करते हैं, जिससे अधूरा एम्बेडिंग कोलैप्स होता है।
RankElastor आर्किटेक्चर: पैरामीटराइज्ड फुल मिक्सिंग और GLU-इम्प्रूव्ड P-FFNs को एकीकृत करने वाले एक नए आर्किटेक्चर का प्रस्ताव। लेखक इन घटकों की स्पेक्ट्रल रोबस्टनेस पर सैद्धांतिक गारंटी प्रदान करते हैं, जो दिखाते हैं कि वे अधिक एक्सप्रेसिव ट्रांसफॉर्मेशन को सक्षम करते हैं और रैंक कॉन्ट्रैक्शन को रोकते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): बड़े पैमाने के औद्योगिक बेंचमार्क पर व्यापक प्रयोगों से पता चलता है कि RankElastor, CTR प्रेडिक्शन में उच्च प्रभावी रैंक बनाए रखते हुए और बेहतर पैरामीटर स्केलिंग व्यवहार प्रदर्शित करते हुए, मजबूत बेसलाइन्स (RankMixer, DCNv2, और xDeepFM सहित) को लगातार पछाड़ता है।

4. प्रयोगात्मक परिणाम

लेखकों ने दो बड़े पैमाने के औद्योगिक डेटासेट्स: Criteo और Avazu पर RankElastor का मूल्यांकन किया।

प्रेडिक्शन प्रदर्शन: RankElastor ने स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए, जिसने दोनों डेटासेट्स पर सबसे मजबूत बेसलाइन (RankMixer) की तुलना में AUC में 0.001 से अधिक का सुधार किया। औद्योगिक CTR बेंचमार्क में इस बढ़त को सांख्यिकीय रूप से महत्वपूर्ण माना जाता है।
एम्बेडिंग कोलैप्स शमन:
- प्रभावी रैंक (Effective Rank): RankElastor ने सभी परतों में RankMixer की तुलना में लगातार उच्च औसत प्रभावी रैंक बनाए रखी।
- डायनेमिक्स: जहाँ RankMixer ने FFN परतों पर महत्वपूर्ण संकुचन के साथ एक डैम्प्ड ऑसिलेटरी ट्रेजेक्टरी दिखाई, वहीं RankElastor ने मिक्सिंग के दौरान मजबूत विस्तार और FFN चरणों के दौरान काफी हल्के संकुचन का प्रदर्शन किया, जिससे स्थिर स्पेक्ट्रल इवोल्यूशन प्राप्त हुआ।
स्केलिंग व्यवहार: स्केलिंग-लॉ प्रयोगों (डेप्थ और विड्थ को बदलकर) ने खुलासा किया कि RankElastor, RankMixer की तुलना में अधिक प्रभावी ढंग से स्केल करता है। डेप्थ और विड्थ का संयुक्त स्केलिंग बड़े प्रदर्शन लाभ प्रदान करता है, जो इसके स्केलेबल पैराडाइम की पुष्टि करता है।
सामान्यीकरण (Generalization): मॉडल का परीक्षण व्यवहार अनुक्रम मॉडलिंग कार्यों (KuaiVideo और TaobaoAd) पर भी किया गया था, जहाँ इसने फिर से बेसलाइन्स को पीछे छोड़ दिया, जो सुझाव देता है कि यह दृष्टिकोण मानक CTR प्रेडिक्शन से परे सामान्य होता है।
दक्षता (Efficiency): प्रस्तावित आर्किटेक्चर पैरामीटराइज्ड मिक्सिंग के कारण RankMixer की तुलना में मामूली 10–15% रनटाइम वृद्धि लाता है, जबकि तुलनीय GPU मेमोरी उपयोग बनाए रखता है।

5. महत्व और दावे

शोधपत्र का दावा है कि RankElastor टोकन-ट्रांसफॉर्मेशन-आधारित रिकमेंडर्स को परिष्कृत करने के लिए एक सिद्धांत आधारित दिशा प्रदान करता है। कठोर, नॉन-पैरामीट्रिक ऑपरेशंस से सीख योग्य, फाइन-ग्रेन्ड मिक्सिंग और गेटेड एक्टिवेशन्स की ओर शिफ्ट होकर, आर्किटेक्चर मॉडल डेप्थ और रिप्रजेंटेशन कोलैप्स के बीच के ट्रेड-ऑफ को सफलतापूर्वक अलग करता है।

लेखक इस बात पर जोर देते हैं कि उनका कार्य रिप्रजेंटेशन कोलैप्स पर एक स्पेक्ट्रल परिप्रेक्ष्य (spectral perspective) प्रदान करता है, यह पहचानते हुए कि "डैम्प्ड ऑसिलेटरी ट्रेजेक्टरी" मूल RankMixer डिजाइन का एक अंतर्निहित गुण है। RankElastor को केवल एक वृद्धिशील सुधार के रूप में नहीं, बल्कि एक मजबूत और स्केलेबल पैराडाइम के रूप में प्रस्तुत किया गया है जो यह सुनिश्चित करके डेंस स्केलिंग की क्षमता को अनलॉक करता है कि विस्तारित रिप्रजेंटेशन स्पेस का प्रभावी ढंग से उपयोग किया जाए न कि उन्हें कोलैप्स होने दिया जाए।

शोधपत्र निष्कर्ष निकालता है कि हालांकि ये निष्कर्ष इस वर्ग के आर्किटेक्चर के लिए विशिष्ट हैं, स्पेक्ट्रल डायनेमिक्स और "अधिक विस्तार करें, कम सिकुड़ें" के सिद्धांत में मिली अंतर्दृष्टि अधिक एक्सप्रेसिव टोकन-मिक्सिंग मैकेनिज्म और स्पेक्ट्रम-प्रिजर्विंग नॉनलीनियर मॉड्यूल्स के भविष्य के अनुसंधान के लिए एक आधार प्रदान करती है।