तकनीकी सारांश: Mem-GF (मेम-जीएफ: मेमोरी-कुशल ग्राफ फ़िल्टरिंग)

1. समस्या विवरण

कोलेबोरेटिव फ़िल्टरिंग (CF) उच्च-क्रम (high-order) उपयोगकर्ता-आइटम कनेक्टिविटी को मॉडल करने के लिए ग्राफ़ कन्वोल्यूशनल नेटवर्क (GCNs) पर तेजी से निर्भर करती रही है। हालाँकि, GCNs अपनी पुनरावृत्ति संदेश-पासिंग (recursive message-passing) प्रकृति और व्यापक प्रशिक्षण आवश्यकताओं के कारण स्केलेबिलिटी की समस्याओं से जूझते हैं। एक विकल्प के रूप में, प्रशिक्षण-मुक्त ग्राफ फ़िल्टरिंग (GF)-आधारित CF विधियाँ उभरी हैं, जो कुशल रूप से ग्राफ संकेतों को सुचारू (smooth) करने के लिए पूर्व-निर्धारित फिल्टर (जैसे, रैखिक या बहुपद) का उपयोग करती हैं।

इन कम्प्यूटेशनल लाभों के बावजूद, मौजूदा GF-आधारित विधियाँ एक गंभीर मेमोरी बॉटलनेक (memory bottleneck) का सामना करती हैं। ये दृष्टिकोण आमतौर पर $|I| \times |I|$ आयामों वाले एक सार्वभौमिक, उपयोगकर्ता-अज्ञेय (user-agnostic) ग्राफ फिल्टर पर निर्भर करते हैं (जहाँ $|I|$ वस्तुओं की संख्या है)। भले ही स्पार्स मैट्रिक्स ऑपरेशंस या टॉप-$k$ आइजनवैल्यू सन्निकटन (approximations) का उपयोग किया जाए, फ़िल्टरिंग चरण के लिए अक्सर पूर्ण आइटम समानता मैट्रिक्स को संग्रहीत करने या उस पर कार्य करने की आवश्यकता होती है। जैसा कि पेपर में प्रदर्शित किया गया है, यह 48GB VRAM और 128GB RAM वाले हार्डवेयर पर भी बड़े पैमाने के डेटासेट (जैसे, Amazon-book, ML-20M) पर आउट-ऑफ-मेमोरी (OOM) त्रुटियों का कारण बनता है, जिससे वास्तविक दुनिया के संसाधन-बाधित वातावरणों में उच्च-सटीक GF विधियों की व्यावहारिक प्रयोज्यता गंभीर रूप से सीमित हो जाती है।

2. कार्यप्रणाली: Mem-GF

लेखक Mem-GF (मेमोरी-कुशल ग्राफ फ़िल्टरिंग) का प्रस्ताव करते हैं, जो एक नवीन CF विधि है जो पूर्ण आइटम समानता मैट्रिक्स को स्पष्ट रूप से संग्रहीत करने की आवश्यकता को समाप्त करती है। मुख्य नवाचार प्रत्येक उपयोगकर्ता के इंटरैक्शन वेक्टर $r_u$ के लिए बहुपद ग्राफ फिल्टरों को अनुमानित करने के लिए क्रिलोव सबस्पेस (Krylov subspaces) की संरचना का उपयोग करना है, न कि केवल एक कम्प्यूटेशनल शॉर्टकट के रूप में।

मुख्य तंत्र

सभी उपयोगकर्ताओं के लिए एक वैश्विक फिल्टर लागू करने के बजाय, Mem-GF प्रत्येक उपयोगकर्ता के इंटरैक्शन वेक्टर $r_u$ के लिए एक उपयोगकर्ता-विशिष्ट क्रिलोव सबस्पेस का निर्माण करता है।

1. क्रिलोव सबस्पेस निर्माण: उपयोगकर्ता $u$ के लिए जिसका इंटरैक्शन वेक्टर $r_u$ है, यह विधि एक क्रिलोव सबस्पेस $\mathcal{K}_K(\tilde{P}, r_u)$ उत्पन्न करती है जो $\{r_u, \tilde{P}r_u, \tilde{P}^2r_u, \dots, \tilde{P}^{K-1}r_u\}$ द्वारा फैला हुआ है, जहाँ $\tilde{P}$ आइटम समानता मैट्रिक्स है।
2. लैंज़ोस एल्गोरिदम (Lanczos Algorithm): $\tilde{P}$ को स्पष्ट रूप से बनाने से बचने के लिए (जिसके लिए $O(|I|^2)$ मेमोरी की आवश्यकता होगी), Mem-GF लैंज़ोस एल्गोरिदम का उपयोग करता है। यह एडजस्टेड इंटरैक्शन मैट्रिक्स $\bar{R}$ (जहाँ $\tilde{P} = \bar{R}^\top \bar{R}$) का उपयोग करके पुनरावृत्ति से मैट्रिक्स-वेक्टर उत्पादों की गणना करता है। यह निम्नलिखित उत्पन्न करता है:
   • एक ऑर्थोनॉर्मल क्रिलोव बेसिस $Q_u \in \mathbb{R}^{|I| \times K}$।
   • एक निम्न-आयामी ट्रिडायगोनल मैट्रिक्स $T_u = Q_u^\top \tilde{P} Q_u \in \mathbb{R}^{K \times K}$।
3. बहुपद फ़िल्टरिंग (Polynomial Filtering): एक बहुपद ग्राफ फिल्टर $f(\tilde{P}) = \sum a_n \tilde{P}^n$ को सबस्पेस के भीतर $f(T_u)$ के रूप में अनुमानित किया जाता है। अंतिम प्रेडिक्शन स्कोर $s_u$ की गणना इस प्रकार की जाती है:
   $$s_u = \|r_u\|^2 Q_u f(T_u) e_1$$
   यह फॉर्मूलेशन बिना कभी भी घने (dense) $|I| \times |I|$ मैट्रिक्स को संग्रहीत किए उच्च-क्रम बहुपद फिल्टरों (जैसे, 5वें क्रम के) की गणना करने की अनुमति देता है।

सैद्धांतिक गारंटी

पेपर एक सैद्धांतिक विश्लेषण (Theorem IV.1) प्रदान करता है जिसमें कहा गया है कि यदि बहुपद की डिग्री $N$, क्रिलोव सबस्पेस के आकार $K$ से कम है ($N < K$), तो लैंज़ोस एल्गोरिदम सटीक अंकगणित (exact arithmetic) के तहत कोई अनुमान त्रुटि (approximation error) नहीं लेता है। यह सुनिश्चित करता है कि सबस्पेस प्रोजेक्शन उपयोगकर्ता के सिग्नल पर बहुपद फिल्टर के प्रभाव को पूरी तरह से पुनरुत्पादित करता है।

जटिलता (Complexity)

• स्पेस कॉम्प्लेक्सिटी: $O(|I|^2)$ से घटकर $O(\text{nnz}(R) + |I|K + K^2)$ हो गई है, जहाँ $\text{nnz}(R)$ इंटरैक्शन की संख्या है। चूंकि $K \ll |I|$, इसलिए यह वस्तुओं की संख्या के सापेक्ष रैखिक है।
• टाइम कॉम्प्लेक्सिटी: $O(|U| K (\text{nnz}(R) + |I|))$ है, जो उपयोगकर्ताओं, वस्तुओं और इंटरैक्शन की संख्या के साथ रैखिक रूप से स्केल करती है।

3. प्रमुख योगदान

1. समस्या की पहचान: लेखक अनुभवजन्य रूप से प्रदर्शित करते हैं कि सार्वभौमिक, उपयोगकर्ता-अज्ञेय ग्राफ फिल्टरों पर निर्भरता अत्याधुनिक GF-आधारित विधियों में अत्यधिक मेमोरी उपयोग का कारण बनती है, जिससे वे बड़े पैमाने के डेटासेट के लिए अव्यवहार्य हो जाते हैं।
2. सिद्धांतिक समाधान: Mem-GF एक प्रशिक्षण-मुक्त CF दृष्टिकोण पेश करता है जो क्रिलोव सबस्पेस को मुख्य फ़िल्टरिंग सिद्धांत के रूप में एकीकृत करता है, जिससे पूर्ण आइटम समानता मैट्रिक्स को संग्रहीत किए बिना प्रति-उपयोगकर्ता फ़िल्टर अनुमान सक्षम होता है।
3. सैद्धांतिक समर्थन: पेपर लॉसलेस एप्रोक्सिमेशन (विशेष रूप से $K > N$) के लिए शर्तों का कठोरता से विश्लेषण करता है और डेटासेट के आकार के सापेक्ष रैखिक स्पेस/टाइम कॉम्प्लेक्सिटी को सिद्ध करता है।
4. उच्च-क्रम फ़िल्टर डिज़ाइन: कम किए गए क्रिलोव स्पेस में कार्य करके, Mem-GF जटिल फ्रीक्वेंसी रिस्पॉन्स (जैसे, गाऊसी फिल्टर) को अनुमानित करने के लिए उच्च-क्रम बहुपद फिल्टरों (5वें क्रम तक) के उपयोग की सुविधा देता है, जो पहले मेमोरी बाधाओं के कारण अव्यवहार्य थे।

4. प्रायोगिक परिणाम

प्रयोग तीन बेंचमार्क डेटासेट पर किए गए: Yelp, Amazon-book, और MovieLens-20M (ML-20M)। Mem-GF की तुलना 21 प्रतिस्पर्धियों से की गई, जिनमें MF-आधारित, GCN-आधारित, ऑटोएन्कोडर-आधारित और अन्य GF-आधारित विधियाँ शामिल थीं।

• मेमोरी दक्षता: Mem-GF ने अपने सर्वश्रेष्ठ प्रदर्शन करने वाले GF-आधारित प्रतिस्पर्धियों की तुलना में 5.74$\times$ कम मेमोरी उपयोग प्राप्त किया। विशेष रूप से, जबकि अन्य विधियाँ (जैसे, EASE, GF-CF, PGSP) Amazon-book और ML-20M डेटासेट पर OOM त्रुटियों के साथ विफल रहीं, Mem-GF ~5–8 GB VRAM के भीतर सफलतापूर्वक संचालित हुआ।
• रनटाइम स्पीडअप:
  • प्रीप्रोसेसिंग: Mem-GF ने दूसरे सर्वश्रेष्ठ GF मेथड की तुलना में प्रीप्रोसेसिंग समय में 4.38$\times$ की गति दिखाई।
  • इन्फरेंस (Inference): इसने GF-CF और Turbo-CF की तुलना में इन्फरेंस समय में 26.2$\times$ तक की गति प्राप्त की, Yelp पर इन्फरेंस समय 0.0044 सेकंड तक कम रहा।
• सटीकता (Accuracy): दक्षता के लिए डिज़ाइन किए जाने के बावजूद, Mem-GF ने सभी डेटासेट में स्टेट-ऑफ-द-आर्ट अनुशंसा सटीकता (Recall@20 और NDCG@20 द्वारा मापा गया) लगातार हासिल की, जिसने प्रशिक्षण-आधारित GCNs (जैसे, LightGCN, NGCF) और अन्य प्रशिक्षण-मुक्त GF विधियों दोनों को पीछे छोड़ दिया।
• स्केलेबिलिटी: विधि ने उपयोगकर्ताओं, वस्तुओं और इंटरैक्शन की संख्या बढ़ने के साथ मेमोरी और रनटाइम दोनों में लगभग रैखिक स्केलिंग प्रदर्शित की, जो इसके सैद्धांतिक जटिलता विश्लेषण को मान्य करती है।

5. महत्व और दावे

पेपर दावा करता है कि Mem-GF कुशल सहयोगी फ़िल्टरिंग के लिए एक व्यावहारिक रूप से व्यवहार्य और सैद्धांतिक रूप से ठोस समाधान स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

• मेमोरी बॉटलनेक को तोड़ना: यह मानक हार्डवेयर पर बड़े पैमाने के डेटासेट (करोड़ों इंटरैक्शन) पर उच्च-सटीक, प्रशिक्षण-मुक्त ग्राफ फ़िल्टरिंग की तैनाती को सक्षम बनाता है, जहाँ पिछली विधियाँ विफल हो गई थीं।
• सटीकता और दक्षता का संतुलन: यह प्रदर्शित करता है कि मेमोरी दक्षता के लिए अनुशंसा गुणवत्ता के साथ समझौता करने की आवश्यकता नहीं है; वास्तव में, मेमोरी-बाधित ढांचे के भीतर अभिव्यंजक, उच्च-क्रम फिल्टरों का उपयोग करने की क्षमता बेहतर सटीकता की ओर ले जाती है।
• वास्तविक दुनिया की प्रयोज्यता: कम-विलंबता (low-latency) वाला इन्फरेंस और प्रशिक्षण-मुक्त प्रकृति Mem-GF को सख्त हार्डवेयर बाधाओं वाले वास्तविक समय के अनुशंसा सिस्टम के लिए उपयुक्त बनाती है।

लेखक सीमाओं का भी उल्लेख करते हैं, जिसमें विधि की प्राथमिक उपयुक्तता उपयोगकर्ता-आइटम इंटरैक्शन से प्राप्त आइटम समानता ग्राफ (हेटरोजीनियस ग्राफ के बजाय) के लिए है और अत्यंत विरल (sparse) उपयोगकर्ता संकेतों (कोल्ड-स्टार्ट परिदृश्य) के प्रति संभावित संवेदनशीलता शामिल है। भविष्य के कार्य के रूप में Mem-GF को हेटरोजीनियस ग्राफ संरचनाओं और वितरित प्रणालियों तक विस्तारित करने का प्रस्ताव दिया गया है।