💻 computer science

SISA-Rec: A Semantically Integrated Sequential Recommender with Contrastive Alignment

SISA-Rec एक ट्रांसफॉर्मर-आधारित अनुक्रमिक अनुशंसा फ्रेमवर्क है जो गेटेड फ्यूजन और कंट्रास्टिव अलाइनमेंट के माध्यम से आइटम आईडी और BERT-आधारित सिमेंटिक एम्बेडिंग्स को एकीकृत करता है ताकि विशेष रूप से स्पार्स और कोल्ड-स्टार्ट परिदृश्यों में अत्याधुनिक मॉडलों से काफी बेहतर प्रदर्शन किया जा सके।

मूल लेखक: Soohan Abbasi, Shahid Munir Shah, Rafia Shaikh, Mahmoud Aljawarneh

प्रकाशित 2026-07-14

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Soohan Abbasi, Shahid Munir Shah, Rafia Shaikh, Mahmoud Aljawarneh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल डिजिटल खिलौनों की दुकान या ब्यूटी शॉप में स्क्रॉल कर रहे हैं जहाँ लाखों आइटम हैं। आपने केवल कुछ ही चीज़ों पर क्लिक किया है, शायद बस एक मुट्ठी भर। एक स्मार्ट रोबोट जो यह अनुमान लगाने की कोशिश कर रहा है कि आपको आगे क्या पसंद आएगा, आमतौर पर अटक जाता है। क्यों? क्योंकि अधिकांश रिकमेंडेशन रोबोट ऐसे जासूसों की तरह हैं जो केवल ID कार्ड देखते हैं। वे जानते हैं कि "आइटम #405" को "आइटम #12" के ठीक बाद खरीदा गया था, लेकिन उन्हें यह पता नहीं है कि वे आइटम वास्तव में क्या हैं। उन्हें यह नहीं पता कि दोनों "चमकदार नीले" हैं या "प्लास्टिक के बने" हैं। यदि आप एक नए ग्राहक हैं ("कोल्ड स्टार्ट" स्थिति), जिसमें बहुत कम इतिहास है, तो रोबोट अंधेरे में तीर चला रहा है, उन पैटर्न के आधार पर अनुमान लगा रहा है जो मुश्किल से मौजूद हैं।

यहाँ आता है SISA-Rec, एक नया रिकमेंडेशन सिस्टम जो अंदाज़ा लगाना बंद करने और पढ़ना शुरू करने का निर्णय लेता है।

समस्या: "ID-केवल" अंधा मोड़ (Blind Spot)

इस पेपर के लेखक तर्क देते हैं कि पुराना तरीका—केवल आइटम आईडी और वे कितनी बार एक साथ दिखाई देते हैं—पर निर्भर रहना—एक दीवार से टकरा रहा है। वे स्पष्ट रूप से इस विचार को खारिज करते हैं कि हम केवल इन ID-आधारित मॉडलों को थोड़ा बड़ा बनाकर और बेहतर प्रदर्शन की उम्मीद कर सकते हैं, खासकर वास्तविक दुनिया की अव्यवस्थित स्थितियों में जहाँ डेटा की कमी है। वे दिखाते हैं कि जब आपके पास एक अत्यंत विरल (sparse) डेटासेट होता है (जिसका अर्थ है कि 99.93% संभावित इंटरैक्शन गायब हैं!), तो केवल "किसने क्या खरीदा" को देखना पर्याप्त नहीं है। रोबोट को वस्तुओं के अर्थ को समझने की आवश्यकता है, न कि केवल उनके सीरियल नंबर को।

समाधान: एक रोबोट जो मैनुअल पढ़ता है

SISA-Rec एक ऐसे जासूस की तरह है जो न केवल आईडी कार्ड की जाँच करता है बल्कि अनुमान लगाने से पहले उत्पाद का विवरण, श्रेणी और शीर्षक भी पढ़ता है। शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो दो प्रकार की जानकारी को शुरुआत से ही जोड़ देता है:

ID: आइटम का विशिष्ट नंबर।
अर्थ: आइटम का वास्तविक टेक्स्ट विवरण (जैसे "मैट लिपस्टिक" या "रिमोट कंट्रोल कार"), जिसे BERT नामक एक शक्तिशाली भाषाई मस्तिष्क द्वारा प्रोसेस किया गया है।

यहाँ बताया गया है कि उन्होंने इसे कैसे काम करने के योग्य बनाया, कुछ मज़ेदार उपमाओं का उपयोग करते हुए:

1. "गेटकीपर" मिक्सर (The "Gatekeeper" Mixer)
ID और टेक्स्ट विवरण को बस एक साथ चिपकाने के बजाय, SISA-Rec एक गेटेड फ्यूजन मॉड्यूल (gated fusion module) का उपयोग करता है। इसे एक पार्टी में एक स्मार्ट गेटकीपर की तरह समझें। हर एक आइटम के लिए, यह गेटकीपर तय करता है कि "ID" की कहानी का कितना हिस्सा और "टेक्स्ट" की कहानी का कितना हिस्सा कमरे में आने दिया जाए। यह सीखता है, चलते-फिरते, कि उस विशिष्ट क्षण के लिए ID नंबर पर अधिक भरोसा करना है या विवरण पर। यह तब होता है जब सिस्टम आपके इतिहास को देखना शुरू भी नहीं करता।

2. "टेलीपैथिक" अटेंशन (The "Telepathic" Attention)
सिस्टम का हृदय एक संशोधित सेल्फ-अटेंशन मैकेनिज्म (self-attention mechanism) है। सामान्य सिस्टम में, रोबोट केवल उन वस्तुओं पर ध्यान देता है जिन्हें आपने अतीत में वास्तव में क्लिक किया है। लेकिन SISA-Rec टेलीपैथिक है। इसके पास सिमेंटिक सिमिलरिटी (semantic similarity) का एक मानचित्र है। भले ही आपने पहले कभी "नीला टेडी बियर" नहीं देखा हो, लेकिन अगर आपने अभी-अभी "लाल टेडी बियर" पर क्लिक किया है, तो सिस्टम जानता है कि वे चचेरे भाई हैं क्योंकि उनके विवरण समान हैं। यह इस "सिमेंटिक सिमिलरिटी" को सीधे उस गणित में डाल देता है जो यह तय करता है कि किन चीज़ों पर ध्यान देना है। यह ऐसा है जैसे रोबोट कह रहा हो, "मैंने देखा कि आपको लाल भालू पसंद आया, इसलिए मैं नीले भालू पर विशेष ध्यान दूँगा, भले ही आपने उसे पहले नहीं देखा हो।"

3. "वेटेड मेमोरी" सम (The "Weighted Memory" Sum)
पुराने सिस्टम अक्सर आपकी अगली पसंद का अनुमान लगाने के लिए केवल आपके आखिरी क्लिक को देखते हैं। SISA-Rec एक अटेंशन-आधारित एग्रीगेशन मॉड्यूल (attention-based aggregation module) का उपयोग करता है। कल्पना कीजिए कि आपकी खरीदारी यात्रा की स्मृति केवल वह अंतिम चीज़ नहीं है जो आपने खरीदी है, बल्कि उन सभी चीज़ों का एक वेटेड सम (weighted sum) है जिन्हें आपने देखा है। कुछ आइटम जिन्हें आपने बस संक्षेप में देखा (कम वेट), और कुछ जिन्हें आपने लंबे समय तक घूरकर देखा (उच्च वेट)। यह मॉड्यूल सीखता है कि आपके वर्तमान मूड के लिए प्रत्येक पिछला इंटरैक्शन वास्तव में कितना महत्वपूर्ण है, जिससे आपके बारे में एक बहुत अधिक समृद्ध तस्वीर बनती है।

प्रमाण: क्या यह वास्तव में काम करता है?

लेखकों ने केवल यह सुझाव नहीं दिया कि यह काम कर सकता है; उन्होंने दो बहुत कठिन डेटासेट्स पर इसका कड़ाई से परीक्षण किया: Amazon Beauty और Amazon Toys & Games। ये डेटासेट्स अत्यधिक विरल (sparse) हैं, जिनमें 99.93% की विरलता स्तर है। इसका मतलब है कि स्टोर के लगभग हर आइटम के लिए, लगभग किसी ने भी उसे नहीं खरीदा है, जो मानक रोबोटों के लिए एक दुःस्वप्न जैसा है।

परिणामों को मापा गया और पाया गया कि वे वर्तमान सर्वश्रेष्ठ मॉडलों से काफी बेहतर हैं:

Amazon Beauty डेटासेट पर, SISA-Rec ने HR@10 (एक माप कि कितनी बार सही आइटम शीर्ष 10 अनुमानों में होता है) में 16.6% का सुधार किया और NDCG@10 (यह माप कि सही आइटम को कितनी अच्छी तरह रैंक किया गया है) में शीर्ष प्रतिस्पर्धी BERT4Rec की तुलना में 10.3% का सुधार किया।
Amazon Toys & Games डेटासेट पर, सुधार और भी अधिक तीव्र था: HR@10 पर 23.1% बेहतर और NDCG@10 पर 17.9% बेहतर।

"कोल्ड स्टार्ट" की महाशक्ति

सबसे रोमांचक खोज यह है कि यह सिस्टम कहाँ सबसे अधिक चमकता है। लेखकों ने बहुत कम इंटरैक्शन वाले उपयोगकर्ताओं ("कोल्ड स्टार्ट" समूह) का विश्लेषण किया।

जिन उपयोगकर्ताओं के पास केवल 5 से 7 इंटरैक्शन थे, वहाँ SISA-Rec ने अन्य मॉडलों को पीछे छोड़ दिया। Toys डेटासेट पर, इसने 0.3200 का NDCG@10 प्राप्त किया, जबकि अगला सर्वश्रेष्ठ मॉडल (BERT4Rec) केवल 0.2642 तक पहुँच सका, और ID-केवल मॉडल (SASRec) 0.1676 पर गिर गया।
पेपर सुझाव देता है कि जैसे-जैसे उपयोगकर्ता "वार्मर" (अधिक इंटरैक्शन वाले) होते जाते हैं (15 से अधिक इंटरैक्शन), अंतर कम होता जाता है। एक बार जब आपके पास लंबा इतिहास होता है, तो पुराने ID-आधारित मॉडल मुकाबला कर सकते हैं क्योंकि उनके पास पैटर्न सीखने के लिए पर्याप्त डेटा होता है। लेकिन जब डेटा कम होता है, तो सिमेंटिक "अर्थ" ही एकमात्र चीज़ होती है जो काम आती है।

उन्होंने क्या नहीं किया

यह ध्यान रखना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं करता है। उन्होंने छवियों या वीडियो का उपयोग नहीं किया; वे पूरी तरह से टेक्स्ट (शीर्षक और श्रेणियाँ) तक सीमित रहे। उन्होंने यह दावा नहीं किया कि यह ब्रह्मांड के हर प्रकार के रिकमेंडेशन के लिए काम करता है, बल्कि विशेष रूप से उन 'सीक्वेंशियल रिकमेंडेशन' के लिए जहाँ आपके पास क्लिक का इतिहास है। उन्होंने यह भी नहीं कहा कि यह AI के लिए एक "हल हो चुका प्रश्न" है; उन्होंने केवल यह दिखाया कि यह इन विशिष्ट, डेटा-रहित स्थितियों में बेहतर काम करता है।

संक्षेप में, SISA-Rec साबित करता है कि जब आपके पास पैटर्न सीखने के लिए पर्याप्त डेटा नहीं होता, तो आपको अर्थ से सीखना होता है। रोबोट को यह समझने की शिक्षा देकर कि आइटम वास्तव में क्या हैं, न कि केवल उनके नंबर क्या हैं, यह नए उपयोगकर्ताओं के लिए बहुत स्मार्ट अनुमान लगा सकता है।

तकनीकी सारांश: SISA-Rec

1. समस्या विवरण

वर्तमान ट्रांसफार्मर-आधारित अनुक्रमिक अनुशंसा प्रणाली (sequential recommendation systems), जैसे कि SASRec और BERT4Rec, मुख्य रूप से आइटम आइडेंटिफायर (ID) एम्बेडिंग पर निर्भर करती हैं जो इंटरैक्शन लॉग से सीखी जाती हैं। सघन डेटा वातावरण में प्रभावी होने के बावजूद, ये मॉडल विरल (sparse) और कोल्ड-स्टार्ट परिदृश्यों में संघर्ष करते हैं जहाँ ऐतिहासिक इंटरैक्शन डेटा सीमित होता है। ऐसे सेटिंग्स में, व्यवहार संबंधी संकेत (सह-घटन पैटर्न/co-occurrence patterns) उपयोगकर्ता की प्राथमिकताओं को समझने के लिए अपर्याप्त होते हैं।

सिमेंटिक जानकारी (जैसे, टेक्स्ट विवरण, नॉलेज ग्राफ) को शामिल करने के मौजूदा प्रयास अक्सर सिमेंटिक्स को एक माध्यमिक संकेत के रूप में देखते हैं। ये दृष्टिकोण आमतौर पर सिमेंटिक डेटा को अलग पथों के माध्यम से संसाधित करते हैं या इसे केवल अनुक्रमिक एन्कोडिंग पूर्ण होने के बाद ही फ्यूज करते हैं। परिणामस्वरूप, सिमेंटिक संबंध स्वयं अनुक्रमिक मॉडलिंग (अटेंशन मैकेनिज्म) को प्रभावित नहीं करते हैं, जिससे व्यवहार संबंधी मॉडलिंग और सिमेंटिक ग्राउंडिंग के बीच एक निरंतर अंतराल बना रहता है। यह अलगाव मॉडलों की सामान्यीकरण (generalization) करने की क्षमता को सीमित करता है जब इंटरैक्शन डेटा कम होता है।

2. कार्यप्रणाली

प्रस्तावित फ्रेमवर्क, SISA-Rec (Semantically Integrated Sequential Recommendation), फीचर स्तर पर सिमेंटिक संदर्भ को सीधे अनुक्रमिक मॉडलिंग प्रक्रिया में एकीकृत करके इस अंतर को संबोधित करता है। आर्किटेक्चर के मुख्य घटक निम्नलिखित हैं:

डेटा प्रोसेसिंग और एम्बेडिंग

इनपुट: मॉडल Amazon डेटासेट्स से उपयोगकर्ता इंटरैक्शन सीक्वेंस और आइटम मेटाडेटा (शीर्षक और श्रेणियाँ) का उपयोग करता है।
दोहरी एम्बेडिंग (Dual Embeddings): प्रत्येक आइटम के लिए, दो प्रतिनिधित्व उत्पन्न किए जाते हैं:
1. आइडेंटिफायर-आधारित एम्बेडिंग: आइटम ID से प्राप्त एक सीखने योग्य (learnable) डेंस वेक्टर।
2. सिमेंटिक एम्बेडिंग: आइटम शीर्षक और श्रेणी के संयोजन से प्राप्त एक फ्रोजन (frozen) BERT-आधारित वेक्टर। इसे ID एम्बेडिंग की विमा (dimensionality) से मेल खाने के लिए प्रोजेक्ट किया जाता है।

मुख्य आर्किटेक्चरल नवाचार

गेटेड फ्यूजन मॉड्यूल (Gated Fusion Module):
- पोस्ट-हॉक (post-hoc) तरीके से एम्बेडिंग को जोड़ने या जोड़ने के बजाय, SISA-Rec इनपुट लेयर पर एक गेटेड फ्यूजन तंत्र का उपयोग करता है।
- एक सीखने योग्य गेट वेक्टर $g$ (सिगमॉइड फंक्शन के माध्यम से गणना किया गया) प्रत्येक आयाम के लिए ID एम्बेडिंग बनाम सिमेंटिक एम्बेडिंग के योगदान को अनुकूल रूप से नियंत्रित करता है: $v_i = g \odot e_{id} + (1-g) \odot e_{sem}$ ।
- यह सुनिश्चित करता है कि किसी भी अनुक्रमिक मॉडलिंग से पहले सिमेंटिक जानकारी आइटम के प्रतिनिधित्व को आकार दे।
सिमेंटिक-अवेयर सेल्फ-अटेंशन (Semantic-Aware Self-Attention):
- मानक सेल्फ-अटेंशन मैकेनिज्म को अटेंशन स्कोर गणना में सिमेंटिक समानता को सीधे इंजेक्ट करने के लिए संशोधित किया गया है।
- एक सिमेंटिक सिमिलैरिटी मैट्रिक्स ( $S$ ) को अनुक्रम में आइटम्स के प्रोजेक्टेड BERT एम्बेडिंग्स के बीच कोसाइन सिमिलैरिटी का उपयोग करके प्री-कंप्यूट किया जाता है।
- अटेंशन स्कोर की गणना इस प्रकार की जाती है: $A = \text{softmax}\left(\frac{QK^T}{\sqrt{d}} + \alpha \cdot S\right) \cdot V$ , जहाँ $\alpha$ एक सीखने योग्य स्केलर है।
- यह सिमेंटिक रूप से संबंधित आइटम्स को अटेंशन मैकेनिज्म को प्रभावित करने की अनुमति देता है, भले ही वे उपयोगकर्ता के इतिहास में कभी एक साथ न आए हों।
अटेंशन-आधारित प्रेफरेंस एग्रीगेशन (Attention-Based Preference Aggregation):
- केवल अंतिम हिडन स्टेट (जो छोटे सीक्वेंस में कमजोर हो सकती है) पर निर्भर रहने के बजाय, मॉडल अनुक्रम के सभी पदों का भारित योग (weighted sum) कंप्यूट करने के लिए एक सीखे गए अटेंशन वेक्टर का उपयोग करता है।
- यह एक व्यापक उपयोगकर्ता प्राथमिकता वेक्टर उत्पन्न करता है जो पिछले इंटरैक्शन के बदलते महत्व को ध्यान में रखता है।

प्रशिक्षण उद्देश्य (Training Objective)

मॉडल को तीन पदों वाले एक संयुक्त लॉस फंक्शन का उपयोग करके प्रशिक्षित किया जाता है:

बेयसियन पर्सनलाइज्ड रैंकिंग (BPR) लॉस: अनऑब्जर्व्ड आइटम्स पर ऑब्जर्व्ड आइटम्स की रैंकिंग को ऑप्टिमाइज़ करता है।
कॉन्ट्रास्टिव अलाइनमेंट लॉस (Contrastive Alignment Loss): InfoNCE ऑब्जेक्टिव पर आधारित, यह लॉस व्यवहार संबंधी उपयोगकर्ता प्रतिनिधित्व (अटेंशन एग्रीगेशन से) को सिमेंटिक उपयोगकर्ता प्रतिनिधित्व (BERT एम्बेडिंग्स के औसत पूलिंग से प्राप्त) के साथ संरेखित करता है। यह सुनिश्चित करता है कि उपयोगकर्ता ने क्या किया और उन आइटम्स का अर्थ क्या है, उनके बीच निरंतरता बनी रहे।
$\ell_2$ रेगुलराइजेशन: ओवरफिटिंग को रोकता है।

3. प्रमुख योगदान

पेपर पाँच प्राथमिक योगदानों को रेखांकित करता है:

गेटेड फ्यूजन: एक तंत्र जो इनपुट लेयर पर ID और सिमेंटिक एम्बेडिंग के बीच प्रति-डायमेंशन संतुलन को सीखता है।
संशोधित सेल्फ-अटेंशन: एक अभिनव अटेंशन मैकेनिज्म जो स्कोर गणना में सिमेंटिक सिमिलैरिटी मैट्रिक्स को सीधे शामिल करता है, जिससे सिमेंटिक संबंध अनुक्रम मॉडलिंग को संचालित करते हैं।
अटेंशन-आधारित एग्रीगेशन: एक उपयोगकर्ता प्रतिनिधित्व मॉड्यूल जो सीखे गए भारों के माध्यम से सभी अनुक्रम पदों को एकत्रित करता है, न कि केवल अंतिम स्थिति का उपयोग करता है।
संयुक्त प्रशिक्षण उद्देश्य: एक कंपोजिट लॉस फंक्शन जो व्यवहार संबंधी और सिमेंटिक स्पेस को स्पष्ट रूप से संरेखित करने के लिए BPR और कॉन्ट्रास्टिव अलाइनमेंट को जोड़ता है।
अनुभवजन्य सत्यापन (Empirical Validation): अत्यधिक विरल डेटासेट्स (99.93% स्पर्सिटी) पर उच्च विरल डेटा-स्पार्स और कोल्ड-स्टार्ट सेटिंग्स में बेहतर सामान्यीकरण का प्रदर्शन।

4. प्रयोगात्मक परिणाम

प्रयोग दो अत्यधिक विरल Amazon डेटासेट्स पर किए गए: Amazon Beauty और Amazon Toys & Games (दोनों में ~99.93% स्पर्सिटी है)।

कुल प्रदर्शन: SISA-Rec ने सभी मेट्रिक्स (HR@K और NDCG@K) में अत्याधुनिक बेसलाइन्स (BERT4Rec, SASRec, DuoRec, और PopRec सहित) को पछाड़ दिया।
- Amazon Beauty पर, SISA-Rec ने BERT4Rec की तुलना में HR@10 में 16.6% और NDCG@10 में 10.3% का सुधार किया।
- Amazon Toys & Games पर, सुधार और भी अधिक स्पष्ट थे: BERT4Rec की तुलना में HR@10 में 23.1% और NDCG@10 में 17.9% की वृद्धि हुई।
कोल्ड-स्टार्ट विश्लेषण: मॉडल ने सीमित इंटरैक्शन इतिहास वाले उपयोगकर्ताओं (कोल्ड ग्रुप: 5–7 इंटरैक्शन) के लिए सबसे महत्वपूर्ण लाभ प्रदर्शित किया।
- Amazon Toys & Games के कोल्ड-स्टार्ट समूह के लिए, SISA-Rec ने 0.3200 का NDCG@10 प्राप्त किया, जो BERT4Rec (0.2642) और SASRec (0.1676) से काफी बेहतर था।
- "वार्म" उपयोगकर्ताओं (15+ इंटरैक्शन) के लिए प्रदर्शन का अंतर कम हो गया, जो इंगित करता है कि सिमेंटिक एकीकरण तब सबसे महत्वपूर्ण होता है जब व्यवहार संबंधी संकेत कमजोर होते हैं।

5. महत्व और दावे

पेपर का दावा है कि मौजूदा फ्रेमवर्क में व्यवहार संबंधी मॉडलिंग और सिमेंटिक ग्राउंडिंग के बीच का निरंतर अलगाव, विशेष रूप से विरल वातावरण में, प्रदर्शन की एक सीमा (ceiling) निर्धारित करता है। SISA-Rec प्रदर्शित करता है कि सिमेंटिक जानकारी को सीधे अटेंशन मैकेनिज्म में एकीकृत करना—इसे केवल एक पोस्ट-प्रोसेसिंग स्टेप के रूप में मानने के बजाय—अधिक सटीक और विश्वसनीय अनुशंसाओं की ओर ले जाता है।

लेखक इस बात पर जोर देते हैं कि सिमेंटिक जानकारी का मूल्य तब सबसे अधिक स्पष्ट होता है जब उपयोगकर्ता व्यवहार डेटा कम होता है। अनुक्रमिक मॉडलिंग प्रक्रिया को स्वयं प्रभावित करने के लिए सिमेंटिक संबंधों की अनुमति देकर, यह फ्रेमवर्क कोल्ड-स्टार्ट परिदृश्यों के लिए एक मजबूत समाधान प्रदान करता है जहाँ पारंपरिक सह-घटन पैटर्न विफल हो जाते हैं। परिणाम बताते हैं कि भविष्य की अनुक्रमिक अनुशंसा प्रणालियों को सिमेंटिक्स को केवल एक सहायक संकेत के रूप में देखने के बजाय, उन्हें कोर आर्किटेक्चर के भीतर गहराई से समाहित करना चाहिए।