🤖 AI

Understanding Generative Recommendation with Semantic IDs from a Model-scaling View

यह शोध पत्र सिमेंटिक आईडी (semantic ID) की सीमित क्षमता को SID-आधारित जनरेटिव रिकमेंडेशन मॉडल्स के स्केलिंग में एक मौलिक बाधा के रूप में पहचानता है और यह प्रदर्शित करता है कि रिकमेंडर के रूप में लार्ज लैंग्वेज मॉडल्स का सीधे उपयोग करना बेहतर स्केलिंग गुण और प्रदर्शन सुधार प्रदान करता है।

मूल लेखक: Jingzhe Liu, Liam Collins, Jiliang Tang, Tong Zhao, Neil Shah, Clark Mingxuan Ju

प्रकाशित 2026-06-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jingzhe Liu, Liam Collins, Jiliang Tang, Tong Zhao, Neil Shah, Clark Mingxuan Ju

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को एक बेहतरीन शॉपिंग असिस्टेंट बनने के लिए सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि वह यह देखे कि आपने पहले क्या खरीदा है और अनुमान लगाए कि आप आगे क्या खरीदेंगे। यह पेपर इस बारे में है कि दो अलग-अलग तरीकों से इस रोबोट को कैसे सिखाया जा सकता है, और जैसे-जैसे आप इसे अधिक "दिमागी शक्ति" (कंप्यूटिंग संसाधन) देते हैं, यह कितनी अच्छी तरह से बेहतर होता है।

शोधकर्ताओं ने पाया कि एक लोकप्रिय तरीका बहुत जल्दी एक "कांच की छत" (ग्लास सीलिंग) से टकरा जाता है, जबकि दूसरा तरीका बेहतर होता जाता है जैसे-जैसे आप इसे अधिक जानकारी खिलाते हैं।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

दो शिक्षक: "आईडी कार्ड" बनाम "कहानी सुनाने वाला"

यह पेपर रोबोट को उत्पादों (जैसे एक किताब, एक खिलौना, या जूतों की एक जोड़ी) के बारे में सीखने के दो तरीकों की तुलना करता है।

1. "आईडी कार्ड" विधि (SID-आधारित GR)

यह कैसे काम करता है: कल्पना कीजिए कि आपके पास लाखों किताबों का एक पुस्तकालय है। किताबों के शीर्षक या सारांश पढ़ने के बजाय, आप रोबोट को मजबूर करते हैं कि वह केवल प्रत्येक पुस्तक के लिए एक छोटा, 4-अंकों वाला आईडी नंबर (जैसे, "बुक #4921") सीखे।
प्रक्रिया: पहले, एक स्मार्ट शिक्षक (एक लार्ज लैंग्वेज मॉडल) किताब पढ़ता है और एक गुप्त कोड (ID) लिखता है। फिर, रोबोट आपके इतिहास के आधार पर अगले आईडी नंबर का अनुमान लगाने की कोशिश करता है।
समस्या: पेपर इसे सेमेंटिक आईडी (SID) दृष्टिकोण कहता है। शोधकर्ताओं ने पाया कि चाहे आप "स्मार्ट शिक्षक" या "आईडी जनरेटर" को कितना भी अपग्रेड करें, रोबोट एक दीवार से टकरा जाता है। यह एक जटिल फिल्म को केवल एक संख्या के माध्यम से समझाने की कोशिश करने जैसा है। आप सभी विवरण खो देते हैं। भले ही आप रोबोट का दिमाग 100 गुना बड़ा कर दें, वह अधिक नहीं सीख सकता क्योंकि "आईडी कार्ड" इतनी सारी जानकारी रखने के लिए बहुत सरल हैं।

2. "कहानी सुनाने वाला" विधि (टेक्स्ट-आधारित GR)

यह कैसे काम करता है: गुप्त कोडों का उपयोग करने के बजाय, आप रोबोट को वास्तविक शीर्षकों और विवरणों को पढ़ने देते हैं।
प्रक्रिया: आप कहते हैं, "आपने हैरी पॉटर खरीदा, फिर द हॉबिट..." और रोबोट भविष्यवाणी करता है, "आप द लॉर्ड ऑफ द रिंग्स खरीदेंगे।" यह सीधे शब्दों को पढ़ता है।
परिणाम: यह तरीका ऐसा है जैसे आप रोबोट को एक लाइब्रेरी कार्ड देना और उसे किताबें पढ़ने देना। जैसे-जैसे आप रोबोट को एक बड़ा दिमाग (अधिक कंप्यूटिंग पावर) देते हैं, यह कहानी को समझने और यह अनुमान लगाने में काफी बेहतर होता जाता है कि आप आगे क्या चाहेंगे। यह दीवार से नहीं टकराता; यह लगातार बेहतर होता रहता है।

बड़ी खोज: "बॉटलनेक" (अवरोध)

शोधकर्ताओं ने 44 मिलियन "न्यूरॉन्स" से लेकर 14 बिलियन "न्यूरॉन्स" तक के रोबोटों के साथ इन तरीकों का परीक्षण किया।

आईडी कार्ड रोबोट: जब उन्होंने रोबोट को बड़ा बनाया, तो यह शुरू में थोड़ा बेहतर हुआ, लेकिन फिर इसने सुधार करना बंद कर दिया। यह एक आग की बौछार (firehose) से कप भरने की कोशिश करने जैसा था; कप (आईडी सिस्टम) सारी जानकारी (ज्ञान) को रखने के लिए बहुत छोटा था। "आईडी कार्ड" स्वयं ही बॉटलनैक थे। वे सारी गहरी जानकारी ले जाने के लिए बहुत सरल थे।
कहानी सुनाने वाला रोबोट: जब उन्होंने इस रोबोट को बड़ा बनाया, तो यह लगातार स्मार्ट होता गया। इसने न केवल लोगों के खरीदने के पैटर्न (कोलेबोरेटिव फ़िल्टरिंग) को सीखा, बल्कि वस्तुओं के वास्तविक अर्थ (सेमेंटिक जानकारी) को भी समझा।

एक आम धारणा को चुनौती देना

टेक जगत में एक लोकप्रिय धारणा थी कि "बड़े भाषा वाले रोबोट खरीदारी की आदतों को समझने में खराब होते हैं।" लोगों का मानना था कि वे भाषा पर बहुत अधिक केंद्रित हैं और खरीदारी के गणित (जैसे, "जिन लोगों ने X खरीदा, उन्होंने Y भी खरीदा") को नहीं सीख सकते।

यह पेपर इसे गलत साबित करता है। उन्होंने दिखाया कि जैसे-जैसे "कहानी सुनाने वाला" रोबोट बड़ा होता है, वह वास्तव में उन खरीदारी की आदतों को सीखने में बेहतर होता जाता है। इसे सीखने के लिए इसे किसी अलग, विशेष गणित मॉड्यूल की आवश्यकता नहीं है; बड़ा दिमाग इसे स्वाभाविक रूप से सीख लेता है।

ट्रेड-ऑफ: गति बनाम शक्ति

पेपर ने इन रोबोटों को चलाने की लागत पर भी नज़र डाली:

आईडी कार्ड रोबोट: यह चलाने में बहुत तेज़ और सस्ता है। इसे केवल कुछ नंबरों का अनुमान लगाना होता है। यदि आपके पास कम बजट है या आपको तुरंत उत्तर चाहिए, तो यह विजेता है।
कहानी सुनाने वाला रोबोट: यह धीमा और अधिक महंगा है क्योंकि इसे पूरे वाक्य पढ़ने और लिखने होते हैं। हालाँकि, यदि आपके पास बजट है और आप सर्वश्रेष्ठ प्रदर्शन चाहते हैं, तो यह स्पष्ट विजेता है। स्केल करने पर यह आईडी विधि की तुलना में 20% अधिक सटीक हो सकता है।

निचोड़

यदि आप अगली पीढ़ी के रिकमेंडेशन सिस्टम (जैसे अमेज़न या टिकटॉक के लिए) बनाना चाहते हैं, तो पेपर सुझाव देता है कि कच्चा टेक्स्ट (द स्टोरीटेलर) उपयोग करना उन "फाउंडेशन मॉडल्स" के निर्माण का मार्ग है जो लगातार स्मार्ट होते जाते हैं।

"आईडी कार्ड" विधि एक सीमा तक पहुँच रही है क्योंकि यह बहुत सारी जानकारी को फेंक देती है। विशाल AI मॉडल्स का अधिकतम लाभ उठाने के लिए, हमें उन्हें वास्तविक शब्दों को पढ़ने देना होगा, न कि केवल गुप्त कोडों को देखना होगा।

तकनीकी सारांश: मॉडल-स्केलिंग के दृष्टिकोण से सिमेंटिक आईडी (Semantic IDs) के साथ जनरेटिव रिकमेंडेशन को समझना

समस्या विवरण

जनरेटिव रिकमेंडेशन (GR), एक परिवर्तनकारी प्रतिमान (paradigm) के रूप में उभरा है, जिसका लक्ष्य समृद्ध आइटम सेमेंटिक्स (item semantics) को कोलैबोरेटिव फ़िल्टरिंग (CF) संकेतों के साथ एकीकृत करना है। एक प्रमुख दृष्टिकोण, SID-आधारित GR, सिमेंटिक आईडी (SIDs) का उपयोग करता है—जो कि मोडैलिटी एनकोडर एम्बेडिंग्स (जैसे LLMs या VLMs) से क्वांटाइज किए गए डिस्क्रीट कोड हैं—ताकि एक ऑटो-रिग्रेसिव सीक्वेंस मॉडलिंग सेटअप में आइटम्स का प्रतिनिधित्व किया जा सके। अन्य डोमेन के जनरेटिव मॉडल्स में स्थापित स्केलिंग लॉज़ (जहाँ मॉडल के आकार के साथ प्रदर्शन अनुमानित रूप से सुधरता है) के विपरीत, यह शोध पत्र जांच करता है कि क्या SID-आधारित GR भी समान रुझानों का पालन करता है। लेखक एक महत्वपूर्ण अंतर की पहचान करते हैं: यह स्पष्ट नहीं है कि SID-आधारित GR के घटकों (मोडैलिटी एनकोडर, क्वांटाइजेशन टोकेनाइज़र, और रिकमेंडर बैकबोन) को स्केल करने से आनुपातिक प्रदर्शन लाभ मिलता है, या क्या ऐसे मौलिक बॉटलनेक (bottlenecks) मौजूद हैं जो प्रभावी स्केलिंग को रोकते हैं।

कार्यप्रणाली (Methodology)

लेखक दो अलग-अलग GR प्रतिमानों: SID-आधारित GR और Text-आधारित GR के माध्यम से मॉडल स्केलिंग व्यवहार का व्यापक अनुभवजन्य विश्लेषण करते हैं।

1. सैद्धांतिक ढांचा (Theoretical Framework)

अध्ययन रिस्क डिकंपोजिशन (risk decomposition) के आधार पर GR के लिए एक स्केलिंग लॉ समीकरण तैयार करता है, जिसमें कोलैबोरेटिव फ़िल्टरिंग (CF) और सिमेंटिक इंफॉर्मेशन (SI) को अलग-अलग मोडैलिटीज के रूप में माना गया है। कुल त्रुटि ( $L$ ) को SI लर्निंग ( $N_{SI}$ ) और CF लर्निंग ( $N_{CF}$ ) के लिए आवंटित पैरामीटर्स के फलन (function) के रूप में मॉडल किया गया है:
$L(N_{SI}, N_{CF}) = E + \frac{A}{N_{SI}^a} + \frac{B}{N_{CF}^b}$
जहाँ $E$ न्यूनतम प्राप्त करने योग्य त्रुटि है, और $A, B, a, b$ अनुभवजन्य रूप से निर्धारित पैरामीटर हैं। उपयोग किया गया मेट्रिक मिस रेट ($MR@k = 1 - Recall@k$) है।

2. प्रयोगात्मक सेटअप (Experimental Setup)

डेटासेट्स: Amazon Review डेटासेट्स (Beauty, Sports and Outdoors, Toys and Games)। मॉडल स्केलिंग के प्रभाव को अलग करने के लिए ट्रेनिंग और इवैल्यूएशन डेटा की मात्रा को स्थिर रखा गया है।
SID-आधारित GR: यह एक तीन-घटक पाइपलाइन का उपयोग करता है:
1. मोडैलिटी एनकोडर: एक फ्रोजन LLM (जैसे Flan-T5 सीरीज़) आइटम टेक्स्ट को एम्बेडिंग्स में एनकोड करता है।
2. क्वांटाइजेशन टोकेनाइज़र: एक RQ-VAE एम्बेडिंग्स को डिस्क्रीट SIDs में क्वांटाइज करता है।
3. रिकमेंडर (RS): एक सीक्वेंशियल मॉडल (Transformer या LLM) अगले SID की भविष्यवाणी करता है।
- स्केलिंग वेरिएबल्स: लेखक स्वतंत्र रूप से RS का आकार ( $N_{RS}$ ), LLM एनकोडर का आकार ( $N_{LLM}$ ), और टोकेनाइज़र कॉन्फ़िगरेशन (कोडबुक की संख्या और आकार, $N_{QT}$ ) को स्केल करते हैं।
Text-आधारित GR: एक ऐसा प्रतिमान जहाँ LLM सीधे यूजर इंटरेक्शन हिस्ट्री वाले रॉ टेक्स्ट प्रॉम्प्ट्स को प्रोसेस करता है और अगले आइटम के टेक्स्ट टाइटल की भविष्यवाणी करता है।
- स्केलिंग वेरिएबल्स: लेखक फ्रोजन LLM बैकबोन ( $N_{LLM}$ ) और ट्रेन करने योग्य LoRA वेट्स ( $N_{LoRA}$ ) को स्केल करते हैं।
एब्लेशन स्टडीज (Ablation Studies): बॉटलनेक्स की पहचान करने के लिए, लेखक बाहरी CF एम्बेडिंग्स (SASRec से) और रॉ LLM एम्बेडिंग्स को सीधे RS मॉड्यूल में इंजेक्ट करते हैं ताकि यह परीक्षण किया जा सके कि क्या SID बॉटलनेक ही सीमित कारक है।

मुख्य योगदान और निष्कर्ष

1. SID-आधारित GR गंभीर स्केलिंग बॉटलनेक प्रदर्शित करता है

अध्ययन प्रकट करता है कि SID-आधारित GR मानक स्केलिंग लॉ का पालन नहीं करता है।

रिकमेंडर स्केलिंग ( $N_{RS}$ ): प्रदर्शन तेजी से संतृप्त (saturate) हो जाता है। Transformer-आधारित RS के लिए, लाभ $\sim 10^7$ से अधिक पैरामीटर्स होने पर रुक जाता है। LLM-आधारित RS केवल मामूली लाभ दिखाता है और Transformers से कम प्रदर्शन करता है।
एनकोडर स्केलिंग ( $N_{LLM}$ ): फ्रोजन LLM एनकोडर के आकार को बढ़ाने (77M से 11B पैरामीटर्स तक) से नगण्य या कोई प्रदर्शन सुधार नहीं होता है। छोटे एनकोडर्स द्वारा उत्पन्न SIDs की गुणवत्ता पर्याप्त प्रतीत होती है, और बड़े एनकोडर्स अधिक सूचनात्मक SIDs नहीं बनाते हैं।
टोकेनाइज़र स्केलिंग ( $N_{QT}$ ): क्वांटाइजेशन टोकेनाइज़र को बड़ा करने (कोडबुक काउंट या आकार बढ़ाने) से प्रदर्शन में गिरावट या ठहराव आता है। लंबे SIDs की बढ़ी हुई जटिलता सूचना घनत्व (information density) के किसी भी मामूली लाभ की तुलना में अधिक भारी पड़ती है।
मूल कारण: रॉ LLM एम्बेडिंग्स को सीधे RS मॉड्यूल में इंजेक्ट करने वाली एक एब्लेशन स्टडी (SIDs को बायपास करते हुए) ने पर्याप्त प्रदर्शन सुधार दिखाया, विशेष रूप से बड़े मॉडल्स के लिए। यह पुष्टि करता है कि डिस्क्रीट क्वांटाइजेशन प्रक्रिया (SIDs) ही मौलिक बॉटलनेक है, जो सिमेंटिक जानकारी को हटा देती है जिससे डाउनस्ट्रीम मॉडल एनकोडर की पूरी क्षमता का लाभ उठाने में असमर्थ रहता है।

2. Text-आधारित GR बेहतर स्केलिंग गुण प्रदर्शित करता है

SID-आधारित GR के विपरीत, Text-आधारित GR प्रतिमान निरंतर स्केलिंग व्यवहार प्रदर्शित करता है।

निरंतर सुधार: जैसे-जैसे मॉडल का आकार 44M से 14B पैरामीटर्स तक बढ़ता है, प्रदर्शन (Recall@5) बिना किसी संतृप्ति के संकेतों के लगातार सुधरता है।
दोहरी क्षमता: यह अध्ययन इस प्रचलित धारणा को चुनौती देता है कि LLMs को CF सिग्नल कैप्चर करने में संघर्ष होता है। स्केलिंग समीकरण को फिट करके, लेखक दिखाते हैं कि ट्रेन करने योग्य LoRA वेट्स और फ्रोजन LLM बैकबोन दोनों ही सिमेंटिक इंफॉर्मेशन ( $\gamma > 0$ ) और कोलैबोरेटिव फ़िल्टरिंग सिग्नल ( $\beta > 0$ ) दोनों को सीखने में योगदान देते हैं।
प्रदर्शन अंतराल: Text-आधारित GR, समान ट्रेनिंग डेटा का उपयोग करते हुए, SID-आधारित GR के सर्वश्रेष्ठ संभव प्रदर्शन से 20% तक अधिक सुधार प्राप्त करता है।

3. दक्षता और कोल्ड-स्टार्ट विश्लेषण

दक्षता: इन्फरेंस के दौरान Text-आधारित GR की तुलना में SID-आधारित GR अधिक कम्प्यूटेशनल रूप से कुशल है (पूरे टेक्स्ट टाइटल के बजाय छोटी ID सीक्वेंस जेनरेट करना) और ट्रेनिंग के दौरान तेजी से कन्वर्ज होता है। जब कंप्यूटेशनल बजट अनुमति दे और प्रदर्शन प्राथमिक उद्देश्य हो, तो Text-आधारित GR बेहतर है।
कोल्ड-स्टार्ट: Text-आधारित GR कोल्ड-स्टार्ट आइटम्स (जो ट्रेनिंग में नहीं देखे गए) पर भी SID-आधारित GR से लगातार बेहतर प्रदर्शन करता है, जो डिस्क्रीट आईडी के बजाय सीधे सिमेंटिक टेक्स्ट पर अपनी निर्भरता के कारण नए आइटम्स के लिए बेहतर ट्रांसफरेबिलिटी प्रदर्शित करता है।

महत्व और दावे

यह शोध पत्र Text-आधारित GR को रिकमेंडेशन के लिए फाउंडेशन मॉडल्स बनाने की दिशा में एक आशाजनक पथ के रूप में स्थापित करता है, और तर्क देता है कि सिमेंटिक आईडी (SIDs) पर वर्तमान निर्भरता मॉडल स्केलिंग पर आंतरिक सीमाएं लगाती है।

प्रतिमानों का पुनर्मूल्यांकन: यह कार्य सुझाव देता है कि SIDs के माध्यम से सेमेंटिक्स और CF का "एकीकरण" उप-इष्टतम (suboptimal) हो सकता है। इसके बजाय, टेक्स्ट-आधारित जनरेशन के माध्यम से LLMs की सिमेंटिक समृद्धि का सीधा लाभ उठाना बेहतर स्केलिंग लॉ की अनुमति देता है।
LLM क्षमताएं: यह प्रमाण देता है कि LLMs स्केल होने पर प्रभावी रूप से कोलैबोरेटिव फ़िल्टरिंग सिग्नल को मॉडल कर सकते हैं, जो इस धारणा का खंडन करता है कि वे विशुद्ध रूप से सिमेंटिक मॉडल हैं।
मामूली दावे: लेखक स्पष्ट करते हैं कि यह अध्ययन यह दावा नहीं करता है कि Text-आधारित GR सभी संदर्भों में सार्वभौमिक रूप से श्रेष्ठ है (उदाहरण के लिए, संसाधन-बाधित वातावरण में जहाँ SID-आधारित GR की दक्षता महत्वपूर्ण है)। बल्कि, इसका लक्ष्य भविष्य के रिकमेंडेशन फाउंडेशन मॉडल्स के विकास को निर्देशित करने के लिए वर्तमान प्रतिमानों की स्केलिंग सीमाओं की सूक्ष्म समझ प्रदान करना है।

अध्ययन यह निष्कर्ष निकालता है कि SID क्वांटाइजेशन में निहित सिमेंटिक सूचना के नुकसान को दूर करना जनरेटिव रिकमेंडेशन में LLMs की पूर्ण क्षमता को अनलॉक करने के लिए महत्वपूर्ण है।