Learning Decomposed Contextual Token Representations from Pretrained and Collaborative Signals for Generative Recommendation
यह शोध पत्र DECOR का प्रस्ताव करता है, जो एक एकीकृत ढांचा है जो जेनरेटिव रिकमेंडर्स में सिमेंटिक टोकनाइजेशन और उपयोगकर्ता इंटरेक्शन मॉडलिंग के बीच उद्देश्य संबंधी मिसअलाइनमेंट को संबोधित करता है, जो कि पूर्व-प्रशिक्षित सिमेंटिक्स को संरक्षित करते हुए कोलैबोरेटिव सिग्नल्स के अनुकूल होने वाले डीकंपोज्ड कॉन्टेक्स्टुअल टोकन रिप्रेजेंटेशन्स को सीखकर किया जाता है, जिससे यह स्टेट-ऑफ-द-आर्ट बेसलाइन्स से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट (एक लार्ज लैंग्वेज मॉडल) को एक ग्राहक के लिए एकदम सही वस्तु, जैसे कि हेडफ़ोन की जोड़ी, सुझाना सिखाने की कोशिश कर रहे हैं। ऐसा करने के लिए, रोबोट को इन वस्तुओं के बारे में "बोलने" का एक तरीका चाहिए होगा।
पुराना तरीका: कठोर शब्दकोश (The Rigid Dictionary)
वर्तमान में, अधिकांश प्रणालियाँ दो-चरणीय प्रक्रिया का उपयोग करती हैं जो कुछ हद तक उस शब्दकोश का उपयोग करने जैसा है जिसे एक ऐसे लाइब्रेरियन ने लिखा है जिसने कभी हेडफ़ोन की खरीदारी नहीं की है।
- चरण 1 (शब्दकोश): पहले, एक सिस्टम वस्तु के विवरण (जैसे, "नींद के लिए नॉइज़-कैंसलिंग हेडफ़ोन") को देखता है और उसे एक निश्चित कोड असाइन करता है, जैसे कि एक गुप्त आईडी नंबर। मान लीजिए कि यह कोड
[A_3, B_4, C_5, D_95]है। यह कोड एक बार बनाया जाता है और कभी बदलता नहीं है। - चरण 2 (खरीददार): फिर, रोबोट उन निश्चित कोडों का उपयोग करके उपयोगकर्ता द्वारा पहले क्लिक किए गए आइटम के आधार पर अगले आइटम की भविष्यवाणी करना सीखता है।
समस्या: इस दृष्टिकोण में दो प्रमुख खामियां हैं, जिन्हें पेपर "सबऑप्टिमल स्टैटिक टोकेनाइजेशन" (Suboptimal Static Tokenization) और "डिस्कारडेड प्रीट्रेनड सिमेंटिक्स" (Discarded Pretrained Semantics) कहता है।
- "एक ही आकार सबके लिए" वाला जाल (The "One-Size-Fits-All" Trap): कल्पना करें कि तीन अलग-अलग हेडफ़ोन हैं: एक ऑफिस के लिए, एक जिम के लिए, और एक सोने के लिए। वे सुनने में समान लगते हैं, इसलिए शब्दकोश उन्हें बिल्कुल एक ही पहले तीन कोड देता है:
[A_3, B_4, C_5]। रोबोट इन्हें देखता है और सोचता है, "ओह, ये सभी एक जैसे हैं!" उसे यह नहीं पता चलता कि उपयोगकर्ता सोना चाहता है या दौड़ना, जब तक कि वह बिल्कुल आखिरी अंक तक न देख ले। यह रोबोट को भ्रमित करता है और इसे समझने में धीमा बनाता है कि उपयोगकर्ता वास्तव में क्या चाहता है। - "ज्ञान की बर्बादी" वाला जाल (The "Wasted Knowledge" Trap): शब्दकोश का निर्माण भारी मात्रा में सामान्य ज्ञान (जैसे, यह जानना कि "Apple" एक फल या एक टेक ब्रांड हो सकता है) का उपयोग करके किया गया था। लेकिन एक बार जब रोबोट उपयोगकर्ता के क्लिक से सीखना शुरू करता है, तो वह अक्सर इस सामान्य ज्ञान को भूल जाता है। वह कोड
[A_3]को केवल एक यादृच्छिक प्रतीक के रूप में मानता है, जिससे उसका मूल अर्थ नष्ट हो जाता है।
नया समाधान: DECOR
लेखकों ने DECOR (डीकंपोज्ड कॉन्टेक्स्टुअल टोकन रिप्रेजेंटेशन्स) नामक एक नया फ्रेमवर्क प्रस्तावित किया है। DECOR को एक कठोर शब्दकोश के बजाय रोबोट को एक स्मार्ट, अनुकूलन योग्य अनुवादक देने के रूप में समझें।
DECOR दो मुख्य तरकीबों के साथ इन समस्याओं को ठीक करता है:
1. "कॉन्टेक्स्टुअल ट्रांसलेटर" (Contextualized Token Composition)
आइटम कोड [A_3, B_4, C_5] को एक निश्चित, अपरिवर्तनीय लेबल के रूप में मानने के बजाय, DECOR रोबोट को वर्तमान स्थिति के आधार पर उस कोड की पुनर्व्याख्या करने की अनुमति देता है।
- उपमा: कल्पना कीजिए कि आप शब्द "Bank" सुनते हैं। यदि आप मछली पकड़ने के बारे में बात कर रहे हैं, तो "Bank" का अर्थ नदी का किनारा है। यदि आप पैसे के बारेв विषय में बात कर रहे हैं, तो इसका अर्थ एक वित्तीय संस्थान है।
- यह कैसे काम करता है: पुराने सिस्टम में, "Bank" का अर्थ हमेशा एक ही रहता था। DECOR में, यदि उपयोगकर्ता अभी मछली पकड़ने के सामान को देख रहा था, तो रोबोट "Bank" के कोड को देखता है और कहता है, "आह, इस संदर्भ में, इस कोड का अर्थ 'नदी का किनारा' है।" यदि उपयोगकर्ता क्रेडिट कार्ड देख रहा था, तो वह कहता है, "इस संदर्भ में, इस कोड का अर्थ 'पैसा' है।"
- परिणाम: रोबोट तुरंत आइटम के पीछे के इरादे को समझ सकता है, भले ही आइटम का कोड अन्य वस्तुओं के समान ही क्यों न दिखता हो। यह पेपर के चित्र 1 में दिखाए गए "प्रिफिक्स एम्बिग्युटी" (prefix ambiguity) को समाप्त कर देता है।
2. "ड्यूल-इंजन मेमोरी" (Decomposed Embedding Fusion)
DECOR को एहसास हुआ कि रोबोट को केवल एक नहीं, बल्कि दो प्रकार की मेमोरी के मिलकर काम करने की आवश्यकता है।
- इंजन A (फ्रोजन नॉलेज): यह शब्दकोश का मूल, समृद्ध ज्ञान है (जैसे, यह जानना कि "Apple" एक फल है)। DECOR इस हिस्से को फ्रोजन (जमा हुआ) रखता है ताकि इसे कभी भी ओवरराइट या भुलाया न जा सके।
- इंजन B (लर्नड बिहेवियर): यह वह नया ज्ञान है जो रोबोट उपयोगकर्ता के क्लिक से सीखता है (जैसे, "लोग जो लैपटॉप खरीदते हैं, वे अक्सर माउस भी खरीदते हैं")।
- फ्यूजन (विलय): DECOR एक स्मार्ट मिक्सर की तरह काम करता है। यह फ्रोजन ज्ञान (इंजन A) और नए व्यवहार पैटर्न (इंजन B) को लेता है और उन्हें पूरी तरह से मिला देता है। इस तरह, रोबोट अपनी सामान्य बुद्धिमत्ता को कभी नहीं खोता है जबकि वह विशिष्ट उपयोगकर्ता आदतों को भी सीखता रहता है।
यह क्यों महत्वपूर्ण है?
पेपर ने तीन वास्तविक दुनिया के डेटासेट्स (वैज्ञानिक शोध पत्र, संगीत वाद्ययंत्र, और वीडियो गेम) पर इसका परीक्षण किया।
- बेहतर सटीकता: DECOR ने लगातार सर्वश्रेष्ठ मौजूदा तरीकों को पछाड़ दिया। उदाहरण के लिए, "म्यूजिकल इंस्ट्रूमेंट्स" श्रेणी में, जहाँ वस्तुओं के बहुत विशिष्ट तकनीकी नाम होते हैं, DECOR ने अगली सबसे अच्छी विधि की तुलना में सटीकता में 5% से अधिक सुधार किया।
- तेजी से सीखना: क्योंकि DECOR को लगातार शब्दकोश को फिर से लिखने की आवश्यकता नहीं होती है (जिसके कारण अन्य विधियों में अस्थिरता आती है), यह तेजी से सीखता है। इसने एक प्रतिस्पर्धी विधि की तुलना में 23 प्रशिक्षण सत्रों (epochs) में अपना शिखर प्रदर्शन प्राप्त कर लिया, जो सब कुछ एक साथ करने की कोशिश कर रही थी।
- दक्षता: यह अनुशंसा प्रक्रिया में लगभग कोई देरी नहीं जोड़ता है (1 मिलीसेकंड से कम), जिससे यह वास्तविक समय के उपयोग के लिए पर्याप्त तेज़ हो जाता है।
सारांश
सरल शब्दों में, पिछली प्रणालियाँ एक ऐसे लाइब्रेरियन की तरह थीं जो हर किताब को एक स्थिर, भ्रमित करने वाला लेबल देती थी और फिर किताब के अंदर की कहानी को भूल जाती थी। DECOR एक ऐसे लाइब्रेरियन की तरह है जो मूल कहानी को बरकरार रखता है लेकिन सामने खड़े विशिष्ट पाठक के लिए लेबल को तुरंत इस तरह समझा सकता है जो समझ में आए। यह सटीक सिफारिशें करने के लिए गहरे, पूर्व-मौजूद ज्ञान को वास्तविक समय के उपयोगकर्ता व्यवहार के साथ जोड़ता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।