DiffGRM: Diffusion-based Generative Recommendation Model
यह शोध पत्र DiffGRM प्रस्तुत करता है, जो एक डिफ्यूजन-आधारित जनरेटिव रिकमेंडेशन मॉडल है जो विशेष टोकनाइज़ेशन, प्रशिक्षण और अनुमान रणनीतियों के साथ एक मास्क्ड डिस्क्रीट डिफ्यूजन फ्रेमवर्क का उपयोग करके ऑटोरेग्रेसिव विधियों की सीमाओं को दूर करता है ताकि बेहतर अनुशंसा सटीकता के लिए द्विदिश संदर्भ (bidirectional context) और संतुलित पर्यवेक्षण सक्षम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अनंत पुस्तकालय में टहल रहे हैं जहाँ हर एक किताब के शीर्षक के बजाय एक गुप्त कोड है। अगली किताब जिसे आप पसंद करेंगे उसे खोजने के लिए, एक कंप्यूटर को एक बार में एक अंक करके इस कोड का अनुमान लगाना होगा। यह जेनरेटिव रिकमेंडेशन (Generative Recommendation) की दुनिया है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जो यह अनुमान लगाने की कोशिश करती है कि आप आगे क्या देखना चाहते हैं—चाहे वह कोई वीडियो हो, गाना हो, या कोई उत्पाद—उस आइटम के गुप्त कोड को शुरुआत से ही "लिखकर"।
लंबे समय तक, ये कंप्यूटर एक सख्त शिक्षक की तरह काम करते थे जो कहानी को बाएं से दाएं पढ़ते हुए ज़ोर से बोलता है। वे कोड के पहले नंबर का अनुमान लगाते, फिर दूसरे का, फिर तीसरे का, कभी पीछे मुड़कर नहीं देखते। लेकिन इस तरीके में एक खामी है: यह कोड के हर हिस्से को ऐसे मानता है जैसे कि वह समान रूप से महत्वपूर्ण और अनुमान लगाने में समान रूप से कठिन हो। वास्तव में, कोड के कुछ हिस्से आसान सुराग होते हैं (जैसे "यह एक जूता है"), जबकि अन्य पेचीदा विवरण होते हैं (जैसे "यह एक बाएं पैर का साइज 9 का जूता है")। पुराना तरीका अक्सर कठिन हिस्सों पर अटक जाता था क्योंकि वह आगे देख नहीं सकता था या अपने काम की जाँच नहीं कर सकता था, और इसने आसान हिस्सों का अत्यधिक अभ्यास करने में समय बर्बाद किया। शोधकर्ता खुद से यह सवाल पूछ रहे थे: क्या हम एक स्मार्ट सिस्टम बना सकते हैं जो एक साथ पूरी तस्वीर देखे, यह समझे कि कौन से हिस्से पेचीदा हैं, और खाली जगहों को अधिक कुशलता से भरे?
यहाँ DiffGRM आता है, जो कुआईशौ (Kuaishou) के शोधकर्ताओं का एक नया दृष्टिकोण है जो पुराने "बाएं-से-दाएं" पढ़ने के तरीके को बदलकर कुछ ऐसा बनाता है जो एक साथ रहस्य सुलझाने वाले जासूसों के समूह जैसा है। एक-एक करके नंबर का अनुमान लगाने के बजाय, DiffGRM डिस्क्रीट डिफ्यूजन (discrete diffusion) नामक तकनीक का उपयोग करता है। एक खेल की कल्पना करें जहाँ आप एक पन्ने के साथ शुरू करते हैं जिसे पूरी तरह से काली स्याही (मास्क) से ढक दिया गया है। आपका काम यह पता लगाना है कि मूल शब्द क्या थे। कंप्यूटर एक साथ हर जगह स्याही के नीचे क्या है, इसका अनुमान लगाने से शुरू होता है। यह केवल अंधाधुंध अनुमान नहीं लगाता; यह पूरे वाक्य को देखता है ताकि यह देख सके कि कौन से शब्द सबसे अधिक संभावित रूप से सही होंगे।
यह पेपर इस काम को पुराने तरीकों से बेहतर बनाने के लिए तीन चतुर तरकीबें पेश करता है। पहला, उन्होंने "गुप्त कोड" कैसे बनाए जाते हैं, इसे बदल दिया। एक ऐसी श्रृंखला के बजाय जहाँ एक नंबर दूसरे पर निर्भर करता है, वे पैरेलल सिमेंटिक एनकोडिंग (Parallel Semantic Encoding) नामक एक विधि का उपयोग करते हैं। इसे एक अलग, स्वतंत्र सुराग कार्ड देने जैसा समझें। इस तरह, कोई भी सुराग दूसरे के इंतज़ार में नहीं फंसा रहता, और कंप्यूटर भ्रमित हुए बिना एक ही समय में सभी नंबरों का अनुमान लगा सकता है क्योंकि वह शुरुआती लाइन में किए गए किसी गलत अनुमान से प्रभावित नहीं होता।
दूसरा, टीम ने महसूस किया कि सभी अनुमान एक जैसे नहीं होते। कोड के कुछ हिस्से समझना आसान है, जबकि कुछ एक असली पहेली हैं। पुराना तरीका उन सभी के साथ एक जैसा व्यवहार करता था, जिससे ऊर्जा बर्बाद होती थी। DiffGRM ऑन-पॉलिसी कोहेरेंट नॉइज़िंग (On-policy Coherent Noising) नामक रणनीति का उपयोग करता है। एक ऐसे शिक्षक की कल्पना करें जो जानता है कि कौन से छात्र संघर्ष कर रहे हैं। पूरी कक्षा से एक ही आसान सवाल पूछने के बजाय, यह शिक्षक अपना अभ्यास का समय विशेष रूप से उन छात्रों पर केंद्रित करता है जिन्हें सबसे अधिक कठिनाई हो रही है। कंप्यूटर भी ऐसा ही करता है: यह कोड के "कठिन" अंकों की पहचान करता है और अपनी सीखने की शक्ति वहीं केंद्रित करता है, उन आसान हिस्सों को अनदेखा करता है जिन्हें वह पहले से ही जानता है।
अंत में, जब सिफारिश करने का समय आता है, तो कंप्यूटर को आपको विकल्पों की एक सूची देनी होती है, न कि केवल एक। पुराना तरीका सबसे अच्छे अनुमान को चुनता और रुक जाता। DiffGRM कॉन्फिडेंस-गाइडेड पैरेलल डिनोइजिंग (Confidence-guided Parallel Denoising) का उपयोग करता है। यह जासूसों की एक टीम की तरह है जो एक साथ अपने सबसे अच्छे अनुमान चिल्लाते हैं। टीम का लीडर सबसे पहले सबसे आत्मविश्वासी अनुमानों को चुनता है, उन्हें भरता है, और फिर उस नई जानकारी का उपयोग पहेली के बाकी हिस्सों को हल करने के लिए करता है। यह सिस्टम को तेज़ी से और सटीकता से विविध प्रकार की शीर्ष सिफारिशें उत्पन्न करने की अनुमति देता है।
शोधकर्ताओं ने वास्तविक दुनिया के डेटा का उपयोग करके अमेज़न (Amazon) पर इस नए सिस्टम का परीक्षण किया, जिसमें स्पोर्ट्स, ब्यूटी और टॉयज जैसी श्रेणियां शामिल थीं। उन्होंने पाया कि DiffGRM मौजूदा सबसे मजबूत मॉडलों की तुलना में काफी बेहतर था। अपने परीक्षणों में, इसने मौजूदा सबसे शक्तिशाली मॉडलों की तुलना में सिफारिशों की सटीकता में 6.9% से 15.5% तक सुधार किया। यह पेपर सुझाव देता है कि कंप्यूटर को एक साथ पूरे कोड को देखने देने और अपनी ऊर्जा कठिन हिस्सों पर केंद्रित करने से, हम ऐसे सिफारिश सिस्टम बना सकते हैं जो हमें बेहतर समझते हैं और हमें अधिक प्रासंगिक विकल्प देते हैं। यह केवल एक छोटा सा बदलाव नहीं है; यह इस बारे में एक मौलिक बदलाव है कि हम कंप्यूटर को यह सिखाते हैं कि वे आगे क्या चाहते हैं, इसका अनुमान कैसे लगाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।