REPREC: Representation Driven Parameter-Efficient Recommendation System
REPREC एक हल्का, पैरामीटर-कुशल फ्रेमवर्क है जो अनुक्रमिक अनुशंसा (sequential recommendation) के लिए एक प्रशिक्षित MLP इंजेक्टर के माध्यम से फ्रोजन यूजर एम्बेडिंग्स को एक फ्रोजन LLM के साथ संरेखित करता है, जो LoRA की तुलना में बेहतर प्रदर्शन प्राप्त करता है और कम डेटा वाले परिदृश्यों में उच्च दक्षता बनाए रखते हुए प्रशिक्षण लागत को काफी कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अंदाज़ा लगाने की कोशिश कर रहे हैं कि आपका दोस्त रात के खाने में क्या खाना चाहता है। आप जानते हैं कि उसे पिज्जा बहुत पसंद है, लेकिन आप यह भी जानते हैं कि उसने एक घंटे पहले ही एक बड़ा टुकड़ा खाया है। एक स्मार्ट रिकमेंडेशन सिस्टम एक बेहद चौकस दोस्त की तरह होता है जो आपके भोजन, क्लिक और पसंद के पूरे इतिहास को याद रखता है ताकि आपके अगले कदम का अनुमान लगा सके। वर्षों से, कंप्यूटर डेटा में पैटर्न देखकर यह करने में अच्छे रहे हैं, जैसे कि "जिन लोगों ने X खरीदा, उन्होंने Y भी खरीदा।" लेकिन हाल ही में, वैज्ञानिकों ने "लार्ज लैंग्वेज मॉडल्स" (LLMs) का उपयोग करना शुरू कर दिया है—वही तरह का AI जो कविताएँ लिख सकता है, आपसे चैट कर सकता है और जटिल कहानियों को समझ सकता है—इस काम को करने के लिए। विचार यह है कि यदि कोई AI भाषा को समझता है, तो वह मानव व्यवहार को भी और बेहतर तरीके से समझ सकता है।
हालाँकि, इसमें एक पेंच है। ये विशाल AI दिमाग बहुत बड़े होते हैं, इन्हें चलाना महंगा होता है, और इन्हें नए करतब सिखाना कठिन होता है। यदि आप किसी LLM को बेहतर रिकमेंडर बनाने के लिए सिखाना चाहते हैं, तो आपको या तो उसके पूरे दिमाग को फिर से लिखना होगा (जिसमें अनंत काल लग जाता है और बहुत पैसा खर्च होता है) या उसे हर उस चीज़ की एक विशाल, अव्यवस्थित सूची देनी होगी जिसे उपयोगकर्ता ने कभी भी क्लिक किया है। यह सिस्टम को धीमा और बोझिल बनाता है, जैसे कि सिर्फ एक सैंडविच खरीदने के लिए अपने बैग में पूरी लाइब्रेरी ले जाने की कोशिश करना। शोधकर्ताओं के लिए बड़ा सवाल यह है: क्या हम इन विशाल AI दिमागों को बिना भारी खर्च किए या सब कुछ धीमा किए, चीजों की सिफारिश करने में स्मार्ट बना सकते हैं?
यहाँ REPREC आता है, जो द ओहियो स्टेट यूनिवर्सिटी और कैपिटल वन के शोधकर्ताओं का एक नया दृष्टिकोण है जो इस पहेली को एक चतुर, हल्के-फुल्के तरीके से सुलझाने की कोशिश करता है। AI के दिमाग को फिर से लिखने या उसके सामने उसका पूरा इतिहास थमाने के बजाय, REPREC एक कुशल अनुवादक की तरह कार्य करता है। यह उपयोगकर्ता की पसंद का एक संक्षिप्त सारांश (जिसे एक अलग, छोटे "विशेषज्ञ" सिस्टम द्वारा बनाया गया है) लेता है और उसे कुछ विशेष "जादुई शब्दों" (जिन्हें 'सॉफ्ट टोकन' कहा जाता है) में बदल देता है। फिर ये जादुई शब्द विशाल AI के कान में फुसफुसाए जाते हैं, जिससे वह AI को बदले बिना ही एक बेहतर अनुमान लगाने के लिए निर्देशित होता है।
शोधकर्ताओं ने पाया कि यह तरीका आश्चर्यजनक रूप से अच्छा काम करता है। उन्होंने अमेज़न उत्पाद समीक्षाओं के वास्तविक डेटा पर REPREC का परीक्षण किया, जिसमें ब्यूटी, स्पोर्ट्स और टॉयज जैसी श्रेणियां शामिल थीं। परिणामों ने दिखाया कि REPREC अक्सर उन अन्य उन्नत तरीकों को भी मात दे सकता है जो विशाल AI को फाइन-ट्यून करने की कोशिश करते हैं, विशेष रूप से उन उपयोगकर्ताओं के लिए जिनका क्लिक करने का इतिहास लंबा नहीं है ("कैजुअल" खरीदार)। और भी अधिक प्रभावशाली बात यह है कि यह सिस्टम अविश्वसनीय रूप से कुशल था। जब इसे छोटी हिस्ट्री पर प्रशिक्षित किया गया लेकिन लंबी हिस्ट्री पर टेस्ट किया गया, तो इसने भारी तरीकों के 85% से 100% प्रदर्शन को बनाए रखा, लेकिन यह 1.51 गुना तेज़ प्रशिक्षित हुआ।
यह पेपर इस विचार के विरुद्ध तर्क देता है कि अच्छे परिणाम प्राप्त करने के लिए आपको विशाल AI को भारी रूप से संशोधित या फाइन-ट्यून करना ही होगा। उन्होंने दिखाया कि केवल एक छोटा, ट्रेन करने योग्य "इंजेक्टर" जोड़ने से—जो एक फ्रीज़्ड (अपरिवर्तित) यूजर एक्सपर्ट और एक फ्रीज़्ड (अपरिवर्तित) AI को जोड़ता है—शीर्ष स्तर का प्रदर्शन प्राप्त करने के लिए पर्याप्त है। जबकि यह सिस्टम कैजुअल और कोर उपयोगकर्ताओं के लिए सबसे अच्छा काम करता है, यह पावर यूजर्स के लिए भी अपना दम दिखाता है, जो यह साबित करता है कि अखरोट तोड़ने के लिए आपको हथौड़े की ज़रूरत नहीं होती। संक्षेप में, REPREC सुझाव देता है कि कभी-कभी, एक विशाल AI को अपग्रेड करने का सबसे अच्छा तरीका उसे फिर से बनाना नहीं है, बल्कि बस उसे पढ़ने के लिए एक बहुत अच्छा, संक्षिप्त नोट देना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।