Sharpness-aware Model Merging with Salience Recovery for LLM-based Cross-Domain Sequential Recommendation
यह शोध पत्र SharpRec का प्रस्ताव करता है, जो एक नवीन फ्रेमवर्क है जो LLM-आधारित क्रॉस-डोमेन अनुक्रमिक अनुशंसा (sequential recommendation) के लिए है, जो शार्पनेस-अवेयर ज्योमेट्रिक अलाइनमेंट और प्रेफरेंस सैलिएंस एक्टिवेशन के माध्यम से मॉडल मर्जिंग में ज्ञान संघर्षों (knowledge conflicts) और प्रदर्शन संतृप्ति (performance saturation) को संबोधित करता है ताकि मौजूदा स्टेट-ऑफ-द-आर्ट बेसलाइन्स से काफी बेहतर प्रदर्शन किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक लाइब्रेरियन हैं जो किसी आगंतुक को एक आदर्श पुस्तक सुझाने की कोशिश कर रहे हैं। यदि आप केवल यह जानते हैं कि उन्हें विज्ञान कथा (sci-fi) पसंद है, तो आप उन्हें एक 'स्पेस ओपेरा' सुझा सकते हैं। लेकिन क्या होगा यदि आप यह भी जानते हों कि उन्हें गुप्त रूप से खाना बनाना भी पसंद है? एक वास्तव में चतुर लाइब्रेरियन इन कड़ियों को जोड़ सकता है, जैसे कि एक भविष्य के किचन (रसोई) पर आधारित विज्ञान कथा उपन्यास का सुझाव देना। यह "क्रॉस-डोमेन सीक्वेंशियल रिकमेंडेशन" (Cross-Domain Sequential Recommendation) का सपना है: यह उपयोग करना कि एक व्यक्ति को एक क्षेत्र में क्या पसंद है (जैसे फिल्में) ताकि यह अनुमान लगाया जा सके कि वे दूसरे क्षेत्र में (जैसे किताबें) क्या पसंद कर सकते हैं, भले ही उन्होंने स्पष्ट रूप से अपनी नई रुचियों के बारे में नहीं बताया हो।
इसे करने के लिए, आधुनिक कंप्यूटर "लार्ज लैंग्वेज मॉडल्स" (LLMs) का उपयोग करते हैं। इन्हें एक सुपर-स्मार्ट, अत्यधिक पढ़े-लिखे मस्तिष्क के रूप में समझें जो शब्दों के गहरे अर्थ को समझते हैं, न कि केवल कीवर्ड्स की एक सूची को। वे यह पता लगा सकते हैं कि "स्टार वॉर्स" और "कुकिंग" दोनों में "महाकाव्य यात्राओं" (epic journeys) का एक साझा विषय हो सकता है, भले ही उपयोगकर्ता ने कभी कुकबुक न खरीदी हो। हालाँकि, इन मस्तिष्कों को एक साथ कई रुचियों को संभालने के लिए सिखाना कठिन है। यदि आप उनकी खेल और खिलौनों की जानकारी को मिलाने की कोशिश करते हैं, तो वे भ्रमित हो सकते हैं, जैसे सॉकर के नियमों को बिल्डिंग ब्लॉक्स के नियमों के साथ मिला देना। यह शोध पत्र इस समस्या पर काम करता है कि कैसे इन अलग-अलग "विशेषज्ञ मस्तिष्क" को एक सुपर-ब्रेन में कैसे जोड़ा जाए ताकि वे एक-दूसरे से टकराकर लड़खड़ा न जाएं या अपने अद्वितीय कौशल को न भूल जाएं।
शोधकर्ताओं, हुवेई जी और झेजियांग यूनिवर्सिटी तथा हांग्जो डियानज़ी यूनिवर्सिटी की उनकी टीम ने पाया कि विभिन्न रिकमेंडेशन मॉडल्स को बस आपस में टकराकर जोड़ देना काम नहीं करता है। उन्होंने दो मुख्य समस्याएं पाईं। पहला, मॉडल्स में अक्सर "ज्यामितीय असंगति" (geometric incompatibility) होती है। कल्पना कीजिए कि दो अलग-अलग पहेली के टुकड़ों (puzzle pieces) को मिलाने की कोशिश कर रहे हैं जिन्हें बहुत अलग, ऊबड़-खाबड़ छेदों में फिट होने के लिए बनाया गया है; यदि आप उन्हें जबरदस्ती जोड़ते हैं, तो तस्वीर विकृत हो जाती है। दूसरा, उन्होंने एक "संतृप्ति" (saturation) प्रभाव देखा। यदि आप ज्ञान के स्रोतों (जैसे किताबें, फिल्में, खेल और खिलौने) को जोड़ते जाते हैं, तो मॉडल का प्रदर्शन एक दीवार से टकरा जाता है और सुधरना बंद हो जाता है। यह बहुत सारे रंगों को मिलाने जैसा है; अंततः, आपको एक जीवंत नया रंग मिलने के बजाय केवल एक मटमैला भूरा रंग मिलेगा। टीम इसे "सांख्यिकीय समरूपीकरण" (statistical homogenization) कहती है, जहाँ प्रत्येक रुचि के अनूठे, तीखे विवरण एक उबाऊ औसत में बदल जाते हैं।
इसे ठीक करने के लिए, टीम ने SharpRec नामक एक नया ढांचा तैयार किया। उन्होंने केवल मॉडल्स को आपस में नहीं मिलाया; उन्होंने उन्हें एक मेकओवर दिया। सबसे पहले, उन्होंने "शार्पनेस-अवेयर ज्योमेट्रिक अलाइनमेंट" (Sharpness-aware Geometric Alignment) तकनीक का उपयोग किया। इसे पहेली के टुकड़ों को जोड़ने से पहले उनके ऊबड़-खाबड़ किनारों को सैंडिंग (घिसकर चिकना) करने के रूप में समझें। मॉडल्स को सीखने के परिदृश्य में "फ्लैट" स्थानों (ऐसी जगहें जहाँ छोटे बदलाव परिणाम को खराब नहीं करते) खोजने के लिए धीरे से प्रेरित करके, उन्होंने यह सुनिश्चित किया कि विभिन्न डोमेन बिना किसी टकराव के सुचारू रूप से फिट हो सकें।
दूसरा, उन्होंने "प्रेफरेंस सैलिएंस एक्टिवेशन" (Preference Salience Activation) पेश किया। जब मॉडल्स को मिलाया गया, तो अनूठे, उच्च-मूल्य वाले विवरण (जैसे पुराने खिलौनों के प्रति विशिष्ट प्रेम) भीड़ में खो रहे थे। SharpRec एक हाइलाइटर की तरह काम करता है, उन महत्वपूर्ण, दुर्लभ विवरणों को ढूंढता है जो धुंधले होकर मिट गए थे और उन्हें वापस उभारता है। यह एक धुंधली फोटो को सॉफ्टवेयर का उपयोग करके सबसे महत्वपूर्ण हिस्सों को तेज करने जैसा है, यह सुनिश्चित करता है कि मॉडल उन विशिष्ट चीजों को याद रखे जो एक उपयोगकर्ता को अद्वितीय बनाती हैं, न कि केवल एक सामान्य औसत को।
टीम ने अमेज़न के वास्तविक डेटा पर SharpRec का परीक्षण किया, जिसमें किताबों और फिल्मों, या खेल और खिलौनों जैसे जोड़ों को देखा गया। उन्होंने पाया कि उनकी विधि ने सभी अन्य शीर्ष विधियों को लगातार पीछे छोड़ दिया। वास्तव में, जबकि अन्य विधियां केवल तीन या चार डोमेन को जोड़ने के बाद प्रदर्शन की दीवार से टकरा जाती हैं, SharpRec अधिक स्रोतों को जोड़ने पर भी बेहतर होता गया। उन्होंने यह भी दिखाया कि यह तब भी काम करता है जब दोनों डोमेन के बीच ओवरलैप करने वाले उपयोगकर्ताओं की संख्या बहुत कम हो, जिससे साबित होता है कि इसे दोनों चीजों को पसंद करने वाले लोगों की विशाल भीड़ की आवश्यकता नहीं है।
संक्षेप में, यह शोध पत्र सुझाव देता है कि मॉडल्स के "आकार" को सावधानीपूर्वक संरेखित करके और उनके सबसे अनूठे फीचर्स की सक्रिय रूप से रक्षा करके, हम ऐसे रिकमेंडर सिस्टम बना सकते हैं जो न केवल स्मार्ट हैं बल्कि विभिन्न प्रकार की रुचियों से सीखने में भी सक्षम हैं बिना भ्रमित हुए या अपनी धार खोए। उनके परिणामों ने, जो इस बात से मापे गए कि सिस्टम कितनी बार सही ढंग से अनुमान लगा पाया कि उपयोगकर्ता अगली वस्तु क्या पसंद करेगा, यह दिखाया है कि यह दृष्टिकोण AI रिकमेंडर्स को हमारे जटिल, बहु-आयामी जीवन को वास्तव में समझने में सक्षम बनाने की दिशा में एक महत्वपूर्ण कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।