🤖 machine learning

Measuring the stability and plasticity of recommender systems

यह शोध पत्र अनुशंसा प्रणालियों (recommender systems) की स्थिरता (stability) और प्लास्टिसिटी (plasticity) को मापने के लिए एक नवीन ऑफलाइन मूल्यांकन प्रोटोकॉल प्रस्तावित करता है, जो यह समझने में सक्षम बनाता है कि मॉडल समय के साथ पिछले पैटर्न को कैसे बनाए रखते हैं बनाम नए डेटा के अनुकूल कैसे होते हैं, जबकि विभिन्न एल्गोरिदम के बीच इन दो गुणों के बीच एक संभावित समझौते (trade-off) को भी प्रकट करता है।

मूल लेखक: Maria João Lavoura, Robert Jungnickel, João Vinagre

प्रकाशित 2026-04-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Maria João Lavoura, Robert Jungnickel, João Vinagre

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने लिए किताबें सुझाने के लिए एक व्यक्तिगत लाइब्रेरियन (personal librarian) नियुक्त कर रहे हैं। आप चाहते हैं कि यह लाइब्रेरियन विश्वसनीय हो (याद रखे कि आपको पिछले साल क्या पसंद आया था) लेकिन साथ ही लचीला (flexible) भी हो (नए रुझानों या आपकी पसंद में बदलावों को जल्दी सीख सके)।

यह शोध पत्र, जिसे UMAP '26 कॉन्फ्रेंस में प्रस्तुत किया गया है, इस बात का परीक्षण करने का एक नया तरीका पेश करता है कि सिफारिश करने वाले सिस्टम (जैसे Netflix, Amazon या Goodreads पर) इन दो गुणों के बीच कैसे संतुलन बनाते। लेखक इन गुणों को स्थिरता (Stability) और प्लास्टिसिटी (Plasticity) कहते हैं।

यहाँ उनके विचारों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "स्नैपशॉट" का जाल

वर्तमान में, जब कंपनियाँ अपने रिकमेंडेशन एल्गोरिदम का परीक्षण करती हैं, तो वे डेटा का एक "स्नैपशॉट" लेती हैं। वे पुराने डेटा पर मॉडल को प्रशिक्षित करती हैं और देखते हैं कि वह अगले कुछ इंटरैक्शन की कितनी सटीक भविष्यवाणी करता है।

उपमा: यह एक ड्राइवर का परीक्षण करने जैसा है जिसमें उसे 10 मिनट के लिए धूप वाले, खाली सड़क पर गाड़ी चलाने के लिए कहा जाता है। आप जानते हैं कि वह गाड़ी चला सकता है, लेकिन आप यह नहीं जानते कि वह अगले सप्ताह अचानक बारिश, टायर फटने या नए ट्रैफिक पैटर्न को कैसे संभालता है।
समस्या: वास्तविक जीवन बदलता रहता है। उपयोगकर्ताओं की पसंद बदलती है, नई किताबें आती हैं, और पुराने पसंदीदा फीके पड़ जाते हैं। वर्तमान परीक्षण हमें यह नहीं बताते कि क्या कोई मॉडल नए चीजों को सीखने के दौरान पुराने पसंदीदा को "भूल" जाएगा, या क्या वह अतीत में "अटक" जाएगा और नए रुझानों को सीखने में विफल रहेगा।

2. समाधान: एक "टाइम-ट्रैवल" टेस्ट

लेखक परिवर्तन का अनुकरण करने के लिए एक नया परीक्षण पद्धति प्रस्तावित करते हैं। वे केवल स्नैपशॉट नहीं देखते; वे देखते हैं कि मॉडल कैसे विकसित होता है।

यह परीक्षण कैसे काम करता है:

सेटअप: वे किताबों की समीक्षाओं के एक डेटासेट को लेते हैं और उसे दो समय अवधियों में विभाजित करते हैं: वर्ष 1 (अतीत) और वर्ष 2 (भविष्य)।
ट्विस्ट: "वर्ष 2" में, वे गुप्त रूप से 50% किताबों के नाम बदल देते हैं। कंप्यूटर के लिए, ये अब बिल्कुल नई, अज्ञात किताबें हैं। यह मॉडल को अनुकूलित होने के लिए मजबूर करता है।
दौड़: वे दो संस्करणों वाले लाइब्रेरियन को प्रशिक्षित करते हैं:
- लाइब्रेरियन A (पुराना गार्ड): केवल वर्ष 1 पर प्रशिक्षित।
- लाइब्रेरियन B (नया कर्मचारी): वर्ष 1 और वर्ष 2 (नए बुक नामों के साथ) दोनों पर प्रशिक्षित।
स्कोरकार्ड:
- प्लास्टिसिटी (अनुकूलन क्षमता): लाइब्रेरियन B, लाइब्रेरियन A की तुलना में नई किताबों की सिफारिश करने में कितना बेहतर है? यदि B बहुत बेहतर है, तो सिस्टम प्लास्टिक (लचीला) है।
- स्थिरता (स्मृति): लाइब्रेरियन B की पुरानी किताबों (वर्ष 1 की) को सुझाने की क्षमता, लाइब्रेरियन A की तुलना में कितनी कम हुई है? यदि B अभी भी पुरानी किताबों को अच्छी तरह से याद रखता है, तो सिस्टम स्थिर (stable) है।

3. "स्थिरता-प्लास्टिसिटी द्वंद्व" (The Stability-Plasticity Dilemma)

यह पत्र एक क्लासिक ट्रेड-ऑफ (समझौते) को उजागर करता है, जो एक सी-सॉ (see-saw) की तरह है:

उच्च प्लास्टिसिटी: सिस्टम नई चीजें तेजी से सीखता है लेकिन पुरानी चीजें भूल सकता है (जैसे एक छात्र जो एक नए टेस्ट के लिए कड़ी मेहनत करता है लेकिन पिछले सप्ताह का सबक भूल जाता है)।
उच्च स्थिरता: सिस्टम सब कुछ पूरी तरह से याद रखता है लेकिन नए रुझानों को अपनाने में संघर्ष करता है (जैसे एक लाइब्रेरियन जो केवल 1990 की किताबों की सिफारिश करता है क्योंकि वह नए जॉनर/विषयों को सीखने से इनकार करता है)।

4. उन्होंने क्या पाया (प्रयोग)

शोधकर्ताओं ने Goodreads के डेटा का उपयोग करके तीन अलग-अलग प्रकार के "लाइब्रेरियन" (एल्गोरिदम) का परीक्षण किया:

यूजर-बेस्ड KNN (UKNN): एक विधि जो समान पसंद वाले लोगों को ढूंढती है।
BPRMF: एक विधि जो रेटिंग्स में छिपे हुए पैटर्न खोजने के लिए गणित का उपयोग करती है।
NeuMF: एक जटिल न्यूरल नेटवर्क (AI) विधि।

परिणाम:

"कठोर" लाइब्रेरियन (UKNN): यह बहुत स्थिर था। इसने पुरानी किताबों को पूरी तरह से याद रखा और भ्रमित नहीं हुआ। हालांकि, इसमें प्लास्टिसिटी कम थी; इसे नई "नकली" किताबों के अनुकूल होने में संघर्ष करना पड़ा। यह एक ऐसे लाइब्रेरियन की तरह था जिसने कैटलॉग तो रट लिया लेकिन नई आवक वस्तुओं को नहीं संभाल सका।
"लचीला" लाइब्रेरियन (BPRMF): यह अत्यधिक प्लास्टिक था। इसने नई किताबों के प्रति बहुत तेज़ी से अनुकूलन किया। हालांकि, यह थोड़ा कम स्थिर था; नई चीजों को सीखने से यह पुरानी चीजों को याद रखने में थोड़ा कमजोर हो गया।
"संतुलित" लाइब्रेरियन (NeuMF): यह दोनों के बीच कहीं स्थित था, जो दोनों गुणों का मिश्रण प्रदर्शित करता है।

5. यह क्यों महत्वपूर्ण है

लेखक तर्क देते हैं कि सिस्टम के "व्यक्तित्व" (क्या यह कठोर है या लचीला?) को जानना डेवलपर्स को सही उपकरण चुनने में मदद करता है:

तेजी से बदलने वाली दुनिया (जैसे समाचार या सोशल मीडिया) को प्लास्टिक सिस्टम की आवश्यकता होती है जो तुरंत अनुकूल हो सके।
धीमी गति से बदलने वाली दुनिया (जैसे क्लासिक साहित्य या संगीत) को स्थिर सिस्टम से लाभ हो सकता है जो शोर (noise) से भ्रमित न हो।

सारांश

यह पेपर केवल यह नहीं पूछता है कि "क्या यह एल्गोरिदम काम करता है?" बल्कि यह पूछता है कि "जब दुनिया बदलती है तो यह एल्गोरिदम कैसा व्यवहार करता है?" उन्होंने यह मापने के लिए एक नया "तनाव परीक्षण" (stress test) बनाया है कि क्या एक रिकमेंडेशन सिस्टम एक ज़िद्दी पुराने व्यक्ति (उच्च स्थिरता, कम प्लास्टिसिटी) है या एक तेज़ सीखने वाला (उच्च प्लास्टिसिटी, संभावित रूप से कम स्थिरता), जिससे डेवलपर्स को भविष्य के लिए बेहतर, अधिक विश्वसनीय सिस्टम बनाने में मदद मिलती है।

यहाँ शोध पत्र "Measuring the stability and plasticity of recommender systems" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

अनुशंसा प्रणालियों (recommender systems) के लिए पारंपरिक ऑफलाइन मूल्यांकन प्रोटोकॉल स्थिर डेटासेट पर निर्भर करते हैं, जो स्नैपशॉट प्रदर्शन को मापने के लिए डेटा को प्रशिक्षण और परीक्षण सेटों में विभाजित करते हैं। हालाँकि, वास्तविक दुनिया की प्रणालियाँ गतिशील होती हैं; वे समय के साथ विकसित होती हैं, जिसके लिए हाल के डेटा के साथ बार-बार पुनरप्रशिक्षण (retraining) की आवश्यकता होती है। यह वर्तमान मूल्यांकन विधियों में एक महत्वपूर्ण अंतर पैदा करता है:

स्थिरता-प्लास्टिसिटी दुविधा (The Stability-Plasticity Dilemma): प्रणालियाँ स्थिरता (पुराने पैटर्न को बनाए रखना) और प्लास्टिसिटी (नए पैटर्न के प्रति तेजी से अनुकूलन करना) के बीच एक समझौते (trade-off) का सामना करती हैं।
वर्तमान विधियों की सीमाएँ: मौजूदा निरंतर शिक्षण (continual learning) ढांचे (जो अक्सर सुपरवाइज्ड क्लासिफिकेशन में उपयोग किए जाते हैं) विशिष्ट "कार्यों" (tasks) पर निर्भर करते हैं, जो अनुशंसा प्रणालियों में एक अस्पष्ट अवधारणा है जहाँ डेटा स्पष्ट कार्य सीमाओं के बिना निरंतर प्रवाहित होता है। इसके अलावा, अधिकांश शोध "विनाशकारी विस्मरण" (catastrophic forgetting - स्थिरता) पर ध्यान केंद्रित करते हैं, जबकि प्लास्टिसिटी की उपेक्षा करते हैं।
आवश्यकता: एक एकीकृत, एगोस्टिक (agnostic) ढांचे की कमी है जो यह माप सके कि विभिन्न अनुशंसा एल्गोरिदम विकसित होते डेटा पर पुनरप्रशिक्षण के दौरान कैसे व्यवहार करते हैं, विशेष रूप से पुराने ज्ञान को बनाए रखने बनाम नए पैटर्न को आत्मसात करने की उनकी क्षमता के संबंध में।

2. कार्यप्रणाली (Methodology)

लेखक एक एल्गोरिदम- और मेट्रिक-अग्नोस्टिक ऑफलाइन मूल्यांकन प्रोटोकॉल प्रस्तावित करते हैं, जिसे वास्तविक दुनिया के डेटा विकास का अनुकरण करने और स्थिरता एवं प्लास्टिसिटी को मापने के लिए डिज़ाइन किया गया है।

3.1 डेटा डायनेमिक्स (कृत्रिम बदलाव - Artificial Shift)

बदलाव के समय और प्रकृति को नियंत्रित करने के लिए, लेखक डेटासेट में एक कृत्रिम बदलाव पेश करते हैं:

टेम्पोरल स्प्लिट (Temporal Split): डेटासेट $D$ को कालानुक्रमिक रूप से दो समान अंतरालों में विभाजित किया जाता है, $D_1$ (पुराना) और $D_2$ (नया)।
लेबल हेरफेर (Label Manipulation): $D_2$ $D_{2}$ के 50% आइटमों को यादृच्छिक रूप से चुना जाता है और उनके ID को नए, अद्वितीय लेबल में बदल दिया जाता है।
- यह मॉडल को इन आइटमों को $D_2$ में पूरी तरह से नई संस्थाओं के रूप में मानने के लिए मजबूर करता है।
- शेष 50% आइटम अपने मूल ID बनाए रखते हैं, जिससे कुछ प्राकृतिक इंटरैक्शन पैटर्न सुरक्षित रहते हैं।
परिणाम: यह एक ऐसी स्थिति बनाता है जहाँ अंतर्निहित वितरण बदल जाता है, जो मॉडलों को अनुकूलन (प्लास्टिसिटी) के लिए मजबूर करता है जबकि संभावित रूप से पुराने पैटर्न को भूलने (स्थिरता) की संभावना भी पैदा करता है।

3.2 प्रयोगात्मक प्रोटोकॉल (Experimental Protocol)

एक "लेगेसी" (legacy) बनाम "रिट्रेंड" (retrained) परिदृश्य का अनुकरण करने के लिए दो मॉडल प्रशिक्षित किए जाते हैं:

मॉडल $M_1$ (Legacy): केवल $D_1$ पर प्रशिक्षित।
मॉडल $M_2$ (Retrained): $D_1$ और $D_2$ दोनों पर प्रशिक्षित।
मूल्यांकन: दोनों मॉडलों का दोनों समय अवधियों ( $D_{Test}^1$ और $D_{Test}^2$ ) के होल्ड-आउट टेस्ट सेट्स पर परीक्षण किया जाता है।

3.3 मेट्रिक्स (Metrics)

यह ढांचा मॉडलों के प्रदर्शन स्कोर ( $S$ ) के आधार पर दो मुख्य मेट्रिक्स को परिभाषित करता है:

स्थिरता (Stability): यह मापता है कि पुनरप्रशिक्षित मॉडल ( $M_2$ $M_{2}$ ) पुराने डेटा पर लीगेसी मॉडल ( $M_1$ $M_{1}$ ) की तुलना में प्रदर्शन को कितनी अच्छी तरह बनाए रखता है।
$Stability = 1 - (S_{1,1} - S_{2,1})$
जहाँ $S_{1,1}$ $D_{Test}^1$ पर $M_1$ का स्कोर है और $S_{2,1}$ $D_{Test}^1$ पर $M_2$ का स्कोर है।
- व्याख्या: 1 के करीब का मान उच्च स्थिरता (पुराने डेटा पर प्रदर्शन में गिरावट नहीं) को दर्शाता है। 1 से अधिक के मान का अर्थ है कि पुनरप्रशिक्षित मॉडल ने वास्तव में पुराने डेटा पर सुधार किया है।
प्लास्टिसिटी (Plasticity): यह लीगेसी मॉडल ( $M_1$ $M_{1}$ ) की तुलना में नए डेटा के प्रति पुनरप्रtrained मॉडल ( $M_2$ $M_{2}$ ) की अनुकूलन क्षमता को मापता है।
$Plasticity = S_{2,2} - S_{1,2}$
जहाँ $S_{2,2}$ $D_{Test}^2$ पर $M_2$ का स्कोर है और $S_{1,2}$ $D_{Test}^2$ पर $M_1$ का स्कोर है।
- व्याख्या: उच्च मान नए शासन (regime) के प्रति बेहतर अनुकूलन को दर्शाते हैं।

3. मुख्य योगदान (Key Contributions)

एक नवीन ढांचा: एक मूल्यांकन प्रोटोकॉल जो विशेष रूप से अनुशंसा प्रणालियों के लिए डिज़ाइन किया गया है और जिसे पूर्व-निर्धारित "कार्यों" की आवश्यकता नहीं है, जिससे यह निरंतर डेटा स्ट्रीम के लिए लागू करने योग्य बनता है।
अग्नोस्टिक डिज़ाइन: यह कार्यप्रणाली विशिष्ट एल्गोरिदम (जैसे न्यूरल बनाम मैट्रिक्स फैक्टराइजेशन), डेटासेट, या मूल्यांकन मेट्रिक (सटीकता, विविधता, आदि) से स्वतंत्र है।
अनुभवजन्य अंतर्दृष्टि (Empirical Insights): विभिन्न एल्गोरिदम प्रतिमानों में स्थिरता और प्लास्टिसिटी के बीच एक ट्रेड-ऑफ का प्रारंभिक प्रमाण।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने GoodReads डेटासेट (किताबों की समीक्षाओं) पर RecBole लाइब्रेरी से तीन प्रतिनिधि एल्गोरिदम का मूल्यांकन किया:

UKNN: यूजर-बेस्ड K-नियरस्ट नेबर्स (नेबरहुड-आधारित)।
BPRMF: बायेसियन पर्सनलाइज्ड रैंकिंग मैट्रिक्स फैक्टराइजेशन (लेटेंट फैक्टर)।
NeuMF: न्यूरल मैट्रिक्स फैक्टराइजेशन (डीप लर्निंग)।

मुख्य निष्कर्ष:

UKNN (नेबरहुड-आधारित):
- उच्च स्थिरता (1.038): इसने पुनरप्रशिक्षण के बाद पुराने डेटा पर प्रदर्शन को बनाए रखा या उसमें सुधार किया।
- कम प्लास्टिसिटी (0.180): इसे $D_2$ में नए आइटमों के अनुकूल होने में काफी संघर्ष करना पड़ा।
- विश्लेषण: नेबरहुड विधियाँ इंटरैक्शन के "मेमोराइजेशन" (याद रखने) की तरह कार्य करती हैं; नया डेटा जोड़ने से पुराने पैटर्न ओवरराइट नहीं होते हैं लेकिन वे प्रभावी ढंग से नए पैटर्न को एकीकृत करने में विफल रहते हैं।
BPRMF (मैट्रिक्स फैक्टराइजेशन):
- कम स्थिरता (0.989): पुराने डेटा पर प्रदर्शन में मामूली गिरावट देखी गई।
- उच्चतम प्लास्टिसिटी (0.283): इसने नए पैटर्न के अनुकूल होने की सबसे अच्छी क्षमता दिखाई।
NeuMF (न्यूरल):
- संतुलित प्रोफाइल: स्थिरता (1.008) और प्लास्टिसिटी (0.276) क्रमशः UKNN और BPRMF के बीच में थे, जो मजबूत प्रतिधारण (retention) और अच्छी अनुकूलन क्षमता दिखाते हैं।

ट्रेड-ऑफ पर निष्कर्ष: परिणाम एक स्पष्ट ट्रेड-ऑफ का सुझाव देते हैं। नेबरहुड-आधारित मॉडल (UKNN) कठोर और स्थिर हैं लेकिन लचीले नहीं हैं। मॉडल-आधारित दृष्टिकोण (BPRMF, NeuMF) नए पैटर्न के प्रति अधिक संवेदनशील हैं (उच्च प्लास्टिसिटी) लेकिन ऐतिहासिक डेटा पर मामूली गिरावट (कम स्थिरता) का जोखिम उठाते हैं।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

व्यावहारिक प्रभाव: यह ढांचा सिस्टम आर्किटेक्ट्स को डोमेन की गतिशीलता के आधार पर एल्गोरिदम चुनने में मदद करता है। उदाहरण के लिए, अत्यधिक गतिशील डोमेन (समाचार, सोशल मीडिया) उच्च-प्लास्टिसिटी वाले मॉडलों को पसंद कर सकते हैं, जबकि स्थिर डोमेन (किताबें, संगीत) उच्च-स्थिरता वाले मॉडलों से लाभान्वित हो सकते हैं।
नियामक अनुपालन (Regulatory Compliance): इन प्रोफाइल्स को समझना यूरोपीय संघ के डिजिटल सेवा अधिनियम (DSA) जैसे नियमों के लिए जोखिम मूल्यांकन में सहायता करता है, जिससे यह अनुमान लगाया जा सकता है कि सिस्टम डेटा शिफ्ट के प्रति कैसे प्रतिक्रिया देंगे।
सीमाएँ और भविष्य का कार्य:
- 50% कृत्रिम बदलाव वास्तविक दुनिया के ड्रिफ्ट (drift) के प्रभाव को कम आंक सकता है।
- वर्तमान प्रोटोकॉल में एक संभावित "टेम्पोरल लीकेज" (temporal leakage) पूर्वाग्रह है जहाँ $M_2$ के पास $D_1$ के सापेक्ष भविष्य का ज्ञान होता है।
- भविष्य के कार्यों में अधिक डेटासेट तक विस्तार करना, सटीकता (accuracy) से परे मेट्रिक्स (विविधता, निष्पक्षता) का परीक्षण करना, और पुनरुत्पादकता के लिए एक ओपन-सोर्स सॉफ्टवेयर पैकेज जारी करना शामिल है।

संक्षेप में, यह शोध पत्र स्थिर सटीकता मेट्रिक्स से आगे बढ़कर अनुशंसा प्रणालियों के मूल्यांकन के लिए एक गतिशील दृष्टिकोण प्रदान करता है, और यह उजागर करता है कि "सर्वश्रेष्ठ" एल्गोरिदम एप्लिकेशन के संदर्भ में आवश्यक स्थिरता और प्लास्टिसिटी के विशिष्ट संतुलन पर निर्भर करता है।