Long-term User Engagement Optimization through Model-agnostic Downstream Rewards Learning
यह शोध पत्र प्रारंभिक भविष्य कहने वाले सत्र व्यवहारों (early predictive session behaviors) की पहचान करने और डाउनस्ट्रीम रिवॉर्ड सिग्नल्स प्राप्त करने के माध्यम से बड़े पैमाने के अनुशंसा तंत्रों (recommendation systems) में दीर्घकालिक उपयोगकर्ता जुड़ाव को अनुकूलित करने के लिए एक एकीकृत, मॉडल-अज्ञेय (model-agnostic) ढांचे को प्रस्तुत करता है, जिसे रिटेंशन मेट्रिक्स में सुधार के लिए Pinterest की कई सतहों (surfaces) पर सफलतापूर्वक तैनात किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अनंत पुस्तकालय में घूम रहे हैं जहाँ अलमारियाँ आपके देखने के आधार पर खुद को पुनर्गठित करती हैं। यह रेकमेंडर सिस्टम्स (recommender systems) की दुनिया है, जो Pinterest, TikTok और Netflix जैसे ऐप्स के पीछे के अदृश्य इंजन हैं। उनका काम यह अनुमान लगाना है कि आप आगे क्या पसंद करेंगे। लंबे समय तक, ये सिस्टम एक अधीर टूर गाइड की तरह थे: उन्हें केवल इस बात से मतलब था कि क्या आपने अभी किसी एक प्रदर्शनी को देखने के लिए रुककर देखा। यदि आपने एक तस्वीर पर क्लिक किया, तो वे तुरंत आपको वैसी ही दस और तस्वीरें दिखा देंगे। लेकिन यहाँ समस्या यह है: यदि आप लोगों को केवल वही दिखाते हैं जो वे पहले से जानते हैं, तो वे ऊब जाते हैं और पुस्तकालय में आना ही छोड़ देते हैं। वैज्ञानिक जिस बड़े सवाल को हल करने की कोशिश कर रहे हैं, वह यह है: हम ऐसी चीजें कैसे रेकमेंड करें जो लोगों को अगले पाँच मिनट के लिए नहीं, बल्कि महीनों या वर्षों तक वापस आने के लिए प्रेरित करें?
इसका उत्तर देने के लिए, शोधकर्ताओं को एक पेचीदा वास्तविकता का सामना करना पड़ता है: हम आसानी से भविष्य नहीं देख सकते। हम यह देखने के लिए इंतजार नहीं कर सकते कि क्या कोई उपयोगकर्ता एक महीने बाद वापस आता है ताकि आज उन्हें क्या दिखाया जाए, यह तय किया जा सके। इसलिए, भविष्य का सीधे अनुमान लगाने के बजाय, वे वर्तमान में "सुरागों" (clues) की तलाश करते हैं—वे छोटे व्यवहार जो आमतौर पर तब होते हैं जब कोई व्यक्ति यह तय करने से ठीक पहले रुकता है कि उसे टिके रहना है। यह पेपर उन्हीं सुरागों को खोजने और पुस्तकालय के टूर गाइड को उनका अनुसरण करने के लिए प्रशिक्षित करने के बारे में है, जिससे एक छोटी, उबाऊ यात्रा को एक लंबी, रोमांचक साहसिक यात्रा में बदला जा सके।
समस्या: "क्लिक-ट्रैप" (The Click-Trap)
कल्पना कीजिए कि आप एक मेले में हैं। एक गेम बूथ आपको एक मुफ्त, तत्काल कैंडी ऑफर करता है यदि आप एक पहिया घुमाते हैं। आप पहिया घुमाते हैं, अपनी कैंडी पाते हैं, और चले जाते हैं। बूथ का मालिक खुश है क्योंकि आपने पहिया घुमाया, लेकिन आप कभी वापस नहीं आते। यह तब होता है जब रेकमेंडर सिस्टम केवल अल्पकालिक संकेतों (short-term signals) जैसे कि एक त्वरित क्लिक या एक सेकंड की नज़र की परवाह करते हैं। उन्हें बहुत सारे "स्पिन्स" मिलते हैं, लेकिन उपयोगकर्ता ऊब जाते हैं और मेले को हमेशा के लिए छोड़ देते हैं।
Pinterest में काम करने वाले इस पेपर के लेखकों ने महसूस किया कि तत्काल क्लिक के लिए अनुकूलन (optimizing) करना वास्तव में उनके प्लेटफॉर्म के दीर्घकालिक स्वास्थ्य को नुकसान पहुँचा रहा था। वे एक ऐसा सिस्टम बनाना चाहते थे जो केवल यह न कहे कि, "यहाँ कुछ ऐसा है जिसे आप क्लिक कर सकते हैं," बल्कि यह कहे कि, "यहाँ कुछ ऐसा है जो आपको रुकने, खोजने और कल वापस आने के लिए प्रेरित करेगा।"
समाधान: "रैबिट होल" जासूस (The Rabbit Hole Detective)
टीम ने एक चतुर विचार निकाला: यह देखने के बजाय कि क्या कोई उपयोगकर्ता अगले सप्ताह वापस आता है (जो दुर्लभ है और ट्रैक करना कठिन है), वे डाउनस्ट्रीम रिवॉर्ड्स (Downstream Rewards) की तलाश करेंगे। इसे एक जासूस की तरह समझें जो पदचिह्नों की तलाश कर रहा है। यदि कोई उपयोगकर्ता संबंधित सामग्री के "रैबिट होल" (एक गहरा गोता) में गहराई तक जाता है, एक तस्वीर सेव करता है, या लंबे समय तक खोजबीन करता है, तो ये मजबूत पदचिह्न हैं जो कहते हैं, "इस व्यक्ति का समय बहुत अच्छा बीत रहा है और इसके वापस आने की संभावना अधिक है।"
यह पेपर एक मॉडल-एग्नोस्टिक फ्रेमवर्क (model-agnostic framework) प्रस्तावित करता है। "मॉडल-एग्नोस्टिक" एक फैंसी तरीका है यह कहने का कि "यह किसी भी प्रकार के रेकमेंडेशन इंजन के साथ काम करता है," चाहे वह एक साधारण सूची हो या एक जटिल AI। उन्होंने केवल यह अनुमान नहीं लगाया कि कौन सा व्यवहार अच्छा है; उन्होंने यह पता लगाने के लिए एक विशाल ऑफलाइन स्क्रीनिंग प्रक्रिया चलाई कि कौन सी विशिष्ट क्रियाएं वास्तव में दीर्घकालिक वफादारी की भविष्यवाणी करती हैं।
तीन स्वर्णिम सुराग (The Three Golden Clues)
अपने विश्लेषण के माध्यम से, उन्होंने "रिवॉर्ड्स" (सुरागों) के तीन मुख्य प्रकारों की पहचान की जो खुश और वापस आने वाले उपयोगकर्ताओं की ओर ले जाते हैं:
- गहरा गोता (Deep Dive - Deeper Session Engagement):
यह केवल क्लिक करने के बारेм नहीं है; यह इस बारे में है कि आप कितनी गहराई तक जाते हैं। पेपर ने पाया कि यदि कोई उपयोगकर्ता एक पिन पर क्लिक करता है और फिर तुरंत एक "P2P रैबिट होल" (संबंधित पिनों की एक श्रृंखला) में गोता लगाता है, उसे सेव करता है, या डाउनलोड करता है, तो यह एक बड़ी जीत है।
- रूपक (Metaphor): यह एक कमरे में झांकने और वास्तव में उसमें रहने जाने के बीच का अंतर है। सिस्टम ने उन उपयोगकर्ताओं को पुरस्कृत करना सीखा जो सतह को छूने के बजाय "रैबिट होल" को खोजने में समय बिताते हैं।
- परिणाम: उन्होंने पाया कि ये गहरी क्रियाएं उपयोगकर्ताओं के वापस आने से मजबूती से जुड़ी हुई हैं। वास्तव में, इन गहरी क्रियाओं वाले सत्रों (sessions) के कारण उपयोगकर्ता काफी जल्दी ऐप पर वापस आए।
- "दिखावा" दंड (The "Fake It" Penalty - Negative Rewards):
सभी क्लिक अच्छे नहीं होते। टीम ने पाया कि कुछ "क्लोजअप" (छवि पर ज़ूम करना) वास्तव में बोरियत के संकेत हैं। यदि कोई उपयोगकर्ता एक सेकंड से कम समय के लिए ज़ूम करता है और फिर तुरंत चला जाता है, तो यह एक "उथला क्लोजअप" (shallow closeup) है।
- रूपक: कल्पना कीजिए कि कोई दुकान में आता है, एक वस्तु उठाता है, उसे एक पल के लिए देखता है, और तुरंत उसे छोड़ देता है। वे इसमें रुचि नहीं रख रहे हैं; वे बस समय काट रहे हैं।
- सुधार: सिस्टम अब इन क्षणिक नज़रों को एक नकारात्मक रिवॉर्ड (negative reward) के रूप में मानता है। यह एक टूर गाइड की तरह है जो कहता है, "हे, इस व्यक्ति को यह चीज़ दोबारा मत दिखाओ; उन्हें स्पष्ट रूप से यह पसंद नहीं आई।" उन्होंने यह भी पाया कि विभिन्न प्रकार के उपयोगकर्ताओं के लिए अलग-अलग नियम चाहिए: "कोर" उपयोगकर्ताओं के लिए उथला होने के लिए 1-सेकंड की सीमा आवश्यक है, जबकि "नॉन-कोर" उपयोगकर्ताओं के लिए केवल 0.5 सेकंड की आवश्यकता है।
- नया रोमांच (The New Adventure - Use Case Adoption):
कभी-कभी, उपयोगकर्ता अपनी पुरानी रुचियों के लूप में फंस जाते हैं। पेपर ने यूज़ केस अडॉप्शन (Use Case Adoption) के लिए एक रिवॉर्ड पेश किया। यह तब होता है जब कोई उपयोगकर्ता किसी ऐसी चीज़ के साथ जुड़ता है जो पूरी तरह से नई है और उसके सामान्य पैटर्न में फिट नहीं बैठती है।
- रूपक: यदि कोई उपयोगकर्ता आमतौर पर "बिल्ली के वीडियो" देखता है, और सिस्टम उसे "साइकिल कैसे ठीक करें" का वीडियो दिखाता है, और वह वास्तव में उसे देखता है और सेव करता है, तो यह एक जीत है। इसका मतलब है कि सिस्टम ने सफलतापूर्वक उनके क्षितिज का विस्तार किया।
- लक्ष्य: यह AI को उपयोगकर्ताओं को ऐसी चीजें दिखाने के लिए प्रोत्साहित करता है जो वे नहीं जानते थे कि वे चाहते हैं, जिससे उन्हें नए शौक और रुचियां बनाने में मदद मिलती है, जो उन्हें प्लेटफॉर्म पर लंबे समय तक बनाए रखता है।
इंजन रूम: उन्होंने इसे कैसे काम किया (The Engine Room)
आप सोच सकते हैं, "आप ऐप को धीमा किए बिना यह सब कैसे गणना कर सकते हैं?" लेखकों ने DRv2 नामक एक नया इंफ्रास्ट्रक्चर बनाया।
- पुराना तरीका: वे पहले इन सभी रिवॉर्ड्स की गणना विशाल बैचों में करते थे, जिसे अपडेट होने में हफ्तों लग जाते थे। यदि वे एक नया विचार परीक्षण करना चाहते थे, तो उन्हें हफ्तों इंतजार करना पड़ता था।
- नया तरीका: उन्होंने एक ऐसा सिस्टम बनाया जो डेटा पढ़े जाने के समय ही इन रिवॉर्ड्स की गणना करता है। इसने नए विचारों का परीक्षण करने के समय को 3 सप्ताह से घटाकर 2 दिन कर दिया। यह हर बार केक का स्लाइस मांगने पर उसे तुरंत असेंबल करने वाली एक जादुई मशीन होने जैसा है, बजाय इसके कि हर बार शुरू से केक बनाया जाए।
परिणाम: क्या यह वास्तव में काम करता है?
टीम ने A/B टेस्टिंग (एक समूह को पुराना सिस्टम और दूसरे समूह को नया सिस्टम दिखाना) का उपयोग करके वास्तविक दुनिया में इन विचारों का परीक्षण किया। परिणाम सुसंगत और सकारात्मक थे:
- अधिक सफल सत्र: उन सत्रों की संख्या जहाँ उपयोगकर्ताओं ने कुछ सार्थक किया (जैसे सेव करना या डाउनलोड करना) पूरे स्तर पर +0.36% बढ़ गई।
- अधिक समय बिताया गया: उपयोगकर्ताओं ने ऐप में अधिक समय बिताया, कुल समय में +0.10% की वृद्धि हुई।
- बेहतर रिटेंशन (Retention): सबसे महत्वपूर्ण बात यह है कि कोर उपयोगकर्ताओं के लिए साप्ताहिक सक्रिय उपयोगकर्ताओं (WAU) की संख्या +0.1% बढ़ गई। यह साबित करता है कि सिस्टम ने केवल लोगों को क्लिक करने के लिए मूर्ख नहीं बनाया; इसने वास्तव में उन्हें वापस आने के लिए प्रेरित किया।
- क्रॉस-सरफेस सफलता: उन्होंने केवल "होमफीड" (मुख्य पृष्ठ) को ही नहीं सुधारा। उन्होंने सर्च (Search), रिलेटेड पिन्स (Related Pins) और नोटिफिकेशन्स (Notifications) पर भी यही तर्क लागू किया। सर्च में, "फुलफिलमेंट रेट" (कितनी बार सर्च से वास्तविक क्रिया हुई) +0.25% बढ़ गया।
निष्कर्ष (The Takeaway)
यह पेपर सुझाव देता है कि उपयोगकर्ताओं को खुश रखने का रहस्य केवल उन्हें वह दिखाना नहीं है जो वे पहले से ही पसंद करते हैं, बल्कि उन्हें गहरे और अधिक सार्थक इंटरैक्शन की ओर ले जाना है। "डीप डाइव" को पुरस्कृत करके, "फेक क्लिक्स" को दंडित करके, और "नए रोमांच" को प्रोत्साहित करके, सिस्टम एक त्वरित झलक को एक दीर्घकालिक संबंध में बदल सकता है।
लेखक सावधानीपूर्वक नोट करते हैं कि यह कोई जादुई समाधान नहीं है जो सब कुछ हमेशा के लिए हल कर देगा, लेकिन यह एक शक्तिशाली, लचीला उपकरण है जो ऐप के विभिन्न हिस्सों में काम करता है। क्लिक की गति के बजाय यात्रा की गुणवत्ता पर ध्यान केंद्रित करके, वे एक ऐसा रेकमेंडर सिस्टम बनाने में सफल रहे जो एक वेंडिंग मशीन के बजाय एक मददगार दोस्त की तरह महसूस होता है जो जानता है कि बातचीत को कैसे जारी रखना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।