तकनीकी सारांश: इम्पेशेंट बैंडिट्स: बिना देरी के दीर्घकालिक अनुकूलन (Impatient Bandits: Optimizing for the Long-Term Without Delay)

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र बड़े पैमाने के अनुशंसा तंत्रों (recommender systems) में एक महत्वपूर्ण चुनौती को संबोधित करता है: दीर्घकालिक उपयोगकर्ता संतुष्टि (जैसे, 60 दिनों तक निरंतर जुड़ाव) के लिए अनुकूलन करना, जबकि ऐसे पुरस्कारों को देखने में होने वाली गंभीर देरी को कम करना। मानक मल्टी-आर्म्ड बैंडिट (MAB) सेटिंग्स में, एल्गोरिदम तत्काल फीडबैक की धारणा रखते हैं। हालाँकि, Spotify जैसे वास्तविक दुनिया के प्लेटफार्मों में, वास्तविक पुरस्कार (दीर्घकालिक जुड़ाव) एक महत्वपूर्ण देरी (जैसे, $d_{max} = 60$ दिन) के बाद ही देखा जा सकता है।

पूर्ण पुरस्कारों के प्रकट होने तक नीतियों को अपडेट करने के लिए प्रतीक्षा करना एक "कोल्ड-स्टार्ट" समस्या की ओर ले जाता है जहाँ नई सामग्री का प्रभावी ढंग से मूल्यांकन नहीं किया जा सकता, और सीखने की दर अत्यधिक धीमी हो जाती है। इसके विपरीत, अल्पकालिक प्रॉक्सी (जैसे, तत्काल क्लिक) के लिए अनुकूलन करना अक्सर दीर्घकालिक लक्ष्यों के साथ असंगत होता है।

लेखक इसे प्रोग्रेसिव फीडबैक वाले बैंडिट समस्या (Bandit problem with Progressive Feedback) के रूप में औपचारिक रूप देते हैं। साधारण विलंबित फीडबैक (जहाँ देरी समाप्त होने तक कोई जानकारी उपलब्ध नहीं होती) के विपरीत, प्रोग्रेसिव फीडबैक यह मानता है कि दीर्घकालिक परिणाम समय के साथ मध्यवर्ती, सह-संबंधित परिणामों (जैसे, दैनिक श्रवण गतिविधि) के माध्यम से तेजी से अनुमानित होने लगते हैं। मुख्य चुनौती यह है कि लघु-अवधि के संकेतों को पूर्ण सरोगेट (surrogates) मानने की धारणा पर निर्भर किए बिना, अंतिम दीर्घकालिक पुरस्कार देखे जाने से पहले प्रभावी ढंग से सीखने के लिए इन मध्यवर्ती संकेतों का लाभ उठाना है।

2. कार्यप्रणाली (Methodology)

2.1 मॉडल: प्रोग्रेसिव फीडबैक के साथ बैंडिट्स (Bandits with Progressive Feedback)

लेखक एक ऐसी सेटिंग को परिभाषित करते हैं जहाँ:

• क्रियाएँ (Actions): प्रत्येक समय चरण $t$ पर उपयोगकर्ताओं के बैच $U_t$ को वस्तुओं का एक परिमित सेट $\mathcal{A}$ अनुशंसित किया जाता है।
• परिणाम (Outcomes): उपयोगकर्ता $u$ के लिए वस्तु $a$ का चयन करने से परिणामों का एक वेक्टर $Y_u = (Y_u^{(1)}, \dots, Y_u^{(J)})$ उत्पन्न होता है, जो $J$ दिनों में प्रगतिशील रूप से प्रकट होने वाले जुड़ाव मेट्रिक्स का प्रतिनिधित्व करता है।
• पुरस्कार (Reward): वास्तविक पुरस्कार $R(Y_u)$ पूर्ण प्रक्षेपवक्र (trajectory) का एक ज्ञात फलन है (जैसे, 60 दिनों की कुल गतिविधि)।
• मान्यताएँ (Assumptions):
  • विनिमयता (Exchangeability): समान वस्तु प्राप्त करने वाले उपयोगकर्ताओं के संभावित परिणाम वस्तु विशेषताओं के आधार पर विनिमेय (exchangeable) होते हैं।
  • गौसियन प्रोसेस (Gaussian Process): संभावित परिणाम एक बहुभिन्नरूपी गौसियन वितरण का पालन करते हैं। विलक्षण पैरामीटर $\theta_a$ वस्तु की वास्तविक गुणवत्ता का प्रतिनिधित्व करता है, और देखे गए परिणाम $\theta_a$ के शोर युक्त यथार्थ (noisy realizations) हैं।
  • रैखिक पुरस्कार (Linear Reward): पुरस्कार फलन $R(\cdot)$ एक अफ़ाइन (affine) है, जो यह सुनिश्चित करता है कि अपेक्षित पुरस्कार गौसियन है।

2.2 एल्गोरिदम: इम्पेशिएंट थॉमसन सैंपलिंग (Impatient Thompson Sampling)

प्रस्तावित समाधान थॉमसन सैंपलिंग (Thompson Sampling) को एक (एम्पिरिकल) बायेसियन फ़िल्टर के साथ एकीकृत करता है।

1. प्रायर लर्निंग (Prior Learning): ऐतिहासिक डेटा का उपयोग करके, सिस्टम विलक्षण वस्तु गुणवत्ता मापदंडों $\theta_a$ (विशेष रूप से वस्तु विशेषताओं $z$ पर आधारित माध्य $\mu_{1,z}$ और सहप्रसरण $\Sigma_{1,z}$) पर एक प्रायर वितरण फिट करता है। यह टाइप II मैक्सिमम लाइकलीहुड (एम्पिरिकल बायेस) के माध्यम से किया जाता है।
2. पोस्टीरियर अपडेट्स (Posterior Updates): जैसे-जैसे मध्यवर्ती परिणाम $Y_u^{(j)}$ प्रकट होते हैं, एल्गोरिदम एक गौसियन फ़िल्टर का उपयोग करके $\theta_a$ के पोस्टीरियर वितरण को अपडेट करता है। यह सिस्टम को वस्तु के दीर्घकालिक मूल्य के बारे में एक संभाव्य विश्वास बनाए रखने की अनुमति देता है, भले ही अंतिम पुरस्कार अनदेखना हो।
3. निर्णय लेना (Decision Making): प्रत्येक चरण में, एल्गोरिदम प्रत्येक वस्तु के लिए वर्तमान पोस्टीरियर से एक उम्मीदवार $\theta'_a$ का नमूना (sample) लेता है और अपेक्षित पुरस्कार $R(\theta'_a)$ को अधिकतम करने वाली वस्तु का चयन करता है।

सैद्धांतिक विश्लेषण के लिए एल्गोरिदम का एक "लोअर वेरिएंस" (Lower Variance) संस्करण पेश किया गया है, जो सटीक बैच आकार सुनिश्चित करने के लिए सैंपलिंग संभावनाओं को राउंड करता है, हालांकि अनुभवजन्य परिणाम दिखाते हैं कि मानक संस्करण समान प्रदर्शन करता है।

2.3 सैद्धांतिक ढांचा: प्रोग्रेसिव फीडबैक का मूल्य (Value of Progressive Feedback - VoPF)

पेपर एक सूचना-सैद्धांतिक मीट्रिक, प्रोग्रेसिव फीडबैक के मूल्य (VoPF) को पेश करता है, जो मध्यवर्ती संकेतों की उपयोगिता को मापने के लिए है।

• परिभाषा: VoPF, विलंबित परिणामों को देखते हुए, वास्तविक दीर्घकालिक पुरस्कार और प्रोग्रेसिव (सेंसर किए गए) परिणामों के बीच कंडीशनल म्यूचुअल इंफॉर्मेशन है।
• महत्व: यह मापता है कि मध्यवर्ती संकेतों को देखने से दीर्घकालिक पुरस्कार के बारे में कितनी अनिश्चितता हल होती है।
• रिग्रेट बाउंड (Regret Bound): लेखक अपने एल्गोरिदम के लिए एक रिग्रेट बाउंड निकालते हैं जो $\exp(-\text{VoPF})$ के साथ स्केल करता है।
  • यदि VoPF शून्य है (मध्यवर्ती संकेत सूचनात्मक नहीं हैं), तो बाउंड विलंबित पुरस्कारों के लिए मानक रिग्रेट बाउंड पर वापस आ जाता है।
  • यदि VoPF उच्च है (संकेत अत्यधिक भविष्य कहने वाले हैं), तो रिग्रेट काफी कम हो जाता है, जो प्रभावी रूप से एल्गोरिदम को यह सीखने की अनुमति देता है जैसे कि देरी कम हो।

3. प्रमुख योगदान (Key Contributions)

1. प्रोग्रेसिव फीडबैक का औपचारिकीकरण: पेपर "प्रोग्रेसिव फीडबैक" (क्रमिक रूप से प्रकट होने वाले, भविष्य कहने वाले संकेत) को मानक "विलंबित फीडबैक" या "परफेक्ट सरोगेट्स" से अलग करता है। यह अनुशंसा प्रणालियों के संदर्भ में इस घटना के लिए एक कठोर मॉडल प्रदान करता है।
2. नवीन एल्गोरिदम: यह सह-संबंधित, प्रगतिशील रूप से प्रकट होने वाले परिणामों को संभालने के लिए थॉमसन सैंपलिंग को गौसियन फ़िल्टरिंग के साथ जोड़ने वाला एक 'इम्पेशिएंट बैंडिट' एल्गोरिदम प्रस्तावित करता है।
3. सैद्धांतिक गारंटी: यह एक नवीन रिग्रेट बाउंड स्थापित करता है जो VoPF मीट्रिक द्वारा नियंत्रित होता है, यह सिद्ध करता है कि एल्गोरिदम शुरुआती बैचों में भी कम रिग्रेट प्राप्त कर सकता है, बशर्ते मध्यवर्ती संकेत सूचनात्मक हों।
4. अनुभवजन्य सत्यापन (Empirical Validation):
   • सिंथेटिक प्रयोग: यह प्रदर्शित किया गया कि एल्गोरिदम का प्रदर्शन विभिन्न स्तरों की सिग्नल सूचनात्मकता केAcross (across) गुणात्मक रूप से सैद्धांतिक भविष्यवाणियों से मेल खाता है।
   • सेमी-सिंथेटिक प्रयोग: Spotify पॉडकास्ट डेटा का उपयोग करते हुए, एल्गोरिदम ने संचयी रिग्रेट (cumulative regret) में बेसलाइन (विलंबित-केवल और अल्पकालिक प्रॉक्सी) की तुलना में काफी बेहतर प्रदर्शन किया, विशेष रूप से कोल्ड-स्टार्ट परिदृश्यों में।
   • A/B टेस्ट: सैकड़ों मिलियन उपयोगकर्ताओं वाले Spotify के एक बड़े पैमाने के परिनियोजन (deployment) में शामिल है।

4. परिणाम (Results)

4.1 सिंथेटिक और सेमी-सिंथेटिक प्रयोग

• रिग्रेट में कमी: सिंथेटिक वातावरण में, इम्पेशिएंट बैंडिट एल्गोरिदम ने मानक थॉमसन सैंपलिंग एल्गोरिदम की तुलना में, जो मध्यवर्ती फीडबैक को अनदेखा करता है, संचयी रिग्रेट को काफी कम कर दिया। सुधार सीधे VoPF के साथ सह-संबंधित था।
• कोल्ड स्टार्ट: Spotify पॉडकास्ट डेटा का उपयोग करके सेमी-सिंथेटिक प्रयोगों में, एल्गोरिदम ने विलंबित-रिवॉर्ड बेसलाइन की तुलना में पहले 60 दिनों (विलंब अवधि) के दौरान बहुत कम रिग्रेट संचित किया।
• प्रायर का महत्व: प्रयोगों ने दिखाया कि सीखा गया प्रायर (ऐतिहासिक डेटा पर फिट किया गया) उपयोग करना महत्वपूर्ण था; एक अनइंफॉर्मेटिव प्रायर के परिणामस्वरूप विलंबित-रिवॉर्ड बेसलाइन के समान प्रदर्शन हुआ।
• नॉन-स्टेशनैरिटी (Non-Stationarity): एक सेटिंग में जहाँ उपलब्ध वस्तुओं का सेट बार-बार बदल रहा था (निरंतर सामग्री रिलीज का अनुकरण करते हुए), प्रोग्रेसिव फीडबैक एल्गोरिदम ने कम रिग्रेट बनाए रखा, जबकि विलंबित एल्गोरिदम तेजी से अनुकूलन करने में विफल रहा।

4.2 A/B टेस्ट परिणाम (Spotify)

इस पद्धति का परीक्षण Spotify मोबाइल ऐप में "Shows you might like" शेल्फ पर किया गया, जो पॉडकास्ट अनुशंसाओं को रैंक करता है।

• ट्रीटमेंट बनाम कंट्रोल: ट्रीटमेंट पॉलिसी ने नए शो के लिए "स्टिकिनेस" (दीर्घकालिक जुड़ाव) का अनुमान लगाने के लिए प्रोग्रेसिव फीडबैक का उपयोग किया, जबकि कंट्रोल पॉलिसी विलंबित पुरस्कारों (डेटा के लिए 60 दिन प्रतीक्षा करना) पर निर्भर थी।
• नई सामग्री पर प्रभाव: हाल ही में रिलीज़ हुए शो के लिए, ट्रीटमेंट पॉलिसी ने कंट्रोल की तुलना में डिस्कवरी रेट में लगभग 30% की वृद्धि की और 60-दिवसीय सक्रिय दिनों (active days) को प्रति इम्प्रेशन 50% से अधिक सुधारा।
• कुल प्रभाव: सभी शो में, ट्रीटमेंट ने प्रति इम्प्रेशन 60-दिवसीय सक्रिय दिनों में 7% की वृद्धि और 60-दिवसीय मिनटों में >10% की वृद्धि की।
• ट्रेड-ऑफ (Trade-offs): ये दीर्घकालिक लाभ अल्पकालिक डिस्कवरी दरों (कम तत्काल क्लिक) में थोड़ी, सांख्यिकीय रूप से महत्वपूर्ण कमी के साथ आए, जो पुष्टि करता है कि एल्गोरिदम ने सफलतापूर्वक अल्पकालिक प्रॉक्सी से दीर्घकालिक मूल्य की ओर ध्यान केंद्रित किया।
• परिनियोजन (Deployment): इन परिणामों के आधार पर, इस पद्धति को सैकड़ों मिलियन उपयोगकर्ताओं के लिए पावर पर्सनलाइज्ड पॉडकास्ट अनुशंसाओं को चलाने के लिए रोल आउट किया गया।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि इसका प्राथमिक योगदान अनुशंसा प्रणालियों में सीखने की गति और दीर्घकालिक संरेखण (alignment) के बीच के संतुलन को सुलझाना है। "प्रोग्रेसिव फीडबैक" को औपचारिक रूप देकर, लेखक यह प्रदर्शित करते हैं कि यदि मध्यवर्ती संकेत भविष्य कहने वाले हों, तो पूर्ण रिवॉर्ड होराइजन की प्रतीक्षा किए बिना दीर्घकालिक लक्ष्यों के लिए अनुकूलन करना संभव है।

लेखक स्पष्ट करते हैं कि उनका दृष्टिकोण मौजूदा सरोगेट आउटकम साहित्य से भिन्न है क्योंकि:

1. यह यह नहीं मानता कि मध्यवर्ती परिणाम पूर्ण सरोगेट हैं।
2. यह एक एकल बाइनरी आउटकम के बजाय बड़ी संख्या में निरंतर, क्रमिक रूप से प्रकट होने वाले मध्यवर्ती संकेतों (जैसे, >50 दैनिक मेट्रिक्स) को संभालता है।
3. यह बायेसियन फ़िल्टरिंग के माध्यम से समय के साथ अनिश्चितता में कमी को स्पष्ट रूप से मॉडल करता है।

यह कार्य इस बात की पुष्टि करता है कि प्रोग्रेसिव फीडबैक का लाभ उठाने से औद्योगिक स्तर के सिस्टम में पर्याप्त सुधार हो सकता है, विशेष रूप रूप से नई सामग्री के लिए कोल्ड-स्टार्ट समस्या को हल करने में जहाँ ऐतिहासिक दीर्घकालिक डेटा अनुपस्थित होता है। लेखक नोट करते हैं कि एल्गोरिदम की सफलता ऐतिहासिक डेटा से एक सटीक प्रायर सीखने की क्षमता पर निर्भर करती है, जो एक व्यावहारिक आवश्यकता है जिसे वे एम्पिरिकल बायेस फिटिंग के माध्यम से संबोधित करते हैं।