Multi-Armed Bandits With Machine Learning-Generated Surrogate Rewards

यहाँ शोध पत्र "Multi-Armed Bandits With Machine Learning-Generated Surrogate Rewards" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मल्टी-आर्म्ड बैंडिट (MAB) समस्या को संबोधित करता है, जो अनिश्चितता के तहत क्रमिक निर्णय लेने (sequential decision-making) का एक ढांचा है जहाँ एक एजेंट को संचयी पछतावे (cumulative regret) को कम करने के लिए अन्वेषण (exploration - नए कार्यों को आज़माना) और दोहन (exploitation - सर्वोत्तम ज्ञात कार्य को चुनना) के बीच संतुलन बनाना होता है।

मुख्य चुनौती:
पारंपरिक MAB एल्गोरिदम पूरी तरह से निर्णय लेने की प्रक्रिया के दौरान एकत्र किए गए ऑनलाइन डेटा पर निर्भर करते हैं। हालाँकि, कई वास्तविक दुनिया के परिदृश्यों में (जैसे क्लिनिकल ट्रायल, रिकमेंडेशन सिस्टम), ऑनलाइन चरण शुरू होने से पहले प्रचुर मात्रा में ऑफलाइन/ऐतिहासिक डेटा (कोवेरिएट्स, उपयोगकर्ता विशेषताएँ) उपलब्ध होता है।

• अवसर: इस ऑफलाइन डेटा पर मशीन लर्निंग (ML) मॉडल को प्रशिक्षित किया जा सकता है ताकि परिणामों की भविष्यवाणी की जा सके, जिससे सरोगेट रिवॉर्ड्स (surrogate rewards) उत्पन्न होते हैं।
• कठिनाई: ML द्वारा जनरेट किए गए ये सरोगेट अक्सर पक्षपाती (biased) होते हैं। वे वास्तविक रिवॉर्ड्स के रैंकिंग को सुरक्षित नहीं रख पाते (उदाहरण के लिए, एक ML मॉडल यह भविष्यवाणी कर सकता है कि एक नई दवा प्रभावी है जबकि वह नहीं है, या इसके विपरीत) क्योंकि वे अक्सर अनदेखे वातावरणों के एक्सट्रपलेशन (extrapolation) पर निर्भर करते हैं।
• अंतराल (Gap): मौजूदा विधियाँ या तो यह मान लेती हैं कि ऑफलाइन डेटा पक्षपाती नहीं है (जो शायद ही कभी सच होता है) या उन्हें पक्षपात की सीमा (bias bound) का ज्ञान होना आवश्यक है। ऐसे एल्गोरिदम की कमी है जो बिना पक्षपात की मात्रा या कोवेरियेंस संरचना के पूर्व ज्ञान के, सह-संबंधित लेकिन पक्षपाती (correlated but biased) सरोगेट रिवॉर्ड्स का लाभ उठाकर पछतावे (regret) को कम कर सकें।

2. कार्यप्रणाली: MLA-UCB

लेखक मशीन लर्निंग-असिस्टेड अपर कॉन्फिडेंस बाउंड (MLA-UCB) एल्गोरिदम का प्रस्ताव करते हैं। मुख्य नवाचार माध्य रिवॉर्ड अनुमान (mean reward estimation) को डी-बायस (debias) करने के लिए प्रेडिक्शन-पावर्ड इन्फरेंस (PPI) तकनीकों को UCB फ्रेमवर्क में एकीकृत करना है।

A. एस्टिमेटर (The Estimator)

प्रत्येक आर्म $k$ के लिए केवल वास्तविक रिवॉर्ड के सैंपल मीन का उपयोग करने के बजाय, MLA-UCB एक मशीन लर्निंग-असिस्टेड मीन एस्टिमेटर ($\hat{\mu}^{MLA}$) का निर्माण करता है:
$$\hat{\mu}^{MLA}_{k,n} = \bar{R}_{k,n} - \hat{\lambda}_{k,n} (\bar{\hat{R}}_{k,n} - \bar{\hat{R}}^{off}_{k})$$
जहाँ:

• $\bar{R}_{k,n}$: वास्तविक रिवॉर्ड्स का सैंपल मीन (ऑनलाइन)।
• $\bar{\hat{R}}_{k,n}$: सरोगेट रिवॉर्ड्स का सैंपल मीन (ऑनलाइन)।
• $\bar{\hat{R}}^{off}_{k}$: सरोगेट रिवॉर्ड्स का सैंपल मीन (ऑफलाइन)।
• $\hat{\lambda}_{k,n}$: वास्तविक और सरोगेट रिवॉर्ड्स के बीच सैंपल कोवेरियेंस से प्राप्त एक डेटा-संचालित वेट (प्लग-इन अनुमान)।

यह एस्टिमेटर प्रभावी रूप से ऑफलाइन सरोगेट मीन को एक "कंट्रोल वेरिएट" (control variate) के रूप में उपयोग करता है। यह ऑनलाइन सरोगेट डेटा में देखे गए पक्षपात को ऑफलाइन सरोगेट डेटा के सापेक्ष घटा देता है, जिससे वास्तविक रिवॉर्ड अनुमान सुधर जाता है।

B. कॉन्फिडेंस बाउंड्स (Confidence Bounds)

सैद्धांतिक गारंटी सुनिश्चित करने के लिए, लेखक $\hat{\mu}^{MLA}_{k,n}$ के लिए एक कठोर अपर कॉन्फिडेंस बाउंड (UCB) व्युत्पन्न करते हैं।

• वितरण विश्लेषण (Distributional Analysis): एक बाइवेरिएट गौसियन धारणा (वास्तविक और सरोगेट रिवॉर्ड्स) के तहत, वे सिद्ध करते हैं कि अनुमान त्रुटि को दो स्वतंत्र घटकों में विभाजित किया जा सकता है: एक ऑफलाइन सरोगेट मीन की अनिश्चितता से संबंधित है और दूसरा रिग्रेशन रेसिडुअल (regression residual) से।
• वैरिएंस रिडक्शन (Variance Reduction): कॉन्फिडेंस बाउंड रेसिडुअल के वैरिएंस के साथ स्केल होता है, जिसे $(1 - \rho_k^2)$ के कारक से कम कर दिया जाता है, जहाँ $\rho_k$ वास्तविक और सरोगेट रिवॉर्ड्स के बीच सहसंबंध (correlation) है।
• पूर्व ज्ञान की आवश्यकता नहीं: महत्वपूर्ण रूप से, एल्गोरिदम को वास्तविक रिवॉर्ड्स के वैरिएंस, सरोगेट्स के वैरिएंस, या कोवेरियेंस मैट्रिक्स के पूर्व ज्ञान की आवश्यकता नहीं होती है। यह इन्हें सैंपल सांख्यिकी का उपयोग करके ऑनलाइन अनुमानित करता है।

C. नॉन-गौसियन और बैच सेटिंग्स में विस्तार

शोध पत्र विधि को निम्नलिखित तक विस्तारित करता है:

1. बैच्ड रिवॉर्ड्स (Batched Rewards): जहाँ निर्णय एक साथ $m$ उपयोगकर्ताओं के बैच पर लागू किए जाते हैं।
2. नॉन-गौसियन वितरण (Non-Gaussian Distributions): वैध कॉन्फिडेंस इंटरवल बनाने के लिए सेल्फ-नॉर्मलाइज्ड मॉडरेट डेविएशन बाउंड्स (Cramér-type inequalities) का उपयोग करना, बशर्ते बैच का आकार पर्याप्त बड़ा हो ताकि अनुमानित सामान्यता (approximate normality) प्राप्त हो सके।

3. मुख्य योगदान (Key Contributions)

1. नया MAB सेटिंग: अनिश्चित रूप से पक्षपाती लेकिन सह-संबंधित ML-जनरेटेड सरोगेट रिवॉर्ड्स वाले MAB सेटिंग को औपचारिक रूप दिया। यह इस अवास्तविक धारणा को हटाता है कि ऑफलाइन डेटा निष्पक्ष होना चाहिए या पक्षपात एक ज्ञात स्थिरांक द्वारा सीमित होना चाहिए।
2. MLA-UCB एल्गोरिदम: एक ऐसा एल्गोरिदम प्रस्तावित करता है जो:
   • किसी भी रिवॉर्ड प्रेडिक्शन मॉडल (लीनियर, न्यूरल नेटवर्क, आदि) के साथ काम करता है।
   • पक्षपात या कोवेरियेंस संरचना के किसी भी पूर्व ज्ञान की आवश्यकता नहीं है।
   • एसिम्प्टोटिक ऑप्टिमलिटी (Asymptotic Optimality) प्राप्त करता है।
3. सैद्धांतिक गारंटी:
   • रेग्रेट अपर बाउंड (Regret Upper Bound): सिद्ध करता है कि जब $\rho_k \neq 0$ हो, तो संचयी पछतावा (cumulative regret) शास्त्रीय UCB से काफी कम होता है। रेग्रेट का मुख्य पद $(1 - \rho_k^2)$ के अनुपात में कम हो जाता है।
   • रेग्रेट लोअर बाउंड (Regret Lower Bound): एक मिलान लोअर बाउंड व्युत्पन्न करता है, जो यह सिद्ध करता है कि MLA-UCB यूनिफॉर्मली गुड पॉलिसीज़ के बीच एसिम्प्टोटिक रूप से इष्टतम है।
   • मजबूती (Robustness): यह दिखाता है कि भले ही सरोगेट मीन वास्तविक मीन से पूरी तरह से अलग (उच्च पक्षपात) हो, फिर भी एल्गोरिदम प्रदर्शन में सुधार करता है जब तक कि गैर-शून्य सहसंबंध मौजूद हो।
4. बैच्ड और नॉन-गौसियन थ्योरी: नॉन-गौसियन रिवॉर्ड्स के साथ बैच्ड सेटिंग्स के लिए सिद्धांत का विस्तार करता है, जो सेल्फ-नॉर्मलाइज्ड स्टैटिस्टिक्स का उपयोग करके गणना योग्य कॉन्फिडेंस बाउंड प्रदान करता है।

4. परिणाम (Results)

सैद्धांतिक परिणाम

• गौसियन केस: यदि ऑफलाइन सैंपल साइज $N_k$ क्षितिज $T$ में पॉली-लॉगारिदमिक है (अर्थात, $N_k = \Omega((\log T)^{4/3})$), तो अपेक्षित रेग्रेट इस प्रकार सीमित है:
  $$E[Reg_T] \leq \sum_{k \neq k^*} \frac{2\Delta_k \log T}{\log\left(1 + \frac{\Delta_k^2}{\sigma_k^2(1-\rho_k^2)}\right)}$$
  यह दर्शाता है कि प्रभावी वैरिएंस $\sigma_k^2$ से घटकर $\sigma_k^2(1-\rho_k^2)$ हो जाता है।
• इष्टतमता (Optimality): एल्गोरिदम इस सेटिंग के लिए सूचना-सैद्धांतिक लोअर बाउंड प्राप्त करता है।

अनुभवजन्य परिणाम (Empirical Results)

लेखकों ने व्यापक सिमुलेशन और वास्तविक दुनिया के केस स्टडीज के माध्यम से विधि को सत्यापित किया:

1. सिंथेटिक गौसियन डेटा: MLA-UCB ने शास्त्रीय UCB की तुलना में काफी बेहतर प्रदर्शन किया। रेग्रेट में कमी $\rho_k^2$ के रैखिक थी और जैसे-जैसे ऑफलाइन सैंपल साइज बढ़ा, यह संतृप्त (saturated) हो गई।
2. ML-जनरेटेड नॉन-गौसियन सरोगेट्स: एक नॉन-लीनियर रिवॉर्ड फंक्शन के लिए सरोगेट्स बनाने के लिए विभिन्न मॉडल्स (Linear Regression, SVR, Neural Networks, Decision Trees) का उपयोग करते हुए, MLA-UCB ने लगातार UCB की तुलना में कम रेग्रेट दिखाया, भले ही गौसियन धारणा का उल्लंघन हुआ हो।
3. वास्तविक दुनिया के केस स्टडीज:
   • लैंग्वेज मॉडल सिलेक्शन: सर्वश्रेष्ठ प्रोप्रायटरी मॉडल (GPT-4o, Claude) चुनने के लिए ओपन-सोर्स LLMs (Llama) को सरोगेट के रूप में उपयोग किया गया। MLA-UCB ने मानक चयन विधियों की तुलना में रेग्रेट कम किया।
   • वीडियो रिकमेंडेशन: नए वीडियो रिकमेंडेशन के लिए सरोगेट्स बनाने के लिए ऐतिहासिक यूजर-आइटम इंटरैक्शन पर प्रशिक्षित ग्रेडिएंट बूस्टिंग मॉडल का उपयोग किया गया। MLA-UCC ने यूजर एंगेजमेंट (वॉच रेश्यो) में सुधार किया और रेग्रेट को कम किया।

5. महत्व (Significance)

यह शोध पत्र ऑफलाइन मशीन लर्निंग और ऑनलाइन क्रमिक निर्णय लेने के बीच के अंतर को पाटता है।

• व्यावहारिक प्रभाव: यह चिकित्सकों को प्रचुर मात्रा में ऐतिहासिक डेटा और सस्ते-से-जनरेट होने वाले ML प्रेडिक्शंस का उपयोग करके ऑनलाइन वातावरण में लर्निंग को तेज करने के लिए एक कठोर ढांचा प्रदान करता है, भले ही वे भविष्यवाणियाँ अपूर्ण या पक्षपाती हों।
• सैद्धांतिक प्रगति: यह बैंडिट्स में "पक्षपाती कंट्रोल वेरिएट्स" की चुनौती को हल करता है, यह दिखाते हुए कि बिना पक्षपात को जाने, वैरिएंस रिडक्शन के लिए केवल सहसंबंध (correlation) ही पर्याप्त है।
• सामान्यीकरण (Generality): यह विधि मॉडल-एग्नोस्टिक है और क्लिनिकल ट्रायल्स (दीर्घकालिक परिणामों की भविष्यवाणी) से लेकर डिजिटल विज्ञापन और रिकमेंडेशन सिस्टम तक व्यापक डोमेन में लागू की जा सकती है।

संक्षेप में, MLA-UCB पक्षपाती ML प्रेडिक्शंस के "शोर" (noise) को एक सिग्नल में बदल देता है जो इष्टतम कार्यों की खोज को तेज करता है, जो डेटा-समृद्ध, AI-सहायता प्राप्त निर्णय लेने के आधुनिक युग के लिए एक प्रमाणित इष्टतम समाधान प्रदान करता है।