📊 statistics

Offline-to-Online Learning in Linear Bandits

यह शोध पत्र एक लीनियर बैंडिट एल्गोरिदम का प्रस्ताव करता है जो प्रारंभिक ऑफलाइन डेटा का लाभ उठाते हुए और धीरे-धीरे अन्वेषण (exploration) को बढ़ाते हुए ऑफलाइन और ऑनलाइन लर्निंग के बीच प्रभावी ढंग से संतुलन बनाता है, जिससे इष्टतम क्रिया (optimal action) के सापेक्ष उप-रैखिक (sublinear) रिग्रेट प्राप्त होता है और ऑफलाइन नमूनों में वृद्धि के साथ प्रदर्शन में सुधार होता है।

मूल लेखक: Kushagra Chandak, Toshinori Kitamura, Xiaoqi Tan

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kushagra Chandak, Toshinori Kitamura, Xiaoqi Tan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जहाज के कप्तान हैं जो एक विशाल महासागर में सबसे लाभदायक मछली पकड़ने की जगह खोजने की कोशिश कर रहे हैं। आपके पास जानकारी के दो स्रोत हैं:

पुरानी लॉगबुक (ऑफलाइन डेटा): एक पिछले कप्तान द्वारा छोटी गई एक नोटबुक। यह बताती है कि उन्होंने कहाँ मछली पकड़ी और क्या पकड़ा। यह एक विश्वसनीय इतिहास है, लेकिन यह पुराना हो सकता है, या पिछले कप्तान ने शायद किसी उप-इष्टतम (suboptimal) स्थान पर मछली पकड़ी हो।
अपनी आँखें (ऑनलाइन लर्निंग): आप चारों ओर चक्कर लगा सकते हैं, नए स्थानों को आजमा सकते हैं, और वास्तविक समय में देख सकते हैं कि आप क्या पकड़ रहे हैं। यह रोमांचक हो सकता है और बड़ी खोजों की ओर ले जा सकता है, लेकिन यह जोखिम भरा भी है। यदि आप बिना सोचे-समझे अनछुए जलक्षेत्रों में चले जाते हैं, तो आप कई दिनों तक कुछ भी न पकड़ने के कारण खाली हाथ रह सकते हैं।

यह शोध पत्र इस समस्या का समाधान करता है: आप पुरानी लॉगबुक पर भरोसा करने और नए महासागर की खोज करने के बीच संतुलन कैसे बनाए रखें?

यदि आप केवल लॉगबुक पर भरोसा करते हैं, तो आप मछली के एक विशाल झुंड को मिस कर सकते हैं जिसे पिछले कप्तान ने कभी नहीं पाया। यदि आप केवल खोज (explore) करते हैं, तो आप कुछ भी अच्छा खोजने से पहले हफ्तों तक गलत दिशा में भटकने में बर्बाद कर सकते हैं।

समाधान: "LinOtO" (स्मार्ट कप्तान)

लेखक एक नया एल्गोरिदम प्रस्तावित करते हैं जिसे "LinOtO" कहा जाता है। इसे एक "बजट सिस्टम" का उपयोग करने वाले स्मार्ट कप्तान के रूप में समझें जो यह तय करता है कि कब योजना पर टिके रहना है और कब नई खोज करनी है।

यह इस प्रकार काम करता है, चरण-दर-चरण:

1. "सुरक्षा जाल" (निराशावाद/Pessimism)
शुरुआत में, कप्तान लॉगबुक देखता है। वे एक "सुरक्षित दांव" की गणना करते हैं—एक ऐसा मछली पकड़ने का स्थान जो पुराने डेटा के आधार पर निश्चित रूप से ठीक होने की गारंटी देता है, भले ही वह पूर्ण रूप से सर्वश्रेष्ठ न हो। यह जीवन रक्षक जैकेट पहनने जैसा है। एल्गोरिदम इन सुरक्षित स्थानों को चुनकर शुरुआत करता है।

क्यों? यह सुनिश्चित करता है कि कप्तान पिछले कप्तान द्वारा हासिल किए गए प्रदर्शन से बहुत अधिक नुकसान न करे। यह एक "सुरक्षा कवच" बनाता है।

2. "एक्सप्लोरेशन बजट" (खोज का बजट)
हर बार जब कप्तान लॉगबुक से एक सुरक्षित स्थान चुनता है, तो वे वास्तव में लॉगबुक द्वारा अनुमानित मात्रा से अधिक मछली पकड़ सकते हैं। इस अतिरिक्त पकड़ को एक "एक्सप्लोरेशन बजट" में जोड़ा जाता है।

इस बजट को "बची हुई नकदी" या "ईंधन" के रूप में सोचें। जब तक कप्तान अच्छा कर रहा है (या कम से कम लॉगबुक द्वारा किए गए वादे के बराबर प्रदर्शन कर रहा है), वे जोखिम लेने का अधिकार कमाते हैं।

3. "बड़ी छलांग" (आशावाद/Optimism)
एक बार जब कप्तान ने पर्याप्त "बजट" बचा लिया होता है, तो वे अपनी रणनीति बदल देते हैं। वे सुरक्षित स्थानों को चुनना बंद कर देते हैं और अपने वर्तमान ज्ञान के आधार पर "सर्वश्रेष्ठ संभावित" स्थानों को चुनना शुरू करते हैं (आशावाद)।

वे इस बजट का उपयोग नए, अनछुए जलक्षेत्रों की खोज करने के लिए करते हैं। यदि उन्हें खजाना मिल जाता है, तो बहुत अच्छा! यदि वे किसी मृत अंत (dead end) से टकराते हैं, तो वे बस अपनी बचत से खर्च करते हैं।

4. वापस स्विच करना
यदि कप्तान का बजट खत्म हो जाता है (क्योंकि खोज तुरंत सफल नहीं रही), तो एल्गोरिदम उन्हें अपनी बचत फिर से बनाने के लिए लॉगबुक के "सुरक्षित स्थानों" पर वापस जाने के लिए मजबूर करता है।

परिणाम: दोनों दुनियाओं का सर्वश्रेष्ठ संगम

यह शोध पत्र गणितीय रूप से सिद्ध करता है कि यह "बजट सिस्टम" दो तरीकों से पूरी तरह काम करता है:

लॉगबुक की तुलना में: कप्तान पिछले कप्तान से बहुत अधिक बुरा प्रदर्शन नहीं करता है। भले ही लॉगबुक गलत थी, कप्तान केवल थोड़ा सा ही नुकसान उठाता है, और यह नुकसान जैसे-जैसे लॉगबुक बड़ी और विस्तृत होती जाती है, कम होता जाता है।
शुद्ध खोज (Pure Exploration) की तुलना में: कप्तान अंततः वास्तविक सर्वश्रेष्ठ मछली पकड़ने की जगह ढूंढ लेता है। वे एक ही ढर्रे में नहीं फंसते। जैसे-जैसे समय बीतता है, उनका प्रदर्शन उस कप्तान के समान ही अच्छा हो जाता है जिसने लॉगबुक को पूरी तरह अनदेखा कर दिया और पहले दिन से ही केवल खोज की।

"जादुई" उपमा: रस्सी पर चलने वाला (The Tightrope Walker)

कल्पना कीजिए कि आप एक रस्सी (tightrope) पर चल रहे हैं।

शुद्ध ऑफलाइन (Pure Offline) एक भारी सुरक्षा हार्नेस के साथ चलने जैसा है जो आपको गिरने से रोकता है, लेकिन यह भी आपको तेजी से आगे बढ़ने से रोकता है।
शुद्ध ऑनलाइन (Pure Online) बिना हार्नेस के चलने जैसा है। आप तेजी से चल सकते हैं, लेकिन एक गलत कदम और आप गिर सकते हैं (उच्च पछतावा/regret)।
LinOtO एक ऐसे रस्सी पर चलने वाले जैसा है जो एक हार्नेस के साथ शुरुआत करता है। हर बार जब वे एक सुरक्षित कदम उठाते हैं, तो वे एक "टोकन" कमाते हैं। एक बार जब उनके पास पर्याप्त टोकन हो जाते हैं, तो वे तेजी से दौड़ने के लिए कुछ कदमों के लिए हार्नेस उतार सकते हैं। यदि वे लड़खड़ाते हैं, तो वे तुरंत हार्नेस वापस पहन लेते हैं।

यह शोध पत्र वास्तव में क्या कहता है (और क्या नहीं कहता)

यह क्या करता है: यह इस "बजet सिस्टम" के लिए एक गणितीय नियम बनाता है जो विशेष रूप से उन स्थितियों के लिए है जहाँ "मछली पकड़ने के स्थान" जटिल गणित (linear vectors) द्वारा परिभाषित होते हैं। यह सिद्ध करता है कि यह विधि कुशल और सुरक्षित है।
यह क्या नहीं कहता: शोध पत्र यह दावा नहीं करता कि यह अभी चिकित्सा उपचारों, शेयर बाजारों या स्व-चालित कारों (self-driving cars) के लिए काम करता है। यह इसे केवल "सिंथेटिक" कंप्यूटर सिमुलेशन (बनाए गए मछली पकड़ने के परिदृश्य) पर परीक्षण करता है ताकि गणित सिद्ध किया जा सके। यह यह भी मानता है कि "लॉगबुक" एक बहुत ही विशिष्ट, व्यवस्थित तरीके (fixed design) से लिखी गई थी, जो वास्तविक दुनिया की अव्यवस्था में हमेशा नहीं हो सकता है।

संक्षेप में, यह शोध पत्र हमें सिखाता है कि कैसे भविष्य की खोज के लिए वित्त पोषण करने के लिए पिछले डेटा का उपयोग एक सुरक्षा जाल के रूप में किया जाए, जिससे यह सुनिश्चित हो सके कि हम अतीत में फंसे नहीं रहते, लेकिन भविष्य की ओर बढ़ने के प्रयास में दुर्घटनाग्रस्त भी नहीं होते।

तकनीकी सारांश: लीनियर बैंडिट्स में ऑफलाइन-टू-ऑनलाइन लर्निंग

समस्या विवरण
यह शोध पत्र स्टोकेस्टिक लीनियर बैंडिट (stochastic linear bandit) परिवेश के भीतर ऑफलाइन-टू-ऑनलाइन लर्निंग की समस्या को संबोधित करता है। इस परिदृश्य में एक लर्नर (learner) $n$ की अवधि (horizon) के दौरान संचयी पुरस्कार (cumulative rewards) को अधिकतम करने के लिए $\mathcal{A} \subset \mathbb{R}^d$ के सेट से अनुक्रमिक रूप से क्रियाएं (actions) चुनता है, जबकि उसके पास एक पूर्व-मौजूद ऑफलाइन डेटासेट $\mathcal{D}$ तक पहुंच होती है। ऑफलाइन डेटा एक निश्चित, गैर-अनुकूली डिज़ाइन (निश्चित एक्शन काउंट्स) के माध्यम से एकत्र किया गया है और यह सब-गौसियन शोर (subgaussian noise) के साथ एक लीनियर रिवॉर्ड मॉडल का अनुसरण करता है।

मुख्य चुनौती दो प्रतिस्पर्धी उद्देश्यों के बीच संतुलन बनाने में निहित है:

ऑनलाइन रिग्रेट ( $R_n$ ): इष्टतम क्रिया $\mu^*$ के सापेक्ष रिग्रेट को कम करना। मानक ऑनलाइन एल्गोरिदम (जैसे LinUCB) अन्वेषण (exploration) के लिए आशावाद (optimism) पर भरोसा करते हैं, जिससे उप-रैखिक (sublinear) रिग्रेट प्राप्त होता है, लेकिन ऑफलाइन डेटा की अनदेखी करने पर उच्च प्रारंभिक रिग्रेट का सामना करना पड़ सकता है।
ऑफलाइन रिग्रेट ( $R_n^{off}$ ): ऑफलाइन डेटासेट के औसत पुरस्कार ( $\mu_{off}$ ) के सापेक्ष रिग्रेट को कम करना। मानक ऑफलाइन एल्गोरिदम (जैसे LinLCB) ऑफलाइन डेटा का दोहन (exploit) करने के लिए निराशावाद (pessimism) पर भरोसा करते हैं, जो $\mu_{off}$ के करीब प्रदर्शन सुनिश्चित करता है, लेकिन अन्वेषण करने में विफल रहता है, जिससे यदि ऑफलाइन डेटा उप-इष्टतम है या अवधि लंबी है, तो रैखिक (linear) रिग्रेट होता है।

मौजूदा कार्य मुख्य रूप से इन दो अलग-अलग श्रेणियों को अलग-अलग मानते थे या मल्टी-आर्म्ड बैंडिट्स (MAB) पर ध्यान केंद्रित करते थे जहाँ रिग्रेट क्रियाओं की संख्या के साथ स्केल करता है। यह शोध पत्र स्ट्रक्चर्ड (लीनियर) वातावरण में अंतराल को पाटने का प्रयास करता है, जहाँ रिग्रेट को क्रिया स्थान के आकार के बजाय आयाम $d$ के साथ स्केल होना चाहिए।

कार्यप्रणाली: LinOtO एल्गोरिदम
लेखक LinOtO (Linear Offline-to-Onine) प्रस्तावित करते हैं, जो एक एक्सप्लोरेशन बजट (exploration budget) को प्रबंधित करके अन्वेषण और दोहन के बीच गतिशील रूप से संतुलन बनाता है। एल्गोरिदम एक कॉन्फिडेंस सेट $C_t$ के आधार पर दो रणनीतियों के बीच स्विच करके कार्य करता है जो ऑफलाइन और ऑनलाइन डेटा दोनों से निर्मित है:

कॉन्फिडेंस सेट्स (Confidence Sets): एल्गोरिदम एक लीस्ट-स्क्वेयर्स एस्टीमेटर $\hat{\theta}_t$ और वास्तविक पैरामीटर $\theta^*$ के आसपास एक कॉन्फिडेंस एलिप्सॉइड $C_t$ बनाए रखता है। इस सेट की त्रिज्या (radius) में ऑफलाइन डेटा ( $\beta_{off}$ ) और ऑनलाइन इंटरैक्शन ( $\beta_t$ ) दोनों से जुड़ी अनिश्चितता शामिल है।
आशावादी बनाम निराशावादी क्रियाएं (Optimistic vs. Pessimistic Actions):
- UCB क्रिया ( $U_t$ ): वह क्रिया जो $C_t$ के भीतर अपर कॉन्फिडेंस बाउंड (Upper Confidence Bound) को अधिकतम करती है। यह अन्वेषण को बढ़ावा देती है और $R_n$ को कम करती है, लेकिन $R_n^{off}$ को बढ़ाने का जोखिम उठाती है।
- LCB क्रिया ( $L_t$ ): वह क्रिया जो लोअर कॉन्फिडेंस बाउंड (विशेष रूप से, समय के साथ न्यूनतम कॉन्फिडेंस बाउंड के अधिकतम) को अधिकतम करती है। यह ऑफलाइन डेटा का दोहन करती है, जिससे $R_n^{off}$ कम होता है, लेकिन संभावित रूप से $R_n$ बढ़ जाता है।
बजट तंत्र (Budget Mechanism):
- एल्गोरिदम एक सेफ बेसलाइन रिवॉर्ड $r_b$ को परिभाषित करता है, जो एक विशिष्ट "सेफ" क्रिया $L_{off}$ (केवल ऑफलाइन डेटा से गणना की गई LCB क्रिया) के रिवॉर्ड के लोअर बाउंड से प्राप्त होता है। प्रपोजिशन 2 गारंटी देता है कि $L_{off}$ , उच्च प्रायिकता के साथ $\mu_{off}$ के करीब है।
- एक एक्सप्लोरेशन बजट $B(t)$ बनाए रखा जाता है, जो बेसलाइन $r_b$ के ऊपर एल्गोरिदम के संचयी अतिरिक्त रिवॉर्ड का प्रतिनिधित्व करता है।
- निर्णय नियम (Decision Rule): यदि $B(t) > 0$ है, तो एल्गोरिदम आशावादी क्रिया $U_t$ चुनता है (अन्वेषण)। यदि $B(t) \le 0$ है, तो यह बजट संचित करने के लिए निराशावादी क्रिया $L_t$ (दोहन) चुनता है।
- यह तंत्र सुनिश्चित करता है कि एल्गोरिदम केवल तभी अन्वेषण करता है जब उसने ऑफलाइन बेसलाइन के सापेक्ष सुरक्षित रहकर इसे "अर्जित" किया हो।

प्रमुख योगदान

एल्गोरिदम डिज़ाइन: यह शोध पत्र LinOtO प्रस्तुत करता है, जो विशेष रूप से ऑफलाइन-टू-ऑनलाइन लीनियर बैंडिट सेटिंग के लिए डिज़ाइन किया गया पहला एल्गोरिदम है जो बजट-आधारित स्विचिंग तंत्र के माध्यम से UCB और LCB रणनीतियों को संतुलित करता है।
सैद्धांतिक गारंटी: लेखक दोनों मेट्रिक्स के लिए हाई-प्रोबेबिलिटी रिग्रेट बाउंड स्थापित करते हैं:
- ऑनलाइन रिग्रेट ( $R_n$ ): थ्योरम 1 दिखाता है कि LinOtO इष्टतम क्रिया के सापेक्ष उप-रैखिक रिग्रेट प्राप्त करता है। बाउंड में अवधि $n$ पर निर्भर एक पद (जो LinUCB के समान है) और ऑफलाइन डेटा की गुणवत्ता पर निर्भर एक एडिटिव कांस्टेंट शामिल है। यदि ऑफलाइन डेटा स्पेस को अच्छी तरह से कवर करता है, तो बाउंड में सुधार होता है।
- ऑफलाइन रिग्रेट ( $R_n^{off}$ ): थ्योरम 2 प्रदर्शित करता है कि ऑफलाइन संदर्भ के सापेक्ष रिग्रेट $n$ के साथ रैखिक रूप से स्केल होता है लेकिन ऑफलाइन सैंपल $m$ के साथ $O(1/\sqrt{m})$ के रूप में घटता है। यह शुद्ध रूप से ऑफलाइन (निराशावादी) समाधान के प्रदर्शन से मेल खाता है।
पारेटो ट्रेडऑफ़ विश्लेषण (Pareto Tradeoff Analysis): विश्लेषण एक पैरामीटर $\alpha$ द्वारा नियंत्रित एक ट्यूनेबल ट्रेडऑफ़ को प्रकट करता है। $\alpha$ को बढ़ाने से ऑनलाइन प्रदर्शन (LinUCB के करीब) को बढ़ावा मिलता है, जबकि $\alpha$ को कम करने से ऑफलाइन प्रदर्शन (LinLCB के करीब) को बढ़ावा मिलता है।

प्रायोगिक परिणाम
सिंथेटिक लीनियर बैंडिट कार्यों (डायमेंशन $d=20$ , $|A|=100$ ) पर अनुभवजन्य मूल्यांकन (Empirical evaluations) दर्शाते हैं:

होराइजन संवेदनशीलता (Horizon Sensitivity): कम अवधि के लिए, LinOtO रूढ़िवादी LinLCB बेसलाइन का अनुसरण करता है। लंबी अवधि के लिए, यह अन्वेषण की ओर संक्रमण करता है, और LinUCB के समान उप-रैखिक रिग्रेट प्राप्त करता है।
ऑफलाइन डेटा की गुणवत्ता:
- जब ऑफलाइन डेटासेट इष्टतम क्रिया को बाहर रखता है, तो LinOtO अन्वेषण करने के लिए उप-इष्टतम ऑफलाइन प्रायर से सफलतापूर्वक विचलित होता है, और अंततः LinLCB (जो रैखिक रिग्रेट झेलता है) से बेहतर प्रदर्शन करता है और ऑफलाइन डेटा आकार $m$ बढ़ने के साथ LinUCB के प्रदर्शन के करीब पहुँच जाता है।
- जब ऑफलाइन डेटासेट में इष्टतम क्रिया शामिल होती है, तो LinOtO तेजी से अभिसरित (converge) होता है, और LinUCB तथा LinLCB दोनों के तुलनीय प्रदर्शन करता है।
मजबूती (Robustness): एल्गोरिदम लगातार शुद्ध अन्वेषण (LinUCB) और शुद्ध दोहन (LinLCB) के चरम सीमाओं के बीच प्रदर्शन करता है, और समस्या के मापदंडों के अनुकूल होता है।

महत्व और दावे
शोध पत्र दावा करता है कि LinOtO स्ट्रक्चर्ड वातावरण में "कम समझ में आने वाले" ऑफलाइन-टू-ऑनलाइन ट्रेडऑफ़ को प्रभावी ढंग से हल करता है। MAB सेटिंग्स (जैसे, Sentenac et al., 2025) के विपरीत, यह दृष्टिकोण यह सुनिश्चित करने के लिए लीनियर स्ट्रक्चर का लाभ उठाता है कि रिग्रेट क्रियाओं की संख्या के बजाय आयाम $d$ के साथ स्केल करे, जिससे यह उच्च-आयामी समस्याओं के लिए स्केलेबल बनता है।

लेखक विनम्रतापूर्वक नोट करते हैं कि उनका ढांचा वर्तमान में फिक्स्ड-डिज़ाइन ऑफलाइन डेटा को मानता है और ऑफलाइन एवं ऑनलाइन डेटा के बीच वितरण बदलाव (distribution shifts) या अनुकूली लॉगिंग नीतियों को ध्यान में नहीं रखता है। वे इन सीमाओं को संबोधित करने के साथ-साथ, फ्रेमवर्क को नॉन-लीनियर सेटिंग्स तक विस्तारित करने को भविष्य के अनुसंधान के महत्वपूर्ण दिशाओं के रूप में पहचानते हैं। यह कार्य ऑनलाइन लर्निंग में अन्वेषण-दोहन ट्रेडऑफ़ को निर्देशित करने के लिए पूर्व ज्ञान (संकेत, ऑफलाइन डेटा) का लाभ उठाने के व्यापक साहित्य में योगदान देता है।

समाधान: "LinOtO" (स्मार्ट कप्तान)

परिणाम: दोनों दुनियाओं का सर्वश्रेष्ठ संगम

"जादुई" उपमा: रस्सी पर चलने वाला (The Tightrope Walker)

यह शोध पत्र वास्तव में क्या कहता है (और क्या नहीं कहता)

इसी तरह के और पेपर