तकनीकी सारांश: लॉगरिदमिक स्मूथिंग के साथ अनुक्रमिक ऑफ-पॉलिसी लर्निंग (Sequential Off-Policy Learning with Logarithmic Smoothing)

समस्या विवरण (Problem Statement)

ऑफ-पॉलिसी लर्निंग, एक व्यवहार नीति (behavior policy) द्वारा उत्पन्न लॉग किए गए इंटरैक्शन डेटा से नीतियों को प्रशिक्षित करने में सक्षम बनाती है। जबकि ऑफ-पॉलिसी लर्निंग के सैद्धांतिक आधार बैच सेटिंग (जहाँ एक एकल व्यवहार नीति द्वारा उत्पन्न एक स्थिर डेटासेट से एक नीति सीखी जाती है) में अच्छी तरह से स्थापित हैं, वास्तविक दुनिया की प्रणालियाँ अलग तरह से कार्य करती हैं। व्यवहार में, नीतियाँ बार-बार अनुक्रमिक रूप से अपडेट और तैनात की जाती हैं: एक नीति को सभी ऐतिहासिक डेटा पर प्रशिक्षित किया जाता है, नए इंटरैक्शन उत्पन्न करने के लिए तैनात किया जाता है, और फिर अगले इटरेशन के लिए विस्तारित डेटासेट पर पुन: प्रशिक्षित किया जाता है।

यद्यपि रिकमेंडर सिस्टम और विज्ञापन प्लेसमेंट जैसे अनुप्रयोगों में इस अनुक्रमिक प्रतिमान (sequential paradigm) की व्यापकता है, यह सैद्धांतिक रूप से काफी हद तक अनछुआ रहा है। मौजूदा अनुक्रमिक दृष्टिकोण अक्सर मजबूत धारणाओं पर निर्भर करते हैं, जैसे कि एक्शन स्पेस का समान कवरेज (uniform coverage) या अवास्तविक डेटा संग्रह रणनीतियाँ (जैसे, तेजी से बढ़ते बैच आकार)। इसके अलावा, वर्तमान अत्याधुनिक ऑफलाइन एल्गोरिदम, जो पेसिमिज्म सिद्धांत (pessimism principle) और PAC-Bayesian फ्रेमवर्क का उपयोग करते हैं, को कठोर अभिसरण गारंटी (convergence guarantees) के साथ अनुक्रमिक सेटिंग में सफलतापूर्वक विस्तारित नहीं किया गया है। यह शोध पत्र व्यावहारिक अनुक्रमिक तैनाती और सैद्धांतिक गारंटी के बीच के अंतर को संबोधित करता है, जिसका लक्ष्य ऐसे अनुक्रमिक ऑफ-पॉलिसी लर्निंग एल्गोरिदम विकसित करना है जो सैद्धांतिक रूप से सुदृढ़ और अनुभवजन्य रूप से प्रभावी हों।

कार्यप्रणाली (Methodology)

लेखक एक फ्रेमवर्क प्रस्तावित करते हैं जो कॉन्टेक्स्टुअल बैंडिट्स (Contextual Bandits) पर आधारित है जहाँ एक एजेंट समय चरणों $k \geq 0$ पर एक डेटा स्ट्रीम के साथ इंटरैक्ट करता है। प्रत्येक चरण पर, एक नई व्यवहार नीति $\pi_k$ डेटा का एक बैच $S_k$ एकत्र करने के लिए तैनात की जाती है, और एजेंट संचयी इतिहास $S_{0:k}$ का उपयोग करके अपनी नीति को अपडेट करता है।

कार्यप्रणाली दो मुख्य एल्गोरिदम योगदानों पर आधारित है, जिनमें से दोनों ऑनलाइन PAC-Bayesian लर्निंग टूल्स और लॉगरिदमिक स्मूथिंग (LS) एस्टिमेटर्स का लाभ उठाते हैं:

1. अनुक्रमिक लॉगरिदमिक स्मूथिंग (एल्गोरिदम 1)

पहला योगदान ऑफलाइन लॉगरिदमिक स्मूथिंग एस्टिमेटर (Sakhi et al., 2024 द्वारा प्रस्तुत) को अनुक्रमिक सेटिंग में विस्तारित करता है।

• एस्टिमेटर: एल्गोरिदम मानक LS रेगुलराइज़र $h_{LS}(p, q, c) = -\frac{p}{\lambda} \log(1 - \frac{\lambda c}{q})$ का उपयोग करता है।
• तंत्र (Mechanism): प्रत्येक चरण $k$ पर, एल्गोरिदम जोखिम (risk) पर एक PAC-Bayesian अपर बाउंड को कम करता है, जो सभी संचित डेटा $S_{0:k}$ पर अनुमानित LS जोखिम और एक प्रायोर $P$ के सापेक्ष KL-डाइवर्जेंस टर्म को जोड़ता है।
• सैद्धांतिक गारंटी: प्रमेय 3.2 अनुक्रमिक आउटपुट $\pi_{k+1}$ के लिए एक जनरलाइजेशन बाउंड स्थापित करता है। अभिसरण दर (convergence rate) को $O(1/\sqrt{N_k})$ के रूप में दिखाया गया है, जहाँ $N_k$ कुल नमूनों की संख्या है। यह बैच सेटिंग की इष्टतम दर से मेल खाता है लेकिन डेटा के अनुक्रमिक संचय पर लागू होता है।
• सीमा: लेखक पहचानते हैं कि अभिसरण बाउंड में स्यूडो-वैरिएंस (pseudo-variance) टर्म शून्य नहीं होता है, भले ही व्यवहार नीति इष्टतम नीति के करीब पहुँच जाए, जिससे अभिसरण दर $O(1/\sqrt{N_k})$ से आगे नहीं बढ़ पाती है।

2. अनुक्रमिक एडजस्टेड लॉगरिदमिक स्मूथिंग (एल्गोरिदम 2)

एल्गोरिदम 1 के धीमे अभिसरण को दूर करने के लिए, लेखक एक नया एडजस्टेड लॉगरिदमिक स्मूथिंग (AdjLS) एस्टिमेटर पेश करते हैं।

• एस्टिमेटर: एक नया रेगुलराइज़र परिभाषित किया गया है: $h_{adj}(p, q, c) = -\frac{p}{\lambda} \log(1 - \frac{\lambda c}{q(1+\lambda c)})$। यह समायोजन वर्तमान नीति के जोखिम और पिछले जोखिमों के भारित औसत के बीच के अंतर को नियंत्रित करने के लिए प्रदर्शन उद्देश्य को संशोधित करता है।
• तंत्र: एल्गोरिदम संचयी डेटा पर एडजस्टेड रिस्क एस्टिमेटर को कम करता है।
• सैद्धांतिक गारंटी: प्रमेय 4.4 सिद्ध करता है कि सौम्य धारणाओं के तहत (विशेष रूप से, यह कि इष्टतम क्रियाएं पॉलिसी क्लास द्वारा कवर की गई हैं और समस्या में एक निश्चित डिग्री की सेपरेबिलिटी है, जिसे $\Delta_u > 0$ द्वारा मापा गया है), एल्गोरिदम 2 किसी भी $\alpha \in [0.5, 1)$ के लिए $O(1/N_k^\alpha)$ की त्वरित अभिसरण दर प्राप्त करता है।
• मुख्य अंतर्दृष्टि: मानक LS एस्टिमेटर के विपरीत, एडजस्टेड एस्टिमेटर का एरर टर्म $L(\pi^*, \pi_j)$ शून्य हो जाता है जब व्यवहार नीति $\pi_j$ इष्टतम नीति $\pi^*$ के करीब पहुँचती है, जिससे तेज़ अभिसरण संभव होता है।

मुख्य योगदान (Key Contributions)

1. प्रथम अनुक्रमिक PAC-Bayes एल्गोरिदम: यह शोध पत्र विशेष रूप से अनुक्रमिक सेटिंग के लिए डिज़ाइन किए गए पहले ऑफ-पॉलिसी PAC-Bayesian एल्गोरिदम प्रस्तुत करता है, जो पूर्णतः बैच और पूर्णतः ऑनलाइन शासन के बीच अंतराल प्रदान करने वाली सैद्धांतिक अभिसरण गारंटी प्रदान करते हैं।
2. समायोजन के माध्यम से त्वरित अभिसरण: लेखक एक मानक ऑफलाइन एस्टिमेटर्स को अनुक्रमिक रूप से लागू करने की एक मौलिक सीमा की पहचान करते हैं और एक सिद्धांत आधारित समायोजन (AdjLS) प्रस्तावित करते हैं जो उचित धारणाओं के तहत प्रमाणित त्वरित अभिसरण दर प्रदान करता है।
3. शिथिल धारणाएँ (Relaxed Assumptions): सैद्धांतिक विश्लेषण के लिए केवल यह आवश्यक है कि पॉलिसी क्लास इष्टतम क्रियाओं को कवर करे (धारणा 3.4), जो कि पिछले अनुक्रमिक कार्यों (जैसे, Zenati et al., 2023) द्वारा आवश्यक समान कवरेज (uniform coverage) की तुलना में काफी कमजोर है।
4. Non-IID कॉन्टेक्स्ट के लिए सामान्यीकरण: इस फ्रेमवर्क को गैर-स्थिर वातावरण (non-stationary environments) के अनुकूल बनाया जा सकता है जहाँ कॉन्टेक्स्ट वितरण समय के साथ विकसित होते हैं, जिससे कॉन्टेक्स्ट पर i.i.d. धारणा को शिथिल किया जा जाता है।

अनुभवजन्य परिणाम (Empirical Results)

लेखक अपने तरीकों का मूल्यांकन मानक मल्टीक्लास डेटासेट्स (MNIST, FashionMNIST, EMNIST, CIFAR100) पर करते हैं जिन्हें कॉन्टेक्स्टुअल बैंडिट समस्याओं में परिवर्तित किया गया है।

• अनुक्रमिक बनाम बैच: प्रयोगों से पता चलता है कि मध्यवर्ती नीति अपडेट ($k$) की संख्या बढ़ाने से एकल बैच अपडेट ($k=1$) की तुलना में अंतिम नीति के प्रदर्शन में लगातार सुधार होता है। यह अनुक्रमिक फ्रेमवर्क के लाभ को प्रमाणित करता है।
• एल्गोरिदम तुलना:
  • SeqAdjLS (एल्गोरिदम 2) लगातार SeqLS (एल्गोरिदम 1) से बेहतर प्रदर्शन करता है, जो एडजस्टेड एस्टिमेटर के सैद्धांतिक लाभ की पुष्टि करता है।
  • दोनों प्रस्तावित विधियाँ SCRM (Sequential Counterfactual Risk Minimization, Zenati et al., 2023) से काफी बेहतर प्रदर्शन करती हैं। लेखक नोट करते हैं कि SCRM अत्यधिक रूढ़िवादी (conservative) होने की प्रवृत्ति रखता है, विशेष रूप से छोटे बैच आकारों वाले शुरुआती दौर में, और ऐसी अवास्तविक डेटा संग्रह रणनीतियों पर निर्भर करता है (जैसे तेजी से बढ़ते बैच) जो ऐतिहासिक डेटा को हटा देती हैं।
• प्रारंभिक नीति का प्रभाव: अनुक्रमिक दृष्टिकोण उच्च-आयामी एक्शन स्पेस (जैसे 100 क्रियाओं के साथ CIFAR100) में इष्टतम से दूर होने पर पर्याप्त लाभ दिखाता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र व्यावहारिक अनुक्रमिक ऑफ-पॉलिसी लर्निंग और कठोर गारंटी के बीच के सैद्धांतिक अंतर को पाटने का दावा करता है। ऑनलाइन PAC-Bayes तकनीकों को एक नवीन लॉगरिदमिक स्मूथिंग एस्टिमेटर के साथ जोड़कर, लेखक ऐसे एल्गोरिदम प्रदान करते हैं जो:

• सामान्यीकरण (Generalize) करते हैं: अत्याधुनिक ऑफलाइन दृष्टिकोणों को सामान्य बनाते हैं (बैच सीमा में उनके प्रदर्शन से मेल खाते हैं)।
• सीखने की गति बढ़ाते हैं (Accelerate): व्यवहार नीति के क्रमिक परिशोधन (progressive refinement) का लाभ उठाकर अनुक्रमिक सेटिंग्स में सीखने की प्रक्रिया को तेज करते हैं।
• बचते हैं (Avoid): उन अवास्तविक धारणाओं से बचते हैं (जैसे समान कवरेज) जो मौजूदा अनुक्रमिक विधियों की प्रयोज्यता को बाधित करती हैं।

लेखक इस बात पर जोर देते हैं कि हालांकि उनका सैद्धांतिक विश्लेषण इस बात पर निर्भर है कि पॉलिसी क्लास इष्टतम क्रियाओं को कवर करती है, यह पिछले कार्यों की तुलना में एक महत्वपूर्ण ढील (relaxation) है। वे निष्कर्ष निकालते हैं कि ऑनलाइन PAC-Bayes और अनुक्रमिक कॉन्टेक्स्टुअल बैंडिट्स का संयोजन गतिशील वास्तविक दुनिया की प्रणालियों में मजबूत, कुशल शिक्षण के लिए एक आशाजनक दिशा प्रदान करता है।