तकनीकी सारांश: तैनात सुदृढीकरण शिक्षण (Reinforcement Learning) निरंतर होना चाहिए

समस्या विवरण

यह शोध पत्र वास्तविक दुनिया में सुदृढीकरण शिक्षण (RL) की तैनाती की सैद्धांतिक प्रकृति और प्रचलित इंजीनियरिंग प्रतिमान के बीच एक मौलिक विसंगति की पहचान करता है, जिसे "प्रशिक्षण-फिर-सुधार" (train-then-fix) कहा जाता है। इस मानक प्रतिमान में, एजेंटों को ऑफलाइन (सिमुलेशन, सेल्फ-प्ले, या प्रदर्शनों के माध्यम से) प्रशिक्षित किया जाता है और फिर तैनाती के समय उन्हें स्थिर (frozen) कर दिया जाता है। जब तक प्रदर्शन में गिरावट इतनी अधिक न हो जाए कि मानव-नेतृत्व वाले पुन: प्रशिक्षण चक्र को सक्रिय करने की आवश्यकता पड़े, तब तक सीखना बंद हो जाता है।

लेखकों का तर्क है कि यह प्रतिमान "मापन योग्य तैनाती" (measurable deployment) परिवेशों के लिए सैद्धांतिक रूप से अपर्याप्त है। मापन योग्य तैनाती को ऐसी स्थिति के रूप में परिभाषित किया गया है जहाँ:

1. एजेंट एक "बड़ी दुनिया" (Big World) शासन में कार्य करता है जहाँ पर्यावरणीय जटिलता एजेंट की प्रतिनिधित्व क्षमता और उपलब्ध कम्प्यूटेशनल संसाधनों से अधिक होती है।
2. तैनाती के बाद एक मूल्यांकनात्मक पुरस्कार संकेत (evaluative reward signal) उपलब्ध रहता है (जैसे, उपयोगकर्ता जुड़ाव, राइड पूर्णता, सुझाव स्वीकृति)।

इन परिस्थितियों में, "प्रशिक्षण-फिर-सुधार" दृष्टिकोण प्रदर्शन लाभों को हाथ से जाने देता है। शोध पत्र का तर्क है कि कोई भी एजेंट जो गैर-स्थिर (non-stationary) वातावरण में मूल्यांकनात्मक फीडबैक प्राप्त कर रहा है, जहाँ एक इष्टतम नीति (optimal policy) अप्राप्य या अपरिगणनीय है, वह स्वाभाविक रूप से एक निरंतर सुदृढीकरण शिक्षण (Continual Reinforcement Learning - CRL) समस्या का सामना कर रहा है। मुख्य मुद्दा यह है कि पारंपरिक मार्कोव निर्णय प्रक्रिया (MDP) औपचारिक ढांचा, जो स्थिरता और एक निश्चित इष्टतम नीति ($\pi^*$) के अस्तित्व को मानता है, वास्तविक दुनिया के अनुकूलन की "कभी न खत्म होने वाली" प्रकृति को पकड़ने में विफल रहता है।

कार्यप्रणाली और सैद्धांतिक ढांचा

1. सैद्धांतिक आधार: इतिहास प्रक्रिया औपचारिकता (History Process Formalism)

समस्या को कठोरता से परिभाषित करने के लिए, शोध पत्र मानक MDP टुपल $\langle S, A, P, R \rangle$ से हटकर इतिहास प्रक्रिया (History Process) औपचारिकता को अपनाता है (बोइंग एट अल., 2023; एबेल एट अल., 2023)।

• पर्यावरण ($e$): एक फलन (function) के रूप में परिभाषित है जो परिमित-लंबाई के इतिहास ($H$) और क्रियाओं ($A$) को अवलोकनों ($O$) के वितरण पर मैप करता है।
• एजेंट अवस्था ($S$): एजेंट द्वारा अपने इतिहास के संपीड़न (compression) का प्रतिनिधित्व करती है, जो MDP अवस्था से भिन्न है।
• सीखने का नियम ($\sigma$): इतिहास से नीतियों ($\Pi$) के वितरण तक का एक मैपिंग है।
• CRL परिभाषा: एक RL समस्या CRL का उदाहरण है यदि "सर्वश्रेष्ठ एजेंट" (जो सुलभ नीतियों पर प्रदर्शन माप को अधिकतम करता है) सीखना कभी बंद नहीं करता है। इतिहास प्रक्रिया में, क्योंकि एजेंट पर्यावरण को रीसेट नहीं कर सकता या सटीक पिछले इतिहास पर वापस नहीं जा सकता, और क्योंकि पर्यावरण गैर-स्थिर है, इष्टतम नीति की खोज कभी समाप्त नहीं होती है।

2. गैर-स्थिरता का लक्षण वर्णन

शोध पत्र गैर-स्थिरता के चार विशिष्ट स्रोतों की पहचान करता है जो मापन योग्य तैनाती में निरंतर शिक्षण को आवश्यक बनाते हैं:

1. क्रिया-प्रेरित गैर-स्थिरता (Action-Induced Non-Stationarity): एजेंट की अपनी क्रियाएं भविष्य के इतिहास के वितरण को बदल देती हैं (जैसे, एक अनुशंसा प्रणाली उपयोगकर्ता की प्राथमिकताओं को बदल देती है)।
2. पर्यावरण गतिशीलता में परिवर्तन: बाहरी कारक जैसे मौसमी बदलाव, हार्डवेयर का पुराना होना, या बाजार के बदलाव जो एजेंट के नियंत्रण से बाहर होते हैं।
3. विकसित होते लक्ष्य: स्वयं रिवॉर्ड फंक्शन समय के साथ बदलता है, जो हितधारकों की बदलती प्राथमिकताओं, नियामक अपडेट या सुरक्षा बाधाओं के कारण होता है।
4. उभरती हुई नवीनता (Emergent Novelty): "बिग वर्ल्ड हाइपोथीसिस" यह निर्धारित करती है कि एजेंट अनिवार्य रूप से ऐसी क्रिया-अवलोकन अनुक्रमों (ब्लैक स्वान घटनाओं सहित) का सामना करेंगे जो उनके परिमित प्रशिक्षण चरण के वितरण से बाहर हैं।

3. सीखने के नियमों का विश्लेषण

लेखक दो सीखने के नियमों (नीतियों को अपडेट करने की रणनीतियों) के बीच अंतर करते हैं:

• सीखने का नियम A (प्रशिक्षण-फिर-सुधार): एजेंट एक उच्च-प्रदर्शन वाली नीति की खोज करता है, एक निश्चित $\pi_{final}$ पर स्थिर होता है, और रुक जाता है। प्रदर्शन समय के साथ घटता है जब तक कि एक थ्रेशोल्ड नए खोज चक्र को ट्रिगर नहीं करता, जिसके परिणामस्वरूप एक "आरी के दांत" (sawtooth) जैसा प्रदर्शन पैटर्न मिलता है।
• सीखने का नियम B (निरंतर शिक्षक): एजेंट यह पहचानता है कि कोई भी सुलभ नीति वैश्विक रूप से इष्टतम नहीं है। यह अपनी खोज को कभी समाप्त नहीं करता, बदलते लक्ष्यों का पता लगाने के लिए उपलब्ध मूल्यांकनात्मक संकेत का उपयोग करके अपनी नीति को निरंतर अनुकूलित करता है।

मुख्य योगदान

1. प्रतिमान परिवर्तन प्रस्ताव: शोध पत्र तर्क देता है कि मापन योग्य तैनाती केवल निरंतर शिक्षण एल्गोरिदम द्वारा हल की जाने वाली समस्या नहीं है, बल्कि यह स्वयं एक CRL समस्या है। अंतर एल्गोरिथम समाधान के बजाय समस्या सेटिंग (पर्यावरणीय विशेषताओं) में निहित है।
2. औपचारिक औचित्य: इतिहास प्रक्रिया औपचारिकता का उपयोग करके, लेखक प्रदर्शित करते हैं कि वास्तविक दुनिया की तैनाती में एक निश्चित इष्टतम नीति का अनुमान गैर-स्थिरता के चार पहचाने गए स्रोतों के कारण अमान्य है।
3. अनुभवजन्य केस स्टडीज: शोध पत्र तीन सफल वास्तविक दुनिया की तैनाती का विश्लेषण करता है जो स्पष्ट या निहित रूप से निरंतर शिक्षण का उपयोग करती हैं:
   • Cursor Tab: ऑनलाइन पॉलिसी ग्रेडिएंट्स का उपयोग करने वाला एक कोड पूर्णता सिस्टम। यह उभरती नवीनता (नए कोड पैटर्न) और पर्यावरण गतिशीलता (विकसित होती लाइब्रेरी) का सामना करता है। इसका कड़ा डिप्लॉयमेंट-ट्रेनिंग लूप (1.5–2 घंटे) इसे इन बदलावों के अनुकूल होने की अनुमति देता है, जिसके परिणामस्वरूप सुझावों में 21% की कमी और स्वीकृति दर में 28% की वृद्धि होती है।
   • Lyft: ऑनलाइन RL का उपयोग करने वाला एक राइडशेयरिंग मैचिंग एल्गोरिदम। यह मुख्य रूप से क्रिया-प्रेरित गैर-स्थिरता (ड्राइवर का स्थानांतरण) और पर्यावरण गतिशीलता (मांग में उतार-चढ़ाव) का सामना करता है। यह प्रणाली स्थिर मॉडलों पर निर्भर रहने के बजाय ऑनलाइन अनुकूलन करके वार्षिक राजस्व में $30 मिलियन से अधिक की अतिरिक्त वृद्धि करती है।
   • सिम-टू-रियल गैप (Sim-to-Real Gap): शोध पत्र तर्क देता है कि सिमुलेशन और वास्तविकता के बीच का अंतर सभी चार गैर-स्थिरता स्रोतों की अभिव्यक्ति है। डोमेन रेंडमाइजेशन के बावजूद, विश्वसनीय प्रदर्शन के लिए नीतियों को वास्तविक समय के डेटा की आवश्यकता होती है, जिससे पोस्ट-डिप्लॉयमेंट लर्निंग आवश्यक हो जाता है।
4. व्यावहारिक सिफारिशें:
   • व्यवसायी (Practitioners) के लिए: ऐसे फीडबैक लूप बनाएं जहां उत्पादन डेटा प्रशिक्षण डेटा हो; ऑनलाइन निगरानी (जैसे, स्विचबैक प्रयोग) के माध्यम से निरंतर रूप से मान्य करें; और विकास के दौरान अनुकूलन क्षमता का परीक्षण करने के लिए जानबूझकर गैर-स्थिरता पेश करें।
   • शोधकर्ताओं (Researchers) के लिए: निरंतर सेटिंग्स में पारंपरिक ऑप्टिमाइज़र (जैसे, Adam, RMSProp) का पुनर्मूल्यांकन करें; इतिहास प्रक्रियाओं के लिए एल्गोरिदम गुणों को व्युत्पन्न करें (मार्कोवियन गारंटी से आगे बढ़ें); विचलन पछतावा (deviation regret) जैसे मूल्यांकन मेट्रिक्स अपनाएं जो कमजोर रूप से संचारित वातावरण को नहीं मानते हैं; और सैद्धांतिक मॉडलों में सीमित संसाधन बाधाओं को स्पष्ट रूप से शामिल करें।

परिणाम और साक्ष्य

शोध पत्र नए प्रयोगात्मक परिणाम प्रस्तुत नहीं करता है, बल्कि मौजूदा साहित्य और उद्योग रिपोर्टों से साक्ष्य को संश्लेषित करता है:

• Cursor Tab: इसने प्रदर्शित किया कि निरंतर ऑन-पॉलिसी अपडेट स्थिर मॉडल रिलीज की तुलना में बेहतर प्रदर्शन मेट्रिक्स की ओर ले जाते हैं।
• Lyft: इसने दिखाया कि ऑनलाइन RL मैचिंग सिस्टम ड्राइवर उपयोगिता और राजस्व के मामले में स्थिर नीतियों से बेहतर प्रदर्शन करते हैं, जो क्रिया-प्रेरित गैर-स्थिरता के अनुकूल होने की क्षमता को प्रमाणित करता है।
• सैद्धांतिक साक्ष्य: "रस्टिंग पेंडुलम" (Rusting Pendulum) वातावरण (परिशिष्ट A) का उल्लेख करता है जहाँ एक 'प्रशिक्षण-फिर-सुधार' नीति घर्षण बढ़ने के साथ विफल हो जाती है, जबकि एक निरंतर शिक्षक प्रदर्शन बनाए रखता है।
• साहित्यिक रुझान: CRL (चित्र 1) में शैक्षणिक रुचि की वृद्धि और उन सैद्धांतिक आधारों (जैसे, इतिहास प्रक्रिया औपचारिकता) की परिपक्वता को रेखांकित करता है जो इस बदलाव का समर्थन करते हैं।

महत्व और दावे

शोध पत्र का दावा है कि "प्रशिक्षण-फिर-सुधार" प्रतिमान निरंतर शिक्षण समस्या के लिए एक विलंब तंत्र है, न कि उसका समाधान। इसका महत्व इस बात में है कि:

• तैनाती का पुनर्निर्धारण: यह दावा करता है कि एक जटिल दुनिया में मूल्यांकनात्मक फीडबैक के साथ एक एजेंट को तैनात करना, परिभाषा के अनुसार एक CRL समस्या है। इस संकेत की अनदेखी करना और अपडेट के लिए मानवीय हस्तक्षेप पर निर्भर रहना एक उप-इष्टतम रणनीति है जो प्रदर्शन का बलिदान देती है।
• सुरक्षा और अनुकूलन क्षमता: स्थिर नीतियों को सुरक्षित मानने के विपरीत, शोध पत्र तर्क देता है कि गैर-स्थिर वातावरण में स्थिर नीतियां असुरक्षित रूप से प्रदर्शन में गिरावट लाती हैं। निरंतर शिक्षण, जब सुरक्षा बाधाओं के साथ डिज़ाइन किया जाता है, तो विकसित होते लक्ष्यों और नियमों के साथ संरेखण बनाए रखने के लिए आवश्यक है।
• सामुदायिक दिशा: यह शोध के फोकस को स्थिर आर्टिफैक्ट्स की ओर अभिसरण करने वाले एल्गोरिदम से हटाकर उन एजेंटों की ओर ले जाने का आह्वान करता है जो निरंतर, ओपन-एंडेड लर्निंग में सक्षम हैं, और चिकित्सकों से आग्रह करता है कि वे अपने सिस्टम में पहले से मौजूद फीडबैक संकेतों का लाभ उठाएं।

शोध पत्र निष्कर्ष निकालता है कि वास्तविक दुनिया के RL में बेहतर प्रदर्शन का मार्ग बेहतर ऑफलाइन प्रशिक्षण नहीं है, बल्कि तैनाती की निरंतर प्रकृति को स्वीकार करना और ऐसे एजेंटों का डिज़ाइन करना है जो बेहतर नीतियों की खोज कभी बंद नहीं करते।