🤖 AI

The Three Regimes of Offline-to-Online Reinforcement Learning

यह शोध पत्र एक स्थिरता-प्लास्टिसिटी (stability-plasticity) ढांचे का प्रस्ताव करता है जो ऑफलाइन डेटासेट और प्रीट्रेन्ड पॉलिसियों की सापेक्ष शक्ति के आधार पर ऑफलाइन-टू-ऑनलाइन सुदृढीकरण शिक्षण (reinforcement learning) को तीन विशिष्ट श्रेणियों में वर्गीकृत करता है, एक ऐसा सिद्धांत जिसे बड़े पैमाने पर अनुभवजन्य परिणामों द्वारा प्रमाणित किया गया है जो अधिकांश मामलों में डिज़ाइन विकल्पों के साथ मजबूत संरेखण प्रदर्शित करते हैं।

मूल लेखक: Lu Li, Tianwei Ni, Yihao Sun, Pierre-Luc Bacon

प्रकाशित 2026-07-07

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lu Li, Tianwei Ni, Yihao Sun, Pierre-Luc Bacon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "The Three Regimes of Offline-to-Online Reinforcement Learning" का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए विवरण दिया गया है।

बड़ी तस्वीर: "शिक्षु" (Apprentice) की समस्या

कल्पना कीजिए कि आप एक रोबोट को एक जटिल कार्य सिखा रहे हैं, जैसे कि भूलभुलैया (maze) में चलना या वीडियो गेम खेलना। आपके पास इसे सिखाने के दो तरीके हैं:

ऑफलाइन विधि (किताब/Textbook): आप रोबोट को अन्य रोबोटों द्वारा कार्य करने वाले वीडियो का एक विशाल संग्रह देते हैं। वह इन वीडियो का अध्ययन करता है लेकिन हिलता तक नहीं है। यह Offline RL है।
ऑनलाइन विधि (अभ्यास का मैदान/Practice Field): आप रोबोट को वास्तविक जीवन में कार्य करने देते हैं, जहाँ वह अपनी गलतियों और सफलताओं से सीखता है। यह Online RL है।

Offline-to-Online RL एक हाइब्रिड दृष्टिकोण है: रोबोट पहले किताब (Offline) का अध्ययन करता है, फिर अपने कौशल को निखारने के लिए अभ्यास के मैदान (Online) में जाता है।

समस्या: कभी-कभी यह अद्भुत काम करता है। अन्य बार, रोबोट किताब से सीखी गई सब कुछ भूल जाता है और बहुत खराब प्रदर्शन करता है। शोधकर्ताओं ने देखा कि जो रणनीति एक खेल में पूरी तरह से काम करती है, वह दूसरे खेल में पूरी तरह विफल हो सकती है, और कोई नहीं जानता था कि वास्तव में ऐसा क्यों होता है।

समाधान: "स्थिरता बनाम लचीलापन" (Stability vs. Plasticity) का संतुलन

लेखक तंत्रिका विज्ञान (neuroscience) की एक अवधारणा पर आधारित एक ढांचा प्रस्तावित करते हैं जिसे Stability-Plasticity Principle कहा जाता है। इसे ऐसे सोचें जैसे आपका मस्तिष्क अपनी मातृभाषा को बनाए रखते हुए एक नई भाषा सीखने की कोशिश कर रहा है:

स्थिरता (Stability): जो आप पहले से जानते हैं उसे सुरक्षित रखना ताकि आप उसे भूल न जाएं।
लचीलापन (Plasticity): नई चीजें सीखने के लिए पर्याप्त लचीला होना।

इस शोध पत्र में, लेखक तर्क देते हैं कि रोबोट को अच्छी तरह से सीखने के लिए, आपको इन दो बलों को संतुलित करने की आवश्यकता है। लेकिन असली पेच यह जानना है कि क्या स्थिर रखना है। क्या वह किताब (डेटासेट) में मौजूद ज्ञान है, या वह कौशल है जो रोबोट ने किताब का अध्ययन करते समय सीखा है (प्री-ट्रेन्ड पॉलिसी)?

तीन शासन (Three Regimes): तीन अलग-अलग परिदृश्य

यह शोध पत्र तीन अलग-अलग "रेजीम" (परिदृश्यों) की पहचान करता है जो एक सरल तुलना पर आधारित हैं: क्या रोबोट का वर्तमान कौशल स्तर (किताब के अध्ययन से प्राप्त) उस किताब में दिखाए गए औसत प्रदर्शन से बेहतर है या बदतर?

1. "श्रेष्ठ" शासन (The Superior Regime - द स्टार स्टूडेंट)

स्थिति: रोबोट ने किताब का अध्ययन किया और एक ऐसी रणनीति सीखी जो वीडियो में दिखाए गए औसत प्रदर्शन से बेहतर है।
उपमा: कल्पना कीजिए कि एक छात्र गणित की किताब पढ़ता है और समस्याओं को हल करने के लिए किताब के उदाहरणों की तुलना में अधिक तेज़ और स्मार्ट तरीका खोज लेता है।
नियम: छात्र के मस्तिष्क की रक्षा करें।
- यदि आप रोबोट को बहुत अधिक पुराने टेक्स्टबुक (डेटासेट) को देखते रहने के लिए मजबूर करते हैं, तो वह भ्रमित हो सकता है और अपनी स्मार्ट रणनीति भूल सकता है।
- सबसे अच्छा दृष्टिकोण: रोबोट के वर्तमान मस्तिष्क पर ध्यान केंद्रित करें। उसे पुराने वीडियोओं का लगातार संदर्भ लिए बिना अपने आप अभ्यास करने दें। उसके वर्तमान "मस्तिष्क" को स्थिर रखें।

2. "निम्न" शासन (The Inferior Regime - द स्ट्रगलिंग स्टूडेंट)

स्थिति: रोबोट ने किताब का अध्ययन किया लेकिन एक ऐसी रणनीति सीखी जो वीडियो में दिखाए गए औसत प्रदर्शन से बदतर है।
उपमा: कल्पना कीजिए कि एक छात्र गणित की किताब पढ़ता है लेकिन अवधारणाओं को गलत समझ लेता है, जिससे वह एक ऐसा तरीका निकालता है जो किताब के उदाहरणों की तुलना में धीमा और अधिक त्रुटिपूर्ण है।
नियम: किताब पर भरोसा करें।
- रोबोट का वर्तमान मस्तिष्क "टूटा हुआ" या भ्रामक है। यदि आप उसे स्वतंत्र रूप से अभ्यास करने देते हैं, तो वह केवल एक गहरा गड्ढा खोदेगा।
- सबसे अच्छा दृष्टिकोण: रोबोट को लगातार किताब की ओर देखते रहने के लिए मजबूर करें। आपको उसके मस्तिष्क को "रीसेट" (वर्तमान रणनीति को मिटाना) करने की भी आवश्यकता हो सकती है और उसे किताब के अच्छे उदाहरणों से पुन: सीखने के लिए मजबूर करना पड़ सकता है। यहाँ, "किताब" एक स्थिर आधार (anchor) है।

3. "तुलनीय" शासन (The Comparable Regime - द एवरेज स्टूडेंट)

स्थिति: रोबोट की रणनीति किताब के औसत प्रदर्शन के लगभग बराबर है।
उपमा: छात्र की विधि किताब के उदाहरणों जितनी ही अच्छी है।
नियम: इससे ज्यादा फर्क नहीं पड़ता।
- चाहे आप छात्र के मस्तिष्क पर ध्यान केंद्रित करें या किताब पर, परिणाम लगभग समान होते हैं। चुनाव इस बात पर निर्भर करता है कि आपने प्रशिक्षण कैसे सेट किया है, न कि किसी मौलिक नियम पर।

यह क्यों मायने रखता है: "एक ही आकार सबके लिए" (One-Size-Fits-All) का जाल

इस शोध पत्र से पहले, शोधकर्ता अक्सर हर स्थिति के लिए एक ही "सर्वश्रेष्ठ" विधि का उपयोग करने की कोशिश करते थे। वे कहते थे, "हमेशा किताब का उपयोग करें!" या "हमेशा रोबोट के मस्तिष्क पर भरोसा करें!"

यह शोध पत्र दिखाता है कि यह एक टायर के पंचर, एक खराब इंजन और एक लीक होते नल को ठीक करने के लिए एक ही उपकरण का उपयोग करने जैसा है।

यदि आप "स्ट्रगलिंग स्टूडेंट" (निम्न शासन) पर "रोबोट पर भरोसा करें" वाला उपकरण इस्तेमाल करते हैं, तो रोबोट विफल हो जाता है।
यदि आप "स्टार स्टूडेंट" (श्रेष्ठ शासन) पर "किताब पर भरोसा करें" वाला उपकरण इस्तेमाल करते हैं, तो रोबोट अपनी प्रतिभा भूल जाता है और प्रदर्शन खराब हो जाता है।

उन्होंने इसे कैसे सिद्ध किया

लेखकों ने इस सिद्धांत का परीक्षण विभिन्न रोबोट कार्यों (जैसे चलना, भूलभुलैया में घूमना और वस्तुओं को हिलाना) का उपयोग करके 63 अलग-अलग परिदृश्यों पर किया।

पूर्वानुमान: उन्होंने रोबोट के प्रारंभिक कौशल बनाम किताब के कौशल को देखा, भविष्यवाणी की कि वह किस "शासन" (Regime) में है, और फिर उस शासन से मेल खाने वाली रणनीति चुनी।
परिणाम: उनकी भविष्यवाणी 63 में से 45 बार सही थी। जिन कुछ मामलों में वे गलत थे, वहां परिणाम आमतौर पर "करीब" थे, न कि पूर्ण विफलता। केवल 3 मामलों में ही ऐसा हुआ कि उन्होंने बिल्कुल विपरीत भविष्यवाणी की।

"तंत्र" (यह क्यों विफल होता है)

शोध पत्र ने यह देखने के लिए भी गहराई से जांच की कि चीजें क्यों विफल होती हैं।

निम्न शासन (Inferior Regime) में, यदि आप रोबोट को अच्छे टेक्स्टबुक डेटा से बांधकर नहीं रखते हैं, तो उसका आंतरिक "स्कोरकीपर" (Q-value) पागल हो जाता है। वह कार्यों को बहुत गलत स्कोर देने लगता है, जिससे रोबोट घबरा जाता है और कुछ भी सीख नहीं पाता।
श्रेष्ठ शासन (Superior Regime) में, रोबोट का आंतरिक स्कोरकीपर पहले से ही अच्छा है। यदि आप उसे बहुत अधिक किताब की ओर देखने के लिए मजबूर करते हैं, तो यह उसके अच्छे स्कोरकीपर को बाधित करता है, जिससे वह अपना बढ़त खो देता है।

सारांश

यह शोध पत्र AI डेवलपर्स के लिए एक सरल नैदानिक उपकरण (diagnostic tool) प्रदान करता है:

स्कोर की जाँच करें: क्या प्री-ट्रेन्ड रोबोट उस डेटा से बेहतर है जिस पर उसे प्रशिक्षित किया गया था?
रणनीति चुनें:
- यदि रोबोट बेहतर है, तो उसके मस्तिष्क की रक्षा करें (पुराने डेटा पर बहुत अधिक निर्भर न हों)।
- यदि रोबोट बदतर है, तो डेटा की रक्षा करें (उसे किताब पर टिके रहने के लिए मजबूर करें)।
परिणाम: यह सरल जाँच वर्तमान में AI प्रशिक्षण में व्याप्त अनुमान लगाने वाले खेल (trial-and-error guessing game) से बचने में मदद करती है।

तकनीकी सारांश: ऑफलाइन-टू-ऑनलाइन सुदृढीकरण शिक्षण (Reinforcement Learning) के तीन शासन (Regimes)

समस्या विवरण

ऑफलाइन-टू-ऑनलाइन सुदृढीकरण शिक्षण (RL) एक व्यावहारिक प्रतिमान के रूप में उभरा है, जो प्री-ट्रेनिंग के लिए पूर्व-संग्रहित ऑफलाइन डेटासेट और फाइन-ट्यूनिंग के लिए ऑनलाइन इंटरैक्शन का लाभ उठाता है। हालाँकि, इस दृष्टिकोण का अनुभवजन्य व्यवहार अत्यधिक असंगत है। ऐसे डिज़ाइन विकल्प जो एक सेटिंग में अत्याधुनिक (state-of-the-art) परिणाम देते हैं, वे अक्सर दूसरी सेटिंग में पूरी तरह विफल हो जाते हैं। उदाहरण के लिए, केवल प्री-ट्रेन की गई पॉलिसी पर निर्भर रहने वाले तरीके (जैसे, वार्म-स्टार्ट RL) कुछ वातावरणों में फाइन-ट्यूनिंग के दौरान ऑफलाइन डेटासेट का उपयोग करने वाले तरीकों से बेहतर प्रदर्शन कर सकते हैं, जबकि अन्य में इसके विपरीत होता है। यह असंगति एक मौलिक प्रश्न खड़ा करती है: कौन से अंतर्निहित कारक यह निर्धारित करते हैं कि एक विशिष्ट फाइन-ट्यूनिंग डिज़ाइन विकल्प सफल होगा या विफल?

कार्यप्रणाली

लेखक एक ढांचा प्रस्तावित करते हैं जो स्थिरता-प्लास्टिसिटी सिद्धांत (stability–plasticity principle) द्वारा निर्देशित है, जो तंत्रिका विज्ञान (neuroscience) और मशीन लर्निंग में निहित एक अवधारणा है। यह सिद्धांत यह प्रतिपादित करता है कि प्रभावी शिक्षण के लिए मौजूदा ज्ञान के संरक्षण (स्थिरता/stability) और नए डेटा के अनुकूल होने की क्षमता (प्लास्टिसिटी/plasticity) के बीच संतुलन बनाना आवश्यक है।

तीन शासन वर्गीकरण (The Three Regimes Taxonomy)

मुख्य योगदान एक वर्गीकरण है जो दो ऑफलाइन प्रायर्स (priors) के सापेक्ष प्रदर्शन द्वारा निर्धारित किए गए ऑफलाइन-टू-ऑनलाइन RL के तीन अलग-अलग शासनों को परिभाषित करता है:

प्री-ट्रेन्ड पॉलिसी ( $\pi_0$ ): वह एजेंट जो डेटासेट पर एक ऑफलाइन RL एल्गोरिदम चलाकर प्राप्त किया गया है।
ऑफलाइन डेटासेट ( $D$ ): कच्चा डेटा स्वयं, जो व्यवहार नीति ( $\pi_D$ ) का प्रतिनिधित्व करता है।

इन शासनों को निम्नानुसार परिभाषित किया गया है:

श्रेष्ठ शासन (Superior Regime) ( $J(\pi_0) > J(\pi_D)$ ): प्री-ट्रेन्ड पॉलिसी कच्चे डेटासेट की तुलना में काफी बेहतर प्रदर्शन करती है। यहाँ, प्राथमिक लक्ष्य $\pi_0$ की उपयोगिता को संरक्षित करना है। स्थिरता को पॉलिसी मापदंडों (parameters) के इर्द-गिर्द केंद्रित किया जाना चाहिए।
निम्न शासन (Inferior Regime) ( $J(\pi_0) < J(\pi_D)$ ): प्री-ट्रेन्ड पॉलिसी डेटासेट से खराब प्रदर्शन करती है (जो स्पार्स रिवॉर्ड्स वाले नियर-एक्सपर्ट डेटासेट्स में सामान्य है)। यहाँ, डेटासेट के पास अधिक उपयोगी जानकारी होती है। स्थिरता को ऑफलाइन डेटा $D$ के इर्द-गिर्द केंद्रित किया जाना चाहिए, और खराब इनिशियलाइजेशन से उबरने के लिए उच्च प्लास्टिसिटी की आवश्यकता होती है।
तुलनीय शासन (Comparable Regime) ( $J(\pi_0) \approx J(\pi_D)$ ): दोनों स्रोत समान उपयोगिता प्रदान करते हैं।

प्रदर्शन अपघटन (Performance Decomposition)

यह शोध पत्र एक ऑनलाइन फाइन-ट्यूनिंग प्रक्रिया के अंतिम प्रदर्शन को तीन पदों में विभाजित करता है:
$\max J(\pi_n) = J^*_{off} + \text{Stability}(J^*_{off}) + \text{Plasticity}$
जहाँ $J^*_{off}$ बेसलाइन प्रदर्शन (मजबूत $\pi_0$ या $D$ ) है, Stability इस बेसलाइन के प्रति प्रतिधारण (retention) को मापता है (गैर-धनात्मक), और Plasticity ऑनलाइन इंटरैक्शन से प्राप्त लाभ (गैर-ऋणात्मक) को मापता है।

डिज़ाइन विकल्पों का विश्लेषण

लेखक मौजूदा फाइन-ट्यूनिंग विधियों को इस आधार पर वर्गीकृत करते हैं कि वे किस गुण को बढ़ाते हैं:

$\pi_0$ -केंद्रित (पॉलिसी के इर्द-गिर्द स्थिरता): जैसे ऑनलाइन डेटा वार्म-अप (अपडेट करने से पहले प्रारंभिक ऑनलाइन डेटा एकत्र करना) और ऑफलाइन RL रेगुलराइजेशन (प्री-ट्रेनिंग वितरण से विचलन को दंडित करना)।
$D$ -केंद्रित (डेटासेट के इर्द-गिर्द स्थिरता): जैसे ऑफलाइन डेटा रिप्ले (रिप्ले बफर में ऑफलाइन और ऑनलाइन डेटा का मिश्रण)।
प्लास्टिसिटी संवर्धक (Plasticity Enhancers): जैसे फुल पैरामीटर रीसेट (नेटवर्क वेट्स को पुन: आरंभ करना), जो अनुकूलन क्षमता को अधिकतम करने के लिए पॉलिसी प्रायर को त्याग देता है।

अनुभवजन्य परिणाम (Empirical Results)

अपने ढांचे को मान्य करने के लिए, लेखकों ने चार D4RL डोमेन (MuJoCo, AntMaze, Adroit, Kitchen) के 21 डेटासेट-टास्क कंपोजिशन और तीन प्री-ट्रेनिंग एल्गोरिदम (CalQL, ReBRAC, BC) को कवर करते हुए 63 सेटिंग्स में एक बड़े पैमाने पर अनुभवजन्य अध्ययन आयोजित किया।

पूर्वानुमान सटीकता: ढांचे के अनुमान 63 में से 45 मामलों (71%) में देखे गए परिणामों के अनुरूप थे।
मिसमैच विश्लेषण: केवल 3 विपरीत मिसमैच (5%) थे, जहाँ ढांचे ने भविष्यवाणी की थी कि एक विधि विफल होगी लेकिन वह सफल रही, या इसके विपरीत। शेष मिसमैच "समीपवर्ती" (adjacent) थे, जो मौलिक विफलता के बजाय मामूली प्रदर्शन अंतर को दर्शाते हैं।
शासन-विशिष्ट निष्कर्ष:
- श्रेष्ठ शासन (Superior Regime) में, $\pi_0$ -केंद्रित विधियाँ (जैसे, वार्म-अप) आम तौर पर $D$ -केंद्रित विधियों से बेहतर रहीं।
- निम्न शासन (Inferior Regime) में, $D$ -केंद्रित विधियाँ (अक्सर पैरामीटर रीसेट के साथ) $\pi_0$ -केंद्रित विधियों की तुलना में काफी बेहतर रहीं।
- तुलनीय शासन (Comparable Regime) में, विधियों के बीच प्रदर्शन का अंतर अक्सर कम था और कार्यान्वयन विवरणों के प्रति संवेदनशील था, जो इस सिद्धांत के अनुरूप है कि दोनों एंकर समान उपयोगिता प्रदान करते हैं।

यांत्रिक विश्लेषण (Mechanistic Analysis)

लेखकों ने वैल्यू लर्निंग डायनेमिक्स का विश्लेषण करके इन व्यवहारों के लिए एक यांत्रिक स्पष्टीकरण प्रदान किया। उन्होंने पाया कि निम्न शासन (Inferior Regime) में, ऑफलाइन डेटा एंकरिंग के बिना फाइन-ट्यूनिंग करने से ऑफलाइन डेटासेट पर टेम्पोरल डिफरेंस (TD) एरर विस्फोट और Q-वैल्यू का विचलन होता है। इसके विपरीत, श्रेष्ठ शासन (Superior Regime) ऐसी अस्थिरता के प्रति अधिक मजबूत है, हालांकि डेटासेट के प्रति एंकरिंग सुरक्षा प्रदान करती है।

वैकल्पिक मेट्रिक्स के साथ तुलना

शोध पत्र ने अपने रॉ-रिटर्न-आधारित वर्गीकरण की तुलना डेंस रिवॉर्ड प्रॉक्सी, लर्नड Q-वैल्यू और बिहेवियर क्लोनिंग (BC) प्रदर्शन का उपयोग करने वाले विकल्पों से की। रॉ-रिटर्न मेट्रिक श्रेष्ठ साबित हुआ, जिसने Q-फंक्शन-आधारित (51%) और BC-आधारित (41%) वर्गीकरणों की तुलना में 71% सटीकता प्राप्त की, जो यह दर्शाता है कि सीधा टास्क परफॉरमेंस शासन की पहचान के लिए सबसे विश्वसनीय प्रथम-क्रम मानदंड है।

महत्व और दावे

यह शोध पत्र एक नैदानिक और भविष्य कहने वाला ढांचा (diagnostic and predictive framework) प्रदान करने का दावा करता है जो ऑफलाइन-टू-ऑनलाइन RL साहित्य में प्रतीत होने वाली असंगत अनुभवजन्य साक्ष्यों को सुलझाता है। किसी दिए गए सेटिंग के शासन की पहचान करके, अभ्यासकर्ता निम्न कार्य कर सकते हैं:

उपयुक्त विधियों का चयन: ऐसी रणनीतियों को चुनें जो स्थिरता-प्लास्टिसिटी आवश्यकताओं से मेल खाती हों (जैसे, श्रेष्ठ शासन में पॉलिसी स्थिरता को प्राथमिकता देना बनाम निम्न शासन में डेटासेट स्थिरता को प्राथमिकता देना)।
ट्रायल-एंड-एरर को कम करना: यह समझना कि कौन सा ज्ञान स्रोत (पॉलिसी या डेटासेट) प्रमुख है, यह जानकर हाइपरपैरामीटर और एल्गोरिदम विकल्पों के खोज स्थान (search space) को सीमित किया जा सकता है।

लेखक इस बात पर जोर देते हैं कि यह ढांचा किसी एक "सर्वश्रेष्ठ" एल्गोरिदम का प्रस्ताव नहीं करता है, बल्कि यह समझने के लिए एक लेंस है कि विभिन्न संदर्भों में अलग-अलग एल्गोरिदम क्यों काम करते हैं। वे स्वीकार करते हैं कि हालांकि उनका वर्गीकरण जटिल घटनाओं को अलग-अलग श्रेणियों में संकुचित करता है, यह एक मजबूत, व्यावहारिक प्रथम-क्रम मानदंड के रूप में कार्य करता है, जहाँ स्टेट-एक्शन कवरेज जैसे कारक भविष्य के अन्वेषण के लिए द्वितीय-क्रम के प्रभाव के रूप में कार्य कर सकते हैं।