📊 statistics

One-Step Bellman Alignment Enables Provably Efficient Transfer in Online RL

यह शोध पत्र 'वन-स्टेप बेलमैन अलाइनमेंट' और एक 'री-वेटेड टारगेटिंग (RWT)' ढांचे को पेश करके ऑनलाइन ट्रांसफर रिइन्फोर्समेंट लर्निंग में व्यवस्थित पूर्वाग्रह की चुनौती का समाधान करता है, जो चेंज-ऑफ-मेजर ऑपरेटर्स के माध्यम से ट्रांज़िशन मिसमैच को ठीक करता है, जिससे लक्ष्य MDP के आकार के बजाय टास्क शिफ्ट जटिलता के अनुरूप स्केलिंग वाले रिग्रेट बाउंड्स के साथ प्रमाणित रूप से कुशल ट्रांसफर सक्षम होता है।

मूल लेखक: Elynn Chen, Enpei Zhang, Jinhang Chai, Yujun Yan

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Elynn Chen, Enpei Zhang, Jinhang Chai, Yujun Yan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नए शहर में कार चलाना सीखने की कोशिश कर रहे हैं (लक्ष्य कार्य/Target Task)। आपका एक दोस्त है जो पास के एक बहुत ही मिलते-जुलते शहर में एक विशेषज्ञ ड्राइवर है (स्रोत कार्य/Source Task)। स्वाभाविक रूप से, आप अपने दोस्त के अनुभव का उपयोग करके तेजी से सीखना चाहते हैं।

रिनफोर्समेंट लर्निंग (RL) की दुनिया में, जो कि वह तरीका है जिससे AI एजेंट प्रयास और त्रुटि (trial and error) के माध्यम से सीखते हैं, इसे "ट्रांसफर लर्निंग" कहा जाता है। यह शोध पत्र तर्क देता है कि हालांकि यह सुनने में बहुत अच्छा लगता है, लेकिन जिस तरह से हम आमतौर पर इसे करने की कोशिश करते हैं वह गलत है। यहाँ इसका सरल विवरण दिया गया है कि यह क्यों गलत है, और लेखकों ने इसे कैसे ठीक किया।

समस्या: "गलत मानचित्र" का जाल (The "Wrong Map" Trap)

अधिकांश AI लर्निंग एक भविष्यवाणी करने, एक क्रिया करने, यह देखने के लिए कि क्या होता है, और फिर उस एकल कदम के आधार पर दुनिया के अपने "मानचित्र" को अपडेट करने के सिद्धांत पर काम करती है। इसे बेलमैन अपडेट (Bellman update) कहा जाता है।

पत्र कहता है कि यदि आप बस अपने दोस्त के "मानचित्र" को लेते हैं और उसे अपनी स्वयं की सीखने की प्रक्रिया पर चिपका देते हैं, तो यह एक व्यवस्थित त्रुटि (systematic error) पैदा करता है।

उपमा: कल्पना कीजिए कि आपका दोस्त एक ऐसे शहर में गाड़ी चलाता है जहाँ सड़कें वन-वे (एकतरफा) हैं, लेकिन आपके शहर में दो-तरफा सड़कें हैं। यदि आप यातायात के नियमों में अंतर के लिए समायोजन किए बिना, "अगले कदम पर कहाँ जाना है" के लिए अपने दोस्त की सलाह को अंधाधुंध कॉपी करते हैं, तो आप खो जाएंगे।
तकनीकी मुद्दा: AI के संदर्भ में, "भविष्य का मूल्य" (future value - आप कहाँ पहुँचेंगे) इस बात पर निर्भर करता है कि आप किस विशिष्ट शहर के नियमों के तहत हैं। यदि आप नियमों को ठीक किए बिना दो अलग-अलग शहरों के डेटा को मिला देते हैं, तो AI का गणित टूट जाता है। यह एक ऐसा "बायस" (bias) पैदा करता है जो AI को यह सोचने पर मजबूर करता है कि वह जितना जानता है उससे कहीं अधिक जानता है, जिससे खराब प्रदर्शन या विफलता हो सकती है।

समाधान: "री-वेटेड टारगेटिंग" (Re-weighted Targeting - RWT)

लेखक एक चतुर समाधान प्रस्तावित करते हैं जिसे री-वेटेड टारगेटिंग (RWT) कहा जाता है। दोनों मानचित्रों को सीधे जोड़ने के बजाय, वे इस बात को बदलते हैं कि दोस्त की सलाह का उपयोग कैसे किया जाता है।

उपमा: अपने दोस्त की सलाह को एक रेसिपी (विधि) के रूप में सोचें। यदि आपका दोस्त समुद्री नमक (sea salt) के साथ खाना बनाता है लेकिन आपके पास केवल साधारण नमक (table salt) है, तो आप उन्हें 1:1 के अनुपात में सीधे नहीं बदल सकते। आपको अपने विशिष्ट किचन के अनुकूल होने के लिए नमक की मात्रा को री-वेट (re-weight) करने की आवश्यकता है।
यह कैसे काम करता है: RWT विधि आपके दोस्त के डेटा को लेती है और गणितीय रूप से उसे "री-वेट" करती है। यह कहती है, "ठीक है, आपके दोस्त ने यह क्रिया की, लेकिन चूंकि हमारे शहर थोड़े अलग हैं, इसलिए हमें उस क्रिया के मूल्य को एक विशिष्ट मात्रा द्वारा समायोजित करने की आवश्यकता है।"
परिणाम: यह एक अव्यवस्थित, जटिल समस्या (जहाँ भविष्य अतीत पर जटिल तरीकों से निर्भर करता है) को एक सरल, निश्चित सुधार में बदल देता है। यह ऐसा है जैसे यह महसूस करना कि दोनों शहरों के बीच एकमात्र अंतर यह है कि एक में गति सीमा थोड़ी अधिक है। एक बार जब आप उस एक अंतर को ध्यान में रख लेते हैं, तो बाकी ड्राइविंग सलाह पूरी तरह से मान्य होती है।

दो-चरणीय सीखने की प्रक्रिया (The Two-Stage Learning Process)

एक बार जब उन्होंने गणित को ठीक कर दिया, तो उन्होंने एक दो-चरणीय शिक्षण प्रणाली बनाई:

चरण 1: "बेस" (दोस्त का उपयोग करना): AI अपने दोस्त के शहर के सभी डेटा का उपयोग एक मजबूत, सामान्य आधार बनाने के लिए करता है। क्योंकि डेटा को "री-वेट" किया गया है, इसलिए यह आधार सांख्यिकीय रूप से सुरक्षित है और AI को तेजी से सीखने में मदद करता है (वेरिएंस को कम करता है)।
चरण 2: "सुधार" (अपने स्वयं के डेटा का उपयोग करना): इसके बाद AI अपने स्वयं के शहर से थोड़े से डेटा का उपयोग करके केवल विशिष्ट अंतरों (कार्य शिफ्ट/task shift) को सीखता है। चूंकि इसे केवल छोटे अंतर को सीखना है, इसलिए यह इसे बहुत तेज़ी से सीख लेता है।

यह क्यों महत्वपूर्ण है

यह शोध पत्र गणितीय रूप से सिद्ध करता है कि यह विधि प्रमाणित रूप से कुशल (provably efficient) है।

पुराना तरीका: यदि आप केवल डेटा को मिला देते, तो AI भ्रमित हो सकता था और शून्य से शुरू करने की तुलना में धीमा सीख सकता था।
नया तरीका (RWT): AI शून्य से शुरू करने की तुलना में तेजी से सीखता है, और सीखने की गति इस बात पर निर्भर करती है कि दोनों शहर कितने अलग हैं, न कि इस पर कि शहर कितने बड़े या जटिल हैं। यदि शहर समान हैं, तो AI लगभग तुरंत सीख जाता है।

वास्तविक दुनिया का परीक्षण

लेखकों ने कंप्यूटर सिमुलेशन (जैसे ग्रिड-वर्ल्ड गेम्स) और न्यूरल नेटवर्क (वह प्रकार का AI जिसका उपयोग सेल्फ-ड्राइविंग कारों और वीडियो गेम में किया जाता है) पर इसका परीक्षण किया।

परिणाम: "री-वेटेड" AI लगातार शून्य से शुरू करने वाले AI और डेटा को अंधाधुंड मिलाने वाले AI, दोनों से बेहतर प्रदर्शन करता है।
मुख्य निष्कर्ष: संबंधित कार्य से डेटा को केवल कॉपी करना काम नहीं करता है। आपको पहले "खेल के नियमों" को गणितीय रूप से संरेखित (align) करना होगा। एक बार जब आप ऐसा कर लेते हैं, तो आप नए कौशल बहुत तेज़ी से सीख सकते हैं।

संक्षेप में: आप एक स्थिति से दूसरी स्थिति में अनुभव को केवल कॉपी-पेस्ट नहीं कर सकते। आपको पहले उसका अनुवाद करना होगा। यह शोध पत्र उस अनुवाद को करने के लिए शब्दकोश (Re-weighted Targeting) प्रदान करता है, जिससे AI नए कार्यों को बहुत तेज़ी से और अधिक विश्वसनीयता के साथ सीख सकता है।

तकनीकी सारांश: वन-स्टेप बेलमैन अलाइनमेंट ऑनलाइन RL में प्रमाणित रूप से कुशल ट्रांसफर को सक्षम बनाता है

1. समस्या विवरण (Problem Statement)

यह शोध पत्र एपिसोडिक मार्कोव डिसीजन प्रोसेस (MDPs) में ऑनलाइन ट्रांसफर रिइन्फोर्समेंट लर्निंग (RL) की चुनौती को संबोधित करता है। इस सेटिंग में एक लर्नर (learner) लक्ष्य कार्य ( $M^{(0)}$ ) के साथ इंटरैक्ट कर रहा है, जबकि उसके पास संबंधित स्रोत कार्यों (source tasks, $M^{(m)}$ ) से प्राप्त अनुभव तक पहुँच है। लक्ष्य यह है कि लक्ष्य कार्य पर सीखने की गति को तेज करने के लिए स्रोत डेटा का लाभ उठाया जाए, बिना अन्वेषण (exploration) या रिग्रेट (regress) गारंटी से समझौता किए।

एक मौलिक बाधा की पहचान की गई है: कार्य समानता (task similarity) की परिभाषाओं और ऑनलाइन RL सीखने के तंत्रों के बीच मिसअलाइनमेंट (misalignment):

कार्य समानता (Task Similarity): आमतौर पर रिवॉर्ड्स, ट्रांज़िशन या वैल्यू फंक्शन्स के माध्यम से परिभाषित की जाती है।
RL लर्निंग मैकेनिज्म: आधुनिक ऑनलाइन RL एल्गोरिदम (जैसे Q-learning) वन-स्टेप बेलमैन टारगेट्स (one-step Bellman targets) को रिग्र्रेस करके काम करते हैं, जो निरंतरता मूल्य (continuation value, $V_{h+1}$ ) और ट्रांज़िशन वितरण ( $P_h$ ) पर संयुक्त रूप से निर्भर करते हैं।

लेखकों का तर्क है कि स्रोत कार्यों के बेलमैन अपडेट्स का नाइव पूलिंग (naïve pooling) व्यवस्थित पूर्वाग्रह (systematic bias) पेश करता है। भले ही कार्य स्वाभाविक रूप से करीब हों, लक्ष्य निरंतरता मूल्य $V^{(0)}_{h+1}$ को स्रोत मूल्य $V^{(m)}_{h+1}$ से बदलना या स्रोत ट्रांज़िशन वितरण $P^{(m)}_h$ का उपयोग करना एक विसंगति पैदा करता है जो इटरेशन-परिवर्तित वैल्यू फंक्शन पर निर्भर करती है। यह संरचनात्मक पूर्वाग्रह (structural bias) आशावाद-आधारित अन्वेषण (optimism-based exploration) को तोड़ देता है और मानक रिग्रेट गारंटियों को अमान्य कर देता है, क्योंकि यह त्रुटि अतिरिक्त लक्ष्य डेटा के साथ समाप्त नहीं होती है।

2. कार्यप्रणाली: री-वेटेड टारगेटिंग (Re-Weighted Targeting - RWT)

इस संरचनात्मक पूर्वासे को हल करने के लिए, शोध पत्र री-वेटेड टारगेटिंग (RWT) का प्रस्ताव करता है, जो एक ऑपरेटर-लेवल सुधार है जो विभिन्न कार्यों के बीच बेलमैन ऑपरेटर्स को संरेखित (align) करता है।

2.1 वन-स्टेप बेलमैन अलाइनमेंट (One-Step Bellman Alignment)

मुख्य अंतर्दृष्टि यह है कि यदि निरंतरता मूल्य (continuation value) का मूल्यांकन लक्ष्य कार्य के तहत किया जाता है और ट्रांज़िशन मिसमैच को 'चेंज ऑफ मेजर' (change of measure) के माध्यम से सुधारा जाता है, तो कार्यों के बीच बेलमान मिसमैच को एक निश्चित वन-स्टेप सुधार (fixed one-step correction) में कम किया जा सकता है।

दिए गए स्रोत कार्य $m$ और लक्ष्य कार्य $0 $के लिए, मान लें कि$ \omega^{(m)}_h(s' | s, a) = p^{(0)}_h(s' | s, a) / p^{(m)}_h(s' | s, a)$ डेंसिटी रेश्यो है। RWT-अलाइन्ड बेलमैन ऑपरेटर को इस प्रकार परिभाषित किया गया है:
$(B^{(m \to 0)}_h V^{(m)}_{h+1})(s, a) := R^{(m)}_h(s, a) + \gamma \mathbb{E}_{s' \sim P^{(m)}_h} \left[ \omega^{(m)}_h(s' | s, a) V^{(0)}_{h+1}(s') \right]$
महत्वपूर्ण रूप से, निरंतरता मूल्य $V^{(0)}_{h+1}$ लक्ष्य वैल्यू फंक्शन है। वास्तविक लक्ष्य बेलमैन ऑपरेटर और RWT-अलाइन्ड स्रोत ऑपरेटर के बीच का अंतर सरल हो जाता है:
$\Delta^{(m)}_h(s, a) = (B^{(0)}_h V^{(0)}_{h+1})(s, a) - (B^{(m \to 0)}_h V^{(m)}_{h+1})(s, a) = R^{(0)}_h(s, a) - R^{(m)}_h(s, a)$
यह परिणाम दर्शाता है कि कार्य मिसमैच एक निश्चित वन-स्टेप रिवॉर्ड अंतर $\Delta^{(m)}_r$ बन जाता है, जो वैल्यू फंक्शन $V_{h+1}$ से स्वतंत्र है। यह ट्रांसफर समस्या को एक जटिल, इटरेशन-डिपेंडेंट बायस के बजाय एक स्ट्रक्चर्ड रेसिडुअल (structured residual) सीखने में बदल देता है।

2.2 एल्गोरिथमिक फ्रेमवर्क: RWT Q-Learning

लेखक एक दो-चरणीय RWT Q-learning फ्रेमवर्क (एल्गोरिदम 1) का प्रस्ताव करते हैं जो वेरिएंस रिडक्शन (variance reduction) को बायस करेक्शन (bias correction) से अलग करता है:

चरण I: स्रोत-आधारित बेसलाइन (वेरिएंस रिडक्शन)
- वर्तमान लक्ष्य वैल्यू अनुमान $V_{h+1}$ का उपयोग करके स्रोत डेटा से RWT-अलाइन्ड स्यूडो-लेबल्स (pseudo-labels) का निर्माण करें।
- इन स्यूडो-लेबल्स का उपयोग करके एक बेसलाइन एस्टिमेटर $Q^{base}_{n,h}$ फिट करें। यह लक्ष्य कार्य के साथ बेलमैन कंसिस्टेंसी बनाए रखते हुए, रिवॉर्ड अंतर तक, अनुमान वेरिएंस को कम करने के लिए प्रचुर मात्रा में उपलब्ध स्रोत डेटा का लाभ उठाता है।
चरण II: लक्ष्य-आधारित सुधार (बायस करेक्शन)
- लक्ष्य डेटा का उपयोग करके रेसिडुअल लेबल्स की गणना करें: $z_{i,h} = y^{(0)}_{i,h} - Q^{base}_{n,h}(s_{i,h}, a_{i,h})$ ।
- स्ट्रक्चर्ड वन-स्टेप रिवॉर्ड अंतर $\Delta^{(m)}_r$ को कैप्चर करने के लिए एक करेक्शन टर्म $\delta_{n,h}$ का अनुमान लगाएं।
- अंतिम ट्रांसफर अनुमान $Q^{trans}_{n,h} = Q^{base}_{n,h} + \delta_{n,h}$ है।
अन्वेषण (Exploration):
- $Q^{trans}_{n,h}$ में एक एक्सप्लोरेशन बोनस $b_{n,h}$ जोड़ा जाता है ताकि एक ऑप्टिमिस्टिक एस्टिमेट $Q^{ucb}_{n,h}$ बनाया जा सके, जो स्रोत बेसलाइन (डेंसिटी रेश्यो एस्टीमेशन सहित) और लक्ष्य सुधार दोनों से होने वाली अनिश्चितता को ध्यान में रखता है।

2.3 सैद्धांतिक इंस्टेंशिएशन (RKHS)

फ्रेमवर्क को रिप्रोड्यूसिंग कर्नेल हिल्बर्ट स्पेस (RKHS) फंक्शन एप्रोक्सिमेशन के तहत स्थापित किया गया है:

माना जाता है कि लक्ष्य बेलमैन बैकअप एक उच्च-जटिलता वाले RKHS $\mathcal{K}$ में है।
माना जाता है कि टास्क शिफ्ट (रिवॉर्ड अंतर $\Delta^{(m)}_r$ ) एक कम-जटिलता वाले RKHS $\tilde{\mathcal{K}} \subseteq \mathcal{K}$ में है।
बेसलाइन और करेक्शन चरणों दोनों के लिए कर्नेल रिज रिग्रेशन (Kernel ridge regression) का उपयोग किया जाता है।
एक्सप्लोरेशन बोनस क्रमशः संबंधित कर्नेल्स के इंफॉर्मेशन गेन और कवरिंग नंबर्स के आधार पर प्राप्त किए जाते हैं।

3. मुख्य योगदान (Key Contributions)

वैचारिक (Conceptual): ऑनलाइन ट्रांसफर के लिए सही एब्स्ट्रैक्शन के रूप में वन-स्टेप बेलमैन अलाइनमेंट की पहचान। शोध पत्र यह प्रदर्शित करता है कि नाइव बेलमैन पुन: उपयोग (reuse) संरचनात्मक रूप से बायस्ड है क्योंकि यह निरंतरता-मूल्य (continuation-value) पर निर्भर है, जो इसे रिग्रेट गारंटी के साथ असंगत बनाता है।
एल्गोरिथमिक (Algorithmic): री-वेटेड टारगेटिंग (RWT) का प्रस्ताव, जो एक ऑपरेटर-लेवल सुधार है जो स्रोत डेटा के सांख्यिकीय रूप से सुदृढ़ पुन: उपयोग को सक्षम बनाता है। यह एक दो-चरणीय Q-learning फ्रेमवर्क प्रदान करता है जो वेरिएंस रिडक्शन (स्रोत) को बायस करेक्शन (लक्ष्य) से अलग करता है।
सैद्धांतिक (Theoretical): RKHS एप्रोक्सिमेशन के तहत रिग्रेट बाउंड्स की स्थापना, जो पूर्ण लक्ष्य MDP के बजाय टास्क शिफ्ट (रिवॉर्ड अंतर) की जटिलता के साथ स्केल करते हैं। यह तब स्पष्ट सुधार प्रदान करता है जब शिफ्ट स्ट्रक्चर्ड हो।
अनुभवजन्य (Empirical): टैबुलर और न्यूरल नेटवर्क दोनों सेटिंग्स में सिंगल-टास्क लर्निंग और नाइव पूलिंग की तुलना में सुसंगत सुधार का प्रदर्शन, जो बेलमैन अलाइनमेंट की सैद्धांतिक आवश्यकता को प्रमाणित करता है।

4. परिणाम (Results)

सैद्धांतिक परिणाम (Theoretical Results)

इस धारणा के तहत कि टास्क शिफ्ट एक कम-जटिलता वाले RKHS $\tilde{\mathcal{K}}$ में है, OFU-RWT एल्गोरिदम के लिए रिग्रेट बाउंड है:
$\text{Regret}(N) \lesssim H \sqrt{N \beta_1} \left( N^{\beta_1+1} + N^{\alpha_1+1} \right) + \text{Source Terms}$

डोमिनेंट टर्म टास्क शिफ्ट ( $\tilde{\mathcal{K}}$ ) की जटिलता पर निर्भर करता है, न कि परिवेशी (ambient) लक्ष्य MDP ( $\mathcal{K}$ ) पर।
जब शिफ्ट परिवेशी समस्या की तुलना में सरल होता है (जैसे, $\alpha_1 \leq \beta_1$ ), तो रिग्रेट सिंगल-टास्क लर्निंग की $O(H N^{1/2+\beta_0})$ दर से काफी कम होता है।
सोर्स एस्टीमेशन टर्म जैसे-जैसे स्रोत-से-लक्ष्य सैंपलिंग अनुपात $\kappa$ बढ़ता है, घटता जाता है।

अनुभवजन्य परिणाम (Empirical Results)

प्रयोग RandomRewardGridEnv पर किए गए, जहाँ लक्ष्य रिवॉर्ड एक फिक्स्ड Q-टेबल है और स्रोत रिवॉर्ड उसका एक परिवर्तित संस्करण है ( $R_{source} = R_{target} + \Delta$ )।

नाइव पूलिंग (Naïve Pooling): सिंगल-टास्क लर्निंग की तुलना में लगातार प्रदर्शन में गिरावट आई, जो भविष्यवाणित संरचनात्मक पूर्वाग्रह की पुष्टि करता है।
RWT-Q: टैबुलर और डीप Q-नेटवर्क (DQN) दोनों सेटिंग्स में नाइव पूलिंग और केवल-लक्ष्य (target-only) बेसलाइन दोनों से बेहतर प्रदर्शन किया।
सैंपल एफिशिएंसी (Sample Efficiency): RWT-Q ने सैंपल एफिशिएंसी में महत्वपूर्ण लाभ दिखाया, विशेष रूप से तब जब रिवॉर्ड शिफ्ट स्ट्रक्चर्ड लेकिन गैर-मामूली (non-trivial) था।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि बेलमैन अलाइनमेंट एक मॉडल-अग्नोस्टिक ट्रांसफर सिद्धांत है जो ऑनलाइन RL के लिए आवश्यक है।

संरचनात्मक बनाम सांख्यिकीय (Structural vs. Statistical): नाइव ट्रांसफर की विफलता को एक संरचनात्मक मुद्दे (ऑपरेटर मिसअलाइनमेंट) के रूप में पहचाना गया है, न कि एक सांख्यिकीय मुद्दे (अपर्याप्त डेटा) के रूप में।
विघटन (Decomposition): टास्क मिसमैच को एक निश्चित वन-स्टेप करेक्शन में कम करके, RWT लर्निंग को स्रोत-संचालित वेरिएंस रिडक्शन चरण और लक्ष्य-संचालित बायस करेक्शन चरण में अलग करने की अनुमति देता है।
रिग्रेट गारंटी: साझा प्रतिनिधित्व (shared representations) या ऑफलाइन धारणाओं पर निर्भर करने वाले पिछले ट्रांसफर तरीकों के विपरीत, यह कार्य प्रमाणित रूप से कुशल ऑनलाइन ट्रांसफर प्रदान करता है जिसके रिग्रेट बाउंड्स कार्य के बजाय शिफ्ट की जटिलता के अनुकूल होते हैं।
सामान्यता (Generality): यह मैकेनिज्म विशिष्ट अन्वेषण रणनीति ( $\epsilon$ -greedy या UCB के साथ संगत) और फंक्शन एप्रोक्सिमेटर (टेबुलर या न्यूरल) से स्वतंत्र है, जो इसे ऑनलाइन RL ट्रांसफर के लिए एक सामान्य सिद्धांत बनाता है।