Behavior-Constrained Reinforcement Learning with Receding-Horizon Credit Assignment for High-Performance Control

यहाँ शोध पत्र "Behavior-Constrained Reinforcement Learning with Receding-Horizon Credit Assignment for High-Performance Control" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र रोबोटिक्स और स्वायत्त नियंत्रण (autonomous control) की एक मौलिक चुनौती को संबोधित करता है: ऐसी उच्च-प्रदर्शन वाली नीतियां (policies) सीखना जो विशेषज्ञ मानव व्यवहार के साथ सुसंगत (consistent) बनी रहें।

• तनाव (The Tension): शुद्ध सुदृढीकरण शिक्षण (Reinforcement Learning - RL) अक्सर ऐसी रणनीतियाँ खोजता है जो कार्य प्रदर्शन (जैसे, सबसे तेज़ लैप समय) को अधिकतम करती हैं, लेकिन मानव ड्राइविंग शैलियों से काफी विचलित हो जाती हैं, जिससे संभावित रूप से सिम्युलेटर की खामियों का फायदा उठाया जा सकता है या अवास्तविक नियंत्रण पैटर्न अपनाए जा सकते हैं। इसके विपरीत, अनुकरण शिक्षण (Imitation Learning - IL) प्रदर्शन (demonstrations) की गुणवत्ता द्वारा सीमित होता है और विशेषज्ञ के प्रदर्शन से आगे बढ़ने या नई स्थितियों के अनुकूल होने में संघर्ष करता है (covariate shift)।
• विशिष्ट संदर्भ: यह उच्च-प्रदर्शन वाले मोटरस्पोर्ट्स में अत्यंत महत्वपूर्ण है, जहाँ वाहन भौतिक सीमाओं के करीब संचालित होते हैं। नियंत्रण रणनीति में छोटे विचलन स्थिरता और प्रदर्शन दोनों को प्रभावित करते हैं। इसके अलावा, निर्णयों (जैसे, एंट्री स्पीड) के परिणाम अक्सर विलंबित होते हैं, जिससे 'टेम्पोरल क्रेडिट असाइनमेंट' (temporal credit assignment) कठिन हो जाता है।
• लक्ष्य: एक ऐसा ढांचा विकसित करना जो विशेषज्ञ ड्राइवरों के साथ व्यवहार संबंधी निरंतरता पर एक सख्त प्रतिबंध लागू करते हुए कार्य प्रदर्शन (लैप टाइम) को अनुकूलित करे, जिससे नीति एक वर्चुअल सेटअप परीक्षण में मानव मूल्यांकन के लिए एक विश्वसनीय "डिजिटल प्रतिरूप" (digital surrogate) के रूप में कार्य करने में सक्षम हो सके।

2. कार्यप्रणाली (Methodology)

लेखक एक व्यवहार-प्रतिबंधित सुदृढीकरण शिक्षण (Behavior-Constrained Reinforcement Learning - BCRL) ढांचा प्रस्तावित करते हैं जो रेसिंग के लिए विशेष रूप से तैयार किया गया है, जिसमें तीन मुख्य घटक शामिल हैं:

A. प्रतिबन्धात्मक अनुकूलन सूत्रीकरण (Constrained Optimization Formulation)

केवल प्रदर्शन और अनुकरण पुरस्कारों (imitation rewards) को भारित (weighting) करने के बजाय (जिसके लिए ट्रेड-ऑफ गुणांकों के मैन्युअल ट्यूनिंग की आवश्यकता होती है), लेखक इस समस्या को एक प्रतिबन्धात्मक अनुकूलन कार्य के रूप में तैयार करते हैं:

• उद्देश्य: अपेक्षित संचयी प्रदर्शन पुरस्कार ($r_p$) को अधिकतम करना।
• प्रतिबंध: सभी समयों पर अपेक्षित शैली अनुकरण पुरस्कार ($r_s$) पर एक निचली सीमा ($\hat{R}$) लागू करना।
• तंत्र: शैली अनुकरण गुणांक ($\alpha_s$) को एक लैग्रेंजियन मल्टीप्लायर (Lagrangian multiplier) के रूप में माना जाता है। इसे प्रशिक्षण के दौरान वर्तमान अनुकरण प्रदर्शन और लक्षित सीमा $\hat{R}$ के बीच के अंतर के आधार पर गतिशील रूप से अपडेट किया जाता है। यह विभिन्न वातावरणों में व्यापक हाइपरपैरामीटर ट्यूनिंग की आवश्यकता को समाप्त करता है।

B. रिसेडिंग-होराइजन क्रेडिट असाइनमेंट (Receding-Horizon Credit Assignment)

गतिशील प्रणालियों में नियंत्रण निर्णयों के विलंबित परिणामों को संबोधित करने के लिए:

• ट्रैजेक्टरी प्रेडिक्टर (Trajectory Predictor): एक हल्का सहायक नेटवर्क संभावित बेज़ियर कर्व्स (probabilistic Bézier curves) का उपयोग करके अल्पकालिक भविष्य के प्रक्षेपवक्र (trajectories) की भविष्यवाणी करता है। यह ज्यामितीय संरचना को संरक्षित करते हुए आयामीता (dimensionality) को कम करता है।
• लुक-अहेड रिवार्ड्स (Look-Ahead Rewards): प्रेडिक्टर भविष्य की अवस्थाओं का एक वितरण उत्पन्न करता है। नीति को अनुमानित प्रक्षेपवक्रों की प्रगति और शैली के पालन के आधार पर "लुक-अहेड" पुरस्कार प्राप्त होते हैं। यह उन कार्यों के लिए तत्काल फीडबैक प्रदान करके टेम्पोरल क्रेडिट असाइनमेंट में सुधार करता है, जिनके परिणाम कुछ सेकंड बाद सफलता या विफलता के रूप में प्रकट होते हैं।

C. प्रासंगिक नीति और डेटा संवर्धन (Contextual Policy and Data Augmentation)

• प्रासंगिक MDP (Contextual MDP): नीति एक संदर्भ प्रक्षेपवक्र ($\tau$) पर आधारित होती है। यह नीति को एक एकल नियत लक्ष्य के बजाय वैध व्यवहारों के वितरण को सीखने की अनुमति देता है, जो बाधाओं के तहत प्राकृतिक मानवीय परिवर्तनशीलता को ध्यान में रखता है।
• संदर्भ प्रक्षेपवक्र वितरण (Reference Trajectory Distribution - RTD): मजबूती और सामान्यीकरण (generalization) में सुधार के लिए, लेखक विशेषज्ञ प्रदर्शनों पर एक वितरण (Probabilistic Movement Primitives, ProMP का उपयोग करके) फिट करते हैं। प्रशिक्षण के दौरान, नीति को निश्चित प्रक्षेपवक्यों के बजाय इस वितरण से लिए गए नमूनों पर आधारित किया जाता है, जो प्रभावी रूप से डेटा संवर्धन करता है और विशिष्ट लाइनों पर ओवरफिटिंग को रोकता है।
• प्रशिक्षण पाइपलाइन:
  1. सुपरवाइज्ड प्रीट्रेनिंग: नीति और प्रेडिक्टर को विशेषज्ञ डेटा पर बिहेवियरल क्लोनिंग (BC) के माध्यम से इनिशियलाइज़ किया जाता है।
  2. फाइन-ट्यूनिंग: प्रतिबन्धात्मक उद्देश्य के साथ प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) का उपयोग किया जाता है। प्रेडिक्टर को नीति से पहले अपडेट किया जाता है ताकि यह सुनिश्चित हो सके कि पुरस्कार नवीनतम मॉडल पर आधारित हैं।

3. प्रमुख योगदान (Key Contributions)

1. व्यवहार-प्रतिबंधित नीति अनुकूलन: एक नया सूत्रीकरण जो प्रदर्शन (डिमांड) को एक सॉफ्ट रिवॉर्ड के बजाय एक हार्ड कंस्ट्रेंट (अनुकरण त्रुटि पर निचली सीमा के माध्यम से) के रूप में मानता है, जो विशेषज्ञ व्यवहार के प्रति सख्त पालन सुनिश्चित करता है और साथ ही प्रदर्शन को अनुकूलित करता है।
2. रिसेडिंग-होराइजन क्रेडिट असाइनमेंट: एक संभावित बेज़ियर कर्व प्रेडिक्टर का परिचय जो लुक-अहेड रिवार्ड्स प्रदान करता है, जो उच्च गति वाले गतिशील नियंत्रण में सीखने की दक्षता और टेम्पोरल रीजनिंग में उल्लेखनीय सुधार करता है।
3. ट्रैजेक्टरी-कंडीशनड मॉडलिंग: विशेषज्ञ ड्राइविंग की प्राकृतिक परिवर्तनशीलता को दर्शाने की एक विधि, जो नीति को संदर्भ प्रक्षेपवक्यों के वितरण पर आधारित करती है, जिससे सेटअप परिवर्तनों के प्रति मजबूती बढ़ती है।
4. मानव-आधारित सत्यापन: एक व्यापक मूल्यांकन पाइपलाइन जो ड्राइवर-इन-द-लूप (DiL) सिम्युलेटर का उपयोग करती है, यह सत्यापित करती है कि सीखी गई नीतियां न केवल लैप टाइम से मेल खाती हैं, बल्कि पेशेवर ड्राइवरों के फीडबैक के अनुरूप सेटअप-निर्भर ड्राइविंग विशेषताओं को भी पुनरुत्पादित करती हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन पेशेवर ड्राइवरों के डेटा का उपयोग करके एक उच्च-निष्ठा (high-fidelity) रेस कार सिमुलेशन में किया गया।

• प्रदर्शन बनाम अनुकरण ट्रेड-ऑफ:
  • प्रस्तावित विधि (सेटिंग A) ने सर्वश्रेष्ठ पारेटो फ्रंटियर (Pareto frontier) प्राप्त किया, जिसने लैप टाइम और मीन रेफरेंस ऑफसेट (MRO) दोनों में बेसलाइन (स्टैंडर्ड स्टेप रिवार्ड्स, एडवरसैरियल मोशन प्रायर्स, और स्टैंडर्ड कॉन्टेक्स्टुअल RL) को पीछे छोड़ दिया।
  • इसने मैन्युअल ट्यूनिंग के बिना प्रदर्शन और शैली के बीच सफलतापूर्वक संतुलन बनाया, जबकि बेसलाइन को व्यापक ग्रिड सर्च की आवश्यकता थी और फिर भी वे प्रस्तावित विधि के संतुलन से मेल खाने में विफल रहे।
• सामान्यीकरण (Generalization):
  • इस विधि ने बिना पुनः ट्यूनिंग के तीन अलग-अलग रेस ट्रैक और विभिन्न वाहन कॉन्फ़िगरेशन में शीर्ष प्रदर्शन और अनुकरण गुणवत्ता बनाए रखी, जो बेसलाइन की तुलना में बेहतर मजबूती प्रदर्शित करती है।
• एब्लेशन स्टडीज (Ablation Studies):
  • स्वचालित स्केलिंग: $\alpha_s$ के गतिशील समायोजन ने फिक्स्ड गुणांकों की तुलना में बेहतर प्रदर्शन किया, जिससे न्यूनतम प्रदर्शन हानि के साथ लक्षित अनुकरण गुणवत्ता प्राप्त हुई।
  • डेटा संवर्धन: कच्चे प्रदर्शनों पर सीधे प्रशिक्षण के बजाय RTD-आधारित संवर्धन का उपयोग करने से टेस्ट ट्रैक्स पर सामान्यीकरण में काफी सुधार हुआ।
  • प्रेडिक्शन मॉड्यूल: लुक-अहेड क्रेडिट असाइनमेंट के मूल्य की पुष्टि करते हुए, एक सहायक कार्य के रूप में ट्रैजेक्टरी प्रेडिक्टर को शामिल करने से लैप टाइम में ~0.25s और MRO में ~30% का सुधार हुआ।
• मानव-आधारित मूल्यांकन:
  • एक DiL अध्ययन में, सीखी गई नीतियों ने विभिन्न वाहन सेटअपों के लिए पेशेवर ड्राइवरों द्वारा रिपोर्ट किए गए गुणात्मक हैंडलिंग लक्षणों (जैसे, अंडरस्टीयर बनाम ओवरस्टीयर प्रतिक्रिया) को सही ढंग से पुनरुत्पादित किया।
  • नीतियों ने सबसे अधिक "ड्रिवेबल" (drivable) सेटअप (गति और निरंतरता के सर्वोत्तम संतुलन) की पहचान की, जो विशेषज्ञ इंजीनियरिंग अंतर्ज्ञान के अनुरूप था।

5. महत्व (Significance)

यह कार्य शुद्ध प्रदर्शन अनुकूलन और व्यवहार निष्ठा (behavioral fidelity) के बीच के अंतर को पाटता है।

• व्यावहारिक अनुप्रयोग: यह मोटरस्पोर्ट्स में वर्चुअल सेटअप टेस्टिंग के लिए एक विश्वसनीय उपकरण प्रदान करता है। इंजीनियर इन "डिजिटल ड्राइवरों" का उपयोग वाहन कॉन्फ़िगरेशन (सस्पेंशन, एरोडायनामिक्स) का मूल्यांकन करने के लिए कर सकते हैं, जिससे हर बार भौतिक कार या मानव ड्राइवर की आवश्यकता के बिना समय और लागत की बचत होती है।
• व्यापक प्रभाव: यह ढांचा रेसिंग से परे उन सभी डोमेन तक विस्तृत है जिनमें निरंतर नियंत्रण की आवश्यकता होती है जिसे मानव-समान बाधाओं का पालन करना चाहिए (जैसे, स्वायत्त ड्राइविंग, रोबोटिक मैनिपुलेशन), जो सुरक्षित, व्याख्या योग्य और उच्च-प्रदर्शन वाले RL के लिए एक संरचित दृष्टिकोण प्रदान करता है।
• पद्धतिगत प्रगति: कंस्ट्रेंड ऑप्टिमाइज़ेशन, रिसेडिंग-होजोन प्रेडिक्शन और डिस्ट्रिब्यूशनल कंडीशनिंग का संयोजन एक मजबूत टेम्पलेट प्रदान करता है जिसका उपयोग उन मल्टी-ऑब्जेक्टिव कंट्रोल समस्याओं को हल करने के लिए किया जा सकता है जहाँ कार्य "कैसे" किया जाता है वह उतना ही महत्वपूर्ण है जितना कि "कितना अच्छा" किया जाता है।