तकनीकी सारांश: फ्रिक्शनल Q-लर्निंग (Frictional Q-Learning)

1. समस्या विवरण

ऑफ-पॉलिसी सुदृढ़ीकरण शिक्षण (Reinforcement Learning - RL) में एक्सट्रपलेशन त्रुटियों (extrapolation errors) की समस्या आती है, जब एक सीखा गया पॉलिसी उन कार्यों (actions) का चयन करता है जो रिप्ले बफर में बहुत कम समर्थित हैं या अनुपस्थित हैं। जब पॉलिसी उन अवस्था-कार्य (state-action) युग्मों को क्वेरी करती है जो संग्रहीत डेटा के वितरण (distribution) से बाहर होते हैं, तो मान अनुमान (value estimates) गलत हो जाते हैं, जिससे पॉलिसी अपडेट अस्थिर हो जाता है। जबकि बैच कंस्ट्रेंड Q-लर्निंग (BCQ) एक वेरिएशनल ऑटोएनकोडर (VAE) के माध्यम से रिप्ले बफर के सपोर्ट तक नीतियों को सीमित करके इसे कम करने का प्रयास करता है, मौजूदा दृष्टिकोणों में सैद्धांतिक सीमाएं हैं। विशेष रूप से, बैच-कंस्ट्रेंड विधियों में एक्सट्रपलेशन त्रुटि की सीमा $(1-\gamma)^{-2}$ के साथ बढ़ती है, जिसका अर्थ है कि लंबे क्षितिज वाले कार्यों (long-horizon tasks) के लिए (जहाँ डिस्काउंट फैक्टर $\gamma \to 1$ होता है), त्रुटि की सीमाएं अत्यधिक ढीली हो जाती हैं, जिससे अपेक्षित रिटर्न का महत्वपूर्ण अति-अनुमान (overestimation) होने की संभावना रहती है।

2. कार्यप्रणाली: फ्रिक्शनल Q-लर्निंग (FQL)

लेखक फ्रिक्शनल Q-लर्निंग (FQL) का प्रस्ताव करते हैं, जो एक ऑफ-पॉलिसी एल्गोरिदम है जो स्थैतिक घर्षण (static friction) के सादृश्य पर आधारित एक ज्यामितीय व्याख्या के माध्यम से एक्सट्रपलेशन त्रुटि को संबोधित करता है।

2.1. स्थैतिक घर्षण का सादृश्य (The Static Friction Analogy)

यह शोध शास्त्रीय यांत्रिकी में स्थैतिक घर्षण के साथ एक्सट्रपलेशन त्रुटि के बीच एक समानता दर्शाता है:

• मैनिफोल्ड (The Manifold): रिप्ले बफर को एक सुचारू, निम्न-आयामी क्रिया मैनिफोल्ड (action manifold) के रूप में मॉडल किया गया है।
• स्पर्शरेखीय बनाम अभिलंब घटक (Tangential vs. Normal Components): रिप्ले बफर के समर्थन के भीतर के कार्य स्पर्शरेखीय घटकों (tangential components) (प्रेक्षित डेटा के अनुरूप विक्षोभ) के अनुरूप होते हैं। इस समर्थन से विचलित होने वाले कार्य अभिलंब घटकों (normal components) (अधिकतम प्रथम-क्रम विचलन उत्पन्न करने वाले विक्षोभ) के अनुरूप होते हैं।
• घर्षण सीमा (Friction Threshold): जिस प्रकार स्थैतिक घर्षण गति को तब तक रोकता है जब तक कि एक सीमा प्राप्त न हो जाए, एक्सट्रपलेशन त्रुटि पॉलिसी अभिसरण (convergence) में एक प्रतिरोध के रूप में कार्य करती है। "घर्षण" अभिलंब दिशा (normal direction) में सबसे मजबूत होता है। स्थिरता सुनिश्चित करने के लिए, पॉलिसी को स्पर्शरेखीय दिशाओं के साथ संरेखित कार्यों को प्राथमिकता देनी चाहिए और अभिलंब घटकों से सख्ती से बचना चाहिए।

2.2. क्रिया ज्यामिति और एनिसोट्रॉपी (Action Geometry and Anisotropy)

यह विधि क्रिया स्थान को स्थानीय क्रिया मैनिफोल्ड के सापेक्ष स्पर्शरेखीय और अभिलंब दिशाओं में विभाजित करने पर निर्भर करती है:

• स्पर्शरेखीय स्थान ($T_s M_B$): उन दिशाओं को कैप्चर करता है जहाँ पुनर्निर्माण निष्ठा (reconstruction fidelity) संरक्षित रहती है (समर्थित कार्य)।
• अभिलंब स्थान ($N_s M_B$): उन दिशाओं को कैप्चर करता है जो प्रथम-क्रम पुनर्निर्माण विरूपण (reconstruction distortion) उत्पन्न करती हैं (असपोर्टेड कार्य)।
• एनिसोट्रॉपी अनुपात ($\kappa$): इसे एक्सट्रपलेशन त्रुटि के नॉर्मल और टेंगेंशियल दिशात्मक लिप्सचिट्ज़ बाउंड के अनुपात के रूप में परिभाषित किया गया है ($\kappa = g_n / g_t$)। स्थिरता की स्थिति यह आवश्यक बनाती है कि पॉलिसी विचलन का कोण $\theta$ इस प्रकार संतुष्ट हो कि $\tan \theta \leq \lambda_{tol} / |\kappa|$, जिससे यह सुनिश्चित हो सके कि पॉलिसी उस क्षेत्र के भीतर रहे जहाँ मान मूल्यांकन विश्वसनीय है।

2.3. एल्गोरिदम कार्यान्वयन

FQL इन ज्यामितीय बाधाओं को लागू करने के लिए एक कॉन्ट्रास्टिव वेरिएशनल ऑटोएनकोडर (cVAE) का उपयोग करता है:

1. नॉर्मल दिशाओं के लिए ऑर्थोनॉर्मल बेसिस (Orthonormal Basis for Normal Directions): चूंकि नॉर्मल स्पेस अनंत है, एल्गोरिदम क्रिया वेक्टर के ऑर्थोगोनल कॉम्प्लीमेंट के ऑर्थोनॉर्मल बेसिस का उपयोग करके एक नियत (deterministic) सेट बनाता है। क्रिया स्थान को पुन: केंद्रित करने के लिए एक एफ़ाइन ट्रांसफ़ॉर्मेशन लागू किया जाता है, जिससे यह सुनिश्चित होता है कि ये बेसिस वेक्टर्स व्यवहार्य डोमेन के भीतर हों।
2. कॉन्ट्रास्टिव लर्निंग (Contrastive Learning): cVAE ($G_\zeta$) को दो उद्देश्यों के साथ प्रशिक्षित किया जाता है:
   • लक्ष्य डेटासेट ($D_t$): रिप्ले बफर से समर्थित कार्यों का पुनर्निर्माण करता है।
   • बैकग्राउंड डेटासेट ($D_b$): नॉर्मल (असपोर्टेड) दिशाओं का प्रतिनिधित्व करने वाले "नेगेटिव" नमूनों के रूप में ऑर्थोनॉर्मल बेसिस वेक्टर्स का उपयोग करता है।
   • मॉडल लेटेंट स्पेस को सैलियंट कारकों ($\bar{s}$) (जो टारगेट डेटा के विशिष्ट हैं) और अप्रासंगिक कारकों ($z$) (जो बैकग्राउंड के साथ साझा किए जाते हैं) में विभाजित करता है। इन कारकों को अलग करने के लिए एक टोटल कोरिलेशन (TC) पेनल्टी का उपयोग किया जाता है, जिससे यह सुनिश्चित होता है कि डिकोडर क्रियाओं को उत्पन्न करते समय 'न्यूसेंस स्ट्रक्चर' (नॉर्मल दिशाओं) के प्रति असंवेदनशील रहे।
3. पॉलिसी अपडेट:
   • क्रिटिक डिकोडर द्वारा उत्पन्न उम्मीदवारों के एक सीमित सेट का मूल्यांकन करता है।
   • बैकग्राउंड सैंपल के साथ, जिसमें सबसे कम अनुमानित Q-वैल्यू होती है, को "सबसे कम समर्थित" कार्य के रूप में चुना जाता है।
   • पॉलिसी उत्पन्न उम्मीदवारों के Q-वैल्यू को अधिकतम करती है जबकि cVAE पुनर्निर्माण हानि (reconstruction loss) और TC पेनल्टी को कम करता है।

3. मुख्य योगदान

• बैच RL की ज्यामितीय व्याख्या: यह कार्य बैच RL की एक ज्यामितीय व्याख्या पेश करने वाला पहला कार्य है जो भौतिक सादृश्य (स्थैतिक घर्षण) पर आधारित है, जो क्रिया मैनिफोल्ड ज्यामिति और एक्सट्रपलेशन त्रुटि के बीच संबंध को औपचारिक रूप देता है।
• फ्रिक्शनल Q-लर्निंग (FQL): एक अभिनव ऑफ-पॉलिसी एल्गोरिदम जो समर्थित (टेंगेंशियल) और असपोर्टेड (नॉर्मल) क्रिया विविधताओं को स्पष्ट रूप से अलग करने के लिए cVAE का उपयोग करता है, जिससे ढीली सैद्धांतिक सीमाओं पर निर्भर किए बिना एक्सट्रपलेशन त्रुटि को प्रभावी ढंग से दबाया जाता है।
• स्थिरता की स्थिति (Stability Condition): एनिसोट्रॉपी अनुपात $\kappa$ पर आधारित एक स्थिरता स्थिति का व्युत्पन्न, जो वैश्विक लिप्सचिट्ज़ बाउंड की तुलना में पॉलिसी विचलन पर सख्त प्रतिबंध लगाता है।
• ऑर्थोनॉर्मल बेसिस निर्माण: ऑर्थोगोनल कॉम्प्लीमेंट के ऑर्थोनॉर्मल बेसिस का उपयोग करके नियत बैकग्राउंड सैंपल उत्पन्न करने की एक विधि, जो निरंतर क्रिया स्थानों में कॉन्ट्रास्टिव लर्निंग की सुविधा प्रदान करती है।

4. प्रयोगात्मक परिणाम

लेखकों ने MuJoCo वातावरण सूट (Hopper, HalfCheetah, Walker2d, Ant, Humanoid) से मानक निरंतर-नियंत्रण बेंचमार्क पर FQL का मूल्यांकन किया।

• बेसलाइन्स के विरुद्ध प्रदर्शन: FQL ने ऑफ-पॉलिसी बेसलाइन्स (DDPG, TD3, SAC) और बैच-कंस्ट्रेंड बेसलाइन (BCQ) की तुलना में मजबूत और स्थिर प्रदर्शन दिखाया। इसने अधिकांश वातावरणों में, विशेष रूप से HalfCheetah और Humanoid जैसे उच्च-आयामी कार्यों में, बेहतर या तुलनीय औसत रिटर्न प्राप्त किया।
• इमिटेशन लर्निंग (Imitation Learning): एक इमिटेशन लर्निंग सेटिंग में (बिना ऑनलाइन इंटरेक्शन के केवल एक निश्चित रिप्ले बफर पर प्रशिक्षण), FQL ने BCQ और बिहेवियर पॉलिसी से बेहतर प्रदर्शन किया। यह सुझाव देता है कि फ्रिक्शनल कंस्ट्रेंट सपोर्ट डिस्ट्रीब्यूशन को प्रभावी ढंग से नियंत्रित करता है और अतिरिक्त डेटा के बिना भी हानिकारक एक्सट्रपलेशन को दबा देता है।
• ऑफलाइन RL: D4RL बेंचमार्क पर, FQL (एक बिहेवियर क्लोनिंग ऑब्जेक्टिव के साथ) ने HalfCheetah और Hopper पर IQL के समान प्रदर्शन दिखाया, हालांकि यह Walker2d पर अस्थिरता प्रदर्शित करता है।
• एब्लेशन स्टडीज (Ablation Studies): टोटल कोरिलेशन (TC) पेनल्टी को हटाने या लेटेंट डायमेंशन को कम करने से प्रदर्शन में लगातार गिरावट आई, जो सैलियंट और अप्रासंगिक कारकों को अलग करने और पर्याप्त रिप्रेजेंटेशन क्षमता बनाए रखने के महत्व की पुष्टि करता है।

5. महत्व और दावे

पेपर दावा करता है कि FQL समर्थित और असपोर्टेड क्रिया विविधताओं के स्पष्ट तुलना के माध्यम से एक क्रिया मैनिफोल्ड को प्रेरित करके निरंतर नियंत्रण के लिए एक व्यावहारिक और स्केलेबल दृष्टिकोण प्रदान करता है।

• तंत्र (Mechanism): स्थैतिक घर्षण की नकल करके, एल्गोरिदम एक स्थिरता तंत्र पेश करता है जो ऑफ-सपोर्ट विक्षोभों को दबाता है जबकि समर्थित दिशाओं में पॉलिसी सुधार की अनुमति देता है।
• सामान्यीकरण (Generality): फ्रेमवर्क के लाभों को लोकोमोशन बेंचमार्क से आगे मैनिपुलेशन कार्यों (DMControl, MyoSuite) तक विस्तारित होते देखा गया है।
• सीमाएं: लेखक विनम्रतापूर्वक स्वीकार करते हैं कि वर्तमान फ्रेमवर्क स्पष्ट रूप से एक्शन स्पेस और लेटेंट मैनिफोल्ड के बीच आइसोमेट्री (isometry) को लागू नहीं करता है, न ही यह डिज़ाइन द्वारा ऑर्थोगोनैलिटी की गारंटी देता है। देखा गया निकट-ऑर्थोगोनैलिटी मॉडल संरचना का एक उभरता हुआ गुण है न कि एक औपचारिक ज्यामितीय गारंटी। वे सुझाव देते हैं कि भविष्य के कार्य आइसोमेट्रिक रिप्रेजेंटेशन लर्निंग विधियों को एकीकृत कर सकते हैं।

संक्षेप में, FQL डिस्ट्रिब्यूशनल शिफ्ट को संभालने के लिए एक नया दृष्टिकोण प्रदान करता है, जो ढीली त्रुटि सीमाओं के साथ संघर्ष करने वाले पारंपरिक बैच-कंस्ट्रेंड तरीकों के बजाय ज्यामितीय बाधाओं का लाभ उठाकर स्थिरता प्राप्त करता है।