Fisher Decorator: Refining Flow Policy via A Local Transport Map

यहाँ शोध पत्र "Fisher Decorator: Refining Flow Policy via A Local Transport Map" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ऑफलाइन सुदृढीकरण शिक्षण (Offline Reinforcement Learning - RL) का लक्ष्य बिना किसी अतिरिक्त वातावरण संपर्क के, स्थिर डेटासेट से इष्टतम नीतियों (optimal policies) को सीखना है। एक केंद्रीय चुनौती पुरस्कार अधिकतमकरण (reward maximization) और वितरणीय बदलाव शमन (distributional shift mitigation) के बीच संतुलन बनाना है। मानक दृष्टिकोण इसे एक KL-प्रतिबंधित अनुकूलन समस्या (KL-constrained optimization problem) के रूप में तैयार करता है, जो यह सुनिश्चित करता है कि सीखी गई नीति ($\pi_\theta$), व्यवहारगत नीति ($\pi_\beta$) के करीब रहे जो डेटासेट द्वारा परिभाषित होती है।

हालिया प्रगति जटिल, बहुविध (multimodal) वितरणों के लिए उच्च अभिव्यंजक क्षमता प्रदान करने वाले फ्लो-आधारित मॉडलों (Flow Matching के माध्यम से) का उपयोग करती है। हालाँकि, मौजूदा फ्लो-आधारित ऑफलाइन RL विधियाँ (जैसे, Flow Q-Learning, DeFlow) एक महत्वपूर्ण सैद्धांतिक और व्यावहारिक समझौते का सामना करती हैं:

• विसंगति (The Mismatch): ये विधियाँ आमतौर पर KL बाधा को $L_2$ नियमितीकरण (regularization) पद का उपयोग करके अनुमानित करती हैं, जो 2-वॉसरस्टीन दूरी ($W_2$) के लिए एक ऊपरी सीमा के रूप में कार्य करता है।
• दोष (The Flaw): KL डाइवर्जेंस स्वाभाविक रूप से एनिसोट्रोपिक (anisotropic) (दिशा-निर्भर) और घनत्व-जागरूक (density-aware) है; यह निम्न-घनत्व वाले क्षेत्रों में विचलन को सख्ती से दंडित करता है (सपोर्ट संरक्षण)। इसके विपरीत, $L_2/W_2$ सन्निकटन आइसोट्रोपिक (isotropic) (दिशा-स्वतंत्र) और घनत्व-असंवेदनशील (density-insensitive) है।
• परिणाम: यह ज्यामितीय विसंगति निम्नलिखित की ओर ले जाती है:
  1. मोड कोलैप्स/एवरेजिंग (Mode Collapse/Averaging): नीति मोड के ज्यामितीय माध्य की ओर ढह जाती है, बजाय इसके कि बहुविधता को संरक्षित करे।
  2. वितरणीय बदलाव (Distributional Shift): नीति निम्न-घनत्व या असुविधाजनक (unsupported) क्षेत्रों (Out-of-Distribution) में चली जाती है क्योंकि आइसोट्रोपिक दंड उच्च-घनत्व और निम्न-घनत्व वाले विचलन के बीच अंतर करने में विफल रहता है।
  3. उप-इष्टतम अपडेट (Suboptimal Updates): अनुकूलन दिशाएँ डेटा मैनिफोल्ड की अंतर्निहित ज्यामिति के साथ संरेखित नहीं होती हैं।

2. कार्यप्रणाली: फिशर डिकरेटर (Methodology: Fisher Decorator - FiDec)

लेखक फिशर डिकरेटर (FiDec) प्रस्तावित करते हैं, जो KL-$W_2$ विसंगति को हल करने के लिए नीति परिशोधन (policy refinement) को एक ज्यामितीय परिप्रेक्ष्य से पुनर्गठित करता है।

A. स्थानीय परिवहन मानचित्र सूत्रीकरण (Local Transport Map Formulation)

एक पूरी तरह से नया एक-चरणीय फ्लो नीति सीखने के बजाय, FiDec परिष्कृत नीति $\pi_\theta$ को व्यवहारगत फ्लो नीति $\pi_\beta$ पर लागू एक स्थानीय परिवहन मानचित्र (local transport map) के रूप में मॉडल करता है।

• परिभाषा: $\pi_\theta(\cdot|s) = (T_s)_\# \pi_\beta(\cdot|s)$, जहाँ $T_s(a) = a + \delta(s, a)$।
• यहाँ, $\delta(s, a)$ एक सीखा गया अवशिष्ट विस्थापन (residual displacement) क्षेत्र है। यह सुनिश्चित करता है कि परिष्कृत नीति व्यवहारगत नीति के सपोर्ट से जुड़ी रहे, जो स्वाभाविक रूप से द्रव्यमान (mass) को "रिक्त स्थानों" में जाने से रोकती है।

B. KL डाइवर्जेंस का ज्यामितीय सन्निकटन (Geometric Approximation of KL Divergence)

परिवहन मानचित्र द्वारा प्रेरित पुशफॉरवर्ड माप (pushforward measure) का विश्लेषण करके, लेखक KL डाइवर्जेंस का द्वितीय-क्रम स्थानीय द्विघात सन्निकटन (second-order local quadratic approximation) प्राप्त करते हैं:
$$D_{KL}(\pi_\theta \| \pi_\beta) \approx \frac{1}{2} \mathbb{E}_{a \sim \pi_\beta} \left[ \delta(s, a)^\top I(s, a) \delta(s, a) \right]$$

• मुख्य अंतर्दृष्टि: बाधा स्थानीय फिशर सूचना मैट्रिक्स (Local Fisher Information Matrix - FIM), $I(s, a) = \nabla_a \log \pi_\beta(a|s) \nabla_a \log \pi_\beta(a|s)^\top$ द्वारा नियंत्रित होती है।
• महत्व: आइसोट्रोपिक $L_2$ नॉर्म के विपरीत, FIM एक एनिसोट्रोपिक मेट्रिक (anisotropic metric) प्रदान करता है। यह उन दिशाओं में विस्थापनों को अधिक दंडित करता जहाँ लॉग-घनत्व ग्रेडिएंट तीव्र (उच्च संवेदनशीलता) है और सपाट दिशाओं में अधिक स्वतंत्रता देता है। यह अनुकूलन को डेटा मैनिफोल्ड के सांख्यिकीय स्वरूप के साथ संरेखित करता है।

C. फ्लो वेलोसिटी के माध्यम से सुलभ अनुमान (Tractable Estimation via Flow Velocity)

एक बड़ी बाधा FIM के लिए आवश्यक स्कोर फंक्शन $\nabla_a \log \pi_\beta$ की गणना करना है। लेखक फ्लो मैचिंग (Flow Matching) ढांचे का लाभ उठाते हैं:

• स्कोर फंक्शन स्वाभाविक रूप से सीखे गए वेलोसिटी फील्ड $v_\beta(t, s, a)$ से जुड़ा हुआ है।
• वे एक परेशान टाइम स्टेप (perturbed time step) $t_\epsilon = 1 - \epsilon$ का उपयोग करके एक संख्यात्मक रूप से स्थिर अनुमानक प्राप्त करते हैं:
  $$\nabla_a \log \pi_\beta(a|s) \approx \frac{t_\epsilon v_\beta(t_\epsilon, s, a) - a}{1 - t_\epsilon}$$
• यह बिना बैकप्रोपैगेशन थ्रू टाइम या ODE समाधान के, कुशलतापूर्वक FIM का अनुमान लगाने की अनुमति देता है।

D. अनुकूलन एल्गोरिदम (Optimization Algorithm)

FiDec एक प्राइमल-डुअल दृष्टिकोण का उपयोग करके एक ट्रस्ट-रीजन अनुकूलन (trust-region optimization) समस्या को हल करता है:

1. प्राइमल अपडेट (Primal Update): फिशर-आधारित द्विघात बाधा के अधीन अपेक्षित Q-वैल्यू को अधिकतम करना।
2. डुअल अपडेट (Dual Update): बाधा सीमा $\epsilon$ को लागू करने के लिए लैग्रेंज मल्टीप्लायर $\lambda$ को अपडेट करना।
3. दक्षता (Efficiency): यह विधि पुनरावृत्ति डिस्टिलेशन या ODE समाधान से बचती है, और एक सरल एक-चरणीय अवशिष्ट अपडेट के माध्यम से परिशोधन करती है।

3. मुख्य योगदान (Key Contributions)

1. KL-$W_2$ अंतराल का ज्यामितीय लक्षण वर्णन: शोध पत्र पहचानता है कि पूर्ववर्ती फ्लो-आधारित विधियों की विफलता एक एनिसोट्रोपिक KL बाधा को आइसोट्रोपिक $W_2$ बाउंड के रूप में अनुमानित करने से आती है। यह सिद्ध करता है कि नीति परिशोधन स्वाभाविक रूप से फिशर मेट्रिक द्वारा शासित सांख्यिकीय मैनिफोल्ड पर विकसित होता है।
2. सुलभ एनिसोट्रोपिक अनुकूलन: लेखक समस्या को फिशर सूचना मैट्रिक्स द्वारा परिभाषित एक द्विघात उद्देश्य में पुनर्गठित करते हैं। वे दिखाते हैं कि इस मेट्रिक को फ्लो वेलोसिटी फील्ड से कुशलतापूर्वक अनुमानित किया जा सकता है, जिससे मेट्रिक-जागरूक अपडेट संभव होते हैं जो बहुविधता और सपोर्ट को बनाए रखते हैं।
3. फिशर डिकरेटर (FiDec) ढांचा: एक व्यावहारिक एल्गोरिदम जो परिशोधन को स्थानीय परिवहन मानचित्र के रूप में पैरामीटराइज़ करता है। यह पुनरावृत्ति जनरेशन या ODE समाधान के कम्प्यूटेशनल ओवरहेड के बिना अत्याधुनिक प्रदर्शन प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

FiDec का विविध बेंचमार्क पर मूल्यांकन किया गया, जिसमें नेविगेशन, लोकोमोशन और मैनिपुलेशन कार्यों को कवर करने वाले OGBench (Open X-Embodiment) और D4RL शामिल हैं।

• ऑफलाइन प्रदर्शन: FiDec लगातार अत्याधुनिक बेसलाइन्स (Gaussian, Diffusion, और FQL तथा DeFlow जैसे Flow-आधारित तरीकों सहित) से बेहतर प्रदर्शन करता है।
  • बहुविध कार्य (Multimodal Tasks): जटिल, बहुविध वातावरण (जैसे, Humanoid, Puzzle, AntSoccer) में, FiDec कई मोड को सफलतापूर्वक संरक्षित करता है, जबकि बेसलाइन्स मोड कोलैप्स या एवरेजिंग से जूझते हैं।
  • सपोर्ट संरक्षण (Support Preservation): विज़ुअलाइज़ेशन दिखाते हैं कि FiDec डेटा मैनिफोल्ड के साथ नीति को परिष्कृत करता है, जबकि आइसोट्रोपिक विधियाँ निम्न-वैल्यू या असुविधाजनक क्षेत्रों में भटक जाती हैं।
• ऑफलाइन-टू-ऑनलाइन फाइन-ट्यूनिंग: FiDec ऑनलाइन फाइन-ट्यूनिंग के लिए एक बेहतर प्रारंभिक अवस्था (initialization) प्रदान करता है, जिससे अन्य विधियों की तुलना में तेज़ अभिसरण (convergence) और उच्च अंतिम पुरस्कार प्राप्त होता है।
• एब्लेशन अध्ययन (Ablation Studies):
  • एनिसोट्रोपिक बनाम आइसोट्रोपिक: समान आर्किटेक्चर के तहत आइसोट्रोपिक $L_2$ दंड के साथ फिशर मेट्रिक को बदलने से प्रदर्शन में काफी गिरावट आती है, जो एनिसोट्रोपिक दृष्टिकोण के सैद्धांतिक लाभ की पुष्टि करता है।
  • परटर्बेशन टाइम ($t_\epsilon$): शोध पत्र एक सिद्धांत-आधारित विश्लेषण प्रदान करता है जो दिखाता है कि $t_\epsilon \approx 0.8$ अनुमानित पूर्वाग्रह (approximation bias) और संख्यात्मक स्थिरता के बीच इष्टतम संतुलन प्रदान करता है।
• दक्षता: FiDec लगभग 2.7ms/step की प्रतिस्पर्धी प्रशिक्षण गति बनाए रखता है, जो मौजूदा फ्लो विधियों के समान है, क्योंकि यह महंगी पुनरावृत्ति प्रक्रियाओं से बचता है।

5. महत्व (Significance)

यह कार्य ऑफलाइन RL नीति परिशोधन के प्रतिमान को वैश्विक दूरी न्यूनीकरण (global distance minimization - Wasserstein) से स्थानीय ज्यामितीय संरेखण (local geometric alignment - Fisher Information) की ओर मौलिक रूप से बदल देता है।

• सैद्धांतिक प्रभाव: यह सूचना ज्यामिति (Information Geometry) और फ्लो मैचिंग के बीच के अंतर को पाटता है, यह प्रदर्शित करते हुए कि KL-प्रतिबंधित अनुकूलन स्वाभाविक रूप से एनिसोट्रोपिक है।
• व्यावहारिक प्रभाव: FiDec ऑफलाइन सेटिंग्स में अभिव्यंजक नीतियां सीखने के लिए एक सरल, कुशल और अत्यधिक प्रभावी समाधान प्रदान करता है, विशेष रूप से उन कार्यों के लिए जिनमें जटिल, बहुविध व्यवहारों को संरक्षित करने की आवश्यकता होती है। यह "मोड कोलैप्स" और "वितरणीय बदलाव" की समस्याओं को हल करता है जो पिछले फ्लो-आधारित दृष्टिकोणों के लिए समस्या रही हैं।