🤖 machine learning

PolicyFlow: Policy Optimization with Continuous Normalizing Flow in Reinforcement Learning

यह शोध पत्र PolicyFlow को प्रस्तुत करता है, जो एक नवीन ऑन-पॉलिसी सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम है जो वेग क्षेत्र विविधताओं (velocity field variations) के माध्यम से महत्व अनुपातों (importance ratios) का अनुमान लगाकर और स्थिरता एवं विविधता सुनिश्चित करने के लिए एक ब्राउनियन रेगुलराइज़र (Brownian Regularizer) का उपयोग करके, अभिव्यंजक निरंतर सामान्य प्रवाह (continuous normalizing flow) नीतियों को PPO-शैली के उद्देश्यों के साथ एकीकृत करता है, जिससे मानक गॉसियन-आधारित PPO और मौजूदा फ्लो-आधारित बेसलाइन की तुलना में बेहतर प्रदर्शन प्राप्त होता है और समृद्ध बहुविध क्रिया वितरणों (multimodal action distributions) को कैप्चर किया जाता है।

मूल लेखक: Shunpeng Yang, Ben Liu, Hua Chen

प्रकाशित 2026-02-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shunpeng Yang, Ben Liu, Hua Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: एक रोबोट को नाचना सिखाना

कल्पना कीजिए कि आप एक रोबोट को नाचना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि वह उच्च स्कोर प्राप्त करने के लिए सबसे अच्छे स्टेप्स सीखे (रिनफोर्समेंट लर्निंग)।

लंबे समय तक, इस रोबोट को सिखाने का मानक तरीका यह था कि यह माना जाए कि वह एक समय में केवल एक सरल डांस स्टाइल जानता है (जैसे कि गाऊसियन डिस्ट्रीब्यूशन)। यह ऐसा है जैसे रोबोट को कहना, "जब तुम संगीत सुनो, तो बस अपने कूल्हों को थोड़ा सा हिलाओ।" यह गणना करने में आसान और बहुत स्थिर है, लेकिन यह रोबोट को सीमित करता है। यदि संगीत के लिए एक जटिल, जंगली या कई चरणों वाले डांस की आवश्यकता है, तो रोबोट इसे नहीं कर सकता क्योंकि उसका "दिमाग" बहुत सरल है।

इसे ठीक करने के लिए, शोधकर्ता रोबोट को एक अधिक अभिव्यंजक दिमाग देना चाहते हैं जो जटिल, बहु-चरणीय नृत्य सीख सके (जिसे कंटीन्यूअस नॉर्मलाइजिंग फ्लो कहा जाता है)। हालाँकि, एक समस्या है: इन जटिल नृत्यों के लिए "स्कोर" की गणना करना एक मैराथन धावक के दौड़ते समय उसके हर एक कदम को गिनने की कोशिश करने जैसा है। इसमें बहुत अधिक कंप्यूटर पावर लगती है और अक्सर गणित टूट जाता है (क्रैश हो जाता है)।

PolicyFlow एक नया तरीका है जो रोबोट को कंप्यूटर को क्रैश किए बिना या बहुत अधिक समय लिए बिना ये जटिल, अभिव्यंजक नृत्य सीखने में सक्षम बनाता है।

दो मुख्य तरकीबें

यह पेपर इसे काम करने के योग्य बनाने के लिए दो चतुर तरकीबें पेश करता है:

1. "शॉर्टकट" की तरकीब (इम्पॉर्टेंस रेश्यो का अनुमान लगाना)

समस्या: मानक तरीके (PPO) में, रोबोट के दिमाग को अपडेट करने के लिए, आपको उसके नए डांस प्लान की तुलना उसके पुराने डांस प्लान से करनी पड़ती है। जटिल नृत्यों के लिए, इसके लिए आमतौर पर यह देखने के लिए पूरे डांस को शुरू से अंत तक सिम्युलेट (अनुकरण) करना आवश्यक होता है कि स्कोर कैसे बदला। यह धीमा और गणनात्मक रूप से महंगा है।

समाधान: PolicyFlow एक शॉर्टकट का उपयोग करता है। पूरे डांस को सिम्युलेट करने के बजाय, यह देखता है कि पुराने प्लान और नए प्लान के बीच एक सरल, सीधी रेखा पर डांस की "गति और दिशा" (वेलोसिटी) कैसे बदलती है।

उपमा: कल्पना कीजिए कि आप जानना चाहते हैं कि एक्सीलेटर दबाने के बाद कार कितनी तेज़ चल रही है। कार को 100 मील चलाने के बजाय, आप बस यह देखते हैं कि अभी आपने पेडल को कितनी जोर से दबाया है और बदलाव का अनुमान लगाते हैं।
परिणाम: यह रोबोट को हर बार पूरे रास्ते का भारी गणित किए बिना जटिल मूव्स तेजी से सीखने की अनुमति देता है।

2. "ब्राउनियन रेगुलराइज़र" (रोबोट को फंसने से रोकना)

समस्या: जब रोबोट जटिल नृत्य सीखते हैं, तो वे अक्सर आलसी हो जाते हैं। वे एक ऐसा मूव ढूंढ लेते हैं जो ठीक-ठाक काम करता है और उसे हमेशा दोहराते रहते हैं, जिससे अन्य सभी संभावनाएं अनदेखी रह जाती हैं। इसे "मोड कोलैप्स" कहा जाता है। यह एक ऐसे रोबोट की तरह है जिसने एक बार बाड़ (fence) के ऊपर से कूदना सीख लिया और फिर पैदल चलने से इनकार कर दिया, भले ही पैदल चलना आसान हो।

समाधान: लेखकों ने एक विशेष "धक्का" जोड़ा है जिसे ब्राउनियन रेगुलराइज़र कहा जाता है।

उपमा: ब्राउनियन मोशन को सूरज की रोशनी में तैरते धूल के कण की यादृच्छिक (random), थरथराती गति के रूप में सोचें। यह स्वाभाविक रूप से फैलता है और स्थान को भर देता है।
यह कैसे काम करता है: पेपर रोबोट की सीखने की प्रक्रिया को इस तरह डिजाइन करता है कि उसकी "वेलोसिटी" (सीखने के दौरान उसकी गति) स्वाभाविक रूप से फैलना चाहती है, ठीक उस धूल के कण की तरह। रोबोट को एक जटिल "विविधता स्कोर" (जो कठिन है) की गणना करने के लिए मजबूर करने के बजाय, वे बस रोबोट के आंतरिक इंजन को इस तरह धकेलते हैं कि वह एक तरल पदार्थ (fluid) में तैरने जैसा व्यवहार करे, जो स्वाभाविक रूप से उसे एक ही कोने में फंसने के बजाय कई अलग-अलग मूव्स आज़माने के लिए प्रोत्साहित करता है।
परिणाम: रोबोट अधिक अन्वेषण (explore) करता है, बेहतर समाधान खोजता है, और एक ही उबाऊ मूव को दोहराने में नहीं फंसता है।

उन्होंने क्या पाया?

शोधकर्ताओं ने कई वीडियो-गेम जैसे वातावरण में (जैसे भूलभुलैया में नेविगेट करना, रोबोट को संतुलित करना, या लक्ष्यों तक पहुँचना) PolicyFlow का परीक्षण किया।

मानक से बेहतर: कई परीक्षणों में, PolicyFlow ने सरल डांस का उपयोग करने वाले मानक तरीके (PPO) के बराबर या उससे बेहतर प्रदर्शन किया।
अन्य जटिल तरीकों से बेहतर: इसने अन्य उन्नत तरीकों (जैसे FPO और DPPO) को भी पछाड़ दिया जो जटिल डांस का उपयोग करने की कोशिश करते थे लेकिन स्थिरता या गति के मामले में संघर्ष करते थे।
"मल्टी-गोल" टेस्ट: एक विशिष्ट परीक्षण में जहाँ एक रोबोट को छह अलग-अलग लक्ष्यों तक पहुँचना था, मानक रोबोट केवल एक या दो ही चुन सका। PolicyFlow ने, अपने "ब्राउनियन धक्के" के कारण, सफलतापूर्वक समान आवृत्ति के साथ सभी छह लक्ष्यों तक पहुँचना सीख लिया। इसने कार्य की पूरी "मल्टीमॉडल" प्रकृति को कैप्चर किया (यह समझ लिया कि केवल एक ही सही उत्तर नहीं है)।

सारांश

PolicyFlow रोबोट को जटिल व्यवहार सिखाने का एक नया तरीका है। यह मानक सीखने के तरीकों की स्थिरता को उन्नत, अभिव्यंजक मॉडलों की शक्ति के साथ जोड़ता है। यह इसे दो तरह से करता है:

समय और कंप्यूटर पावर बचाने के लिए एक गणितीय शॉर्टकट लेना।
रोबोट को जिज्ञासु बनाए रखने और उसे एक ही ढर्रे में फंसने से रोकने के लिए एक भौतिकी-प्रेरित धक्का (ब्राउनियन मोशन) का उपयोग करना।

परिणामस्वरूप, एक ऐसा रोबोट मिलता है जो कंप्यूटर को क्रैश किए बिना अधिक जटिल, विविध और प्रभावी व्यवहार सीख सकता है।

तकनीकी सारांश: PolicyFlow

समस्या विवरण (Problem Statement)

प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) एक मानक ऑन-पॉलिसी सुदृढीकरण शिक्षण (Reinforcement Learning - RL) एल्गोरिदम है जो अपनी स्थिरता और सरलता के लिए जाना जाता है। हालाँकि, यह आमतौर पर गॉसियन पॉलिसी डिस्ट्रीब्यूशन (Gaussian policy distributions) पर निर्भर करता है, जो जटिल, मल्टीमॉडल (multimodal), या अत्यधिक विषम (skewed) एक्शन डिस्ट्रीब्यूशन को दर्शाने में संघर्ष करते हैं। जबकि कंटीन्यूअस नॉर्मलाइजिंग फ्लो (CNF) और डिफ्यूजन मॉडल जैसे अभिव्यंजक जनरेटिव मॉडल ऐसे जटिल डिस्ट्रीब्यूशन को कैप्चर कर सकते हैं, उन्हें PPO के साथ एकीकृत करने में महत्वपूर्ण चुनौतियाँ आती हैं।

प्राथमिक बाधा लाइकलीहुड इवैल्यूएशन (likelihood evaluation) की आवश्यकता है, जो PPO सरोगेट ऑब्जेक्टिव के लिए इम्पोर्टेंस रेशियो ( $\pi(a|s)/\hat{\pi}(a|s)$ ) की गणना करने के लिए आवश्यक है। CNF के लिए, सटीक लाइकलीहुड इवैल्यूएशन के लिए पूर्ण ऑर्डिनरी डिफरेंशियल इक्वेशन (ODE) ट्राजेक्टरी का अनुकरण करना और पाथ-वाइज बैकप्रोपैगेशन (path-wise backpropagation) करना आवश्यक है। यह प्रक्रिया अत्यधिक कम्प्यूटेशनल रूप से महंगी, मेमोरी-गहन और अक्सर फटने वाले या गायब होने वाले ग्रेडिएंट्स (exploding or vanishing gradients) के कारण संख्यात्मक रूप से अस्थिर होती है। फ्लो-आधारित नीतियों (जैसे FPO, DPPO) पर PPO-शैली के अपडेट लागू करने के मौजूदा प्रयास या तो एसिमेट्रिक एस्टिमेशन बायस (asymmetric estimation bias) से ग्रस्त होते हैं, या उन्हें बड़े बैच साइज की आवश्यकता होती है, या ऑफ-मैनीफोल्ड एक्सप्लोरेशन (off-manifold exploration) की कठिनाई के कारण प्रदर्शन में गिरावट आती है। इसके अलावा, मानक एंट्रॉपी रेगुलराइजेशन तकनीकें फ्लो-आधारित नीतियों पर लागू करना कठिन है क्योंकि पॉलिसी एंट्रॉपी की स्पष्ट गणना के लिए महंगे डाइवर्जेंस इंटीग्रेशन (divergence integration) की आवश्यकता होती है।

कार्यप्रणाली (Methodology)

लेखक PolicyFlow का प्रस्ताव करते हैं, जो एक ऑन-पॉलिसी RL एल्गोरिदम है जो पूर्ण ट्राजेक्टरी लाइकलीहुड इवैल्यूएशन की आवश्यकता के बिना अभिव्यंजक CNF नीतियों को PPO-शैली के ऑब्जेक्टिव के साथ एकीकृत करता है। यह विधि दो मुख्य घटकों से मिलकर बनी है:

1. वेलोसिटी फील्ड वेरिएशंस के माध्यम से इम्पोर्टेंस रेशियो एप्रोक्सिमेशन

वर्तमान पॉलिसी $\phi_1$ और संदर्भ पॉलिसी $\hat{\phi}_1$ के बीच टर्मिनल शिफ्ट को कंप्यूट करने के लिए पूर्ण ODE ट्राजेक्टरी का अनुकरण करने के बजाय, PolicyFlow एक सरल लीनियर इंटरपोलेशन पाथ के साथ वेलोसिटी फील्ड वेरिएशंस का उपयोग करके इम्पोर्टेंस रेशियो का अनुमान लगाता है।

पॉलिसी रिप्रजेंटेशन: पॉलिसी एक न्यूरल वेलोसिटी फील्ड $v_t$ द्वारा नियंत्रित फ्लो $\phi_t(z; s)$ को इंटीग्रेट करके एक्शन उत्पन्न करती है, जिसमें टर्मिनल समय पर गॉसियन नॉइज़ जोड़ा जाता है: $a = \phi_1(z; s) + n$ ।
एप्रोक्सिमेशन: टर्मिनल शिफ्ट $\delta\phi_1 = \phi_1 - \hat{\phi}_1$ का अनुमान एक लीनियर इंटरपोलेशन पाथ $x_t = (1-t)z + t\hat{\phi}_1(z; s)$ के साथ वेलोसिटी फील्ड्स के अंतर $\delta v_t = v_t - \hat{v}_ una$ को इंटीग्रेट करके लगाया जाता है।
सरोगेट ऑब्जेक्टिव: इम्पोर्टेंस रेशियो $\rho$ का अनुमान पूर्ण फ्लो ट्राजेक्टरीज के बजाय वेलोसिटी फील्ड वेरिएशंस के गॉसियन लाइकलीहुड रेशियो का उपयोग करके लगाया जाता है। यह अपडेट स्टेप के दौरान पूर्ण ODE सिमुलेशन के माध्यम से बैकप्रोपैगेट किए बिना, इंटरपोलेशन पाथ के साथ कुशलतापूर्वक ट्रेनिंग ऑब्जेक्टिव को अनुमानित करने की अनुमति देता है। सैद्धांतिक विश्लेषण इंगित करता है कि यह लॉग-लाइकीहुड में केवल एक फर्स्ट-ऑर्डर एरर पेश करता है, जो स्वाभाविक रूप से PPO के क्लिपिंग मैकेनिज्म द्वारा सीमित होता है।

2. एंट्रॉपी के लिए ब्राउनियन रेगुलराइज़र (Brownian Regularizer)

फ्लो की स्पष्ट एंट्रॉपी की गणना किए बिना मोड कोलैप्स (mode collapse) को रोकने और विविध एक्सप्लोरेशन को प्रोत्साहित करने के लिए, लेखक ब्राउनियन रेगुलराइज़र पेश करते हैं।

अवधारणा: ब्राउनियन मोशन और हीट इक्वेशन से प्रेरित होकर, यह रेगुलराइज़र सीखा गया वेलोसिटी फील्ड एक एंट्रॉपी-बढ़ाने वाली प्रक्रिया के डायनेमिक्स का पालन करने के लिए प्रोत्साहित करता है।
मैकेनिज्म: यह रेक्टिफाइड फ्लो (rectified flows) में वेलोसिटी फील्ड और स्कोर फंक्शन ( $\nabla \log p_t$ ) के बीच संबंध का लाभ उठाता है। रेगुलराइज़र संदर्भ फ्लो के स्कोर से प्राप्त लक्ष्य वेक्टर फील्ड से सीखे गए वेलोसिटी फील्ड के विचलन को दंडित करता है।
फॉर्मुलेशन: $J_{Reg}$ टर्म में एक टर्म शामिल है जो सीखे गए वेलोसिटी फील्ड और एक लक्ष्य एलाइनमेंट टर्म (संदर्भ वेलोसिटी फील्ड और स्टेट से प्राप्त) के बीच के अंतर को कम करता है, साथ ही एक टर्म जो इंजेक्ट किए गए गॉसियन नॉइज़ के वेरिएंस को प्रोत्साहित करता है। यह दृष्टिकोण महंगी लॉग-लाइकीहुड गणनाओं और ह्यूरिस्टिक नॉइज़ इंजेक्शन से बचता है, जिससे ट्राजेक्टरी विविधता बनाए रखने के लिए एक हल्का और सिद्धांत-आधारित तरीका मिलता है।

मुख्य योगदान (Key Contributions)

कुशल CNF-PPO एकीकरण: PolicyFlow वेलोसिटी फील्ड वेरिएशंस के माध्यम से इम्पोर्टेंस रेशियो का अनुमान लगाकर, पूर्ण पाथ-वाइज बैकप्रोपैगेशन की लागत को समाप्त करके, ऑन-पॉलिसी RL में अभिव्यंजक CNF नीतियों के उपयोग को सक्षम बनाता है।
ब्राउनियन रेगुलराइज़र: ब्राउनियन मोशन से प्रेरित एक अभिनव, कम्प्यूटेशनल रूप से हल्का एंट्रॉपी रेगुलराइज़र जो स्पष्ट एंट्रॉपी गणना की आवश्यकता के बिना मोड कोलैप्स को कम करता है और विविध व्यवहारों को प्रोत्साहित करता है।
अनुभवजन्य सत्यापन (Empirical Validation): विधि को विभिन्न वातावरणों में मान्य किया गया है, जो गॉसियन PPO और स्टेट-ऑफ-द-आर्ट फ्लो-आधारित बेसलाइन्स (FPO, DPPO) की तुलना में प्रतिस्पर्धी या बेहतर प्रदर्शन प्रदर्शित करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने MultiGoal, MuJoCo Playground, और IsaacLab बेंचमार्क पर PolicyFlow का मूल्यांकन किया:

MultiGoal (मोड कोलैप्स टेस्ट): छह सममित लक्ष्यों वाले वातावरण में, मानक PPO (Gaussian) सभी लक्ष्यों तक पहुँचने में विफल रहा। बेसलाइन्स FPO और DPPO प्रभावी एंट्रॉपी रेगुलराइजेशन की कमी के कारण कुछ ही मोड्स में कोलैप्स हो गए। ब्राउनियन रेगुलराइज़र के साथ PolicyFlow ने एक संतुलित, मल्टीमॉडल डिस्ट्रीब्यूशन को सफलतापूर्वक कैप्चर किया, जो लगभग समान संभावना के साथ सभी लक्ष्यों तक पहुँचता है।
MuJoCo Playground: PolicyFlow ने विभिन्न कार्यों (जैसे WalkerWalk, CheetahRun) में FPO और DPPO के मुकाबले प्रतिस्पर्धी या उनसे बेहतर प्रदर्शन किया। यह अक्सर तेजी से कन्वर्ज हुआ, जो उच्च सैंपल एफिशिएंसी को दर्शाता है।
IsaacLab: रोबोटिक्स कार्यों (लोकोमोशन, मैनिपुलेशन) पर PPO के विरुद्ध PolicyFlow का मूल्यांकन किया गया। इसने लगातार PPO के एसिम्प्टोटिक परफॉरमेंस (asymptotic performance) के बराबर या उससे बेहतर प्रदर्शन किया।
कम्प्यूटेशनल दक्षता: हालांकि PolicyFlow में सैंपलिंग के लिए ODE सिमुलेशन शामिल है, लेकिन ट्रेनिंग स्टेप (जो पूर्ण ODE बैकप्रोपैगेशन से बचता है) ने मानक कार्यों पर PPO की तुलना में प्रति-इटरेशन ट्रेनिंग समय को 50% से कम बढ़ाया, और एम्बेडिंग डायमेंशन्स बढ़ने के बावजूद दोगुने लागत से नीचे बना रहा।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि PolicyFlow एक व्यावहारिक और अभिव्यंजक फ्रेमवर्क प्रदान करता है। पूर्ण ट्राजेक्टरी लाइकलीहुड इवैल्यूएशन की आवश्यकता को पॉलिसी अपडेट से अलग करके, यह कंटीन्यूअस नॉर्मलाइजिंग फ्लो की प्रतिनिधित्व शक्ति और PPO की स्थिरता के बीच के अंतर को पाटता है।

लेखक इस बात पर जोर देते हैं कि:

इम्पोर्टेंस रेशियो का एप्रोक्सिमेशन सैद्धांतिक रूप से सीमित है और PPO क्लिपिंग रिजीम के भीतर स्थिर प्रशिक्षण के लिए पर्याप्त है।
ब्राउनियन रेगुलराइज़र एक्सप्लोरेशन बनाए रखने के लिए ह्यूरिस्टिक नॉइज़ इंजेक्शन या महंगे डाइवर्जेंस इंटीग्रेशन के एक सिद्धांत-आधारित विकल्प के रूप में कार्य करता है।
PolicyFlow, ऑप्टिमाइजेशन स्थिरता, कम्प्यूटेशनल लागत और बायस के संबंध में मौजूदा फ्लो-आधारित RL विधियों (FPO, DPPO) की विशिष्ट सीमाओं को संबोधित करता है, जिससे अभिव्यंजक जनरेटिव नीतियां ऑनलाइन सुदृढीकरण शिक्षण के लिए अधिक सुलभ हो जाती हैं।

यह कार्य सुझाव देता है कि PolicyFlow जनरेटिव मॉडलिंग और सुदृढीकरण शिक्षण को जोड़ने के लिए एक आधार के रूप में कार्य करता है, जिसमें भविष्य की दिशाओं में फ्लो-मैचिंग नीतियों को फाइन-ट्यून करना, ऑफलाइन RL तक विस्तार करना और डिफ्यूजन मॉडल के साथ संबंधों की खोज करना शामिल है।