🤖 machine learning

Score-Based One-step MeanFlow Policy Optimization

यह शोध पत्र स्कोर-आधारित वन-स्टेप मीनफ्लो पॉलिसी ऑप्टिमाइज़ेशन (SOM) का परिचय देता है, जो एक एक्टर-क्रिटिक एल्गोरिदम है जो Q-फंक्शन से सीधे एक लक्षित वेग क्षेत्र (target velocity field) का निर्माण करके ऑनलाइन सुदृढीकरण शिक्षण (reinforcement learning) में कुशल, एकल-चरण नीति पीढ़ी को सक्षम बनाता है, जिससे पारंपरिक बहु-चरणीय डिफ्यूजन और फ्लो मैचिंग विधियों की तुलना में कम्प्यूटेशनल ओवरहेड को काफी कम करते हुए अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Kyungyoon Kim, Donghyeon Ki, Hee-Jun Ahn, Byung-Jun Lee

प्रकाशित 2026-05-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kyungyoon Kim, Donghyeon Ki, Hee-Jun Ahn, Byung-Jun Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Score-Based One-step MeanFlow Policy Optimization" (SOM) पेपर की व्याख्या दी गई है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के माध्यम से समझाया गया है।

बड़ी समस्या: "स्लो कुकर" बनाम "माइक्रोवेव"

कल्पना कीजिए कि आप एक रोबोट को चलना सिखा रहे हैं। अतीत में, उसे सिखाने का सबसे अच्छा तरीका उसे एक सरल, एकल-दिशा वाला निर्देश देना था (जैसे "आगे बढ़ो")। यह तेज़ है, लेकिन रोबोट सीमित है; वह जटिल चालें जैसे "आगे बढ़ो, फिर कूदो, फिर घूमो" नहीं सीख सकता क्योंकि वह केवल एक ही दिशा जानता है।

इसे ठीक करने के लिए, शोधकर्ताओं ने जेनरेटिव मॉडल्स (जैसे डिफ्यूजन मॉडल्स) का उपयोग करना शुरू किया। इन्हें एक "स्लो कुकर" के रूप में सोचें।

यह कैसे काम करता है: एक आदर्श चाल का पता लगाने के लिए, रोबोट रैंडम शोर (स्टैटिक) के एक कटोरे से शुरू करता है और धीरे-धीरे इसे स्टेप-दर-स्टेप "डीनॉइज़" (शोर हटाना) करता है, बार-बार इसे रिफाइन करता है जब तक कि यह एक परफेक्ट मूव न बन जाए।
दिक्कत: इसमें बहुत समय लगता है। यह एक स्टू बनाने जैसा है जिसे पकने में 4 घंटे लगते हैं। एक रियल-टाइम वीडियो गेम या कार को नियंत्रित करने वाले रोबोट के लिए, आपको जवाब अभी चाहिए। एक सिंगल मूव के लिए 4 घंटे इंतज़ार करना बहुत धीमा है।

हाल ही में, MeanFlow नामक एक नई विधि खोजी गई। यह एक "माइक्रोवेव" की तरह है। यह दावा करती है कि यह केवल एक स्टेप में वही भोजन पका सकती है। हालाँकि, एक बड़ी समस्या थी: माइक्रोवेव का उपयोग करने के लिए, आपको एक "रेसिपी" (टारगेट डिस्ट्रीब्यूशन) की आवश्यकता थी जो आपको तभी मिल सकती थी जब आपको पहले से ही परफेक्ट मूव्स का पता हो। लेकिन रीइन्फोर्समेंट लर्निंग (RL) में, रोबोट अभी भी परफेक्ट मूव्स सीख रहा होता है, इसलिए उसके पास अभी रेसिपी नहीं है।

समाधान: SOM (द "जीपीएस नेविगेटर")

इस पेपर के लेखकों ने SOM (Score-Based One-step MeanFlow Policy Optimization) बनाया। उन्होंने "गायब रेसिपी" की समस्या को हल किया ताकि रोबोट बिना पहले से पके हुए भोजन के भी माइक्रोवेव (वन-स्टेप जनरेशन) का उपयोग कर सके।

उन्होंने इसे जीपीएस एनालॉजी का उपयोग करके कैसे किया, यहाँ बताया गया है:

1. गायब नक्शा (द टारगेट डिस्ट्रीब्यूशन)

आमतौर पर, एक वन-स्टेप माइक्रोवेव को प्रशिक्षित करने के लिए आपको एक नक्शे की आवश्यकता होती है जो दिखाता है कि "अच्छे" एक्शन कहाँ हैं। ऑनलाइन लर्निंग में, रोबोट के पास अभी यह नक्शा नहीं होता है।

पुराना तरीका: रोबोट इस नक्शे का अनुमान लगाने के लिए 100 रैंडम अनुमान लगाने की कोशिश करेगा, यह देखेगा कि कौन सा सबसे अच्छा है, और उम्मीद करेगा कि इतना काफी होगा। यह अक्षम है और कार्य जितना जटिल होता जाता है, यह उतना ही कठिन होता जाता है (जैसे घास के ढेर में सुई खोजने की कोशिश करना, जहाँ आप एक बार में केवल एक तिनका देख सकते हैं)।

2. नया ट्रिक: "स्कोर" (द ग्रेडिएंट) का उपयोग करना

लेखकों ने महसूस किया कि उन्हें पूरे नक्शे की आवश्यकता नहीं है। उन्हें बस एक जीपीएस सिग्नल की आवश्यकता है।

वे रोबोट के "क्रिटिक" (AI का वह हिस्सा जो निर्णय लेता है कि कोई चाल कितनी अच्छी है) को एक पहाड़ी की तरह मानते हैं। पहाड़ी के ऊंचे बिंदु अच्छे मूव्स हैं; निचले बिंदु बुरे मूव्स हैं।
पूरी पहाड़ी बनाने के बजाय, वे केवल रोबлот के वर्तमान स्थान पर ढलान (ग्रेडिएंट) को देखते हैं।
एनालॉजी: कल्पना कीजिए कि आप एक पहाड़ी पर आँखों पर पट्टी बांधकर खड़े हैं। आपको शिखर तक पहुँचने के लिए पूरे पहाड़ का नक्शा नहीं चाहिए। आपको बस यह महसूस करने की ज़रूरत है कि ज़मीन किस दिशा में ऊपर की ओर ढलान दे रही है। यदि आप ऊपर की ओर चलते रहते हैं, तो अंततः आप शिखर पर पहुँच जाएंगे।
SOM इस "ढलान" (स्कोर) की गणना करने के लिए क्रिटिक का उपयोग करता है और रोबोट को बताता है: "उस दिशा में बढ़ो जहाँ स्कोर ऊपर जाता है।"

3. एक स्टेप की छलांग (The One-Step Leap)

क्योंकि उनके पास यह "ढलान" की जानकारी है, वे धीरे-धीरे स्टेप-दर-स्टेप डीनॉइज़िंग प्रक्रिया को छोड़ सकते हैं।

पुराना तरीका (डिफ्यूजन): पहाड़ी के नीचे से शुरू करें, ऊपर की ओर 20 छोटे कदम उठाएं, और हर बार अपनी दिशा की जाँच करें। (धीमा)।
SOM का तरीका: ढलान को देखें, परफेक्ट वेक्टर की गणना करें, और एक ही बड़ी छलांग में सीधे पहाड़ी के शिखर पर पहुँच जाएँ। (तेज़)।

यह क्यों महत्वपूर्ण है (परिणाम)

पेपर का परीक्षण MuJoCo पर किया गया, जो रोबोट के चलने, दौड़ने और तैरने के वीडियो गेम वातावरण का एक प्रसिद्ध सेट है।

गति: SOM अविश्वसनीय रूप से तेज़ है। यह एक स्टेप में एक एक्शन जेनरेट करता है, जबकि अन्य उन्नत तरीकों को 10 से 100 स्टेप्स लगते हैं। इसका मतलब है कि रोबोट बहुत तेज़ी से सोच और चल सकता है।
प्रदर्शन: तेज़ होने के बावजूद, SOM वास्तव में कार्यों में बेहतर है। इसने चलने और दौड़ने के अधिकांश खेलों में उच्चतम स्कोर प्राप्त किया।
जटिलता: यह विशेष रूप से 'ह्यूमनॉइड' रोबोट जैसे कई गतिशील हिस्सों वाले कठिन कार्यों पर काम करता है, जहाँ पुराने तरीके सही रास्ता खोजने में संघर्ष करते हैं।

"मैजिक" का सारांश

बाधा (Bottleneck): पिछली तेज़ विधियों को प्रशिक्षित करने के लिए एक "परफेक्ट आंसर की" (उत्तर कुंजी) की आवश्यकता थी, जो ऑनलाइन लर्निंग में मौजूद नहीं होती।
ब्रेकथ्रू: SOM रोबोट को गाइड करने के लिए क्रिटिक के "ढलान" (ग्रेडिएंट) का उपयोग करके ऑन-द-फ्लाई एक "टारगेट" बनाता है।
परिणाम: रोबोट एक सिंगल स्टेप में जटिल, उच्च-गुणवत्ता वाले मूव जेनरेट करना सीख जाता है, जिससे यह पिछले तरीकों की तुलना में तेज़ और स्मार्ट दोनों बन जाता है।

संक्षेप में: SOM रोबोट को सफलता की "ऊपर की ओर" जाने वाली ढलान का पीछा करते हुए, सीधे सबसे अच्छे मूव की ओर कूदना सिखाता है, जिससे वह धीमी, स्टेप-दर-स्टेप चढ़ाई को पूरी तरह से छोड़ देता है।

तकनीकी सारांश: स्कोर-आधारित वन-स्टेप मीनफ्लो पॉलिसी ऑप्टिमाइज़ेशन (SOM)

1. समस्या विवरण

कंटीन्यूअस एक्शन स्पेस में सुदृढीकरण शिक्षण (Reinforcement Learning - RL) ने यूनिमोडल गॉसियन पॉलिसियों की अभिव्यक्ति सीमाओं को दूर करने के लिए डिफ्यूजन और फ्लो-मैचिंग जैसे जनरेटिव मॉडल्स को तेजी से अपनाया है। ये मॉडल जटिल, मल्टीमॉडल एक्शन डिस्ट्रीब्यूशन को कैप्चर कर सकते हैं, जिससे समृद्ध अन्वेषण (exploration) और विविध इष्टतम व्यवहार संभव होता है। हालांकि, एक महत्वपूर्ण बाधा बनी हुई है: मानक डिफ्यूजन और फ्लो-मैचिंग पॉलिसियों को एक एकल एक्शन उत्पन्न करने के लिए पुनरावृत्ति, मल्टी-स्टेप डिनोइजिंग (denoising) की आवश्यकता होती है। यह अनुमान (inference) के समय पर्याप्त कम्प्यूटेशनल ओवरहेड पेश करता है, जो ऑनलाइन RL में विशेष रूप से हानिकारक है, जहाँ डेटा संग्रह के साथ पॉलिसी इंफरेंस निरंतर चलता रहता है।

जबकि एक औसत वेलोसिटी फील्ड सीखने के माध्यम से सैंपलिंग को एकल नेटवर्क इवैल्यूएशन तक कम करने के समाधान के रूप में MeanFlow प्रस्तावित किया गया है, इसका ऑनलाइन RL में सीधा अनुप्रयोग एक मौलिक आवश्यकता के कारण बाधित है: लक्ष्य वेलोसिटी फील्ड (target velocity field) के निर्माण के लिए आमतौर पर लक्ष्य वितरण (target distribution) से नमूनों (samples) की आवश्यकता होती है। ऑनलाइन RL में, ये ग्राउंड-ट्रुथ सैंपल उपलब्ध नहीं होते हैं, क्योंकि एजेंट को लक्ष्य वितरण को पॉलिसी के साथ ही एक साथ सीखना होता है। मौजूदा दृष्टिकोण जो इसे बायपास करने का प्रयास करते हैं (जैसे, Best-of-N सैंपलिंग), एक्शन डाइमेंशनलिटी बढ़ने के साथ स्केलेबिलिटी में संघर्ष करते हैं।

2. कार्यप्रणाली

लेखक स्कोर-आधारित वन-स्टेप मीनफ्लो पॉलिसी ऑप्टिमाइज़ेशन (SOM) का प्रस्ताव करते हैं, जो एक एक्टर-क्रिटिक एल्गोरिदम है जो बिना किसी स्पष्ट लक्ष्य-वितरण नमूनों के पूरी तरह से ऑनलाइन RL में MeanFlow प्रशिक्षण को सक्षम बनाता है। मुख्य नवाचार सीधे Q-फंक्शन से स्कोर अनुमान के माध्यम से लक्ष्य वेलोसिटी फील्ड का निर्माण करना है।

2.1 समय-निर्भर ऊर्जा फलन (Time-Dependent Energy Function)

यह विधि नकारात्मक Q-फंक्शन को लक्ष्य वितरण की ऊर्जा के रूप में मानती है। एक एंट्रॉपी-रेगुलराइज्ड RL फ्रेमवर्क के तहत, इष्टतम पॉलिसी बोल्ट्ज़मैन वितरण का पालन करती है:
$\pi^*(a|s) \propto \exp(\alpha Q(s, a))$
जहाँ $\alpha$ एक तापमान पैरामीटर है। लेखक एक समय-निर्भर ऊर्जा फलन $Q_t(s, a_t)$ को परिभाषित करते हैं जो डिफ्यूजन टाइमस्टेप्स $t \in [0, 1]$ में इस बोल्ट्ज़मैन संरचना को बनाए रखता है। किसी भी टाइमस्टेप $t$ पर वितरण का स्कोर इस प्रकार प्राप्त किया जाता है:
$\nabla_{a_t} \log p_t(a_t|s) = \nabla_{a_t} Q_t(s, a_t)$
महत्व रूप से, जबकि $Q_t$ को क्लोज्ड फॉर्म में कंप्यूट करना कठिन है, इस पद्धति को केवल इसके ग्रेडिएंट की आवश्यकता होती है, जिसे अनुमानित किया जा सकता है।

2.2 iDEM अनुकूलन के माध्यम से स्कोर अनुमान

बिना लक्ष्य नमूनों के स्कोर $\nabla_{a_t} Q_t(s, a_t)$ का अनुमान लगाने के लिए, SOM इटरेटेड डिनोइजिंग एनर्जी मैचिंग (iDEM) एस्टीमेटर को अनुकूलित करता है। वास्तविक लक्ष्य वितरण से नमूने लेने के बजाय, यह पद्धति वर्तमान नॉइजी स्टेट $a_t$ पर केंद्रित एक गॉसियन प्रपोजल से कैंडिडेट एक्शन्स का नमूना लेती है। इन कैंडिडेट्स को पोस्टीरियर एक्सपेक्टेशन को अनुमानित करने के लिए उनके Q-वैल्यू के आधार पर रीवेट (reweight) किया जाता है। परिणामी स्कोर एस्टीमेटर है:
$\nabla_{a_t} Q_t(s, a_t) \approx \nabla_{a_t} \log \sum_{i=1}^K \exp(\alpha Q(s, a^{(i)}_{0|t}))$
जहाँ $a^{(i)}_{0|t}$ हैं $a_t$ पर आधारित एक गॉसियन वितरण से लिए गए सैंपल। यह प्रभावी रूप से एक्शन अपडेट्स को हाई-वैल्यू क्षेत्रों की ओर बायस करता है जबकि शोर के माध्यम से अन्वेषण बनाए रखता है।

2.3 वेलोसिटी फील्ड निर्माण

अनुमानित स्कोर को एक प्रोबेबिलिटी फ्लो ODE (PF-ODE) में एकीकृत किया जाता है ताकि लक्ष्य वेलोसिटी फील्ड प्राप्त किया जा सके। एक वेरिएंस प्रिजर्विंग (VP) SDE के लिए, वेलोसिटी फील्ड को इस प्रकार परिभाषित किया गया है:
$v_t(a_t|s) = -\frac{1}{2}\beta(t) \left( a_t + \nabla_{a_t} Q_t(s, a_t) \right)$
यह वेलोसिटी फील्ड शोर को सीधे वर्तमान Q-फंक्शन द्वारा प्रेरित हाई-वैल्यू मोड्स की ओर ले जाता है। MeanFlow पॉलिसी $u_\theta$ को फिर इस निर्मित लक्ष्य वेलोसिटी का पालन करने के लिए प्रशिक्षित किया जाता है, जो लॉस को मिनिमाइज करता है:
$\mathcal{L}(\theta) = \mathbb{E} \left[ \| u_\theta(a_t, r, t, s) - \text{sg}(u^{\text{new}}_{\text{tgt}}) \|^2_2 \right]$
जहाँ $u^{\text{new}}_{\text{tgt}}$ को PF-ODE वेलोसिटी से प्राप्त किया गया है।

2.4 कार्यान्वयन विवरण

नॉर्मलाइजेशन (Normalization): स्कोर ग्रेडिएंट को यूनिट नॉर्म में नॉर्मलाइज किया जाता है और अलग-अलग रिवॉर्ड स्केल्स के बीच ट्रेनिंग को स्थिर करने के लिए एक ट्यूनेबल कोएफिशिएंट $w$ द्वारा रीस्केल किया जाता है।
क्रिटिक ट्रेनिंग: क्रिटिक को ट्विन Q-नेटवर्क्स के साथ एक डिस्ट्रिब्यूशनल बेलमैन ऑब्जेक्टिव का उपयोग करके अपडेट किया जाता है।
Best-of-N (BoN): हालांकि प्राथमिक योगदान स्कोर-आधारित वेलोसिटी है, लेखक टारगेट वैल्यू एस्टीमेशन के लिए कई सैंपल्स में से उच्चतम-Q कैंडिडेट चुनने के लिए क्रिटिक अपडेट्स के दौरान BoN सैंपलिंग को शामिल करते हैं।

3. प्रमुख योगदान

एक बाधा की पहचान: पेपर ने लक्ष्य-वितरण नमूनों की कमी को ऑनलाइन RL में MeanFlow लागू करने में प्राथमिक बाधा के रूप में पहचाना है।
स्कोर-आधारित वेलोसिटी निर्माण: यह Q-फंक्शन ग्रेडिएंट्स से सीधे लक्ष्य वेलोसिटी फील्ड बनाने का एक नया तरीका प्रस्तावित करता है, जिससे स्पष्ट लक्ष्य नमूनों की आवश्यकता समाप्त हो जाती है।
SOM एल्गोरिदम: SOM का परिचय, जो एक एक्टर-क्रिटिक एल्गोरिदम है जो सिंगल-स्टेप एक्शन सैंपलिंग के साथ एक्सप्रेसिव पॉलिसी लर्निंग को एकीकृत करता है, जिससे MeanFlow को ऑनलाइन RL के साथ जोड़ा जाता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करना कि SOM लोकोमोशन कार्यों पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है और इटरेटिव डिफ्यूजन और फ्लो-मैचिंग बेसलाइन्स की तुलना में प्रशिक्षण और अनुमान समय को काफी कम करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने नौ MuJoCo v4 कंटिन्यूअस कंट्रोल कार्यों (Ant, HalfCheetah, Hopper, Humanoid, Walker2d, Swimmer, Pusher, Reacher, और InvertedDoublePendulum सहित) पर SOM का मूल्यांकन किया।

प्रदर्शन: SOM ने पांच में से चार लोकोमोशन बेंचमार्क्स पर उच्चतम मीन रिटर्न प्राप्त किया और Hopper-v4 पर दूसरा उच्चतम। सुधार सबसे अधिक Humanoid-v4 (उच्च एक्शन डाइमेंशनलिटी) पर देखा गया, जहाँ SOM दूसरे सर्वश्रेष्ठ मेथड से स्पष्ट अंतर से आगे निकल गया, जो बताता है कि ग्रेडिएंट-आधारित दृष्टिकोण डाइमेंशन के साथ अनुकूल रूप से स्केल करता है।
दक्षता (Efficiency): जैसा कि टेबल 2 में दिखाया गया है, SOM HalfCheetah-v4 पर 0.218 ms का सिंगल-स्टेप इंफरेंस टाइम प्राप्त करता है, जबकि इटरेटिव बेसलाइन्स (जिन्हें 10-100 डिनोइजिंग स्टेप्स की आवश्यकता होती है) के लिए यह 0.6-1.5 ms है। प्रशिक्षण समय भी काफी कम हो गया है।
पॉलिसी विश्लेषण: विज़ुअलाइज़ेशन (t-SNE और Q-landscapes) संकेत देते हैं कि SOM एक्शन सैंपल्स को हाई-Q मोड्स के आसपास मजबूती से केंद्रित करता है, जबकि प्रतिस्पर्धी वन-स्टेप मेथड्स (जैसे MFP) या तो सिंगल मोड में कोलैप्स हो जाते हैं या विसरित (diffusely) रूप से वितरित होते हैं।
मजबूती (Robustness): नॉइजी Q-फंक्शन्स के साथ प्रयोगों ने दिखाया कि SOM में गॉसियन-स्मूथड स्कोर एस्टीमेटर मजबूत बना रहता है, जो हाई-वैल्यू मोड्स के पास स्थानीय संरचना को संरक्षित करते हुए मोटे क्रिटिक एरर्स को प्रभावी ढंग से औसत (average out) कर देता है।

5. महत्व और दावे

पेपर का दावा है कि SOM जनरेटिव पॉलिसियों की अभिव्यक्ति और ऑनलाइन RL की कम्प्यूटेशनल बाधाओं के बीच के तनाव को हल करता है। Q-फंक्शन से सीधे टारगेट वेलोसिटी को व्युत्पन्न करके, SOM MeanFlow पॉलिसियों को पूरी तरह से ऑनलाइन सेटिंग्स में प्रशिक्षित करने में सक्षम बनाता है जहाँ लक्ष्य नमूने उपलब्ध नहीं होते हैं।

लेखक जोर देते हैं कि SOM सिंगल जनरेशन स्टेप के साथ स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है, जो उन रियल-टाइम कंट्रोल अनुप्रयोगों के लिए एक व्यावहारिक समाधान प्रदान करता जहाँ इंफरेंस लेटेंसी महत्वपूर्ण है। वे नोट करते हैं कि हालांकि यह पद्धति वर्तमान में निरंतर नियंत्रण कार्यों (MuJoCo) तक सीमित है और एक सीखे गए क्रिटिक की गुणवत्ता पर निर्भर करती है, यह कुशल, एक्सप्रेसिव पॉलिसी ऑप्टिमाइज़ेशन की दिशा में एक महत्वपूर्ण कदम है। यह कार्य सुझाव देता है कि भविष्य की दिशाओं में उच्च-आयामी या आंशिक रूप से दृश्यमान सेटिंग्स (जैसे, विजुअल कंट्रोल) में SOM का विस्तार करना और अधिक उन्नत अनिश्चितता-जागरूक (uncertainty-aware) क्रिटिक्स को एकीकृत करना शामिल है।