💻 computer science

ScoRe-Flow: Complete Distributional Control via Score-Based Reinforcement Learning for Flow Matching

Score-Flow एक नवीन स्कोर-आधारित सुदृढीकरण शिक्षण (reinforcement learning) फाइन-ट्यूनिंग विधि है जो फ्लो मैचिंग पॉलिसियों के लिए विकसित की गई है, जो स्कोर फंक्शन के माध्यम से ड्रिफ्ट को नियंत्रित करके ट्रांज़िशन मीन (transition mean) और वेरिएंस (variance) पर अलग-अलग नियंत्रण प्राप्त करती है, जिसके परिणामस्वरूप मौजूदा अत्याधुनिक दृष्टिकोणों की तुलना में रोबोटिक नियंत्रण कार्यों पर काफी तेज़ अभिसरण (convergence) और उच्च सफलता दर प्राप्त होती है।

मूल लेखक: Xiaotian Qiu, Lukai Chen, Jinhao Li, Qi Sun, Cheng Zhuo, Guohao Dai

प्रकाशित 2026-04-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiaotian Qiu, Lukai Chen, Jinhao Li, Qi Sun, Cheng Zhuo, Guohao Dai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: एक रोबोट को नाचना सिखाना

कल्पना कीजिए कि आप एक रोबोट को नाचना सिखाने की कोशिश कर रहे हैं।

पहला सबक (इमिटेशन लर्निंग - नकल सीखना): आप रोबोट को एक पेशेवर डांसर का वीडियो दिखाते हैं। रोबोट वीडियो देखता है और उन्हीं मूव्स की हुबहू नकल करने की कोशिश करता है। इसे "इमिटेशन लर्निंग" कहा जाता है।
समस्या: रोबोट वीडियो की नकल तो बिल्कुल सही तरीके से करता है, लेकिन वह खुद से कुछ नया (इम्प्रोवाइज) नहीं कर पाता। अगर संगीत थोड़ा बदल जाए या डांसर फिसल जाए, तो रोबोट वहीं रुक जाता है। वह एक "सब-ऑप्टिमल" (उप-इष्टतम) रूटीन में फंस जाता है क्योंकि वह केवल वही जानता है जो उसने देखा, वह यह नहीं जानता कि क्या बेहतर हो सकता था।
समाधान (रीइन्फोर्समेंट लर्निंग - सुदृढीकरण सीखना): आपको रोबोट को अपने आप अभ्यास करने देना होगा, नए मूव्स आज़माने देने होंगे, और अपनी गलतियों से सीखने (रिवॉर्ड्स/पुरस्कार) देने होंगे ताकि वह एक मास्टर डांसर बन सके। यह "रीइन्फोर्समेंट लर्निंग" (RL) है।

चुनौती: अधिकांश आधुनिक रोबोट "दिमाग" फ्लो मैचिंग (Flow Matching) नामक तकनीक का उपयोग करते हैं। फ्लो मैचिंग को एक बहुत ही तेज़, सीधी हाईवे की तरह समझें जो रोबोट को "भ्रमित" अवस्था से "नाचने" की अवस्था तक ले जाती है। यह अविश्वसनीय रूप से कुशल है। हालाँकि, क्योंकि यह एक सीधा हाईवे है, रोबोट के पास अलग-अलग रास्ते खोजने या प्रयोग करने का कोई तरीका नहीं है। वह बस सीधे रास्ते पर चलता रहता है।

पुराना तरीका: मैप पर तीर चलाना

पिछले तरीकों ने इसमें "नॉइज़" (अनिश्चितता/रैंडमनेस) जोड़कर इसे ठीक करने की कोशिश की।

उपमा: कल्पना कीजिए कि रोबमा हाईवे पर गाड़ी चला रहा है। उसे एक्सप्लोर (खोजने) करने के लिए प्रेरित करने के लिए, पुराने तरीके ने बस स्टीयरिंग व्हील को बेतरतीब ढंग से हिला दिया या मैप पर तीर चला दिए ताकि यह देखा जा सके कि क्या रोबोट गलती से किसी बेहतर रास्ते पर पहुँच जाता है।
दोष: यह आँखों पर पट्टी बांधकर गाड़ी चलाने जैसा है और इस उम्मीद में चलना कि आप गलती से सही मोड़ पर पहुँच जाएंगे। यह काम तो करता है, लेकिन यह धीमा, अक्षम है, और रोबोट सही रास्ता खोजने से पहले ही खाई में गिर सकता है।

नया तरीका: ScoRe-Flow (जीपीएस + एक्सीलरेटर)

इस पेपर के लेखकों ने महसूस किया कि रोबोट को गाइड करने का एक स्मार्ट तरीका है। उन्होंने दो नए कंट्रोल पेश किए जो एक साथ काम करते हैं:

1. "स्कोर" (जीपीएस)

सिर्फ स्टीयरिंग को बेतरतीब ढंग से हिलाने के बजाय, ScoRe-Flow स्कोर फंक्शन (Score Function) नामक एक गणितीय अवधारणा का उपयोग करता है।

उपमा: कल्पना कीजिए कि रोबोट एक धुंधले जंगल में है। "स्कोर" एक जादुई कंपास की तरह है जो हमेशा सफलता की उच्चतम संभावना (उस "हाई-डेंसिटी" क्षेत्र की ओर जहाँ सबसे अच्छे डांसर हैं) की ओर इशारा करता है।
यह कैसे काम करता है: शोधकर्ताओं ने एक चतुर तरकीब खोजी: वे बिना किसी अतिरिक्त हार्डवेयर या जटिल नए नेटवर्क के, रोबोट के मौजूदा दिमाग (वेलोसिटी फील्ड) से सीधे इस दिशा (कंपास) की गणना कर सकते हैं। यह ऐसा है जैसे आपको एहसास हो कि आपकी कार का स्पीडोमीटर भी आपको बता सकता है कि उत्तर दिशा किस ओर है।
लाभ: यह रोबोट को अच्छे मूव्स की ओर निर्देशित करता है, बजाय इसके कि वह सिर्फ इस उम्मीद में रहे कि वह उन तक पहुँच जाएगा।

2. "वैरिएंस" (एक्सीलरेटर/गैस पेडल)

यह जानना कि किस दिशा में जाना है, अच्छा है, लेकिन आपको यह भी जानना होगा कि कितनी ज़ोर से धक्का देना है।

उपमा: यदि रोबोट लक्ष्य से दूर है, तो उसे बेतहाशा एक्सप्लोर करने की आवश्यकता है (एक्सीलरेटर को ज़ोर से दबाएं)। यदि वह पहले से ही लक्ष्य के करीब है, तो उसे सावधान और सटीक होना चाहिए (एक्सीलरेटर कम करें)।
नवाचार: पिछले तरीकों ने "दिशा" और "रैंडमनेस की मात्रा" को एक साथ जोड़ दिया था। ScoRe-Flow इन्हें अलग (decouple) करता है। इसके पास एक अलग "दिमाग" है जो सीखता है कि हर एक क्षण में कितनी खोज (एक्सप्लोरेशन) करनी है।

यह गेम-चेंजर क्यों है?

यह पेपर कठिन रोबोट कार्यों (चलना, ब्लॉक स्टैक करना, खाना बनाना) पर ScoRe-Flow की तुलना वर्तमान अत्याधुनिक तरीकों (जैसे ReinFlow और DPPO) से करता है।

गति: ScoRe-Flow मौजूदा फ्लो-आधारित तरीकों की तुलना में 2.4 गुना तेज़ी से सीखता है। यह साइकिल से स्पोर्ट्स कार पर जाने जैसा है।
सफलता दर: "फ्रैंका किचन" (जहाँ एक रोबोट को माइक्रोवेव खोलना, केटल हिलाना और लाइट चालू करना होता है) जैसे जटिल कार्यों पर, ScoRe-Flow प्रतियोगिता की तुलना में 5.4% अधिक बार सफल रहा।
स्थिरता: क्योंकि यह रोबोट को गाइड करने के लिए "स्कोर" (कंपास) का उपयोग करता है, यह खतरनाक क्षेत्रों में नहीं भटकता है। यह "हाईवे" पर रहता है लेकिन इसे पता होता है कि शॉर्टकट खोजने के लिए एग्जिट रैंप कब लेना है।

एक वाक्य में सारांश

ScoRe-Flow रोबोट के लिए प्रशिक्षण का एक नया तरीका है जो उन्हें सफलता पाने के लिए अंधेरे में तीर चलाने से रोकता है; इसके बजाय, यह उन्हें एक स्मार्ट कंपास (उन्हें अच्छे मूव्स की ओर इशारा करने के लिए) और एक स्मार्ट एक्सीलरेटर (यह नियंत्रित करने के लिए कि वे कितनी खोज करें) देता है, जिससे वे पहले की तुलना में बहुत तेज़ी से और अधिक विश्वसनीयता के साथ जटिल कौशल सीख सकते हैं।

यहाँ शोध पत्र "ScoRe-Flow: For Flow Matching के लिए Score-Based Reinforcement Learning के माध्यम से पूर्ण वितरण नियंत्रण (Complete Distributional Control)" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

फ्लो मैचिंग (Flow Matching - FM) रोबोटिक नियंत्रण के लिए एक अत्यंत कुशल बैकबोन के रूप में उभरा है, जो ऑर्डिनरी डिफरेंशियल इक्वेशंस (ODEs) के माध्यम से तेज़ और अभिव्यंजक एक्शन जनरेशन प्रदान करता है। हालाँकि, केवल इमिटेशन लर्निंग (IL) के माध्यम से प्रशिक्षित FM पॉलिसियाँ दो गंभीर सीमाओं से ग्रस्त होती हैं:

प्रदर्शन की सीमा (Performance Ceiling): वे प्रदर्शन डेटा (demonstration data) की गुणवत्ता तक सीमित रहती हैं और उप-इष्टतम (suboptimal) व्यवहारों से ऊपर नहीं जा पाती हैं।
डिटरमिनिस्टिक डायनेमिक्स (Deterministic Dynamics): मानक FM एक डिटरमिनिस्टिक ODE प्रक्षेपवक्र (trajectory) का पालन करता है, जिससे ट्रांज़िशन 'डायराक मेजर्स' (Dirac measures) में सिमट जाते हैं। यह एक्शन लाइकलीहुड (action likelihoods) को अपरिभाषित बना देता है, जिससे RL पॉलिसी ग्रेडिएंट विधियों (जैसे PPO) का सीधा अनुप्रयोग असंभव हो जाता है, जिन्हें ट्रैक्टेबल प्रोबेबिलिटी डेंसिटी की आवश्यकता होती है।

मौजूदा समाधान सीखने योग्य शोर (learnable noise) इंजेक्ट करके (जैसे ReinFlow) डिटरमिनिस्टिक फ्लो को स्टोकेस्टिक डिफरेंशियल इक्वेशंस (SDEs) में परिवर्तित करते हैं। हालाँकि, ये "केवल-शोर" (noise-only) वाले दृष्टिकोण प्रत्येक चरण में केवल स्थिति (position) को विचलित करते हैं, लेकिन अंतर्निहित फ्लो डायनेमिक्स (drift) को मॉड्युलेट नहीं करते हैं। यह उच्च-संभावना वाले क्षेत्रों की ओर दिशात्मक मार्गदर्शन प्रदान करने की उनकी क्षमता को सीमित करता है, जिससे अक्सर धीमी अभिसरण (convergence) दर और अस्थिरता उत्पन्न होती है, विशेषकर तब जब प्रदर्शन पहले से ही मजबूत हों।

2. कार्यप्रणाली: ScoRe-Flow

लेखक ScoRe-Flow प्रस्तावित करते हैं, जो एक नवीन RL फाइन-ट्यूनिंग फ्रेमवर्क है जो स्टोकेस्टिक ट्रांज़िशन के माध्य (mean/drift) और विचरण (variance/diffusion) पर डिकपल्ड कंट्रोल (decoupled control) प्राप्त करता है।

मुख्य अंतर्दृष्टि: स्कोर-वेलोसिटी द्वैतता (Score-Velocity Duality)

यह विधि लीनियर फ्लो पाथ्स में एक ज्ञात द्वैतता का लाभ उठाती है: स्कोर फंक्शन (लॉग-डेंसिटी का ग्रेडिएंट, $\nabla_a \log \rho_t(a)$ ) को प्री-ट्रेंड वेलोसिटी फील्ड $v_\theta$ से सीधे क्लोज्ड फॉर्म में प्राप्त किया जा सकता है।
$s_t(a) = \frac{t \cdot v_\theta(t, a, s) - a}{1 - t}$
यह अवलोकन महत्वपूर्ण है क्योंकि यह बिना किसी सहायक नेटवर्क (auxiliary networks) को प्रशिक्षित किए, न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ ड्रिफ्ट मॉड्यूलेशन (drift modulation) को सक्षम बनाता है।

ScoRe-Flow फ्रेमवर्क

ScoRe-Flow एक्शन जनरेशन प्रक्रिया को दो सीखने योग्य घटकों वाले एक SDE के रूप में स्वरूपित करता है:

स्कोर-आधारित ड्रिफ्ट मॉड्यूलेशन (Score-Based Drift Modulation): ड्रिफ्ट टर्म को स्कोर-वेटेड करेक्शन शामिल करने के लिए संशोधित किया जाता है:
$\mu_t = v_\theta(t, a, s) + \alpha_{scaled}(t) \cdot s_t(a)$
- तंत्र (Mechanism): स्कोर $s_t(a)$ डेटा मैनिफोल्ड की ओर उच्च-संभावना वाले क्षेत्रों की ओर संकेत करता है। इसे ड्रिफ्ट में जोड़ने से प्रक्षेपवक्र (trajectory) ज्यामितीय रूप से बेहतर एक्शन्स की ओर मुड़ जाता है।
- स्थिरता (Stability): उस सिंगुलैरिटी (singularity) को संभालने के लिए जहाँ $t \to 1$ होने पर स्कोर का परिमाण (magnitude) डाइवर्ज होता है (अर्थात $O((1-t)^{-1})$ ), लेखक शेड्यूलर पर एक हार्ड टाइम-डिके (hard time-decay) बाधा लागू करते हैं: $\alpha_{scaled}(t) = (1-t)\alpha_\psi(t)$ । यह सुनिश्चित करता है कि एंडपॉइंट पर करेक्शन शून्य हो जाए, जिससे संख्यात्मक स्थिरता (numerical stability) बनी रहे।
सीखा गया विचरण पूर्वानुमान (Learned Variance Prediction): एक अलग नेटवर्क $\sigma_\phi$ डिफ्यूजन गुणांक (शोर का परिमाण) को स्वतंत्र रूप से प्रेडिक्ट करता है।
$\sigma_t = \sigma_\phi(t, a, s)$

डिकपल्ड कंट्रोल (Decoupled Control)

उन विधियों के विपरीत जहाँ ड्रिफ्ट और डिफ्यूजन मजबूती से जुड़े हुए हैं (जैसे मानक लांजेविन डायनेमिक्स), ScoRe-Flow उन्हें अलग करता है। यह नीति को निम्नलिखित सक्षम बनाता है:

स्कोर का उपयोग दिशात्मक मार्गदर्शन (उच्च-रिवॉर्ड वाले क्षेत्रों की ओर मुड़ने) के लिए करना।
सीखे गए विचरण (learned variance) का उपयोग स्वतंत्र रूप से अन्वेषण (exploration) के परिमाण को नियंत्रित करने के लिए करना।
जैसे-जैसे प्रशिक्षण आगे बढ़ता है, ड्रिफ्ट करेक्शन को बनाए रखते हुए अन्वेषण शोर (exploration noise) को अनुकूल रूप से कम करना।

परिणामी SDE को यूलर-मारियूराम (Euler-Maruyama) स्कीम का उपयोग करके डिस्क्रीटाइज किया जाता है, और प्रक्षेपवक्र लॉग-लाइकलीहुड की गणना क्लोज्ड फॉर्म में की जाती है, जिससे PPO (Proximal Policy Optimization) के माध्यम से सीधा अनुकूलन संभव होता है।

3. प्रमुख योगदान (Key Contributions)

क्लोज्ड-फॉर्म स्कोर के माध्यम से ड्रिफ्ट मॉड्यूलेशन: शोध पत्र पहचानता है कि स्कोर फंक्शन को सीधे FM वेलोसिटी फील्ड से कंप्यूट किया जा सकता है, जो बिना किसी सहायक नेटवर्क के ड्रिफ्ट को समायोजित करने और ट्रांज़िशन को निर्देशित करने के लिए एक सिद्धांतगत तंत्र सक्षम करता है।
डिकपल्ड मीन-वेरिएंस कंट्रोल: ScoRe-Flow स्टोकेस्टिक ट्रांज़िशन के माध्य (ड्रिफ्ट के माध्यम से) और विचरण (सीखे गए पूर्वानुमान के माध्यम से) को स्वतंत्र रूप से नियंत्रित करने वाला पहला फ्लो-आधारित RL मेथड है, जो केवल-शोर आधारित अन्वेषण की सीमाओं को पार करता है।
दक्षता और स्थिरता: विधि ने स्टेट-आधारित और विजन-आधारित रोबोटिक कार्यों में SOTA बेसलाइन्स की तुलना में काफी तेज़ अभिसरण (convergence) और उच्च स्थिरता प्राप्त की है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन तीन बेंचमार्क पर किया गया: D4RL (लोकोमोशन), Robomimic (विजुअल मैनिपुलेशन), और Franka Kitchen (स्पार्स-रिवॉर्ड मल्टी-टास्क मैनिपुलेशन)।

D4RL Locomotion: ScoRe-Flow ने समान डीनोइजिंग स्टेप्स ( $K=4$ ) पर फ्लो-आधारित SOTA (ReinFlow) की तुलना में 2.4× तेज़ अभिसरण प्राप्त किया। इसने उच्चतम औसत रिवॉर्ड हासिल किया, विशेष रूप से चुनौतीपूर्ण Humanoid-v3 कार्य पर 5100±47 तक पहुँचते हुए, जो ReinFlow-R (5041) और DPPO (5001) से बेहतर है।
Robomimic: Scoरे-Flow ने सभी कार्यों में उच्चतम सफलता दर प्राप्त की (PickPlaceCan: 98.3%, Square: 84.7%, Transport: 94.4%), जो सर्वश्रेष्ठ बेसलाइन से 5.4% तक अधिक है।
Franka Kitchen: स्पार्स-रिवॉर्ड सेटिंग्स में, ScoRe-Flow ने औसतन 3.60 सब-टास्क (4 में से) पूरे किए, जो बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।
वॉल-क्लॉक दक्षता (Wall-Clock Efficiency): जबकि फ्लो-आधारित विधियाँ स्वाभाविक रूप से डिफ्यूजन-आधारित विधियों (जैसे DPPO से 21.9× तेज़) की तुलना में तेज़ होती हैं, ScoRe-Flow अन्य फ्लो विधियों पर भी एल्गोरिद्मिक गति प्रदान करता है, जो D4RL कार्यों पर मात्र 0.16 घंटे में अपने अंतिम प्रदर्शन का 90% प्राप्त कर लेता है।

5. महत्व और प्रभाव (Significance and Impact)

सैद्धांतिक प्रगति: यह कार्य एक नवीन, पैरामीटर-मुक्त ड्रिफ्ट मॉड्यूलेशन रणनीति के माध्यम से लाइकलीहुड कंप्यूटेशन की समस्या को हल करके फ्लो मैचिंग और सुदृढीकरण शिक्षण (Reinforcement Learning) के बीच के अंतर को पाटता है।
व्यावहारिक रोबोटिक नियंत्रण: यह रोबोटिक पॉलिसियों को मानव प्रदर्शन (human demonstrations) की सीमाओं से ऊपर उठने में सक्षम बनाता है, जिससे जटिल, मल्टी-मोडल वातावरण में उच्च सैंपल दक्षता के साथ इष्टतम व्यवहार सीखना संभव होता है।
सामान्यीकरण (Generalizability): यह दृष्टिकोण स्टेट-आधारित और उच्च-आयामी विजन-आधारित दोनों कार्यों के लिए लागू करने योग्य है, जो वास्तविक समय के रोबोटिक नियंत्रण के लिए एक मजबूत समाधान प्रदान करता है जहाँ गति और प्रदर्शन दोनों महत्वपूर्ण हैं।

संक्षेप में, ScoRe-Flow जेनेरेटिव रोबोटिक कंट्रोल में एक महत्वपूर्ण कदम है, जो यह प्रदर्शित करता है कि स्कोर-आधारित ड्रिफ्ट मॉड्यूलेशन के माध्यम से फ्लो पाथ्स की ज्यामितीय संरचना का लाभ उठाने से शोर-आधारित विकल्पों की तुलना में बेहतर अन्वेषण और अभिसरण प्राप्त होता है।