🤖 machine learning

Learning When to Stop: Prefix-Optimal Dynamic Diffusion Policies for Continuous Control

यह शोध पत्र प्रिफिक्स-ऑप्टिमल जेनरेटिव पॉलिसीज़ (POGP) पेश करता है, जो एक प्रिफिक्स वैल्यू फंक्शन को सीखता है ताकि डिफ्यूजन डिनोइजिंग प्रक्रिया के अनुकूलनशील अर्ली स्टॉपिंग (early stopping) को सक्षम बनाया जा सके, जिससे निरंतर नियंत्रण (continuous control) में अंतिम कार्य प्रदर्शन में सुधार करते हुए साथ ही गणनात्मक लागतों को काफी कम किया जा सके।

मूल लेखक: Rohit Kumar Salla, Manoj Saravanan, Simon Stepputtis

प्रकाशित 2026-08-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rohit Kumar Salla, Manoj Saravanan, Simon Stepputtis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

रुकने का सही समय जानने की कला

कल्पना कीजिए कि आप एक रोबोट को चलना, नाचना या गेंद पकड़ना सिखाने की कोशिश कर रहे हैं। लंबे समय से, वैज्ञानिक एक विधि का उपयोग करते आए हैं जिसे रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) कहा जाता है, जो एक कुत्ते को इनाम देकर प्रशिक्षित करने जैसा है: रोबोट चीज़ें आज़माता है, जब वह अच्छा करता है तो उसे एक "इनाम" (रिवॉर्ड) मिलता है, और वह उन कार्यों को दोहराना सीख जाता है। हाल ही में, डिफ्यूजन (Diffusion) नामक एक शक्तिशाली नई तकनीक लोकप्रिय हुई है। डिफ्यूजन को ऐसे समझें जैसे कोई मूर्तिकार शोर (noise) और स्थिर धूल से भरे मिट्टी के एक ब्लॉक से शुरुआत करता है और धीरे-धीरे उस शोर को हटाकर एक सुंदर मूर्ति को प्रकट करता है। रोबोट के मस्तिष्क में, यह "शोर को हटाना" चरणों की एक श्रृंखला में होता है, जो रैंडम अनुमानों को एक सुचारू और सटीक गति में बदल देता है।

हालाँकि, इसमें एक समस्या है। इसे करने का वर्तमान तरीका बिल्कुल वैसा ही है जैसे मूर्तिकार को हर एक हरकत के लिए ठीक 20 बार मिट्टी को छीलने के लिए मजबूर करना, चाहे कुछ भी हो। यदि रोबोट को बस एक साधारण कदम आगे बढ़ाने की ज़रूरत है, तो 20 चरणों तक छीलना समय और ऊर्जा की बर्बादी है। लेकिन यदि रोबोट अचानक आए किसी धक्के या फिसलन भरी सतह से खुद को संभालने की कोशिश कर रहा है, तो उसे सही काम करने के लिए उन सभी 20 चरणों की सख्त ज़रूरत पड़ सकती है। वैज्ञानिकों के लिए बड़ा सवाल यह है: हम रोबोट को यह कैसे सिखा सकते हैं कि वह कब समझ जाए कि उसने पर्याप्त छील लिया है और अब रुक सकता है, ताकि वह अपनी ऊर्जा उन क्षणों के लिए बचा सके जो वास्तव में महत्वपूर्ण हैं?

"स्मार्ट स्कल्प्टर" (चतुर मूर्तिकार) समाधान

यह शोध पत्र POGP (प्रिफिक्स-ऑप्टिमल जेनेरेटिव पॉलिसीज़) नामक एक नई विधि पेश करता है, जो एक "स्मार्ट स्कल्प्टर" की तरह काम करती है जो अपनी प्रगति का आकलन करना सीखता है। केवल प्रक्रिया के अंत तक 20 चरणों के इंतज़ार करने के बजाय कि मूर्ति कैसी दिख रही है, POGP रोबोट को हर एक चरण में अपने काम की जाँच करना सिखाता है।

यह कैसे काम करता है, इसके लिए एक सरल उदाहरण लें: कल्पना कीजिए कि आप एक कहानी लिख रहे हैं। पुराने तरीके में, आप पूरी कहानी लिखेंगे, और फिर केवल अंतिम वाक्य देखकर देखेंगे कि क्या वह समझ में आता है। यदि कहानी खराब थी, तो आपको पूरी चीज़ फिर से लिखनी होगी। POGly POGP अलग है। यह लेखक को कहानी लिखते समय हर पैराग्राफ को देखने की शिक्षा देता है। प्रत्येक चरण पर, रोबोट पूछता है, "यदि मैं अभी लिखना बंद कर दूँ और इस वाक्य को अंत के रूप में उपयोग करूँ, तो क्या यह एक अच्छी कहानी होगी?"

ऐसा करने के लिए, शोधकर्ताओं ने रोबोट को एक विशेष "वैल्यू मीटर" (जिसे प्रिफिक्स वैल्यू फंक्शन कहा जाता है) दिया जो मुख्य लर्निंग प्रक्रिया के साथ चलता है। यह मीटर क्रिया के वर्तमान, अधूरे संस्करण के आधार पर भविष्यवाणी करता है कि अंतिम क्रिया कितनी अच्छी होगी। यदि मीटर कहता है, "अरे, यह तो पहले से ही बहुत बढ़िया दिख रहा है, हमारा काम हो गया!" तो रोबोट तुरंत रुक जाता है। यदि मीटर कहता है, "यह अभी भी थोड़ा अस्त-व्यस्त है, जारी रखो," तो रोबोट शोर को हटाना जारी रखता है।

उन्हें क्या पता चला

शोधकर्ताओं ने इस विचार का परीक्षण चार अलग-अलग वर्चुअल रोबोट वातावरण (जैसे एक दौड़ता हुआ चीता, एक संतुलन बनाने वाला वॉकर और एक रेंगता हुआ चींटी) में किया और इसकी तुलना 12 अन्य शीर्ष विधियों से की। परिणाम काफी प्रभावशाली थे:

तेज़ नहीं, बल्कि स्मार्ट: रोबोट को हर मध्यवर्ती चरण का मूल्य समझना सिखाने से, अंतिम क्रियाएँ पहले की तुलना में वास्तव में बेहतर हो गईं। यहाँ तक कि जब रोबोट को सभी 20 चरणों को चलाने के लिए मजबूर किया गया, तब भी POGP ने मौजूदा सर्वोत्तम विधियों से लगभग 3.5% बेहतर प्रदर्शन किया। यह सुझाव देता है कि काम के दौरान अपने काम की जाँच करना न केवल समय बचाता है, बल्कि आपको बेहतर काम करने में भी मदद करता है।
बैटरी की बचत: असली जादू तब होता है जब रोबोट को यह चुनने का मौका मिलता है कि कब रुकना है। इन परीक्षणों में, POGP निर्धारित 20-चरणों वाली श्रृंखला के मुकाबले चरणों की संख्या को लगभग 2.7 गुना कम करने में सक्षम रहा (यानी इसने मानक प्रक्रिया की तुलना में लगभग 18.2% कम इटरेशन का उपयोग किया) जबकि इसने 97.8% प्रदर्शन बनाए रखा।
मुश्किलों के अनुकूल: रोबोट ने सीखा कि अपनी ऊर्जा कब खर्च करनी है। एक परीक्षण में जहाँ रोबोट सुचारू रूप से चल रहा था, उसने अपना मूव तय करने के लिए केवल 3 से 5 चरणों का उपयोग किया। लेकिन जब शोधकर्ताओं ने अचानक रोबोट को संतुलन से हटाने के लिए धक्का दिया, तो रोबोट ने तुरंत 15 से 20 चरणों का उपयोग करना शुरू कर दिया, जिससे उसने अतिरिक्त ऊर्जा केवल तभी खर्च की जब वास्तव में इसकी आवश्यकता थी।

यह क्यों महत्वपूर्ण है

यह शोध पत्र सुझाव देता है कि यह दृष्टिकोण रोबोट को वास्तविक दुनिया के लिए व्यावहारिक बनाने में आने वाली एक बड़ी बाधा को हल करता है। वर्तमान में, रोबोट अक्सर सरल कार्यों के लिए अनावश्यक गणनाएँ करके ऊर्जा बर्बाद करते हैं। POGP दिखाता है कि रोबोट को अपनी प्रगति को "सुनने" का तरीका देकर, वह अपनी कठिन और अराजक स्थितियों को संभालने की क्षमता खोए बिना बहुत अधिक कुशल बन सकता है। यह उन रोबोटों की ओर एक कदम है जो केवल एक कठोर स्क्रिप्ट का पालन नहीं करते, बल्कि यह भी जानते हैं कि उन्हें अपने हर एक मूव में कितनी मेहनत लगानी चाहिए।

तकनीकी सारांश: प्रिफिक्स-ऑप्टिमल जेनेरेटिव पॉलिसीज़ (POGP)

समस्या विवरण

डिफ्यूजन पॉलिसीज़ निरंतर नियंत्रण (continuous control) के लिए एक शक्तिशाली वर्ग के रूप में उभरी हैं, जो जटिल, मल्टीमॉडल एक्शन डिस्ट्रीब्यूशन को दर्शाने में सक्षम हैं। हालाँकि, उनका व्यावहारिक उपयोग एक महत्वपूर्ण कम्प्यूटेशनल बाधा से बाधित है: इटरेटिव डिनोइजिंग प्रक्रिया (iterative denoising process) के लिए आमतौर पर प्रत्येक एक्शन के लिए $K$ अनुक्रमिक न्यूरल नेटवर्क इवैल्यूएशन की आवश्यकता होती है, चाहे कार्य की वर्तमान कठिनाई कुछ भी हो।

मानक डिफ्यूजन ट्रेनिंग केवल टर्मिनल आउटपुट ( $a_0$ ) को ऑप्टिमाइज़ करती है, जिससे मध्यवर्ती डिनोइजिंग स्टेप्स ( $a_1, \dots, a_{K-1}$ ) अनसुपरवाइज्ड रह जाते हैं। फलस्वरूप, ये मध्यवर्ती अवस्थाएं उच्च-गुणवत्ता वाले, निष्पादनीय (executable) निर्णयों के रूप में प्रशिक्षित नहीं होती हैं। यह एक 'ट्रेन-टेस्ट मिसमैच' पैदा करता है: यदि कंप्यूट बचाने के लिए (जो रियल-टाइम या एज बाधाओं के लिए आवश्यक है) इनफरेन्स को जल्दी रोक दिया जाता है, तो परिणामी एक्शन अक्सर उप-इष्टतम (suboptimal) होता है। मौजूदा डायनेमिक डिफ्यूजन दृष्टिकोण, जैसे कि D3P, एक अलग एडैप्टर को स्टॉपिंग टाइम का अनुमान लगाने के लिए सीखने का प्रयास करते हैं, लेकिन वे स्वयं मध्यवर्ती स्टेप्स को ऑप्टिमाइज़ नहीं करते हैं, जिससे रुकने के मानदंड (stopping criterion) और आंशिक आउटपुट की गुणवत्ता के बीच एक विच्छेद उत्पन्न होता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र प्रिफिक्स-ऑप्टिमल जेनेरेटिव पॉलिसीज़ (POGP) का प्रस्ताव करता है, जो एक डिफ्यूजन पॉलिसी और एक प्रिफिक्स वैल्यू फंक्शन (PVF) को संयुक्त रूप से प्रशिक्षित करता है ताकि एडेप्टिव कंप्यूटेशन को सक्षम बनाया जा सके और डिनोइजिंग चेन के प्रत्येक स्टेप पर एक्शन की गुणवत्ता में सुधार किया जा सके।

1. प्रिफिक्स वैल्यू फंक्शन (PVF)

POGP $K$ -स्टेप डिनोइजिंग चेन ( $a_K \to \dots \to a_0$ ) के प्रत्येक मध्यवर्ती स्टेप $t$ के लिए एक वैल्यू फंक्शन $V_t(s, a_t)$ पेश करता है। मानक वैल्यू फंक्शनों के विपरीत, जो एनवायरनमेंट में स्टेट-एक्शन पेयर्स का मूल्यांकन करते हैं, PVF वर्तमान मध्यवर्ती एक्शन $a_t$ से डिनोइजिंग चेन को पूरा करने के अपेक्षित रिटर्न (expected return) का अनुमान लगाता है।

परिभाषा: $V_t^\pi(s, a_t) := Q^\pi(s, \pi_{\text{full}}(s, a_t))$ , जहाँ $\pi_{\text{full}}$ स्टेप $t$ से 0 तक डिनोइज़र चलाने के परिणाम को दर्शाता है।
प्रशिक्षण तंत्र: $O(K^2)$ रोलआउट की अत्यधिक लागत से बचने के लिए, POGP डिनोइजिंग चेन पर एक बेलमैन-शैली के रिकर्सन (Bellman-style recursion) का उपयोग करता है। $V_t$ के लिए लक्ष्य टर्मिनल एक्शन के Q-वैल्यू और अगले स्टेप के बूटस्ट्रैप्ड वैल्यू का एक भारित संयोजन (weighted combination) है:
$V_t(s, a_t) = h \cdot Q(s, a_0) + (1-h) \cdot V_{t-1}(s, \pi_\theta(s, a_t, t))$
यहाँ, $h$ एक यूनिफॉर्म हेज़र्ड रेट (uniform hazard rate) है (जिसे $1/K$ पर सेट किया गया है)। यह नेटवर्क को सिंगल शेयर्ड चेन के माध्यम से मध्यवर्ती स्टेप्स का मूल्य सीखने की अनुमति देता है।

2. गेटेड ऑब्जेक्टिव्स के साथ संयुक्त अनुकूलन (Joint Optimization)

POGP तीन घटकों को संयुक्त रूप से ऑप्टिमाइज़ करता है:

एनवायरनमेंट क्रिटिक ( $Q$ ): एनवायरनमेंट ट्रांजिशन पर मानक डबल Q-लर्निंग।
प्रिफिक्स क्रिटिक ( $V$ ): वर्णित हेज़र्ड बेलमैन रिकर्सन के माध्यम से प्रशिक्षित।
एक्टर ( $\pi$ ): एक गेटेड लॉस (gated loss) के माध्यम से अनुकूलित किया जाता है जो टर्मिनल एक्शन वैल्यू को अधिकतम करने और उच्च प्रिफिक्स वैल्यू बनाए रखने के बीच संतुलन बनाता है। एक गेटिंग शेड्यूल $w(n)$ प्रिफिक्स सुपरविजन को तब तक विलंबित करता है जब तक कि PVF स्थिर न हो जाए, जिससे शुरुआती चरण के शोर (noise) को पॉलिसी को अस्थिर करने से रोका जा सके।

3. डायनेमिक स्टॉपिंग और कंप्लीशन

टेस्ट के समय, प्रशिक्षित PVF एक सिद्धांत आधारित स्टॉपिंग मानदंड प्रदान करता है। एल्गोरिदम तब डिनोइजिंग को रोकता है जब लगातार $m$ स्टेप्स के लिए मार्जिनल गेन, $\Delta_t = V_{t-1} - V_t$ , एक थ्रेशोल्ड $\epsilon$ से कम हो जाता है।

कंप्लीशन मैप: चूंकि ट्रंकेटेड एक्शन ( $a_T$ ) में अवशिष्ट शोर (residual noise) हो सकता है, POGP एक लाइटवेट MLP ( $g_\omega$ ) को प्रशिक्षित करता है जो इन ट्रंकेटेड एक्शन्स को उनके पूरी तरह से डिनोइज़्ड समकक्षों ( $a_0$ ) की ओर प्रोजेक्ट करता है, यह सुनिश्चित करता है कि जल्दी रोके गए एक्शन भी उच्च-गुणवत्ता वाले और निष्पादनीय बने रहें।

मुख्य योगदान

प्रिफिक्स वैल्यू फंक्शन: एक नवीन वैल्यू फंक्शन जिसे डिनोइजिंग चेन पर TD बूटस्ट्रैपिंग के माध्यम से प्रशिक्षित किया गया है। यह एक सहायक ऑब्जेक्टिव के रूप में कार्य करता है जो मध्यवर्ती आउटपुट्स को उच्च-गुणवत्ता वाले, निष्पादनीय एक्शन्स में आकार देता है, जिससे मानक डिफ्यूजन की "अनसुपरवाइज्ड इंटरमीडिएट" समस्या का समाधान होता है।
सीखा हुआ अर्ली स्टॉपिंग (Learned Early Stopping): क्रमिक प्रिफिक्स वैल्यूज़ के अंतर से सीधे प्राप्त एक स्टॉपिंग नियम। यह एक अलग, डिकपल्ड हैल्टिंग नेटवर्क की आवश्यकता को समाप्त करता है, जिससे पॉलिसी को आगे के रिफाइनमेंट के अनुमानित मार्जिनल यूटिलिटी के आधार पर कंप्यूट को एडेप्टिव रूप से आवंटित करने की अनुमति मिलती है।
अनुभवजन्य सत्यापन (Empirical Validation): विधि यह प्रदर्शित करती है कि मध्यवर्ती स्टेप्स की सुपरविजन एक लाभकारी सहायक ऑब्जेक्टिव के रूप में कार्य करती है जो फुल-चेन प्रदर्शन को बेहतर बनाती है, न कि केवल दक्षता को।

प्रयोगात्मक परिणाम

लेखकों ने 12 बेसलाइनों (जिसमें क्लासिकल RL मेथड्स जैसे TD3, SAC, PPO और स्टेट-ऑफ-द-आर्ट डिफ्यूजन पॉलिसीज़ जैसे Diff-QL, D3P, SDAC शामिल हैं) के विरुद्ध चार MuJoCo एनवायरनमेंट्स (HalfCheetah, Walker2d, Ant, Hopper) पर POGP का मूल्यांकन किया।

फुल-चेन प्रदर्शन: जब $K=20$ स्टेप्स चलाने के लिए मजबूर किया गया, तो POGP ने सभी बेसलाइनों को पछाड़ते हुए 0.942 का इंटरक्वेर्टाइल मीन (IQM) (95% CI: [0.91, 0.97]) प्राप्त किया। यह सर्वश्रेष्ठ बेसलाइन (SDAC) से लगभग 4.6% सुधार और डायनेमिक बेसलाइन D3P से 3.5% सुधार को दर्शाता है।
एडेप्टिव कंप्यूट एफिशिएंसी: एडेप्टिव स्टॉपिंग नियमों के तहत, POGP ने अपने फुल-चेन प्रदर्शन का ≥97.8% बनाए रखते हुए औसत डिनोइजिंग इटरेशन को लगभग 2.7× कम कर दिया (उदाहरण के लिए, HalfCheetah पर 20 स्टेप्स से घटकर ~6.8 रह गए)।
D3P के साथ तुलना: POGP ने रिटर्न में D3P से 3.5% अधिक प्रदर्शन किया और 18.2% कम इटरेशन का उपयोग किया। D3P के विपरीत, जो रूटीन अवस्थाओं में भी उच्च इटरेशन काउंट बनाए रखता है, POGP नियमित लोकोमोशन के दौरान कंप्यूट को ~3–5 स्टेप्स तक कम कर देता है और गड़बड़ी (perturbations) से उबरने के दौरान इसे ~15–20 स्टेप्स तक बढ़ाता है।

महत्व

यह शोध पत्र दावा करता है कि POGP वेरिएबल डिफ्यूजन डेप्थ को पॉलिसी ऑप्टिमाइज़ेशन के एक प्रथम-श्रेणी के ऑब्जेक्ट के रूप में मानकर, एडेप्टिव कंप्यूटेशन और सुदृढीकरण शिक्षण (reinforcement learning) के बीच के अंतर को पाटता है। इसका महत्व दोहरे लाभ में निहित है:

दक्षता (Efficiency): यह प्रदर्शन से समझौता किए बिना पर्याप्त कंप्यूट बचत (2.7× तक) सक्षम बनाता है, जिससे डिफ्यूजन पॉलिसीज़ वास्तविक समय और एज डिप्लॉयमेंट के लिए व्यवहार्य हो जाती हैं।
गुणवत्ता (Quality): प्रिफिक्स ट्रेनिंग एक रेगुलराइजिंग सहायक ऑब्जेक्टिव के रूप में कार्य करती है जो अंतिम टर्मिनल एक्शन की गुणवत्ता में सुधार करती है, जो यह सुझाव देती है कि मध्यवर्ती सुपरविजन, अर्ली-स्टॉपिंग मैकेनिज्म से स्वतंत्र रूप से, मजबूत नीतियां सीखने के लिए स्वाभाविक रूप से फायदेमंद है।

यह कार्य स्थापित करता है कि मध्यवर्ती डिनोइजिंग स्टेप्स को निष्पादनीय निर्णय बनाने के लिए ऑप्टिमाइज़ किया जा सकता है, जो ट्रंकेटेड डिफ्यूजन इनफरेन्स में निहित 'ट्रेन-टेस्ट मिसमैच' को हल करता है।