🤖 machine learning

Towards Efficient and Expressive Offline RL via Flow-Anchored Noise-conditioned Q-Learning

यह शोध पत्र फ्लो-एंकोर्ड नॉइज़-कंडीशन्ड क्यू-लर्निंग (FAN) प्रस्तुत करता है, जो एक कुशल ऑफलाइन रीइन्फोर्समेंट लर्निंग एल्गोरिदम है जो फ्लो पॉलिसियों और डिस्ट्रीब्यूशनल क्रिटिक्स को केवल एक इटरेशन और नॉइज़ सैंपल की आवश्यकता के लिए अनुकूलित करके रोबोटिक कार्यों में अत्याधुनिक प्रदर्शन प्राप्त करता है, जिससे सटीकता से समझौता किए बिना कम्प्यूटेशनल लागतों को काफी कम किया जा सकता है।

मूल लेखक: Sungyoung Lee, Dohyeong Kim, Eshan Balachandar, Zelal Su Mustafaoglu, Keshav Pingali

प्रकाशित 2026-05-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sungyoung Lee, Dohyeong Kim, Eshan Balachandar, Zelal Su Mustafaoglu, Keshav Pingali

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल वीडियो गेम खेलना सिखाने की कोशिश कर रहे हैं, जैसे कि 4x4 स्लाइडिंग पहेली को हल करना या रस्सी पर चलना। लेकिन एक पेच है: आप रोबोट को खुद गेम खेलने की अनुमति नहीं दे सकते। आपके पास केवल किसी और के द्वारा अतीत में खेले गए गेम का एक विशाल वीडियो लाइब्रेरी है। यह ऑफलाइन रीइन्फोर्समेंट लर्निंग (Offline Reinforcement Learning - RL) की दुनिया है।

चुनौती यह है कि रोबट बहुत अधिक आत्मविश्वासी हो सकता है। यदि वह वीडियो में कोई ऐसा मूव देखता है जो अच्छा दिखता है, तो वह कुछ ऐसा करने की कोशिश कर सकता है जो वीडियो में नहीं था। चूंकि वह फीडबैक नहीं मांग सकता (जैसे कि "ओह, मैं गिर गया"), वह गलतियाँ करता रह सकता है और सोच सकता है कि वह बहुत अच्छा कर रहा है। इसे "ओवरएस्टीमेटिंग" (overestimating) कहा जाता है।

समस्या: "धीमे और महंगे" विशेषज्ञ

रोबोट को नए, खतरनाक मूव्स बनाने से रोकने के लिए, हालिया AI विधियों ने दो तरीकों से बहुत अभिव्यंजक (रचनात्मक और विस्तृत) होने की कोशिश की है:

फ्लो पॉलिसी (द "स्लो मोशन" टीचर): केवल एक मूव का अनुमान लगाने के बजाय, यह विधि विशेषज्ञ के चलने के सटीक "फ्लो" (प्रवाह) को सीखने की कोशिश करती है। यह बिल्कुल वैसा ही है जैसे किसी प्रो खिलाड़ी के स्लो-मोशन वीडियो को देखकर तैरना सीखना। एक सिंगल मूव पाने के लिए, रोबोट को एक जटिल सिमुलेशन को स्टेप-दर-स्टेप चलाना होगा, जैसे एक लंबी रस्सी को सुलझाना। यह बहुत सटीक है, लेकिन बहुत धीमा है।
डिस्ट्रीब्यूशनल क्रिटिक (द "रिस्क-टेकर" कोच): केवल यह पूछने के बजाय कि "औसत स्कोर क्या है?", यह विधि पूछती है, "मैं कितने संभावित स्कोर प्राप्त कर सकता हूँ? सबसे अच्छा मामला क्या है? सबसे खराब मामला क्या है?" ऐसा करने के लिए, इसे आमतौर पर हर निर्णय के लिए अपने दिमाग में गेम को 16 या 20 बार सिम्युलेट करना पड़ता है ताकि एक अच्छा औसत मिल सके। यह भी बहुत धीमा और कम्प्यूटेशनल रूप से भारी है।

पेपर तर्क देता है: "हमें इतना स्मार्ट होने के लिए इतना धीमा होने की क्या आवश्यकता है?"

समाधान: FAN (फ्लो-एंकरड नॉइज़-कंडीशन्ड Q-लर्निंग)

लेखकों ने FAN नामक एक नई विधि प्रस्तावित की है। वे इस "स्मार्टनेस" को बनाए रखना चाहते थे जो धीमी विधियों की है, लेकिन इसे एक स्प्रिंट की तरह तेज़ बनाना चाहते थे। उन्होंने इसे दो चतुर ट्रिक्स के साथ किया:

1. "वन-स्टेप" फ्लो (फ्लो एंकरिंग)

एनालॉजी (उपमा): कल्पना कीजिए कि आप साइकिल चलाना सीख रहे हैं। पुराना "फ्लो" मेथड उस प्रो राइडर के टायर के निशानों को सड़क पर स्टेप-दर-स्टेप ट्रेस करने जैसा है, इससे पहले कि आप हिल भी सकें।

FAN का ट्रिक: FAN कहता है, "आइए हम बस यह देखें कि प्रो राइडर शुरुआत में और अंत में किस दिशा में जा रहा था, और उनके बीच एक सीधी रेखा खींच दें।"

एक जटिल सिमुलेशन को चलाने के बजाय जिससे परफेक्ट मूव मिले, FAN सिमुलेशन का एक सिंगल स्टेप लेता है। यह रोबोट के व्यवहार को डेटासेट के सामान्य प्रवाह (flow) से "एंकर" (लंगर डालना) करता है, बिना हर बारीक विवरण की गणना करने का भारी काम किए। यह एक शॉर्टकट लेने जैसा है जो आपको 1% समय में 95% तक पहुँचा देता है।

2. "नॉइज़-ट्यून्ड" कोच (नॉइज़-कंडीशन्ड क्रिटिक)

एनालॉजी (उपमा): कल्पना कीजिए कि एक कोच आपके भविष्य के स्कोर की भविष्यवाणी करने की कोशिश कर रहा है। पुराना तरीका कहता है, "आइए 16 अलग-अलग मौसम स्थितियों के साथ 16 अलग-अलग सिमुलेशन चलाएं ताकि स्कोर की रेंज देखी जा सके।"

FAN का ट्रिक: FAN कहता है, "आइए हम केवल एक विशिष्ट रैंडम मौसम स्थिति (एक सिंगल 'नॉइज़' सैंपल) का उपयोग करें और कोच की भविष्यवाणी को विशेष रूप से उस स्थिति के लिए ट्यून करें।"

रोबोट के एक्शन और कोच की भविष्यवाणी को एक ही रैंडम नॉइज़ सैंपल से जोड़कर, उन्हें 16 सिमुलेशन चलाने की आवश्यकता नहीं है। वे केवल एक त्वरित गणना का उपयोग करके "सबसे अच्छा परिणाम" (स्कोर डिस्ट्रीब्यूशन की ऊपरी सीमा) सीख सकते हैं। यह कोच से पूछने जैसा है, "यदि हवा इस दिशा में चलती है, तो मैं सर्वश्रेष्ठ क्या कर सकता हूँ?" बजाय इसके कि हर संभावित हवा की दिशा के बारे में पूछा जाए।

परिणाम: तेज़ और मजबूत

पेपर ने रोबोटिक कार्यों (जैसे वस्तुओं को उठाने के लिए रोबोटिक आर्म को हिलाना) और पहेली सुलझाने के कार्यों पर FAN का परीक्षण किया।

परफॉरमेंस (प्रदर्शन): FAN ने धीमी, जटिल विधियों के समान या उनसे बेहतर प्रदर्शन किया। इसने पहेलियों को हल किया और रोबोट को उच्च सफलता दर के साथ चलाया।
स्पीड (गति): क्योंकि इसने भारी काम (16 सिमुलेशन और स्लो-मोशन ट्रेसिंग) करना बंद कर दिया, FAN को ट्रेन करने में 5 से 14 गुना तेज़ लगा।
इन्फरेंस (अनुमान): जब रोबोट को वास्तव में वास्तविक समय में कोई मूव करना होता था, तो FAN सबसे तेज़ था, यहाँ तक कि इसने सरल, कम "स्मार्ट" विधियों को भी पीछे छोड़ दिया।

मुख्य निष्कर्ष (The Bottom Line)

पेपर का दावा है कि स्मार्ट होने के लिए आपको कम्प्यूटेशनल रूप से महंगा होने की आवश्यकता नहीं है। फ्लो के लिए "वन-स्टेप" शॉर्टकट और वैल्यू प्रेडिक्शन के लिए "सिंगल-नॉइज़" ट्रिक का उपयोग करके, FAN स्मार्ट और कुशल दोनों होने के साथ-साथ सबसे तेज़ और सबसे कुशल विधि बना रहता है। यह एक गुप्त शॉर्टकट खोजने जैसा है जो आपको रास्ता भटके बिना रिकॉर्ड समय में गंतव्य तक पहुँचने में मदद करता है।

तकनीकी सारांश: फ्लो-एंकोर्ड नॉइज़-कंडीशन्ड Q-लर्निंग (FAN)

समस्या विवरण

ऑफलाइन सुदृढीकरण शिक्षण (Reinforcement Learning - RL) का लक्ष्य बिना किसी अतिरिक्त वातावरण संपर्क के, पूर्व-संग्रहित स्थिर डेटासेट से इष्टतम नीतियों (optimal policies) को सीखना है। इस क्षेत्र में एक प्राथमिक चुनौती वितरण बदलाव (distributional shift) है, जहाँ एजेंट आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) क्रियाओं के मूल्य का अतिरोपण (overestimate) करते हैं, जिससे प्रदर्शन खराब हो जाता है। इसे कम करने के लिए, हालिया अत्याधुनिक दृष्टिकोण नीति शिक्षण (जैसे, फ्लो मैचिंग) और मूल्य अनुमान (जैसे, डिस्ट्रीब्यूशनल क्रिटिक्स) दोनों के लिए अभिव्यक्तिपूर्ण एल्गोरिदम (expressive algorithms) का उपयोग करते हैं।

हालाँकि, ये अभिव्यक्तिपूर्ण विधियाँ महत्वपूर्ण कम्प्यूटेशनल अक्षमताओं को पेश करती हैं:

फ्लो नीतियां (Flow Policies): एक एकल क्रिया उत्पन्न करने के लिए अक्सर ODE सॉल्वर के माध्यम से पुनरावृत्ति नमूनाकरण (iterative sampling) की आवश्यकता होती है, जो फ्लो स्टेप्स की संख्या के साथ रैखिक रूप से स्केल करता है।
डिस्ट्रीब्यूशनल क्रिटिक्स (Distributional Critics): रिटर्न वितरणों का अनुमान लगाने के लिए आमतौर पर कई नमूनों (जैसे, क्वांटाइल्स या एक्सपेक्टाइल्स) को प्रोसेस करने की आवश्यकता होती है, जो नमूनों की संख्या के साथ रैखिक रूप से स्केल करता है।

पेपर यह प्रश्न पूछता है: हम फ्लो नीतियों और डिस्ट्रीब्यूशनल क्रिटिक्स का उपयोग करके अत्याधुनिक ऑफलाइन RL प्रदर्शन प्राप्त करने के साथ-साथ कम्प्यूटेशनल दक्षता में सुधार कैसे कर सकते हैं?

कार्यप्रणाली: FAN

लेखक फ्लो-एंकोर्ड नॉइज़-कंडीशन्ड Q-लर्निंग (FAN) प्रस्तावित करते हैं, जो एक एक्टर-क्रिटिक एल्गोरिदम है जिसे फ्लो-आधारित नीतियों और डिस्ट्रीब्यूशनल वैल्यू फंक्शनों की अभिव्यक्तिशीलता बनाए रखते हुए कम्प्यूटेशनल ओवरहेड को भारी रूप से कम करने के लिए डिज़ाइन किया गया है। FAN दो मुख्य नवाचारों से बना है:

1. फ्लो एंकरिंग (व्यवहार नियमितीकरण - Behavior Regularization)

पारंपरिक फ्लो-आधारित व्यवहार नियमितीकरण के लिए व्यवहार नीति से क्रियाओं को नमूना लेने के लिए ODE समाधानों की आवश्यकता होती है, जो कम्प्यूटेशनल रूप से महंगा है। FAN फ्लो एंकरिंग पेश करता है, एक ऐसी तकनीक जो पुनरावृत्ति ODE समाधानों की आवश्यकता के बिना नीति और वैल्यू नेटवर्क को नियमित करती है।

तंत्र (Mechanism): फ्लो ट्राजेक्टरी के अंतिम स्टेट को सैंपल करने के बजाय, FAN नीति $\pi_\omega$ को व्यवहार फ्लो के एक विशिष्ट समय चरण $t$ पर वेग क्षेत्र (velocity field) के विरुद्ध सीधे नियमित करता है।
फॉर्मूलेशन: नियमितीकरण लॉस $L_B(\omega)$ नीति के आउटपुट (शोर के साथ समायोजित) और व्यवहार फ्लो के वेग क्षेत्र के बीच की दूरी को कम करता है:
$\mathbb{E}[\|(\pi_\omega(s, \epsilon) - \epsilon) - v_\theta(s, t, a_{t,\omega})\|^2]$
जहाँ $a_{t,\omega} = (1-t)\epsilon + t\pi_\omega(s, \epsilon)$ है।
लाभ: यह सिंगल-स्टेप एक्शन इन्फरेंस और ट्रेनिंग की अनुमति देता है, जिससे नियमितीकरण चरण के दौरान पुनरावृत्ति ODE सॉल्वर की आवश्यकता समाप्त हो जाती है।

2. नॉइज़-कंडीशन्ड क्रिटिक ( $T^\pi_n$ )

मानक डिस्ट्रीब्यूशनल क्रिटिक्स अक्सर रिटर्न वितरण को मॉडल करने के लिए कई क्वांटाइल्स या एक्सपेक्टाइल्स पर निर्भर करते हैं। FAN एक नॉइज़-कंडीशन्ड क्रिटिक प्रस्तावित करता है जो एकल गाऊसी शोर (Gaussian noise) नमूने का उपयोग करके वितरण संबंधी जानकारी को कैप्चर करता है।

ऑपरेटर परिभाषा: लेखक एक नया डिस्ट्रीब्यूशनल बेलमैन ऑपरेटर $T^\pi_n$ परिभाषित करते हैं जो शोर वेक्टर $\epsilon$ पर Q-वैल्यू को कंडिशन करता है:
$T^\pi_n Q(s, a, \epsilon') \stackrel{d}{=} r + \gamma \cdot \text{ess sup}_{\epsilon \sim \mathcal{N}(0, I)} Q(s', \pi(s', \epsilon'), \epsilon)$
कार्यान्वयन:
- क्रिटिक $Q_\phi(s, a, \epsilon)$ को शोर के आधार पर रिटर्न वितरण को मॉडल करने के लिए प्रशिक्षित किया जाता है।
- ऑपरेटर द्वारा आवश्यक $\text{ess sup}$ को अनुमानित करने के लिए, FAN एक सहायक नेटवर्क $Z_\psi(s, a)$ को प्रशिक्षित करता है जो रिटर्न वितरण के अपर एक्सपेक्टाइल (upper expectile) (जहाँ $\kappa \approx 0.9$ ) को मॉडल करता है।
- क्रिटिक अपडेट वर्तमान अवस्था और टारगेट दोनों के लिए एक एकल शोर नमूना $\epsilon'$ का उपयोग करता है, जो मल्टी-क्वांटाइल विधियों की तुलना में फॉरवर्ड पासेज की संख्या को काफी कम कर देता है।
सैद्धांतिक आधार: $T^\pi_n$ को सुप्रीमक मेट्रिक में $\gamma$ -कॉन्ट्रैक्शन के रूप में सिद्ध किया गया है, जो एक अद्वितीय फिक्स्ड पॉइंट तक अभिसरण (convergence) सुनिश्चित करता है। यह दिखाया गया है कि अपर एक्सपेक्टाइल, $\kappa \to 1$ होने पर, एसेन्शियल सुप्रीमक ( $\text{ess sup}$ ) की ओर अभिसरित होता है।

एल्गोरिदम अवलोकन

FAN एक युग्मित (coupled) एक्टर-क्रिटिक फ्रेमवर्क का उपयोग करता है:

क्रिटिक अपडेट: नॉइज़-कंडीशंड टारगेट और अपर एक्सपेक्टाइल एस्टीमेटर का उपयोग करके टेम्पोरल डिफरेंस (TD) लॉस को कम करता है, जिसमें फ्लो एंकरिंग रेगुलाइजेशन टर्म शामिल है।
पॉलिसी अपडेट: फ्लो एंकरिंग टर्म द्वारा नियमित होते हुए, नॉइज़-कंडीशन्ड Q-वैल्यू और अपर एक्सपेक्टाइल वैल्यू दोनों का उपयोग करके अनुमानित रिटर्न को अधिकतम करता है।
फ्लो पॉलिसी ट्रेनिंग: एक अलग व्यवहार फ्लो नीति $v_\theta$ को मानक फ्लो मैचिंग के माध्यम से डेटासेट वितरण को मॉडल करने के लिए प्रशिक्षित किया जाता है, जो नियमितीकरण के लिए एंकर के रूप में कार्य करता है।

मुख्य योगदान

फ्लो एंकरिंग: एक नवीन व्यवहार नियमितीकरण तकनीक जो एकल फ्लो इटरेशन का उपयोग करके सीखी गई नीति को डेटासेट व्यवहार के साथ संरेखित करती है, जिससे पुनरावृत्ति ODE सैंपलिंग की कम्प्यूटेशनल लागत से बचा जा जा सकता है।
नॉइज़-कंडीशन्ड वैल्यू फंक्शन: एक डिस्ट्रीब्यूशनल वैल्यू फंक्शन जो एकल गाऊसी शोर नमूने का उपयोग करके अभिव्यंजक रिटर्न जानकारी को कैप्चर करने के लिए ऑपरेटर $T^\pi_n$ द्वारा परिभाषित किया गया है, जो मल्टी-सैंपल क्वांटाइल अनुमान की आवश्यकता को समाप्त करता है।
FAN एल्गोरिदम: एक एकीकृत एल्गोरिदम जो अत्याधुनिक ऑफलाइन RL प्रदर्शन प्राप्त करता है और साथ ही पिछले अभिव्यक्तिपूर्ण तरीकों की तुलना में रनटाइम को काफी कम करता है।

प्रयोगात्मक परिणाम

लेखकों ने D4RL (AntMaze और Adroit कार्यों) और OGBench (स्टेट-बेस्ड और पिक्सेल-बेस्ड कार्यों) पर FAN का मूल्यांकन किया।

प्रदर्शन: FAN ने 9 में से 7 कार्य वातावरणों में अत्याधुनिक (या अत्याधुनिक के करीब) प्रदर्शन प्राप्त किया। इसने जटिल मैनिपुलेशन कार्यों (जैसे, पज़ल्स, क्यूब्स) पर गैर-डिस्ट्रीबशनल बेसलाइन्स (ReBRAC, IDQL, FQL) को उल्लेखनीय रूप से पीछे छोड़ दिया और औसतन डिस्ट्रीबशनल बेसलाइन्स (IQN, CODAC, Value Flows) से बेहतर प्रदर्शन किया।
दक्षता:
- ट्रेनिंग: FAN ने पिछले डिस्ट्रीब्यूशनल दृष्टिकोणों (जैसे, CODAC, IQN) की तुलना में, जो कई क्वांटाइल नमूनों पर निर्भर करते हैं, ट्रेनिंग रनटाइम को कम से कम 5 $\times$ कम कर दिया।
- इन्फरेंस: FAN ने सभी बेसलाइन्स में सबसे तेज़ इन्फरेंस स्पीड प्रदर्शित की, जो सिंगल-स्टेप सैंपलिंग आवश्यकता के कारण गैर-डिस्ट्रीबशनल विधियों के भी प्रतिस्पर्धी है।
एब्लेशन अध्ययन (Ablation Studies):
- फ्लो एंकरिंग बनाम मानक BC: फ्लो एंकरिंग ने लगातार मानक व्यवहार क्लोनिंग (BC) और FQL-शैली के BC की तुलना में बेहतर या तुलनीय प्रदर्शन दिया, जो इसकी दक्षता और प्रभावशीलता को प्रमाणित करता है।
- $T^\pi_n$ बनाम मानक बेलमैन: फ्लो एंकरिंग के साथ $T^\pi_n$ का उपयोग करने से समान रेगुलाइजेशन के साथ उपयोग किए गए मानक गैर-डिस्ट्रीब्यूशनल बेलमैन ऑपरेटरों की तुलना में प्रदर्शन में सुधार हुआ।
- हाइपरपैरामीटर्स: विधि $\kappa$ (एक्सपेक्टाइल कोएफिशिएंट) के चयन के प्रति मजबूत थी, जहाँ $\kappa=0.9$ ने सबसे अच्छा संतुलन प्रदान किया। वैल्यू ट्रेनिंग के लिए शोर नमूनों की संख्या बढ़ाने से कोई महत्वपूर्ण लाभ नहीं हुआ, जो इसके सिंगल-सैंपल डिज़ाइन को सही ठहराता है।
- ऑफलाइन-टू-ऑनलाइन: FAN ने ऑफलाइन-टू-ऑनलाइन फाइन-ट्यूनिंग में मजबूत क्षमता प्रदर्शित की, 1M स्टेप्स के ऑनलाइन इंटरैक्शन के बाद 5 में से 4 कार्यों पर अत्याधुनिक परिणाम प्राप्त किए।

महत्व और दावे

पेपर का दावा है कि FAN सफलतापूर्वक ऑफलाइन RL में अभिव्यक्तिशीलता (expressivity) और दक्षता (efficiency) के बीच के अंतर को पाटता है। "सिंगल-स्टेप फ्लो" और "सिंगल-सैंपल डिस्ट्रीब्यूशनल क्रिटिक्स" के सरलीकरण को सैद्धांतिक रूप से पुख्ता करके, लेखक प्रदर्शित करते हैं कि उच्च प्रदर्शन के लिए आवश्यक रूप से उच्च कम्प्यूटेशनल लागत की आवश्यकता नहीं होती है।

FAN का महत्व निम्नलिखित में निहित है:

स्केलेबिलिटी: संसाधन-बाधित सेटिंग्स में अभिव्यंजक जनरेटिव मॉडल (फ्लो पॉलिस) और डिस्ट्रीबशनल वैल्यू फंक्शनों का उपयोग करने में सक्षम बनाना।
व्यावहारिकता: फ्लोटिंग-पॉइंट ऑपरेशंस (FLOPs) और वॉल-क्लॉक समय को कम करना, जिससे सक्षम पॉलिसियों को रोबोटिक हार्डवेयर पर तैनात करना आसान हो जाता है।
सैद्धांतिक सुदृढ़ता: प्रस्तावित नॉइज़-कंडीशन्ड ऑपरेटर के लिए अभिसरण गारंटी और फ्लो एंकरिंग रेगुलाइजेशन की वैधता प्रमाण प्रदान करना, यह सुनिश्चित करना कि दक्षता लाभ सैद्धांतिक स्थिरता की कीमत पर नहीं आते हैं।

लेखक निष्कर्ष निकालते हैं कि FAN ऑफलाइन RL में फ्लो पॉलिसों को लागू करने और मॉडल-आधारित कार्यों के लिए जोखिम-संवेदनशील उपयोग के लिए डिस्ट्रीब्यूशनल जानकारी का लाभ उठाने के नए मार्ग खोलता है, जबकि पूरी तरह से एल्गोरिथमिक दक्षता पर ध्यान केंद्रित करता है।