🤖 machine learning

Entropy-Regularized Adjoint Matching for Offline RL

यह शोध पत्र मैक्सिमम एंट्रॉपी एडजॉइंट मैचिंग (ME-AM) का प्रस्ताव करता है, जो एक एकीकृत ढांचा है जो लोकप्रियता पूर्वाग्रह (popularity bias) और सपोर्ट बाइंडिंग (support binding) से निपटने के लिए मिरर डिसेंट एंट्रॉपी मैक्सिमाइजेशन और एक मिश्रण व्यवहार पूर्ववर्ती (mixture behavior prior) को फ्लो-मैचिंग-आधारित ऑफलाइन आरएल (RL) में एकीकृत करता है, जिससे स्पार्स-रिवॉर्ड डेटासेट्स से इष्टतम नीतियों के सुदृढ़ निष्कर्षण को सक्षम बनाया जा सके।

मूल लेखक: Abdelghani Ghanem, Mounir Ghogho

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abdelghani Ghanem, Mounir Ghogho

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल पहेली सुलझाना सिखाने की कोशिश कर रहे हैं, जैसे कि क्यूब्स को व्यवस्थित करना या स्लाइडिंग टाइल गेम हल करना। आपके पास कोई शिक्षक नहीं है जो रोबोट को चरण-दर-चरण कैसे करना है, यह दिखा सके। इसके बजाय, आपके पास केवल किसी और के पहेली सुलझाने का एक विशाल वीडियो लाइब्रेरी है। कभी-कभी, वीडियो में व्यक्ति गलतियाँ करता है; कभी-कभी वह भाग्यशाली होता है और उसे पूरी तरह से हल कर लेता है।

यह ऑफलाइन रिइन्फोर्समेंट लर्निंग (Offline Reinforcement Learning - RL) की दुनिया है। रोबोट को बिना वास्तविक पहेली को छुए, केवल इस "ऑफलाइन" वीडियो लाइब्रेरी से सीखना होगा।

समस्या: "लोकप्रियता का जाल" और "खाली कमरा"

यह शोध पत्र पहचानता है कि वर्तमान में रोबोट इन वीडियो लाइब्रेरी से कैसे सीखते हैं, इसमें दो प्रमुख समस्याएँ हैं:

लोकप्रियता का जाल (घनत्व पूर्वाग्रह - Density Bias):
कल्पना कीजिए कि वीडियो लाइब्रेरी ज्यादातर उन्हीं सामान्य गलतियों से भरी हुई है जो रोबोट बार-बार करता है। कुछ दुर्लभ क्लिप्स दिखाते हैं कि रोबट ने एक आदर्श चाल चली।

समस्या: मानक लर्निंग एल्गोरिदम इन लोकप्रिय चालों पर "अटक" जाते हैं। वे सोचते हैं, "वीडियो में हर कोई इसे इसी तरह करता है, इसलिए यह सही होना चाहिए।" वे दुर्लभ, आदर्श चालों को अनदेखा कर देते हैं क्योंकि वे बहुत कम बार दिखाई देती हैं। यह एक ऐसे रेस्टोरेंट की तरह है जो केवल सबसे लोकप्रिय व्यंजन ही परोसता है, भले ही शेफ का गुप्त, अद्भुत व्यंजन रसोई के पीछे रखा हो, जिसे शायद ही कभी ऑर्डर किया जाता हो।
पेपर का शब्द: इसे "पॉपुलैरिटी बायस" (Popularity Bias) कहा जाता है।

खाली कमरा (जीरो-सपोर्ट ट्रैप - Zero-Support Trap):
कल्पना कीजिए कि पूर्ण समाधान के लिए आवश्यक है कि रोबोट एक क्यूब को ऐसी जगह ले जाए जहाँ वीडियो लाइब्रेरी में किसी ने भी क्यूब को कभी नहीं ले जाया।

समस्या: वर्तमान तरीके इस "खाली कमरे" में कदम रखने से डरते हैं। वे गणितीय रूप से केवल वहीं चलने के लिए बाध्य हैं जहाँ वीडियो डेटा मौजूद है। यदि पूर्ण चाल वीडियो की सीमाओं के बाहर है, तो रोबोट उसे कभी भी आज़माने के लिए गणितीय रूप से वर्जित है। यह एक ऐसे जीपीएस (GPS) की तरह है जो आपको किसी गंतव्य तक जाने से मना कर देता है क्योंकि किसी ने भी उस विशिष्ट सड़क पर पहले कभी गाड़ी नहीं चलाई है, भले ही वह सड़क स्वर्ग की ओर जाती हो।
पेपर का शब्द: इसे "सपोर्ट-बाइंडिंग डिलेमा" (Support-Binding Dilemma) कहा जाता है।

पुराना समाधान: "बैंड-एड" दृष्टिकोण

पिछले प्रयासों में इसे ठीक करने के लिए एक "पैच" का उपयोग किया गया था। वे रोबोट को वीडियो से सीखने देते थे, और फिर बिल्कुल अंतिम क्षण में, थोड़ा सा रैंडम "जिटर" (जैसे कि गौसियन नॉइज़) जोड़ देते थे ताकि रोबोट को खाली कमरे की ओर धकेला जा सके।

दोष: पेपर का तर्क है कि यह अव्यवस्थित है। यह एक लीक होती नाव को ठीक करने के लिए यात्रा के अंत में बाल्टियों से पानी बाहर फेंकने जैसा है। यह रोबोट के सीखने के सुचारू प्रवाह को तोड़ देता है और अक्सर डेटा और समाधान के बीच के अंतर को पाटने में विफल रहता है।

नया समाधान: ME-AM (मैक्सिमम एंट्रॉपी एडजॉइंट मैचिंग)

लेखक ME-AM नामक एक नया फ्रेमवर्क प्रस्तावित करते हैं। समस्या को अंत में पैच करने के बजाय, वे पूरी सीखने की प्रक्रिया को सुचारू और निरंतर बनाने के लिए इसे फिर से डिजाइन करते हैं। वे दो मुख्य तरकीबों का उपयोग करते हैं:

1. "ड्रीम टीम" विस्तार (ज्यामितीय विस्तार - Geometric Expansion)

केवल कच्चे वीडियो डेटा का उपयोग करने के बजाय, ME-AM एक "मिश्रण पूर्ववर्ती" (Mixture Prior) बनाता है।

यह कैसे काम करता है: रोबोट वीडियो डेटा को देखता है, लेकिन वह एक स्मार्ट "क्रिटिक" (निर्णायक) से भी पूछता है: "यदि मैं एक थोड़ी अलग चाल चलूँ जो बेहतर हो सकती है, तो वह कैसी दिखेगी?"
उपमा: कल्पना कीजिए कि वीडियो लाइब्रेरी एक शहर का मानचित्र है। पुराने तरीके आपको केवल मानचित्र पर दिखाए गए पक्के रास्तों पर ही चलने देते हैं। ME-A एम उस मानचित्र को लेता है, सड़कों के बीच के अंतराल को ढूंढता है, और "ड्रीम रोड्स" (सपनों के रास्ते) बनाता है जो उन्हें जोड़ते हैं, इस आधार पर कि खजाना (उच्च इनाम) कहाँ छिपा होने की संभावना है। यह रोबोट को इन नए, कल्पित रास्तों पर चलते हुए सिखाता है जबकि वह सीख रहा होता है, ताकि जब वह वास्तव में वहां कदम रखे तो वह डरे नहीं।

2. भीड़ को समतल करना (एंट्रॉपी मैक्सिमाइजेशन - Entropy Maximization)

"लोकप्रियता के जाल" को ठीक करने के लिए, ME-AM एक तकनीक का उपयोग करता है जिसे मिरर डिसेंट (Mirror Descent) कहा जाता है।

यह कैसे काम करता है: यह रोबोट को मजबूर करता है कि वह दुर्लभ, आदर्श चालों को सामान्य, उबाऊ चालों के समान महत्व दे। यह भीड़ को "समतल" कर देता है।
उपमा: एक संगीत कार्यक्रम की कल्पना करें जहाँ भीड़ एक ही पुराने गाने के लिए चिल्ला रही है। डीजे (सीखने का एल्गोरिदम) आमतौर पर वही गाना बजाता है क्योंकि वह लोकप्रिय है। ME-AM एक ऐसे डीजे की तरह कार्य करता है जो जानबूझकर लोकप्रिय गाने की आवाज़ कम कर देता है और दुर्लभ, अद्भुत गाने की आवाज़ बढ़ा देता है, यह सुनिश्चित करता है कि रोबोट लाइब्रेरी के सबसे शोर वाले हिस्सों के बजाय उसके सबसे अच्छे हिस्सों को सुने और उनसे सीखे।

परिणाम: एक सुचारू, निरंतर यात्रा

पेपर का दावा है कि इन दो तरकीपों को मिलाकर, ME-AM रोबोट को सक्षम बनाता है:

सुरक्षित रूप से अन्वेषण करना: यह "खाली कमरों" (बिना डेटा वाले क्षेत्रों) में कदम रख सकता है क्योंकि इसने पहले ही अपने "ड्रीम रोड्स" का उपयोग करके नेविगेट करना सीख लिया है।
शोर को अनदेखा करना: यह वीडियो में सबसे आम गलतियों पर ध्यान केंद्रित करना बंद कर देता है और उच्च-इनाम वाली क्रियाओं पर ध्यान केंद्रित करता है, भले ही वे दुर्लभ हों।
सुचारू रहना: पुराने "बैंड-एड" तरीकों के विपरीत, यह एक निरंतर, तरल गति में होता है, जैसे एक डांसर अपनी दिनचर्या के माध्यम से चलता है, न कि एक रोबोट जो अंत में अपने हाथ को झटके से हिलाता है।

प्रमाण

लेखकों ने कठिन पहेलियों (जैसे 4x4 स्लाइडिंग टाइल पहेली और तीन क्यूब्स को व्यवस्थित करना) पर इसका परीक्षण किया।

परिणाम: ME-AM ने इन पहेलियों को सभी पिछले "स्टेट-ऑफ-द-आर्ट" (State-of-the-Art) तरीकों की तुलना में काफी बेहतर तरीके से हल किया।
गति: इसने अन्य तरीकों की तरह ही तेजी से इन्हें हल किया, जिससे यह सिद्ध हुआ कि इन स्मार्ट फीचर्स को जोड़ने से रोबोट की गति धीमी नहीं हुई।

संक्षेप में, ME-AM रोबोट को नए रास्तों पर चलने के लिए पर्याप्त साहसी और भीड़ को अनदेखा करने के लिए पर्याप्त स्मार्ट बनाता है, जबकि उसकी गतिविधियाँ सुचारू और प्राकृतिक बनी रहती हैं।

तकनीकी सारांश: ऑफलाइन RL के लिए एंट्रॉपी-रेगुलराइज्ड एडजॉइंट मैचिंग (Entropy-Regularized Adjoint Matching)

समस्या विवरण (Problem Statement)

यह शोध पत्र फ्लो-मैचिंग मॉडल्स जैसे अभिव्यंजक जेनेरेटिव पॉलिसीज़ का उपयोग करते समय ऑफलाइन रिइन्फोर्समेंट लर्निंग (RL) में निहित सपोर्ट-बाइंडिंग डिलेमा (Support-Binding Dilemma - SBD) को संबोधित करता है। जबकि निरंतर-समय फ्रेमवर्क जैसे एडजॉइंट मैचिंग (QAM), अनस्टेबल सॉल्वर बैकप्रोपैगेशन को दरकिनार करके पॉलिसी ऑप्टिमाइज़ेशन को स्थिर करते हैं, वे अभी भी फिक्स्ड बिहेवियर डिस्ट्रीब्यूशन ( $\pi_\beta$ ) से सख्ती से बंधे रहते हैं। यह निर्भरता दो महत्वपूर्ण सीमाएँ पैदा करती है:

लोकप्रियता पूर्वाग्रह (Popularity Bias - Density Front): अनुकूलन (Optimization) व्यवहार प्रायर ( $\pi^* \propto \pi_\beta \exp(Q/\tau)$ ) पर एक गुणात्मक निर्भरता पर आधारित है। यदि कोई इष्टतम क्रिया (action) डेटासेट में दुर्लभ है, तो लुप्त होता $\pi_\beta$ टर्म रिवॉर्ड सिग्नल को दबा देता है। इससे निपटने के लिए आक्रामक तापमान स्केलिंग (temperature scaling) की आवश्यकता होती है, जो क्रिटिक एप्रोक्सिमेशन एरर्स को बढ़ा देती है और एजेंट को स्थिरता बनाए रखने के लिए उप-इष्टतम, उच्च-आवृत्ति वाली क्रियाओं को स्वीकार करने के लिए मजबूर करती है।
जीरो-सपोर्ट ट्रैप (Zero-Support Trap - Geometric Front): यदि कोई इष्टतम क्रिया बिहेवियर डेटा के सपोर्ट के बाहर स्थित है, तो $\pi_\beta = 0$ हो जाता है। यह संरचनात्मक बाधा एजेंट को कभी भी इन क्षेत्रों तक पहुँचने से रोकती है, जिससे रिवॉर्ड सिग्नल के बावजूद नए व्यवहारों की खोज रुक जाती है।

मौजूदा समाधान, जैसे कि एजेंट को डेटा मैनिफोल्ड से बाहर धकेलने के लिए रेसिडुअल गॉसियन पॉलिसीज़ (जैसे QAM-Edit) को जोड़ना, अक्सर निरंतर ODE फॉर्मूलेशन को बाधित करते हैं। ये हीयुरिस्टिक्स (heuristics) संरचनात्मक पैच के रूप में कार्य करते हैं जो सुसंगत वेक्टर फील्ड ट्राजेक्टरी को बाधित करते हैं और उन अभिव्यंजक बाधाओं को फिर से पेश करते हैं जो यूनिमोडल डिस्ट्रीब्यूशंस से जुड़ी होती हैं।

कार्यप्रणाली: मैक्सिमम एंट्रॉपी एडजॉइंट मैचिंग (ME-AM)

लेखक मैक्सिमम एंट्रॉपी एडजॉइंट मैचिंग (ME-AM) का प्रस्ताव करते हैं, जो एक एकीकृत फ्रेमवर्क है जो निरंतर फ्लो फॉर्मूलेशन के भीतर ही SBD को पूरी तरह से हल करता है। ME-AM दो प्राथमिक तंत्रों को एकीकृत करता है:

1. रिवॉर्ड-गाइडेड मिक्सचर प्रायर (Geometric Expansion)

निरंतर ODE को तोड़े बिना अलग-थलग डेटा क्लस्टर्स के बीच ज्यामितीय अंतर को पाटने के लिए, ME-AM प्रशिक्षण के दौरान बिहेवियर डेटासेट को बढ़ाता है।

तंत्र (Mechanism): डेटासेट के क्रियाओं का एक अंश $\epsilon$ को एक सहायक गॉसियन एक्टर ( $\pi_\omega$ ) द्वारा उत्पन्न सिंथेटिक लक्ष्यों के साथ बदल दिया जाता है। यह एक्टर स्टेट और एक एम्पिरिकल एक्शन के आधार पर उच्च-रिवॉर्ड क्रियाओं की भविष्यवाणी करने के लिए SAC-शैली के ऑब्जेक्टिव के माध्यम से प्रशिक्षित किया जाता है।
प्रभाव: मूल फ्लो को एक मिश्रण वितरण $\pi_{mix} = (1-\epsilon)\pi_\beta + \epsilon\pi_\omega$ के विरुद्ध प्रशिक्षित किया जाता है। यह स्वाभाविक रूप से वैध ज्यामितीय सपोर्ट का विस्तार करता है, जिससे मॉडल को एक संरचनात्मक रूप से सुदृढ़, निरंतर ODE बनाए रखते हुए शोर (noise) को आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) मोड्स में ट्रांसपोर्ट करना सीखने की अनुमति मिलती है।

2. मिरर डिसेंट द्वारा डेंसिटी फ्लैटनिंग (Entropy Maximization)

लोकप्रियता पूर्वाग्रह को कम करने के लिए, ME-AM एडजॉइंट सिस्टम के भीतर सीधे फाइन-ट्यून की गई पॉलिसी की डिफरेंशियल एंट्रॉपी को अधिकतम करता है।

तंत्र: स्पष्ट डेंसिटी मूल्यांकन (जो कम्प्यूटेशनल रूप से निषेधात्मक है) के बजाय, यह विधि फंक्शनल मिरर डिसेंट (MD) का उपयोग करती है। एंट्रॉपी मैक्सिमाइजेशन के लिए फंक्शनल ग्रेडिएंट नेगेटिव स्कोर फंक्शन ( $-\nabla \log \pi$ ) के रूप में सरल हो जाता है।
कार्यान्वयन: नेगेटिव स्कोर को वैल्यू ग्रेडिएंट के साथ टर्मिनल बाउंड्री कंडीशन में सीधे इंजेक्ट किया जाता है। टर्मिनल बाउंड्री ( $t \to 1$ ) पर संख्यात्मक अस्थिरता से बचने के लिए, एक हल्का सहायक स्कोर नेटवर्क ( $S_\psi$ ) एक वेरिएंस-वेटेड डीनोइजिंग ऑब्जेक्टिव के माध्यम से प्रशिक्षित किया जाता है।
प्रभाव: यह प्रक्रिया विस्तारित सपोर्ट के भीतर पीक्ड बिहेवियर डेंसिटी को फ्लैट करती है, जिससे एजेंट को सख्त तापमान स्केलिंग के अत्यधिक, एरर-एम्प्लीफाइंग कंट्रास्ट की आवश्यकता के बिना उच्च-रिवॉर्ड क्रियाओं पर ध्यान केंद्रित करने की अनुमति मिलती है।

सैद्धांतिक फॉर्मूलेशन

एकीकृत ऑब्जेक्टिव फाइन-ट्यून किए गए वेक्टर फील्ड को एक इंटरपोलेटेड रेफरेंस फ्लो ( $v_{ref}$ ) के साथ संरेखित करता है जो स्टैटिक मिक्सचर बेस और एक स्लो-मूविंग टारगेट एंकर के बीच संतुलन बनाता है। लेखक सिद्ध करते हैं (Theorem 2) कि इष्टतम स्टेशनरी पॉलिसी इस ओर अभिसरित (converge) होती है:
$\pi^*(a|s) \propto (\pi_{mix}(a|s))^{\delta(s)} \exp\left( \frac{1}{\kappa(s)} Q_\phi(s, a) \right)$
जहाँ $\delta(s) \in (0, 1)$ एक स्टेट-डिपेंडेंट एक्सपोनेंट है जो गणितीय रूप से प्रायर डेंसिटी के फ्लैटनिंग की गारंटी देता है, जिससे एक्सप्लोरेशन को एम्पिरिकल डेटा फ्रीक्वेंसी से अलग किया जाता है।

मुख्य योगदान

एकीकृत फ्रेमवर्क: ME-AM निरंतर फ्लो फॉर्मूलेशन के भीतर ही सपोर्ट-बाइंडिंग डिलेमा को हल करने वाला पहला तरीका है, जो ODE संरचना को तोड़ने वाले विलगित (disjointed) एडिट्स या पोस्ट-प्रोसेसिंग हीयुरिस्टिक्स की आवश्यकता को समाप्त करता है।
ज्यामितीय और डेंसिटी समाधान: यह एक लर्न करने योग्य, क्रिटिक-गाइडेड मिक्सचर प्रायर के माध्यम से जीरो-सपोर्ट ट्रैप और फंक्शनल मिरर डिसेंट एंट्रॉपी मैक्सिमाइजेशन के माध्यम से लोकप्रियता पूर्वाग्रह को एक साथ संबोधित करता है।
सैद्धांतिक गारंटी: पेपर यह स्थापित करने वाले प्रमाण प्रदान करता है कि निरंतर-समय ऑब्जेक्टिव सटीक रूप से एक लक्षित, डेंसिटी-फ्लैटन की गई स्टेशनरी पॉलिसी की ओर अभिसरित होता है।
मजबूत कार्यान्वयन: यह टर्मिनल बाउंड्री पर एनालिटिकल स्कोर के संख्यात्मक विस्फोट से बचने के लिए एक डीकप्ल्ड सहायक स्कोर पैरामीट्राइजेशन का उपयोग करता है, जिससे स्थिर प्रशिक्षण सुनिश्चित होता है।

प्रयोगात्मक परिणाम

लेखकों ने ME-AM का मूल्यांकन OGBench (puzzle-4x4 और cube-triple) के दो चुनौतीपूर्ण डोमेन पर किया, जो स्पार्स रिवॉर्ड्स और जटिल, मल्टी-मोडल व्यवहारों द्वारा पहचाने जाते हैं।

ऑफलाइन प्रदर्शन: ME-AM ने QAM, FEdit, CGQL और ReBRAC सहित विविध SOTA मेथड्स की तुलना में प्रतिस्पर्धी या बेहतर प्रदर्शन प्रदर्शित किया। puzzle-4x4 डोमेन पर, ME-AM ने 56% (एग्रीगेट) की ग्लोबल सक्सेस रेट हासिल की, जो अगले सर्वश्रेष्ठ मेथड QAM-E (37%) से काफी बेहतर है।
एब्लेशन स्टडीज (Ablation Studies):
- ज्यामितीय विस्तार: केवल बिहेवियर सपोर्ट ( $\epsilon=0$ ) पर निर्भर रहने से स्पार्स डोमेन में प्रदर्शन पूरी तरह से गिर गया, जो मिक्सचर प्रायर की आवश्यकता की पुष्टि करता है।
- KL रेगुलराइजेशन: ज्यामितीय विस्तार के दौरान स्टोकेस्टिसिटी पेश करते समय प्रशिक्षण को स्थिर करने के लिए स्पष्ट KL पाथ कंस्ट्रेंट्स आवश्यक पाए गए।
- नॉइज़ फ्लोर: एक बड़ा इवैल्यूएशन नॉइज़ फ्लोर ( $\sigma_{min} = 0.3$ ) कुछ कार्यों में प्रदर्शन में सुधार करता है, जो एक स्थानिक स्मूथिंग फैक्टर के रूप में कार्य करता है।
ऑफलाइन-टू-ऑनलाइन फाइन-ट्यूनिंग: ME-AM ने वैनिला QAM की तुलना में ऑनलाइन प्रदर्शन में काफी सुधार किया, जो QAM-edit के बराबर परिणाम प्राप्त करने में सक्षम रहा और ऑनलाइन एक्सप्लोरेशन के लिए अतिरिक्त एडिट पॉलिसी की आवश्यकता को समाप्त कर दिया।
दक्षता (Efficiency): हालांकि सहायक नेटवर्क के कारण प्रशिक्षण समय थोड़ा अधिक है, लेकिन अनुमान गति (0.14 ms/step) मानक फ्लो-मैचिंग पॉलिसी के समान है, क्योंकि तैनाती से पहले सहायक घटकों को कम्प्यूटेशनल ग्राफ से अलग कर दिया जाता है।

महत्व और दावे

पेपर का दावा है कि ME- अधिकतर रिवॉर्ड को अधिकतम करने और आउट-ऑफ-डिस्ट्रीब्यूशन एक्सट्रपलेशन से बचने के बीच के मौलिक तनाव को हल करके ME-AM, ऑफलाइन RL में एक संरचनात्मक प्रगति का प्रतिनिधित्व करता है। एक एकल, सुसंगत निरंतर-समय फ्रेमवर्क के भीतर वैध एक्शन मैनिफोल्ड का विस्तार करके और एम्पिरिकल बिहेवियर डेंसिटी को फ्लैट करके, ME-AM एजेंटों को स्पार्स, ऑफलाइन डेटासेट्स से मजबूत, इष्टतम पॉलिसी निकालने में सक्षम बनाता है। लेखक जोर देते हैं कि यह दृष्टिकोण निरंतर इष्टतम नियंत्रण के गणितीय गारंटियों को बनाए रखते हुए डेटा सपोर्ट रहित क्षेत्रों में नवीन व्यवहारों की खोज की अनुमति देता है।