🤖 machine learning

Dual Advantage Fields

यह शोधपत्र ड्यूल एडवांटेज फील्ड्स (DAF) का प्रस्ताव करता है, जो एक पॉलिसी-एक्सट्रैक्शन विधि है जो द्वैरेखीय (bilinear) ड्यूल वैल्यू मॉडल्स को लक्ष्य-निर्देशित फीचर विस्थापन (goal-directed feature displacements) के साथ उनके संरेखण के आधार पर क्रियाओं को स्कोर करके स्थानीय एडवांटेज संकेतों में परिवर्तित करती है, जिससे जटिल कार्यों पर ऑफलाइन गोल-कंडीशन्ड रिइन्फोर्समेंट लर्निंग के प्रदर्शन में सुधार होता है।

मूल लेखक: Alexey Zemtsov, Maxim Bobrin, Alexander Nikulin, Dmitry V. Dylov, Fakhri Karray, Vladislav Kurenkov, Martin Takáč, Arip Asadulaev

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alexey Zemtsov, Maxim Bobrin, Alexander Nikulin, Dmitry V. Dylov, Fakhri Karray, Vladislav Kurenkov, Martin Takáč, Arip Asadulaev

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) सुलझाना या किसी ब्लॉक को किसी खास जगह पर ले जाना सिखाने की कोशिश कर रहे हैं, लेकिन आप रोबोट को वास्तविक दुनिया में अभ्यास करने की अनुमति नहीं दे सकते। आपके पास केवल पुराने वीडियो रिकॉर्डिंग (एक डेटासेट) का एक विशाल पुस्तकालय है जो अन्य रोबोटों को ये कार्य करते हुए दिखाते हैं। कुछ रिकॉर्डिंग एकदम सटीक हैं; कुछ अव्यवस्थित, अधूरी या गलतियाँ करती हुई दिखाई देती हैं। यह ऑफलाइन गोल-कंडीशन्ड रिइन्फोर्समेंट लर्निंग (Offline Goal-Conditioned Reinforcement Learning) की चुनौती है।

यह पेपर इस समस्या को हल करने के लिए एक नया तरीका पेश करता है जिसे डुअल एडवांटेज फील्ड्स (Dual Advantage Fields - DAF) कहा जाता है। यह कैसे काम करता है, यहाँ सरल उपमाओं के माध्यम से समझाया गया है।

दो समस्याएँ: मानचित्र और दिशा-सूचक यंत्र (The Map and The Compass)

केवल पुराने वीडियो का उपयोग करके एक रोबोट को बिंदु A से बिंदु B तक पहुँचाने के लिए, उसे एक साथ दो अलग-अलग समस्याओं को हल करने की आवश्यकता होती है:

ग्लोबल मैप (लंबी अवधि का तर्क/Long-Horizon Reasoning): रोबोट को बड़ी तस्वीर समझने की आवश्यकता है। उसे यह जानना चाहिए कि "यदि मैं यहाँ जाता हूँ, तो फिर वहाँ, तो मैं अंततः लक्ष्य तक पहुँच सकता हूँ।" यह एक पूरे शहर के मानचित्र को देखने जैसा है ताकि यह देखा जा सके कि कौन से मोहल्ले आपके गंतव्य से जुड़ते हैं।
लोकल कंपास (क्रिया चयन/Action Selection): किसी विशिष्ट क्षण में, रोबोट को यह तय करने की आवश्यकता है: "मुझे अभी इनमें से कौन सा बटन दबाना चाहिए?" यह एक चौराहे पर खड़े होने और ज़रूरत पड़ने पर दिशा दिखाने के लिए कंपास की आवश्यकता होने जैसा है।

समस्या: पिछले तरीके "मैप" (बड़ी तस्वीर को समझने) में तो बहुत अच्छे थे लेकिन "कंपास" (सही तत्काल क्रिया चुनने) में बहुत खराब थे। वे रोबोट को यह तो बता सकते थे कि "आप लक्ष्य के करीब पहुँच रहे हैं," लेकिन वे इसे यह नहीं बता सकते थे कि "दायाँ बटन दबाने के बजाय बायाँ बटन दबाएँ।"

पुराना तरीका बनाम नया तरीका (DAF)

पुराना तरीका (Dual Goal Representations):
कल्पना कीजिए कि पुराना तरीका एक चिकना, 3D पहाड़ी बनाता है जहाँ पहाड़ी का शिखर ही लक्ष्य है। रोबोट जानता है कि पहाड़ी पर ऊपर होना बेहतर है।

दोष: यदि रोबोट पहाड़ी के नीचे है, तो मानचित्र उसे बताता है "आप नीचे हैं।" लेकिन यह उसे यह नहीं बताता कि ऊपर चढ़ने के लिए किस दिशा में कदम रखना है। जटिल कार्यों में, शिखर तक पहुँचने का रास्ता पहले नीचे उतरने की आवश्यकता वाला हो सकता है (जैसे किसी दीवार के चारों ओर जाने के लिए) या बगल में जाने वाला हो सकता है। केवल मानचित्र इस पर मौन रहता है।

नया तरीका (DAF):
लेखकों ने महसूस किया कि यदि आप "मैप" को एक विशिष्ट कोण से देखें, तो "मैप" में ही "कंपास" का रहस्य छिपा होता है।

ग्रेडिएंट इनसाइट (The Gradient Insight): गणित में, जिस दिशा में आपको सबसे तेज़ी से पहाड़ी पर चढ़ने के लिए जाना होता है, वह "ग्रेडिएंट" (सबसे तीव्र ढलान) है। पेपर यह सिद्ध करता है कि उनके विशिष्ट प्रकार के मानचित्र में, लक्ष्य (Goal) स्वयं एक विशाल तीर की तरह कार्य करता है जो पहाड़ी के ऊपर की ओर इशारा करता है।
एक्शन-इफेक्ट मॉडल (The Action-Effect Model): DAF एक छोटे साइड-मॉडल को यह अनुमान लगाना सिखाता है: "यदि मैं यह बटन दबाता हूँ, तो मेरे स्थान (position) में कैसे परिवर्तन होगा?"
अलाइनमेंट टेस्ट (The Alignment Test): DAF फिर दोनों की तुलना करता है:
1. लक्ष्य का तीर (Goal Arrow) किस दिशा में इशारा करता है? (सर्वश्रेष्ठ मूल्य की दिशा)।
2. बटन दबाने (Button Press) से मैं कहाँ पहुँचता हूँ? (अनुमानित परिवर्तन)।
3. स्कोर: यदि बटन दबाने से आप लक्ष्य के तीर की दिशा में आगे बढ़ते हैं, तो उसे उच्च स्कोर मिलता है। यदि यह आपको दूर धकेलता है, तो उसे कम स्कोर मिलता है।

एक वास्तविक दुनिया की उपमा: "प्री-ग्रैस्प" क्यूब (The "Pre-Grasp" Cube)

पेपर एक बेहतरीन उदाहरण का उपयोग करता है जिसमें एक रोबोटिक हाथ एक क्यूब को उठाने की कोशिश कर रहा है।

जाल (The Trap): कल्पना कीजिए कि रोबोट एक क्यूब को मेज़ पर ले जाना चाहता है। "ग्लोबल मैप" कहता है कि मेज़ लक्ष्य है। एक साधारण कंपास कह सकता है, "हाथ को सीधे मेज़ की ओर ले जाओ।"
वास्तविकता: रोबोट के क्यूब को मेज़ पर रखने से पहले, उसे पहले अपने ग्रिपर को क्यूब के नीचे ले जाना होगा ताकि उसे पकड़ सके। मेज़ की ओर सीधे जाने से हाथ सीधे क्यूब से टकरा जाएगा।
DAF कैसे जीतता है: DAF स्थानीय ज्यामिति (local geometry) को देखता है। वह देखता है कि "लक्ष्य का तीर" (बढ़ते मूल्य की दिशा) अभी वास्तव में क्यूब के नीचे की ओर इशारा कर रहा है, न कि मेज़ की ओर। भले ही मेज़ अंतिम गंतव्य है, स्थानीय कंपास सही ढंग से रोबोट को बताता है: "पहले पकड़ने के लिए नीचे जाएँ।"

परिणाम क्या दर्शाते हैं

लेखकों ने इसका परीक्षण OGBbench पर किया, जो रोबोट लर्निंग के लिए एक मानक टेस्ट सूट है। उन्होंने DAF की तुलना कई अन्य स्मार्ट तरीकों से की।

मेज़ नेविगेशन (Maze Navigation): DAF जटिल भूलभुलैया के माध्यम से लंबे, सफल पथ बनाने के लिए छोटी, अव्यवस्थित वीडियो क्लिप्स को जोड़ने में उत्कृष्ट था।
रोबोट मैनिपुलेशन (Robot Manipulation): DAF उन कार्यों में स्पष्ट विजेता था जिनमें सटीक गतिविधियों (जैसे ब्लॉक को एक के ऊपर एक रखना या दराज हिलाना) की आवश्यकता होती है। यह उन कार्यों में सफल रहा जहाँ अन्य तरीके विफल रहे क्योंकि यह "लक्ष्य की ओर बढ़ने" और "लक्ष्य के करीब पहुँचने के लिए सही कदम उठाने" के बीच अंतर कर सकता था।
पहेलियाँ (Puzzles): इसने जटिल लॉजिक पहेलियों को संभाला जहाँ एक चाल सिस्टम के कई अन्य हिस्सों को बदल देती है।

मुख्य निष्कर्ष (The Bottom Line)

डुअल एडवा ventaja फील्ड्स (Dual Advantage Fields) एक चतुर तकनीक है जो एक "ग्लोबल मैप" (रोबोट कहाँ जा सकता है) को एक "लोकल कंपास" (रोबोट को अभी क्या करना चाहिए) में बदल देती है।

रोबोट को हर संभावित स्थिति के लिए अलग नियम सिखाने के बजाय, DAF लक्ष्य की ज्यामिति का उपयोग करके हर संभावित क्रिया को स्कोर देता है। यह पूछता है: "क्या यह क्रिया मुझे लक्ष्य की दिशा में ले जाती है?" यदि हाँ, तो इसे करें। यदि नहीं, तो न करें। यह रोबोट को वास्तविक दुनिया में अभ्यास करने की आवश्यकता के बिना, अव्यवस्थित और अपूर्ण डेटा से जटिल, दीर्घकालिक कौशल सीखने की अनुमति देता है।

तकनीकी सारांश: ड्यूल एडवांटेज फील्ड्स (Dual Advantage Fields)

समस्या विवरण (Problem Statement)

ऑफलाइन गोल-कंडीशन्ड रीइन्फोर्समेंट लर्निंग (GCRL) एक मौलिक दोहरी चुनौती का सामना करता है: एजेंट को वैश्विक (globally) रूप से दीर्घ-क्षितिज (long-horizon) पहुंच के बारे में तर्क करना चाहिए (यह अनुमान लगाना कि अवस्थाएं समय के साथ कैसे जुड़ती हैं ताकि एक निश्चित डेटासेट से व्यवहारों को जोड़ा जा सके) और स्थानीय (locally) रूप से कार्य करना चाहिए (यह निर्णय लेना कि वर्तमान अवस्था में कौन सा विशिष्ट कार्य लक्ष्य की ओर सबसे अधिक प्रगति करता है)।

जबकि हालिया ड्यूल गोल रिप्रेजेंटेशन (जो वैल्यू को एक द्विपद अंतःक्रिया $V_\theta(s, g) = \psi_\theta(s)^\top \phi_\theta(g)$ के रूप में पैरामीटराइज़ करते हैं) पहुंच के मजबूत वैश्विक मानचित्र प्रदान करते हैं, वे सीधे क्रिया वरीयताओं (action preferences) को निर्दिष्ट करने में विफल रहते हैं। एक वैल्यू सरफेस यह संकेत देता है कि कोई अवस्था किसी लक्ष्य के लिए कितनी अच्छी है, लेकिन यह स्वाभाविक रूप से उपलब्ध क्रियाओं को रैंक नहीं करता है, क्योंकि एक ही अवस्था से कई क्रियाएं समान वैल्यू अनुमानों के साथ उत्पन्न हो सकती हैं। मौजूदा पद्धतियां अक्सर इन वैश्विक क्षेत्रों (global fields) से एक स्थानीय, क्रिया-तुलनात्मक सिग्नल निकालने में संघर्ष करती हैं, जिससे उन कार्यों में उप-इष्टतम प्रदर्शन होता है जहाँ स्थानीय रूप से सही क्रियाएं (जैसे प्री-ग्रास्पिंग) अंतिम लक्ष्य की ओर सीधे आंदोलन से भिन्न होती हैं।

कार्यप्रणाली: ड्यूल एडवांटेज फील्ड्स (DAF)

लेखक ड्यूल एडवांटेज फील्ड्स (DAF) का प्रस्ताव करते हैं, जो एक पॉलिसी-एक्सट्रैक्शन विधि है जो एक अलग गोल-कंडीशन्ड एक्शन-वैल्यू फंक्शन ( $Q$ -function) को प्रशिक्षित किए बिना द्विपद (bilinear) ड्यूल रिप्रेजेंटेशन के ज्यामितीय गुणों का लाभ उठाकर एक स्थानीय एडवांटेज सिग्नल उत्पन्न करती है।

मुख्य अंतर्दृष्टि (Core Insight)

द्विपद पैरामीटराइजेशन $V_\theta(s, g) = \psi_\theta(s)^\top \phi_\theta(g)$ के तहत, गोल एम्बेडिंग $\phi_\theta(g)$ स्टेट एम्बेडिंग के सापेक्ष वैल्यू फील्ड के ग्रेडिएंट के गणितीय रूप से समकक्ष है:
$\nabla_\psi V_\theta(s, g) = \phi_\theta(g)$
इसका तात्पर्य यह है कि गोल एम्बेडिंग स्टेट-रिप्रेजेंटेशन स्पेस में उस दिशा को परिभाषित करती है जिसमें गोल-कंडीशन्ड वैल्यू बढ़ती है।

तंत्र (Mechanism)

DAF इस अंतर्दृष्टि को निम्नलिखित चरणों के माध्यम से संचालित करता है:

एक्शन-इफेक्ट मॉडलिंग: यह विधि एक एक्शन-इफेक्ट मॉडल $u_\xi(s, a)$ सीखती है जो प्रेरित डिस्काउंटेड फीचर डिस्प्लेसमेंट (feature displacement) की भविष्यवाणी करती है:
$u_\xi(s, a) \approx \mathbb{E}_{s' \sim P(\cdot|s,a)} [\gamma \psi_\theta(s') - \psi_\theta(s)]$
ड्यूल एडवांटेज स्कोरिंग: क्रियाओं को प्रेडिक्टेड फीचर डिस्प्लेसमेंट और गोल एम्बेडिंग (वैल्यू-ग्रेडिएंट दिशा) के बीच आंतरिक उत्पाद (inner product) द्वारा स्कोर किया जाता है:
$z_\theta(s, a, g) = u_\xi(s, a)^\top \phi_\theta(g)$
यह स्कोर मापता है कि क्या क्रिया स्टेट रिप्रेजेंटेशन को ऐसी दिशा में ले जाती है जो गोल-कंडीशन्ड पोटेंशियल को बढ़ाती है।
पॉलिसी एक्सट्रैक्शन: विधि पॉलिसी $\pi_\omega$ को निकालने के लिए एडवांटेज-वेटेड रिग्रेशन (AWR) का उपयोग करती है। पॉलिसी को DAF स्कोर के एक्सपोनेंशियल द्वारा भारित (weighted) क्रियाओं के लॉग-प्रोबेबिलिटी को अधिकतम करने के लिए प्रशिक्षित किया जाता है:
$J(\pi_\omega) = \mathbb{E}_{(s,a,g) \sim D} \left[ \exp(\alpha \cdot z_\theta(s, a, g)) \log \pi_\omega(a|s, g) \right]$
वास्तविक स्थिति (realizable case) में, यह स्कोर गोल-कंडीशन्ड बेलमैन एडवांटेज के बराबर होता है, जो एक मानक स्थानीय पॉलिसी-इम्प्रूवमेंट गारंटी प्रदान करता है।

प्रशिक्षण आर्किटेक्चर (Training Architecture)

ट्रेनिंग लूप में शामिल हैं:

ऑफलाइन डेटा पर एक्सपेक्टाइल रिग्रेशन (expectile regression) का उपयोग करके स्टेट और गोल एम्बेडिंग्स ( $\psi_\theta, \phi_\theta$ ) को सीखना, जो पेसिमिस्टिक $Q$ -अनुमानों से जुड़े होते हैं।
एक-चरणीय फीचर डायनेमिक्स को ट्रैक करने के लिए एक ऑक्सिलरी लॉस के माध्यम से डिस्प्लेसमेंट मैप $u_\xi$ को प्रशिक्षित करना।
निरंतर नियंत्रण (continuous control) में स्थिरता सुनिश्चित करने के लिए वैल्यू फील्ड और स्केलर ड्यूल स्कोर के बीच एक "एक्टर-फ्री" कपलिंग, जो भंगुर (brittle) मैक्स- $Q$ ऑपरेटर्स से बचता है।

मुख्य योगदान (Key Contributions)

ज्यामितीय व्याख्या: पेपर प्रदर्शित करता है कि मानक ड्यूल गोल रिप्रेजेंटेशन पैरामीटराइजेशन के तहत, गोल एम्बेडिंग सीखा गया स्टेट रिप्रेजेंटेशन के सापेक्ष गोल-कंडीशन्ड वैल्यू के ग्रेडिएंट दिशा के रूप में कार्य करती है।
DAF एल्गोरिदम: एक पॉलिसी-एक्सट्रैक्शन पद्धति का परिचय जो एक्शन-इफेक्ट वेक्टर्स सीखती है और गोल दिशा के साथ क्रियाओं के संरेखण (alignment) के आधार पर उन्हें स्कोर करती है, जिससे एक स्थानीय एडवांटेज-जैसे सिग्नल का उत्पादन होता है।
एक्टर-फ्री एक्सट्रैक्शन: एक अलग गोल-कंडीशन्ड $Q$ -फंक्शन को प्रशिक्षित किए बिना ऑफलाइन डेटा से पॉलिसी निकालने की एक विधि, जो ऑफलाइन क्रियाओं को भारित करने के लिए ड्यूल क्रिटिक की ज्यामिति का पुन: उपयोग करती है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने लोकोमोशन, मैनिपुलेशन और पज़ल कार्यों को कवर करने वाले OGBench बेंचमार्क पर DAF का मूल्यांकन किया।

मेज़ लोकोमोशन (दीर्घ-क्षितिज): humanoidmaze और antmaze (Navigate और Stitch डेटासेट) पर, DAF ने हॉरिजोन-रिडक्शन बेसलाइन्स (जैसे HIQL, OTA) की तुलना में प्रतिस्पर्धी या बेहतर परिणाम प्राप्त किए। विशेष रूप से, DAF "Stitch" कार्यों में उत्कृष्ट रहा, जिनमें छोटे प्रक्षेप पथ खंडों (trajectory fragments) को लंबी अवधि के समाधानों में जोड़ने की आवश्यकता होती है, जो यह दर्शाता है कि स्थानीय एडवांटेज एक्सट्रैक्शन दीर्घ-क्षितिज संरचना को बनाए रख सकता है।
ऑब्जेक्ट मैनिपुलेशन (स्थानीय नियंत्रण): cube और scene कार्यों पर, DAF ने बेसलाइन्स को काफी पीछे छोड़ दिया। cube कार्य में, DAF ने सफलतापूर्वक प्री-ग्रास्प व्यवहारों (वस्तु की ओर बढ़ना) की पहचान की, बजाय इसके कि सीधे अंतिम प्लेसमेंट लक्ष्य की ओर बढ़े, जो कि केवल ग्लोबल सबगोल्स पर निर्भर विधियों के लिए एक सामान्य विफलता मोड है।
पज़ल पुनर्गठन: कॉम्बिनेटोरियल puzzle कार्यों पर, DAF ने मजबूत प्रदर्शन दिखाया, जो लक्ष्य कॉन्फ़िगरेशन पर डाउनस्ट्रीम प्रभावों के आधार पर क्रियाओं की तुलना करने की आवश्यकता को प्रभावी ढंग से संभालता है।
एग्रीगेट मेट्रिक्स: RLiest मेट्रिक्स (Median, IQM, Mean, Optimality Gap) का उपयोग करते हुए, DAF ने विभिन्न डोमेन में समग्र प्रदर्शन में सुधार किया, जो विभिन्न नियंत्रण संरचनाओं और डेटा व्यवस्थाओं (नॉइजी एक्सपर्ट बनाम सब-ऑप्टिमल डेटा) में मजबूती का संकेत देता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि ड्यूल एडवांटेज फील्ड्स ऑफलाइन GCRL के लिए एक एकीकृत सिद्धांत प्रदान करते हैं: वैश्विक वैल्यू फील्ड्स को स्थानीय एडवांटेज फील्ड्स के साथ जोड़ा जाना चाहिए। ड्यूल रिप्रेजेंटेशन को ग्रेडिएंट के रूप में व्याख्या करके, DAF ड्यूल रिप्रेजेंटेशन को केवल वैश्विक पहुंच मानचित्रों से बदलकर क्रिया चयन के लिए स्थानीय दिशा-सूचक (compass) में बदल देता है।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण विशेष रूप से उन सेटिंग्स में महत्वपूर्ण है जहाँ स्थानीय रूप से सही क्रियाएं सीधे अंतिम लक्ष्य की ओर बढ़ने से भिन्न होती हैं (जैसे प्री-ग्रास्पिंग)। परिणाम बताते हैं कि ड्यूल रिप्रेजेंटेशन का उपयोग न केवल वैश्विक पहुंच मानचित्रों के रूप में किया जाना चाहिए, बल्कि पॉलिसी सुधार के लिए स्थानीय एडवांटेज सिग्नल निकालने के लिए भी स्पष्ट रूप से किया जाना चाहिए, जो पिछले पदानुक्रमित (hierarchical) या क्वासिकमेट्रिक दृष्टिकोणों की तुलना में विविध ऑफलाइन GCRL बेंचमार्क में अधिक सुसंगत प्रदर्शन प्रदान करता है।

पेपर डेटा कवरेज के संबंध में सीमाओं को स्वीकार करता है; अन्य ऑफलाइन RL विधियों की तरह, DAF इस बात पर निर्भर करता है कि डेटासेट आवश्यक क्रियाओं को कवर करता है, और इसका प्रदर्शन सीखे गए ड्यूल रिप्रेजेंटेशन और एक्शन-इफेक्ट मॉडल की सटीकता पर निर्भर करता है।