🤖 machine learning

DADP: Domain Adaptive Diffusion Policy

यह शोध पत्र DADP का प्रस्ताव करता है, जो एक डोमेन एडेप्टिव डिफ्यूजन पॉलिसी है जो लैग्ड कॉन्टेक्स्ट डायनेमिकल प्रेडिक्शन (Lagged Context Dynamical Prediction) के माध्यम से स्थिर डोमेन निरूपणों को क्षणिक गुणों से अनसुपरवाइज्ड तरीके से अलग करके और इन निरूपणों को सीधे डिफ्यूजन जनरेशन प्रक्रिया में एकीकृत करके, अनदेखी ट्रांजिशन डायनेमिक्स के प्रति सुदृढ़ ज़ीरो-शॉट अनुकूलन प्राप्त करता है।

मूल लेखक: Pengcheng Wang, Qinghang Liu, Haotian Lin, Yiheng Li, Guojian Zhan, Masayoshi Tomizuka, Yixiao Wang

प्रकाशित 2026-03-31

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pengcheng Wang, Qinghang Liu, Haotian Lin, Yiheng Li, Guojian Zhan, Masayoshi Tomizuka, Yixiao Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ DADP (डोमेन एडेप्टिव डिफ्यूजन पॉलिसी) पेपर का स्पष्टीकरण दिया गया है, जिसे सरल, रोज़मर्रा की भाषा में और कुछ रचनात्मक उपमाओं (analogies) के साथ अनुवादित किया गया है।

बड़ी समस्या: "एक-आकार-सभी-के-लिए-नहीं" वाला रोबोट

कल्पना कीजिए कि आपने एक रोबोट को एक चिकने, सपाट जिम के फर्श पर चलना सिखाया है। वह बिल्कुल सही तरीके से चलना सीख जाता है। लेकिन जैसे ही आप उसी रोबोट को बाहर एक रेतीले समुद्र तट या फिसलन भरे बर्फीले रास्ते पर ले जाते हैं, वह तुरंत गिर जाता है।

यह रोबोटिक्स और AI की क्लासिक समस्या है: डोमेन एडाप्टेशन (Domain Adaptation)। अधिकांश AI नीतियां "भंगुर" (brittle) होती हैं। वे उस चीज़ में बहुत अच्छी होती हैं जिस पर उन्हें प्रशिक्षित किया गया है, लेकिन जब वातावरण थोड़ा भी बदल जाता है (जैसे गुरुत्वाकर्षण का बदलना, या रोबोट के पैर भारी हो जाना), तो वे विफल हो जाती हैं।

वर्तमान तरीके इसे रोबोट को वातावरण का एक "चीट शीट" (प्रतिनिधित्व/representation) देकर ठीक करने की कोशिश करते हैं। लेकिन यह पेपर तर्क देता है कि इनमें से अधिकांश चीट शीटات अस्त-व्यस्त हैं। वे स्थायी तथ्यों (जैसे "इस रोबोट के पैर भारी हैं") को अस्थायी शोर/नॉइज़ (जैसे "रोबोट अभी बाईं ओर झुक रहा है क्योंकि वह लड़खड़ा गया है") के साथ मिला देते हैं। जब रोबोट इस अव्यवस्थित चीट शीट का उपयोग करने की कोशिश करता है, तो वह भ्रमित हो जाता है।

समाधान: DADP

लेखक DADP का प्रस्ताव करते हैं, जो रोबटों को बिना अतिरिक्त प्रशिक्षण के नए वातावरणों में तुरंत ढलने का एक नया तरीका है। वे इसे दो चतुर चरणों में करते हैं:

1. "टाइम ट्रैवल" ट्रिक (लैग्ड कॉन्टेक्स्ट/Lagged Context)

समस्या: यदि आप एक रोबोट से पूछते हैं, "हम किस तरह की दुनिया में हैं?" और वह अभी-अभी जो हुआ उसके आधार पर जवाब देता है, तो रोबोट भ्रमित हो जाता है। वह रोबोट के लड़खड़ाने को देखता है और सोचता है, "ओह, दुनिया अस्थिर है!" लेकिन दुनिया अस्थिर नहीं है; रोबोट ने बस एक गलती की है। वह स्थिर तथ्यों (दुनिया) को गतिशील शोर (लड़खड़ाना) के साथ मिला रहा है।

DADP का समाधान: लेखक "लैग्ड कॉन्टेक्स्ट" (Lagged Context) की अवधारणा पेश करते हैं।

उपमा: कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि आप कौन सी कार चला रहे हैं।
- सामान्य तरीका: आप अभी डैशबोर्ड देखते हैं। यदि कार लहरा रही है, तो आप सोचते हैं, "यह एक डगमगाती हुई कार है।"
- DADP तरीका: आप 10 सेकंड पहले का डैशबोर्ड देखते हैं। यदि कार 10 सेकंड पहले सीधी चल रही थी, लेकिन अब लहरा रही है, तो आप समझते हैं: "आह, कार वास्तव में स्थिर है; मैं बस एक झटके से टकराया हूँ।"
यह कैसे काम करता है: AI को बहुत पीछे के इतिहास के आधार पर भविष्य की भविष्यवाणी करने के लिए मजबूर करके, यह "तत्काल शोर" (instantaneous noise) का उपयोग करके बेईमानी नहीं कर सकता। यह केवल वातावरण के स्थायी, अपरिवर्तनीय नियमों (जैसे गुरुत्वाकर्षण या घर्षण) को सीखने के लिए मजबूर होता है। यह वातावरण के लिए एक साफ, शुद्ध "ID कार्ड" बनाता है।

2. "गाइड के साथ पेंटिंग करना" ट्रिक (डिफ्यूजन इंजेक्शन/Diffusion Injection)

समस्या: एक बार जब रोबोट के पास वातावरण का एक साफ ID कार्ड होता है, तो वह इसका उपयोग कैसे करता है? अधिकांश तरीके बस ID कार्ड को रोबोट के दिमाग में एक अतिरिक्त इनपुट के रूप में चिपका देते हैं।

उपमा: कल्पना कीजिए कि एक चित्रकार (AI) बिल्ली का चित्र बनाने की कोशिश कर रहा है। यदि आप उन्हें बस बिल्ली की एक फोटो (ID कार्ड) देते हैं और कहते हैं, "इसे पेंट करो," तो वे संघर्ष कर सकते हैं। उन्हें एक खाली कैनवास (शुद्ध शोर) से शुरू करना होगा और फोटो को देखते हुए बिल्ली के आकार का अनुमान लगाना होगा। यह एक अव्यवस्थित, भ्रमित करने वाली प्रक्रिया है।

DADP का समाधान: केवल फोटो दिखाने के बजाय, DADP फोटो को पेंट में ही मिला देता है।

उपमा: कल्पना कीजिए कि चित्रकार अपना पेंट मिला रहा है। सफेद पेंट (शोर) से शुरू करने के बजाय, वे एक ऐसी बाल्टी से शुरू करते हैं जो पहले से ही बिल्ली के रंग से थोड़ी रंगी हुई है।
यह कैसे काम करता है: "डिफ्यूजन मॉडल्स" (जो क्रियाएं उत्पन्न करते हैं, जैसे एक चित्रकार छवि बनाता है) के गणित में, DADP शुरुआती बिंदु को बदल देता है। यह शुरुआती शोर को इस तरह से पक्षपाती (bias) बनाता है कि वह पहले से ही उस विशिष्ट वातावरण के लिए सही व्यवहार की ओर झुका हुआ हो।
- यह केवल रोबोट को यह बताता नहीं है कि "आप बर्फ पर हैं।"
- यह रोबोट की निर्णय लेने की प्रक्रिया को एक अंतर्निहित "फिसलन भरी" प्रवृत्ति के साथ शुरू करता है।
- यह रोबोट के काम को बहुत आसान बना देता है। उसे अनुमान लगाने की ज़रूरत नहीं है; उसे बस एक ऐसे रास्ते को परिष्कृत (refine) करना है जो पहले से ही सही दिशा में है।

यह एक बड़ी बात क्यों है?

पेपर का परीक्षण रोबोट चलने (जैसे चीता या वॉकर) और रोबोट द्वारा नाजुक कार्य करने (जैसे हाथ से दरवाजा खोलना) पर किया गया।

परिणाम: DADP केवल थोड़ा बेहतर नहीं था; यह अत्याधुनिक (state-of-the-art) तरीकों की तुलना में काफी बेहतर था।
"मास्टरी" मेट्रिक: लेखकों ने एक शानदार अवधारणा "मास्टरी" (Mastery) पेश की। उच्च मास्टरी वाला रोबोट केवल जीवित नहीं रहता; वह तेज़ी से और आत्मविश्वास से दौड़ता है। DADP रोबोट उन वातावरणों में "एक्सपर्ट मास्टरी" प्राप्त करते हैं जहाँ अन्य रोबोट मुश्किल से रेंग रहे थे या गिर रहे थे।

संक्षेप में सारांश

पुराना तरीका: रोबोट वातावरण का अनुमान लगाने के लिए तत्काल अतीत को देखता है, जिससे वह अपनी ही गलतियों के कारण भ्रमित हो जाता है। फिर वह शून्य से सही चाल का अनुमान लगाने की कोशिश करता है।
DADP तरीका:
- चरण 1: रोबोट वातावरण को समझने के लिए दूर के अतीत को देखता है, अपनी हालिया गलतियों को अनदेखा करता है। यह उसे दुनिया का एक साफ, सटीक "ID कार्ड" देता है।
- चरण 2: रोबोट उस ID कार्ड का उपयोग अपने शुरुआती बिंदु को पहले से रंगने (pre-tinting) के लिए करता है। वह शून्य से अनुमान नहीं लगाता; वह एक बढ़त के साथ शुरू करता है, यह जानते हुए कि वह किस तरह की दुनिया में है।

यह एक छात्र को केवल उत्तर कुंजी (answer key) रटने के बजाय, परीक्षा के सिद्धांतों को इतनी अच्छी तरह से समझने के लिए सिखाने जैसा है कि वे पूरी तरह से अलग परीक्षा कक्ष में जाकर भी उत्कृष्ट प्रदर्शन कर सकें।

यहाँ शोध पत्र "DADP: Domain Adaptive Diffusion Policy" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र सुदृढीकरण शिक्षण (Reinforcement Learning - RL) में डोमेन एडेप्टिव पॉलिसी लर्निंग (Domain Adaptive Policy Learning) की चुनौती को संबोधित करता है। जबकि लर्निंग-आधारित पॉलिसियों ने विशिष्ट वातावरणों में सफलता प्राप्त की है, वे अक्सर उन अनदेखे डोमेन (Out-of-Distribution या OOD) में विफल हो जाती हैं जहाँ ट्रांज़िशन डायनेमिक्स (जैसे घर्षण, गुरुत्वाकर्षण, या रूपात्मक परिवर्तन) बदल जाते हैं।

मौजूदा दृष्टिकोण आमतौर पर डोमेन-विशिष्ट जानकारी को कैप्चर करने के लिए डोमेन रिप्रेजेंटेशन लर्निंग (Domain Representation Learning) पर निर्भर करते हैं। हालाँकि, लेखक वर्तमान विधियों में एक महत्वपूर्ण दोष की पहचान करते हैं:

स्थिर और गतिशील सूचनाओं का उलझाव (Entanglement of Static and Dynamic Information): अधिकांश विधियाँ अगले स्टेट (state) की भविष्यवाणी करने के लिए हालिया इतिहास (context) का उपयोग करती हैं। इसके कारण सीखा गया रिप्रेजेंटेशन स्थिर डोमेन कारकों (जैसे गुरुत्वाकर्षण, अंग की लंबाई) को समय-परिवर्तनीय गतिशील गुणों (जैसे तात्कालिक वेग, उच्च-क्रम डेरिवेटिव) के साथ उलझा देता है।
परिणाम: यह मिश्रण कंडीशन की गई पॉलिसी को भ्रमित करता है, जिससे एक ही डोमेन के भीतर रिप्रेजेंटेशन ड्रिफ्ट (representation drift) होता है और ज़ीरो-शॉट अनुकूलन (zero-shot adaptation) की क्षमता सीमित हो जाती है।
अप्रभावी उपयोग: यहाँ तक कि जब रिप्रेजेंटेशन सीख लिए जाते हैं, तब भी मानक विधियाँ उन्हें केवल अतिरिक्त इनपुट कॉनकेटेनेशन (concatenation) के रूप में उपयोग करती हैं, जिससे डिफ्यूजन मॉडल की जेनेरेटिव प्रक्रिया की संरचना का पूर्ण लाभ नहीं मिल पाता।

2. कार्यप्रणाली: DADP

लेखक DADP (Domain-Adaptive Diffusion Policy) का प्रस्ताव करते हैं, जो दो मुख्य नवाचारों के माध्यम से मजबूत अनुकूलन प्राप्त करता है: अनसुपरवाइज्ड डिसेंटैंगलमेंट (Unsupervised Disentanglement) और डोमेन-अवेयर डिफ्यूजन इंजेक्शन (Domain-Aware Diffusion Injection)।

A. अनसुपरवाइज्ड डिसेंटैंगलमेंट: लैग्ड कॉन्टेक्स्ट डायनेमिकल प्रेडिक्शन (Lagged Context Dynamical Prediction)

शुद्ध स्थिर डोमेन रिप्रेजेंटेशन ( $\xi$ ) निकालने और समय-परिवर्तनीय जानकारी ( $\omega_t$ ) को फ़िल्टर करने के लिए, लेखक लैग्ड कॉन्टेक्स्ट डायनेमिकल प्रेडिक्शन पेश करते हैं।

तंत्र (Mechanism): तत्काल पिछले इतिहास ( $\tau_t$ ) का उपयोग करके अगले स्टेट ( $s_{t+1}$ ) की भविष्यवाणी करने के बजाय, मॉडल एक टेम्पोरल ऑफसेट $\Delta t$ ( $\tau_{t-\Delta t}$ ) के साथ कॉन्टेक्स्ट का उपयोग करता है।
तर्क (Logic):
- जब $\Delta t$ छोटा होता है (जैसे, 1), तो कॉन्टेक्स्ट में तात्कालिक संकेत (वेग) होते हैं जो अगले स्टेट की भविष्यवाणी करने में मदद करते हैं, जिससे रिप्रेजेंटेशन इन क्षणिक गुणों को एनकोड कर लेता है।
- जैसे-जैसे $\Delta t \to \infty$ होता जाता है (जैसे, उसी डोमेन के किसी अन्य एपिसोड से कॉन्टेक्स्ट का उपयोग करना), तात्कालिक वेग संकेत वर्तमान स्टेट की भविष्यवाणी करने के लिए अप्रासंगिक हो जाते हैं।
- मॉडल को प्रेडिक्शन लॉस को कम करने के लिए केवल स्थिर डोमेन कारकों (जैसे गुरुत्वाकर्षण या द्रव्यमान) पर निर्भर रहने के लिए मजबूर किया जाता है।
परिणाम: यह अनसुपरवाइज्ड रणनीति बिना किसी ग्राउंड-ट्रुथ लेबल के, स्थिर डोमेन रिप्रेजेंटेशन को समय-परिवर्तनीय डायनेमिक्स से प्रभावी ढंग से अलग (disentangle) कर देती है।

B. डोमेन-अवेयर डिफ्यूजन इंजेक्शन (Domain-Aware Diffusion Injection)

एक बार उच्च-गुणवत्ता वाले स्थिर रिप्रेजेंटेशन ( $z$ ) सीख लिए जाने के बाद, DADP उन्हें केवल नेटवर्क को कंडीशन करने के बजाय, डिफ्यूजन पॉलिसी की जेनेरेटिव प्रक्रिया में सीधे एकीकृत करता है।

बायस्ड प्रायर डिस्ट्रीब्यूशन (Biased Prior Distribution): स्टैंडर्ड गॉसियन नॉइज़ डिस्ट्रीब्यूशन से डिनोइज़िंग प्रक्रिया शुरू करने के बजाय, DADP प्रक्रिया को सीखे गए डोमेन रिप्रेजेंटेशन $z$ $z$ के इर्द-गिर्द केंद्रित एक गॉसियन मिक्सचर (Gaussian Mixture) से शुरू करता है।
- सूत्र: $a_t = \sqrt{\bar{\alpha}_t}(a_0 - z) + z + \sqrt{1-\bar{\alpha}_t}\epsilon$ ।
- यह प्रायर डिस्ट्रीब्यूशन को डोमेन-विशिष्ट एक्शन मोडैलिटीज की ओर बायस (bias) करता है।
पुनर्गठित डिफ्यूजन टारगेट (Reformulated Diffusion Target): मॉडल को एक कम्पोजिट टर्म $\hat{\epsilon}_\theta$ $\overset{ϵ}{^}_{θ}$ की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है जिसमें शोर (noise) और रिप्रेजेंटेशन शिफ्ट दोनों शामिल होते हैं।
- यह प्रत्येक डिनोइज़िंग स्टेप पर अतिरिक्त सुपरविजन प्रदान करता है, जो ट्रैजेक्टरी को अधिक कुशलता से सही डोमेन मैनिफोल्ड की ओर निर्देशित करता है।

3. मुख्य योगदान

लैग्ड कॉन्टेक्स्ट डायनेमिकल प्रेडिक्शन: कॉन्टेक्स्ट और वर्तमान स्टेट के बीच टेम्पोरल कोरिलेशन को तोड़कर स्थिर डोमेन रिप्रेजेंटेशन सीखने की एक नवीन, सरल और प्रभावी अनसुपरवाइज्ड विधि।
रिप्रेजेंटेशन-प्रेडिक्शन इंजेक्शन: प्रायर डिस्ट्रीब्यूशन को बायस करके और डिफ्यूजन टारगेट को पुनर्गठित करके डिफ्यूजन पॉलिसियों में डोमेन रिप्रेजेंटेशन का उपयोग करने का एक नया प्रतिमान (paradigm)।
श्रेष्ठ ज़ीरो-शॉट प्रदर्शन: विविध लोकोमोशन और मैनिपुलेशन कार्यों में स्टेट-ऑफ-द-आर्ट (SOTA) ज़ीरो-शॉट डोमेन अडैप्टेशन प्रदर्शन प्रदर्शित किया गया।
ओपन-सोर्स रिलीज़: लेखकों ने सामुदायिक अनुसंधान को सुगम बनाने के लिए एक पूर्ण कोडबेस, डेटासेट और डेटा जनरेशन पाइपलाइन जारी की है।

4. प्रयोगात्मक परिणाम

लेखकों ने MuJoCo (HalfCheetah, Walker2d, Ant, Hopper) और Adroit (मैनिपुलेशन टास्क) सहित चुनौतीपूर्ण बेंचमार्क पर DADP का मूल्यांकन किया।

प्रदर्शन: DADP ने IID (In-Distribution) और OOD (Out-of-Distribution) दोनों सेटिंग्स में SOTA बेसलाइन्स (CORRO, Prompt-DT, Meta-DT) को लगातार पछाड़ दिया।
- उदाहरण: Walker2d OOD पर, DADP ने 2834 का नॉर्मलाइज्ड रिटर्न प्राप्त किया, जो Meta-DT (889) और CORRO (66) से काफी अधिक है।
- उदाहरण: HalfCheetah OOD पर, DADP ने 3001 प्राप्त किया, जबकि Meta-DT ने 3174 प्राप्त किया (नोट: DADP ने कम std dev के साथ उच्च स्थिरता दिखाई)।
एब्लेशन स्टडीज (Ablation Studies):
- $\Delta t$ का प्रभाव: $\Delta t$ के बढ़ने से रिप्रेजेंटेशन की गुणवत्ता (लीनियर प्रोब एक्यूरेसी और रिकंस्ट्रक्शन लॉस द्वारा मापा गया) में काफी सुधार हुआ, जो डिसेंटैंगलमेंट पर पुष्टि करता है।
- उपयोग रणनीति (Utilization Strategy): "w/ Predict" रणनीति (प्रायर बायसिंग + टारगेट रिफॉर्मुलेशन) ने उच्चतम प्रदर्शन दिया, जो केवल सिंपल कंडीशनिंग या प्रायर बायसिंग अकेले से बेहतर था।
मास्टरी मेट्रिक (Mastery Metric): DADP ने उच्चतम "मास्टरी" (उन डोमेन का प्रतिशत जहाँ पॉलिसी एक्सपर्ट प्रदर्शन के 60% तक पहुँचती है) प्राप्त की, जो विविध एम्बॉडिमेंट्स (embodiments) को नियंत्रित करने की इसकी क्षमता को दर्शाती है।

5. महत्व

सैद्धांतिक अंतर्दृष्टि: यह शोध पत्र एक महत्वपूर्ण अंतर्दृष्टि प्रदान करता है कि कॉन्टेक्स्ट में टाइम-लोकल क्यूज़ (time-local cues) स्थिर डोमेन रिप्रेजेंटेशन सीखने के लिए हानिकारक होते हैं। एक टेम्पोरल लैग पेश करके, लेखक दिखाते हैं कि इन्हें अनसुपरवाइज्ड तरीके से कैसे फ़िल्टर किया जाए।
जेनेरेटिव मॉडलिंग: यह डिफ्यूजन मॉडल्स में डोमेन नॉलेज को प्रायर डिस्ट्रीब्यूशन और डिनोइज़िंग टारगेट में इंजेक्ट करके डिफ्यूजन मॉडल्स के RL में अनुप्रयोग को आगे बढ़ाता है।
व्यावहारिक प्रभाव: यह विधि एक एकल पॉलिसी को बिना फाइन-ट्यूनिंग के अनदेखे भौतिक वातावरण (जैसे विभिन्न रोबोटिक संरचनाएं या घर्षण गुणांक) के अनुकूल होने में सक्षम बनाती है, जो वास्तविक दुनिया में RL एजेंटों को तैनात करने में एक बड़ी बाधा को दूर करती है।
स्केलेबिलिटी: यह दृष्टिकोण डेटा-कुशल (अनसुपरवाइज्ड) है और इसके लिए जटिल कॉन्ट्रास्टिव लर्निंग ऑब्जेक्टिव्स या अतिरिक्त डेटा जनरेशन मॉडल्स की आवश्यकता नहीं है।

निष्कर्षतः, DADP जेनेरेटिव मॉडल्स के भीतर डोमेन जानकारी को निकालने और उपयोग करने के तरीके को मौलिक रूप से बदलकर, डायनेमिक परिवर्तनों के प्रति लर्निंग पॉलिसियों को मजबूत बनाने की दिशा में एक महत्वपूर्ण कदम है।