🤖 machine learning

Unifying Value Alignment and Assignment in Cross-Domain Offline Reinforcement Learning with Heterogeneous Datasets

यह शोधपत्र V2A को प्रस्तुत करता है, जो एक नवीन फ्रेमवर्क है विषम क्रॉस-डोमेन ऑफलाइन सुदृढीकरण लर्निंग (reinforcement learning) के लिए, जो प्रभावी पॉलिसी ट्रांसफर के लिए वैल्यू अलाइनमेंट और असाइनमेंट को एकीकृत करने हेतु टेम्पोरली-कंसिस्टेंट मोडैलिटी रिप्रेजेंटेशन लर्निंग, मोडैलिटी-अवेयर एडवांटेज लर्निंग और डेटा फ़िल्टरिंग को एकीकृत करके वैल्यू मिसअसाइनमेंट की महत्वपूर्ण समस्या का समाधान करता है।

मूल लेखक: Zhongjian Qiao, Jiafei Lyu, Chenjia Bai, Peisong Wang, Siyang Gao, Shuang Qiu

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhongjian Qiao, Jiafei Lyu, Chenjia Bai, Peisong Wang, Siyang Gao, Shuang Qiu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ पेपर "Unifying Value Alignment and Assignment in Cross-Domain Offline Reinforcement Learning with Heterogeneous Datasets" (V2A) का सरल अवधारणाओं और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी तस्वीर: "पुरानी कार" की समस्या (The "Used Car" Problem)

कल्पना कीजिए कि आप एक रोबोट को एक विशिष्ट कार (Target Domain) चलाना सिखाना चाहते हैं। आपके पास उस विशिष्ट कार का बहुत कम डेटा है। हालाँकि, आपके पास अन्य कारों (Source Domain) के ड्राइविंग डेटा की एक विशाल लाइब्रेरी है।

समस्या यह है कि वे अन्य कारें अलग हैं। कुछ के इंजन अलग हैं, कुछ का सस्पेंशन टूटा हुआ है, और कुछ को अलग-अलग लोगों (कुछ विशेषज्ञ, कुछ नौसिखिए) द्वारा चलाया गया था। इसे क्रॉस-डोमेन ऑफलाइन रिइन्फोर्समेंट लर्निंग कहा जाता है।

यदि आप उस सभी डेटा को मिला देते हैं और रोबोट को सिखाने की कोशिश करते हैं, तो वह भ्रमित हो जाएगा और विफल हो जाएगा। रोबोट ट्रक में होने के बावजूद स्पोर्ट्स कार की तरह चलाने की कोशिश कर सकता है, या वह एक नौसिखिए ड्राइवर की बुरी आदतों को सीख सकता है।

पुराना तरीका: "इंजन के प्रकार" द्वारा फ़िल्टर करना (Filtering by "Engine Type")

पिछले तरीकों (जैसे IGDF या OTDF) ने इसे इंजन (dynamics) को देखकर हल करने की कोशिश की। उन्होंने पूछा: "क्या यह कार टारगेट कार की तरह हैंडल करती है?"

यदि सस्पेंशन समान है, तो वे डेटा रखते हैं।
यदि इंजन पूरी तरह से अलग है, तो वे डेटा को फेंक देते हैं।

खामी: यह केवल इंजन के आकार के आधार पर पुरानी कार खरीदने जैसा है। आप एक ऐसी कार पा सकते हैं जिसमें इंजन तो एकदम सही है, लेकिन यदि पिछला मालिक एक बुरा ड्राइवर था जिसने उसे लगातार क्रैश किया, तो वह डेटा बेकार है। आपको यह जानने की ज़रूरत है कि ड्राइवर कैसा था, न कि केवल यह कि कार कैसी थी।

नया तरीका: "वैल्यू एलाइनमेंट" का प्रयास (The "Value Alignment" Attempt)

DVDF नामक एक नए तरीके ने इसे ठीक करने की कोशिश की। इसने इंजन (dynamics) और ड्राइवर के कौशल (value) दोनों को देखा। इसने ऐसा डेटा चुनने की कोशिश की जो समान भी हो और उच्च गुणवत्ता वाला भी हो।

पेपर की खोज: लेखकों ने DVDF में एक छिपे हुए जाल को पाया जिसे वैल्यू मिसअसाइनमेंट (Value Misassignment) कहा जाता है।

उपमा: कल्पना कीजिए कि आपके पास तीन अलग-अलग देशों—फ्रांस, जापान और ब्राजील—के ड्राइविंग वीडियो की एक लाइब्रेरी है।
- फ्रांस में, "तेज़ चलाना" सुरक्षित और कानूनी है।
- जापान में, "तेज़ चलाना" खतरनाक और अवैध है।
- ब्राजील में, "तेज़ चलाना" अराजक है।
यदि आप बिना यह जाने कि वीडियो किस देश का है, केवल स्पीडोमीटर (यानी "वैल्यू") को देखते हैं, तो आप सोच सकते हैं कि जापानी ड्राइवर एक जीनियस है क्योंकि वह तेज़ है, या फ्रांसीसी ड्राइवर लापरवाह है। आप संदर्भ (dynamics) को समझे बिना क्रिया का मूल्य (value) गलत तरीके से निर्धारित (misassigning) कर रहे हैं।
पेपर के शब्दों में, पुराने तरीके ने एक ड्राइविंग मूव को "अच्छा" स्कोर देने की कोशिश की, बिना यह समझे कि वह मूव पूरी तरह से एक अलग भौतिक दुनिया में हो रहा था। इससे रोबलेट उस "अच्छे दिखने वाले" डेटा से सीखने लगा जो वास्तव में उसकी विशिष्ट स्थिति के लिए बुरा था।

समाधान: V2A (Value Alignment + Assignment)

लेखक एक नई प्रणाली प्रस्तावित करते हैं जिसे V2A कहा जाता है। V2A को एक स्मार्ट लाइब्रेरियन के रूप में सोचें जो न केवल किताबों को शैली (genre) के आधार पर छाँटता है, बल्कि कहानी के विशिष्ट संदर्भ (context) के आधार पर भी।

V2A तीन चरणों में तीन काम करता है:

"वाइब" का पता लगाना (Modality Representation):
हर एक ड्राइविंग मूव को अलग से देखने के बजाय, V2A पूरे "ट्रिप" (trajectory) को देखता है। यह एक विशेष AI का उपयोग करके यह पता लगाता है: "क्या यह ट्रिप 'टूटे पैर' वाले रोबोट की है, 'लंबे धड़' वाले रोबोट की है, या 'सामान्य' रोबोट की है?"
- उपमा: यह हर वीडियो क्लिप पर एक स्टिकर लगाने जैसा है जिस पर लिखा हो "यह फ्रांस की सड़क है" या "यह जापान की सड़क है।"
स्कोर की पुनर्गणना करना (Value Assignment):
अब जब सिस्टम जानता है कि डेटा किस "दुनिया" से आया है, तो यह ड्राइवर के कौशल का पुनर्मूल्यांकन करता है।
- उपमा: यह समझ जाता है, "ओह, वह ड्राइवर तेज़ था, लेकिन वह जापान में था जहाँ तेज़ गति खतरनाक है। इसलिए, हमारी टारगेट कार के लिए वह वास्तव में एक बुरा स्कोर है।" यह सही संदर्भ के लिए सही स्कोर देकर "मिसअसाइनमेंट" को ठीक करता है।
सबसे अच्छा डेटा चुनना (Data Filtering):
अंत में, यह डेटा को फ़िल्टर करता है। यह केवल उन क्लिप्स को रखता है जो:
- एक समान "दुनिया" से हैं (Dynamics Alignment)।
- उस विशिष्ट दुनिया में एक कुशल ड्राइवर से हैं (Value Alignment)।
- सही ढंग से स्कोर किए गए हैं (Value Assignment)।

यह क्यों महत्वपूर्ण है?

पेपर दिखाता है कि जब आपके पास कई अलग-अलग रोबोटों और कई अलग-अलग ड्राइवरों का मिला-जुला डेटा होता है, तो पुराने तरीके भ्रमित हो जाते हैं। वे ऐसे "अच्छे" डेटा को चुन लेते हैं जो वास्तव में टारगेट रोबोट के लिए "बुरे" होते हैं।

V2A एक अनुवादक (translator) और एक गुणवत्ता निरीक्षक (quality inspector) दोनों के रूप में कार्य करता है। यह समझता है कि एक वातावरण में "अच्छा मूव" दूसरे वातावरण में "बुरा मूव" हो सकता है। स्कोरिंग सिस्टम को ठीक करके, यह रोबोट को पहले की तुलना में बहुत तेज़ी से और बेहतर तरीके से सीखने में मदद करता है।

परिणाम

लेखकों ने रोबोट सिमुलेशन (जैसे हाफ-चीटा दौड़ना या हॉपर कूदना) पर परीक्षण किया।

उन्होंने टूटे हुए जोड़ों और अलग शरीर के आकार वाले रोबोटों के डेटा को मिलाया।
उन्होंने "एक्सपर्ट" ड्राइवरों और "मीडियम" ड्राइवरों के डेटा को मिलाया।
परिणाम: V2A ने लगातार पिछले सर्वोत्तम तरीकों को पछाड़ दिया। इसने टारगेट रोबोट को बहुत बेहतर तरीके से चलाना सीखा क्योंकि इसे भ्रमित करने वाले मिश्रण ने धोखा नहीं दिया।

सारांश

समस्या: अलग-अलग रोबोटों के डेटा से एक रोबोट को सिखाना कठिन है क्योंकि एक दुनिया में "अच्छा" डेटा दूसरी दुनिया में "बुरा" हो सकता है।
गलती: पिछले उपकरणों ने रोबोटों को मिलाने की कोशिश की, लेकिन यह भूल गए कि डेटा की "अच्छाई" वास्तव में नए संदर्भ में समझ में आती है या नहीं।
समाधान: V2A पहले डेटा की "दुनिया" की पहचान करता है, फिर उस दुनिया के आधार पर डेटा को फिर से स्कोर करता है, और अंत में सीखने के लिए सबसे अच्छा डेटा चुनता है।
परिणाम: रोबोट जटिल, मिश्रित-डेटा स्थितियों में तेज़ी से और बेहतर प्रदर्शन करता है।

तकनीकी सारांश: विषम डेटासेट के साथ क्रॉस-डोमेन ऑफलाइन सुदृढीकरण शिक्षण (Reinforcement Learning) में 'वैल्यू एलाइनमेंट' और 'वैल्यू असाइनमेंट' का एकीकरण

1. समस्या विवरण

क्रॉस-डोमेन ऑफलाइन सुदृढीकरण शिक्षण (RL) का लक्ष्य एक सीमित टार्गेट डेटासेट और एक प्रचुर सोर्स डेटासेट का उपयोग करके टार्गेट डोमेन में एक पॉलिसी सीखना है, जहाँ डायनेमिक्स शिफ्ट (अर्थात, अलग-अलग ट्रांज़िशन डायनेमिक्स $P_{src}$ बनाम $P_{tar}$ ) मौजूद होता है। जबकि हाल के तरीकों ने डायनेमिक्स एलाइनमेंट (जैसे, IGDF, OTDF) या वैल्यू एलाइनमेंट (जैसे, DVDF) पर आधारित डेटा फ़िल्टरिंग के माध्यम से आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डायनेमिक्स की समस्या को हल करने का प्रयास किया है, ये दृष्टिकोण आमतौर पर यह मान लेते हैं कि सोर्स डेटासेट एक ही वातावरण और एक ही बिहेवियर पॉलिसी से एकत्र किया गया है।

यह शोध पत्र एक अधिक सामान्य और यथार्थवादी सेटिंग को संबोधित करता है: विषम क्रॉस-डोमेन ऑफलाइन RL (Heterogeneous Cross-Domain Offline RL)। इस सेटिंग में, सोर्स डेटासेट को विभिन्न ट्रांज़िशन डायनेमिक्स वाले कई सोर्स डोमेन से एकत्रित किया जाता है और विविध बिहेवियर पॉलिसियों द्वारा एकत्र किया जाता है। लेखक एक महत्वपूर्ण, पहले अनदेखी की गई समस्या की पहचान करते हैं जिसे वैलली मिसअसाइनमेंट (Value Misassignment) कहा जाता है।

वैल्यू मिसअसाइनमेंट तब होता है जब एक ही वैल्यू फंक्शन (या एडवांटेज फंक्शन) को डायनेमिक्स मोडैलिटीज के बीच अंतर किए बिना पूरे विषम सोर्स डेटासेट पर प्रशिक्षित किया जाता है। इससे निम्नलिखित परिणाम होते हैं:

गलत एडवांटेज एस्टीमेशन: असाइन किए गए एडवांटेज मान उनके विशिष्ट डायनेमिक्स सब-डोमेन के सापेक्ष उनकी वास्तविक इष्टतमता (optimality) को नहीं दर्शाते हैं।
सबऑप्टिमल डेटा फ़िल्टरिंग: इन गलत असाइन किए गए मूल्यों पर निर्भर डेटा फ़िल्टरिंग तंत्र भ्रामक हो जाते हैं, जिससे उप-इष्टतम (suboptimal) नमूनों का चयन होता है (उदाहरण के लिए, एक विशिष्ट डायनेमिक से मध्यम-गुणवत्ता वाला डेटा) जबकि इष्टतम नमूनों को छोड़ दिया जाता है।
लोसन्ड सबऑप्टिमलिटी गैप (Loosened Suboptimality Gap): सैद्धांतिक विश्लेषण से पता चलता है कि वैल्यू मिसअसाइनमेंट टार्गेट डोमेन में सबऑप्टिमलिटी गैप के सटीक बाउंडिंग को रोकता है, जिससे एजेंट के प्रदर्शन में गिरावट आती है।

2. कार्यप्रणाली: V2A

वैल्यू मिसअसाइनमेंट को हल करने के लिए, लेखक V2A (वैल्यू एलाइनमेंट और असाइनमेंट) प्रस्तावित करते हैं, जो डायनेमिक्स एलाइनमेंट, वैल्यू एलाइनमेंट और वैल्यू असाइनमेंट को एकीकृत करने वाला एक फ्रेमवर्क है। यह विधि तीन मुख्य चरणों में चलती है:

2.1. टेम्पोरली-कंसिस्टेंट मोडैलिटी रिप्रेजेंटेशन लर्निंग

पहला चरण सोर्स डेटासेट के भीतर विभिन्न डायनेमिक्स मोडैलिटीज को अलग करना है।

दृष्टिकोण: लेखक प्रत्येक ट्राजेक्टरी के लिए एक लेटेंट रिप्रेजेंटेशन $z$ सीखने के लिए एक एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) फ्रेमवर्क का उपयोग करते हैं।
नवाचार: व्यक्तिगत ट्रांज़िशन को एनकोड करने वाले मानक वेरिएशनल ऑटोएनकोडर्स (जो टेम्पोरल इनकंसिस्टेंसी की ओर ले जाते हैं) के विपरीत, V2A एक टेम्पोरली-कंसिस्टेंट ELBO का उपयोग करता है। यह पूरे ट्राजेक्टरी $\tau$ को एक सिंगल लेटेंट वेरिएबल $z$ में एनकोड करने के लिए RNN/LSTM का उपयोग करता है, जबकि स्टेप-लेवल पर ट्रांज़िशन को डिकोड करता है।
लक्ष्य: यह सुनिश्चित करता है कि एक ही ट्राजेक्टरी के सभी ट्रांज़िशन एक ही डायनेमिक्स रिप्रेजेंटेशन $z$ साझा करें, जो प्रभावी रूप से ट्राजेक्टरीज को उनके अंतर्निहित डायनेमिक्स द्वारा क्लस्टर करता है।

2.2. मोडैलिटी-अवेयर एडवांटेज लर्निंग

एक बार डायनेमिक्स मोडैलिटीज ( $z$ ) का अनुमान लग जाने के बाद, सोर्स डेटासेट को पुनः लेबल किया जाता है: $D'_{src} = \{(s, a, r, s', z)\}$ ।

दृष्टिकोण: लेखक मोडैलिटी-अवेयर एडवांटेज लर्निंग का प्रस्ताव देते हैं। एक मानक एडवांटेज फंक्शन $A(s, a)$ प्रशिक्षित करने के बजाय, वे एक मोडैलिटी-कंडीशनड एडवांटेज फंक्शन $A(s, a, z)$ को प्रशिक्षित करते हैं।
तंत्र: प्री-ट्रेनिंग (Sparse-QL योजना का उपयोग करके) के दौरान $Q$ -फंक्शन और $V$ -फंक्शन में लेटेंट रिप्रेजेंटेशन $z$ को इनपुट के रूप में दिया जाता है।
परिणाम: यह एडवांटेज फंक्शन को विभिन्न डायनेमिक्स मोडैलिटीज के बीच अंतर करने की अनुमति देता है, जिससे उनके विशिष्ट डायनेमिक्स संदर्भ के आधार पर स्टेट-एक्शन पेयर्स को सही एडवांटेज मान असाइन किए जाते हैं, जिससे वैल्यू मिसअसाइनमेंट ठीक हो जाता है।

2.3. यूनिफाइड डेटा फ़िल्टरिंग और पॉलिसी लर्निंग

अंतिम चरण इन घटकों को टार्गेट पॉलिसी लर्निंग के लिए एक डेटा फ़िल्टरिंग प्रतिमान में एकीकृत करता है।

स्कोर फंक्शन: सोर्स डेटा को फ़िल्टर करने के लिए एक नया स्कोर फंक्शन $f(s, a, s', z)$ परिभाषित किया गया है:
$f(s, a, s', z) = \lambda \cdot h(s, a, s') + (1 - \lambda) \cdot \text{Norm}(A(s, a, z))$
जहाँ $h(\cdot)$ डायनेमिक्स एलाइनमेंट (कॉन्ट्रास्टिव लर्निंग या ऑप्टिमल ट्रांसपोर्ट के माध्यम से) को मापता है, और $A(s, a, z)$ मोडैलिटी-अवेयर वैल्यू एलाइनमेंट को मापता है।
फ़िल्टरिंग: सोर्स नमूनों को इस स्कोर के टॉप- $\xi$ क्वांटाइल के आधार पर चुना जाता है।
पॉलिसी ऑप्टिमाइज़ेशन: टार्गेट पॉलिसी को सीमित टार्गेट डेटा के साथ फ़िल्टर किए गए सोर्स डेटा का उपयोग करके इम्पलिसिट Q-लर्निंग (IQL) के माध्यम से प्रशिक्षित किया जाता है।

3. प्रमुख योगदान

समस्या का निरूपण: यह शोध पत्र विषम क्रॉस-डोमेन ऑफलाइन RL सेटिंग को औपचारिक रूप देता है, जहाँ सोर्स डेटा कई डोमेन और बिहेवियर पॉलिसियों से आता है, और वैल्यू मिसअसाइनमेंट को एक मौलिक सीमा के रूप में पहचानता है।
सैद्धांतिक अंतर्दृष्टि: लेखक सबऑप्टिमलिटी गैप पर एक सैद्धांतिक बाउंड प्रदान करते हैं, यह प्रदर्शित करते हुए कि वैल्यू मिसअसाइनमेंट इस बाउंड को ढीला कर देता है। वे सिद्ध करते हैं कि टाइट बाउंड प्राप्त करने के लिए डायनेमिक्स मोडैलिटीज को अलग करना आवश्यक है।
एल्गोरिदम (V2A): वे V2A का प्रस्ताव करते हैं, जो एकीकृत करता है:
- टेम्पोरली-कंसिस्टेंट मोडैलिटी रिप्रेजेंटेशन लर्निंग (EM के माध्यम से)।
- मोडैलिटी-अवेयर एडवांटेज लर्निंग।
- एक यूनिफाइड डेटा फ़िल्टरिंग प्रतिमान।
अनुभवजन्य सत्यापन (Empirical Validation): विषम सोर्स डेटासेट के साथ MuJoCo कार्यों (HalfCheetah, Hopper, Walker2d, Ant) पर व्यापक प्रयोग दिखाते हैं कि V2A मजबूत बेसलाइन्स (IGDF, OTDF, DVDF, BOSA, DARA) से काफी बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

प्रदर्शन: V2A बेसलाइन्स की तुलना में महत्वपूर्ण प्रदर्शन सुधार प्राप्त करता है। उदाहरण के लिए, जब इसे IGDF पर बनाया गया, तो V2A ने बेसलाइन IGDF की तुलना में कुल नॉर्मलाइज्ड स्कोर में 21.4% का सुधार किया, और DVDF (जिसने IGDF पर केवल 6.8% सुधार किया था) की तुलना में भी 21.4% का सुधार किया। OTDF के साथ भी समान लाभ देखे गए।
एब्लेशन स्टडीज (Ablation Studies):
- टेम्पोरली-कंसिस्टेंट ELBO: ट्राजेक्टरी-लेवल कंसिस्टेंसी को हटाने पर (सैंपल-लेवल ELBO का उपयोग करने पर) कम प्रदर्शन देखा गया, जो सटीक मोडैलिटी निष्कर्षण के लिए टेम्पोरल कंसिस्टेंसी की आवश्यकता की पुष्टि करता है।
- मोडैलिटी अवेयरनेस: सीखे गए एडवांटेज डिस्ट्रीब्यूशन के विज़ुअलाइज़ेशन दिखाते हैं कि V2A, DVDF के फ्लैट और कम भेदभावपूर्ण डिस्ट्रीब्यूशन की तुलना में अधिक शार्प और स्पष्ट एडवांटेज डिस्ट्रीब्यूशन उत्पन्न करता है, जो बेहतर सैंपल इष्टतमता (optimality) का संकेत देता है।
- पैरामीटर संवेदनशीलता: विधि $\lambda$ (अनुकूल लगभग 0.6) और डेटा चयन अनुपात $\xi$ (अनुकूल लगभग 0.5) के ट्रेड-ऑफ के प्रति मजबूत है।

5. महत्व और दावे

शोध पत्र का दावा है कि V2A विषम क्रॉस-डोमेन ऑफलाइन RL में निहित वैल्यू मिसअसाइनमेंट समस्या को प्रभावी ढंग से संबोधित करने वाला पहला फ्रेमवर्क है। डायनेमिक्स एलाइनमेंट, वैल्यू एलाइनमेंट और वैल्यू असाइनमेंट को एकीकृत करके, V2A विविध डायनेमिक्स और व्यवहारों के जटिल मिश्रण के बावजूद कुशल पॉलिसी ट्रांसफर सक्षम करता है।

लेखक इस बात पर जोर देते हैं कि जबकि पिछले कार्यों ने आइसोलेशन में डायनेमिक्स या वैल्यू एलाइनमेंट पर ध्यान केंद्रित किया (या होमोजेनियस सोर्स डेटा माना), उनका कार्य यह उजागर करता है कि सोर्स डायनेमिक्स की मल्टी-मोडल प्रकृति को अनदेखा करने से गलत वैल्यू एस्टीमेशन होता है, जो बदले में डेटा फ़िल्टरिंग को कमजोर करता है। प्रस्तावित विधि एक सरल लेकिन प्रभावी समाधान प्रदान करती है जो रोबोटिक्स और एम्बॉडीड AI में सैद्धांतिक सेटिंग्स और यथार्थवादी, विषम डेटा परिदृश्यों के बीच के अंतर को काफी कम करती है।

स्वीकृत सीमाएँ:

टेम्पोरली-कंसिस्टेंट मोडैलिटी रिप्रेजेंटेशन लर्निंग के लिए अतिरिक्त प्रशिक्षण समय की आवश्यकता होती है (हालांकि इसे प्री-कंप्यूट किया जा सकता है)।
सैद्धांतिक विश्लेषण हल्के अनुमानों (जैसे, इष्टतम पॉलिसी के पड़ोस में कॉनवेक्सिटी के लिए सेकंड-ऑर्डर पर्याप्त स्थितियाँ) पर निर्भर करता है।