💻 computer science

State-Conditional Adversarial Learning: An Off-Policy Visual Domain Transfer Method for End-to-End Imitation Learning

यह शोध पत्र स्टेट-कंडीशनल एडवर्सरियल लर्निंग (SCAL) का प्रस्ताव करता है, जो एक नवीन ऑफ-पॉलिसी फ्रेमवर्क है जो स्टेट-कंडीशनल लेटेंट KL डाइवर्जेंस को न्यूनतम करके एंड-टू-एंड इमिटेशन लर्निंग के लिए सुदृढ़ विजुअल डोमेन ट्रांसफर प्राप्त करता है, और स्वायत्त ड्राइविंग सिमुलेशन के भीतर दुर्लभ, एक्सपर्ट-मुक्त टार्गेट डोमेन में मजबूत प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Yuxiang Liu, Shengfan Cao

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuxiang Liu, Shengfan Cao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सेल्फ-ड्राइविंग कार को रेसिंग करना सिखाने की कोशिश कर रहे हैं। आपके पास एक बेहतरीन "शिक्षक" (एक विशेषज्ञ ड्राइवर) है और एक सुरक्षित, धूप वाला ट्रेनिंग ट्रैक (सोर्स डोमेन - Source Domain) है। हालाँकि, आपको इस कार को एक पूरी तरह से अलग, वास्तविक दुनिया के ट्रैक पर रेस करने की आवश्यकता है जो धुंध भरा, बारिश वाला और अलग रोशनी वाला है (टारगेट डोमेन - Target Domain)।

समस्या क्या है? आप कार को उस वास्तविक, खतरनाक ट्रैक पर गलतियों से सीखने के लिए नहीं छोड़ सकते। और आपके पास कोई मानव विशेषज्ञ भी नहीं है जो उस वास्तविक ट्रैक पर बगल वाली सीट पर बैठकर निर्देश दे सके। आपके पास केवल उस वास्तविक ट्रैक के पुराने, रैंडम वीडियो क्लिप्स का एक छोटा सा, बिखरा हुआ संग्रह है, जहाँ कार बस बिना किसी दिशा के इधर-उधर घूम रही थी (ऑफ-पॉलिसी डेटा - off-policy data), जिसमें कोई विशेषज्ञ मार्गदर्शन नहीं था।

यह पेपर इस समस्या को हल करने के लिए SCAL (स्टेट-कंडीशनल एडवरसेरियल लर्निंग - State-Conditional Adversarial Learning) नामक एक विधि पेश करता है। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. मुख्य समस्या: "अनुवाद" का अंतर (The "Translation" Gap)

आमतौर पर, यदि आप एक कार को धूप वाले ट्रैक पर प्रशिक्षित करते हैं, तो वह उस विशिष्ट रोशनी में "डामर" (asphalt) और "कर्ब" (curbs) को पहचानना सीख जाती है। यदि आप उसे धुंधले ट्रैक पर छोड़ देते हैं, तो वह भ्रमित हो जाती है क्योंकि रंग और छायाएँ अलग दिखती हैं।

मौजूदा विधियाँ आमतौर पर या तो:

सब कुछ रैंडमाइज करती हैं: कार को हजारों नकली, अजीब रंगों वाले ट्रैक्स पर प्रशिक्षित करती हैं ताकि वह मौसम को अनदेखा करना सीख जाए। (यह कठिन है और अक्सर विफल हो जाता है)।
इमेज को ट्रांसलेट करती हैं: इमेज को धूप वाले चित्रों में बदलने के लिए AI का उपयोग करती हैं ताकि प्रशिक्षण दिया जा सके। (इसके लिए भारी मात्रा में डेटा की आवश्यकता होती है और अक्सर महत्वपूर्ण विवरण खो जाते हैं)।

2. पेपर का अंतर्दृष्टि: "मानचित्र बनाम क्षेत्र" (The "Map vs. The Territory")

लेखकों ने महसूस किया कि कार को दोनों दुनियाओं में बिल्कुल एक जैसी तस्वीर देखने की आवश्यकता नहीं है। उसे बस एक ही अंतर्निहित स्थिति (underlying situation) को समझने की आवश्यकता है।

इसे इस तरह सोचें:

क्षेत्र (State/Territory): कार सेंटर लाइन से 2 मीटर बाईं ओर है, और एक तीखे मोड़ पर बाईं ओर मुड़ रही है।
मानचित्र (Observation/Map): धूप वाली दुनिया में, यह चमकीली नीली सड़क और सफेद रेखाओं के रूप में दिखता है। धुंधली दुनिया में, यह एक ग्रे, धुंधली सड़क के रूप में दिखता है।

पेपर का तर्क है कि यदि आप कार के "दिमाग" (इसके आंतरिक प्रतिनिधित्व/internal representation) को यह सिखा सकें कि, "आह, यह ग्रे धुंध का मतलब '2 मीटर बाईं ओर, तीखा मोड़' है, ठीक वैसे ही जैसे वह चमकीली नीली सड़क थी," तो वह धुंध में सुरक्षित रूप से चला सकती है।

3. समाधान: "स्टेट-कंडीशनल" जासूस (The "State-Conditional" Detective)

लेखकों ने एक सिस्टम बनाया है जिसके दो मुख्य भाग मिलकर काम करते हैं:

A. ट्रांसलेटर (The Encoder)
यह AI का वह हिस्सा है जो कैमरा इमेज को देखता है और उसे एक सरल "विचार" या "लेटेंट कोड" (latent code) में बदल देता है। लक्ष्य यह है कि धुंध भरे मोड़ के लिए "विचार" बिल्कुल वैसा ही दिखे जैसा धूप वाले मोड़ के लिए "विचार" होता है, भले ही तस्वीरें पूरी तरह से अलग हों।

B. डिटेक्टिव (The Discriminator)
यह दूसरा AI है जो एक सख्त जज की तरह काम करता है। इसका काम "विचारों" को देखना और पूछना है: "क्या यह विचार धूप वाले ट्रेनिंग ट्रैक से आया है या धुंधले वास्तविक ट्रैक से?"

यदि डिटेक्टिव अंतर बता पाता है, तो इसका मतलब है कि ट्रांसलेटर विफल हो रहा है।
ट्रांसलेटर डिटेक्टिव को मूर्ख बनाने की कोशिश करता है ताकि धुंधले ट्रैक के विचार धूप वाले ट्रैक के विचारों के समान दिखाई दें।

"स्टेट-कंडीशनल" ट्विस्ट:
आमतौर पर, ये डिटेक्टिव केवल इमेज को देखते हैं। लेकिन इस पेपर में एक महत्वपूर्ण नियम जोड़ा गया है: डिटेक्टिव को यह भी पता होना चाहिए कि कार कहाँ है (स्टेट/state)।

सादृश्य (Analogy): कल्पना करें कि डिटेक्टिव दो लोगों के कपड़े चेक कर रहा है कि वे एक ही पोशाक पहने हैं या नहीं। लेकिन केवल कपड़ों को देखने के बजाय, डिटेक्टिव को मौसम भी पता है। यदि बारिश हो रही है, तो रेनकोट सामान्य है। यदि धूप है, तो रेनकोट अजीब है।
डिटेक्टिव को यह बताकर कि "यह कार एक तीखे मोड़ पर है," सिस्टम ट्रांसलेटर को मजबूर करता है कि वह धुंध में तीखे मोड़ के अर्थ को धूप में तीखे मोड़ के अर्थ के साथ संरेखित (align) करे, जिससे बारिश बनाम धूप जैसे अप्रासंगिक अंतरों को अनदेखा किया जा सके।

4. "मैजिक" गारंटी

पेपर एक गणितीय प्रमाण (जैसे कि एक सुरक्षा प्रमाण पत्र) प्रदान करता है जो यह दर्शाता है कि यदि ट्रांसलेटर सफलतापूर्वक डिटेक्टिव को मौसम के बारे में भ्रमित करने में सफल रहता है, तो वास्तविक ट्रैक पर कार का प्रदर्शन ट्रेनिंग ट्रैक के लगभग उतना ही अच्छा होगा।

उन्होंने साबित किया कि वास्तविक दुनिया में कार द्वारा की जाने वाली "गलतियाँ" दो चीजों द्वारा सीमित हैं:

उसने ट्रेनिंग ट्रैक पर कितना अच्छा सीखा।
उसने दोनों दुनियाओं के बीच "विचारों" को कितनी अच्छी तरह संरेखित (align) किया।

5. परिणाम: बहुत कम डेटा के साथ सीखना

लेखकों ने एक रेसिंग कार सिम्युलेटर (BARC-CARLA) पर इसका परीक्षण किया।

सेटअप: उन्होंने एक धूप वाले ट्रैक पर कार को प्रशिक्षित किया और उसे पूरी तरह से अलग विजुअल्स वाले ट्रैक पर ट्रांसफर करने की कोशिश की।
डेटा: उन्होंने सिस्टम को केवल नए ट्रैक से रैंडम ड्राइविंग क्लिप्स का एक छोटा, बिखरा हुआ ढेर दिया (कोई एक्सपर्ट नहीं, कोई परफेक्ट ड्राइविंग नहीं)।
परिणाम: कार ने नए ट्रैक पर बहुत कम उदाहरणों का उपयोग करके अच्छी तरह से चलना सीख लिया। वास्तव में, इसने लगभग उतना ही प्रदर्शन किया जितना कि एक कार ने किया होगा जिसके पास पूरे समय उसे सटीक निर्देश देने के लिए एक मानव विशेषज्ञ बैठा हो।

सारांश

SCAL ऐसा है जैसे किसी छात्र को बर्फीले तूफान में गाड़ी चलाना सिखाना, जबकि आपने उसे केवल धूप वाले पार्किंग लॉट में अभ्यास करने दिया है। सड़क की स्थितियों (स्टेट) के एहसास को पहचानने के लिए केवल मौसम को धूप जैसा दिखाने की कोशिश करने के बजाय, यह विधि छात्र को यह सिखाती है कि मौसम की परवाह किए बिना सड़क की स्थितियों को कैसे पहचाना जाए। यह सुनिश्चित करने के लिए एक "डिटेक्टिव" का उपयोग करता है कि सड़क के प्रति छात्र की आंतरिक समझ सुसंगत बनी रहे, जिससे वह वास्तविक बर्फ में बहुत कम अभ्यास के साथ भी सुरक्षित रूप से चल सके।

तकनीकी सारांश: स्टेट-कंडीशनल एडवर्सरियल लर्निंग (SCAL)

समस्या का निरूपण (Problem Formulation)

यह शोध पत्र एक अत्यंत प्रतिबंधात्मक और यथार्थवादी परिवेश में एंड-टू-एंड इमिटेशन लर्निंग (IL) के लिए विजुअल डोमेन ट्रांसफर की चुनौती को संबोधित करता है। लेखक एक ऐसी स्थिति को परिभाषित करते हैं जहाँ:

सोर्स डोमेन (Source Domain): एजेंट के पास एक समान वातावरण तक पहुँच है जिसमें ज्ञात गतिकी (dynamics) और विशेषज्ञ नीति (expert policy) द्वारा पर्यवेक्षण (ऑन-पॉलिसी डेटा संग्रह संभव है) उपलब्ध है।
टारगेट डोमेन (Target Domain): एजेंट के पास केवल एक छोटा, ऑफ-पॉलिसी डेटासेट है जो अवलोकन-अवस्था (observation-state) युग्मों $(y, x)$ से बना है। महत्वपूर्ण रूप से, यह टारगेट डेटा एक्सपर्ट-फ्री (कोई एक्शन लेबल नहीं) है और यह आवश्यक नहीं कि टारगेट पॉलिसी द्वारा प्रेरित वितरण (distribution) का अनुसरण करता हो।

मौजूदा फ्यू-शॉट अनुकूलन विधियाँ यहाँ अक्सर विफल हो जाती हैं क्योंकि वे या तो ऑन-पॉलिसी टारगेट डेटा, टारगेट एक्सपर्ट प्रदर्शनों तक पहुँच, या पिक्सेल-स्तरीय अनुवाद (जैसे CycleGAN) के लिए बड़े अनलेबल डेटासेट की धारणा पर आधारित होती हैं। यह शोध पत्र तर्क देता है कि सुरक्षा-महत्वपूर्ण या परिचालन रूप से महंगे वास्तविक दुनिया के परिदृश्यों (जैसे स्वायत्त ड्राइविंग) में, टारगेट डोमेन में ऑन-पॉलिसी अन्वेषण (exploration) या एक्सपर्ट प्रदर्शन प्राप्त करना अक्सर असंभव होता है।

सैद्धांतिक विश्लेषण (Theoretical Analysis)

लेखक अपने दृष्टिकोण को न्यायसंगत बनाने के लिए टारगेट-डोमेन इमिटेशन लॉस ( $J_t$ ) पर एक सैद्धांतिक ऊपरी सीमा (upper bound) व्युत्पन्न करते हैं। वे दिखाते हैं कि टारगेट लॉस को सोर्स-डोमेन लॉस ( $J_s$ ) और सोर्स एवं टारगेट ऑब्जर्वेशन मॉडल्स के बीच विचलन (divergence) को दर्शाने वाले एक पद द्वारा सीमित किया जा सकता है।

विशेष रूप से, थ्योरम 4.1 स्थापित करता है:
$J_t(\theta) \leq J_s(\theta) + \alpha \sqrt{\frac{2\gamma}{1-\gamma} (L(\phi) + \sigma)}$

जहाँ:

$L(\phi)$ सिस्टम स्टेट $x$ पर आधारित, सोर्स और टारगेट ऑब्जर्वेशन मॉडल्स के बीच अपेक्षित स्टेट-कंडीशनल लेटेंट क्ले-लेर (Kullback–Leibler - KL) डाइवर्जेंस है।
$\sigma$ सोर्स और टारगेट ऑब्जर्वेशन डिस्ट्रीब्यूशंस के बीच अंतर्निहित विचलन ( $d_{KL}(e_s(\cdot|x) \parallel e_t(\cdot|x))$ को दर्शाता है, जिसे एक स्थिरांक (constant) माना गया है।
$\alpha$ लॉस फंक्शन पर एक यूनिफॉर्म बाउंड है।

मुख्य अंतर्दृष्टि यह है कि टारगेट इमिटेशन लॉस को कम करना, सोर्स लॉस और स्टेट-कंडीशनल एलाइनमेंट लॉस ( $L(\phi)$ ) को कम करने के समान है, जिसके लिए ऑन-पॉलिसी टारगेट डेटा की आवश्यकता नहीं है।

कार्यप्रणाली: स्टेट-कंडीशनल एडवर्सरियल लर्निंग (SCAL)

सैद्धांतिक सीमा से निर्देशित होकर, लेखक SCAL का प्रस्ताव करते हैं, जो स्टेट के आधार पर लेटेंट डिस्ट्रीब्यूशन को संरेखित (align) करने के लिए डिज़ाइन किया गया एक ऑफ-पॉलिसी एडवर्सरियल फ्रेमवर्क है।

1. एलाइनमेंट ऑब्जेक्टिव (Alignment Objective)

इस पद्धति का लक्ष्य एक एनकोडर $E_\phi$ को सीखना है ताकि किसी दिए गए स्टेट के लिए ऑब्जर्वेशन का लेटेंट डिस्ट्रीब्यूशन दोनों डोमेन में समान हो:
$p_s(l | x, E_\phi) = p_t(l | x, E_\phi), \quad \forall x \in \mathcal{X}$

2. डिस्क्रिमिनेटर-आधारित एस्टीमेशन (Discriminator-Based Estimation)

चूंकि वास्तविक KL डाइवर्जेंस गणना योग्य (intractable) है, SCAL कंडीशनल KL टर्म का अनुमान लगाने के लिए एक डिस्क्रिमिनेटर $Q_\psi$ का उपयोग करता है। डिस्क्रिमिनेटर को सोर्स बफर ( $B_s$ ) और टारगेट बफर ( $B_t$ ) से लिए गए लेटेंट-स्टेट पेयर्स $(l, x)$ के बीच अंतर करने के लिए प्रशिक्षित किया जाता है।

प्रशिक्षण (Training): डिस्क्रिमिनेटर सोर्स और टारगेट पेयर्स को अलग करने के लिए बाइनरी क्रॉस-एन्ट्रॉपी लॉस को कम करता है।
अनुमान (Estimation): प्रपोजिशन 5.1 के अनुसार, अपेक्षित KL डाइवर्जेंस का अनुमान प्रशिक्षित डिस्क्रिमिनेटर के आउटपुट और स्टेट मार्जिनल्स $p(x)$ के लिए डेंसिटी रेशियो एस्टिमेटर्स (Gaussian Kernel Estimators) का उपयोग करके लगाया जाता है।

3. ऑप्टिमाइजेशन लूप (Optimization Loop)

कुल ऑब्जेक्टिव फंक्शन सोर्स इमिटेशन लॉस और एडवर्सरियल डोमेन कन्फ्यूजन लॉस को जोड़ता है:
$\min_\theta \left( J_s(\theta) + \lambda J_{adv}(\theta) \right)$

$J_s(\theta)$ : सोर्स डोमेन पर मानक इमिटेशन लॉस (DAgger-शैली के डेटा संग्रह का उपयोग करके)।
$J_{adv}(\theta)$ : डिस्क्रिमिनेटर से प्राप्त अनुमानित स्टेट-कंडीशनल KL डाइवर्जेंस।
डिस्क्रिमिनेटर और पॉलिसी/एनकोडर को पुनरावृत्ति (iteratively) के माध्यम से प्रशिक्षित किया जाता है ताकि यह सुनिश्चित हो सके कि डिस्क्रिमिनेटर अभिव्यंजक (expressive) बना रहे।

मुख्य योगदान (Key Contributions)

सैद्धांतिक ढांचा (Theoretical Framework): यह शोध पत्र विज़न-आधारित IL के लिए डोमेन शिफ्ट के तहत एक औपचारिक विश्लेषण प्रदान करता है, जो कंडीशनल लेटेंट डाइवर्जेंस के संदर्भ में टारगेट परफॉरमेंस की ऊपरी सीमा व्युत्पन्न करता है।
SCAL फ्रेमवर्क: यह एक नवीन, एक्सपर्ट-फ्री, ऑफ-पॉलिसी डोमेन ट्रांसफर विधि पेश करता है। टारगेट एक्सपर्ट प्रदर्शनों या बड़े अनलेबल डेटासेट की आवश्यकता वाले पिछले कार्यों के विपरीत, SCAL केवल स्टेट जानकारी के साथ युग्मित एक छोटे, ऑफ-पॉलिसी टारगेट डेटासेट के साथ कार्य करता है।
अनुभवजन्य सत्यापन (Empirical Validation): लेखक विज़ुअली विविध स्वायत्त ड्राइविंग वातावरण (BARC-CARLA) में अपने दृष्टिकोण को मान्य करते हैं, यह प्रदर्शित करते हुए कि सरोगेट बाउंड को अनुकूलित करने से मजबूत ट्रांसफर और उच्च सैंपल एफिशिएंसी मिलती है।

प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग BARC-CARLA सिम्युलेटर पर किए गए थे, जिसमें SCAL की तुलना DAgger (आदर्श टारगेट सुपरविजन के साथ) और अन्य ट्रांसफर विधियों सहित बेसलाइन्स से की गई।

सहसंबंध सत्यापन (Correlation Verification): अध्ययन ने अनुमानित स्टेट-कंडिशनल KL डाइवर्जेंस और टारगेट डोमेन में वास्तविक ऑन-पॉलिसी परफॉरमेंस के बीच एक मजबूत सकारात्मक सहसंबंध की पुष्टि की, जो सैद्धांतिक सरोगेट को मान्य करता है।
सैंपल एफिशिएंसी (Sample Efficiency): SCAL ने विभिन्न टारगेट डेटा डिस्ट्रीब्यूशंस में, अत्यंत छोटे टारगेट बफर्स (जैसे, 256 सैंपल्स) के बावजूद, एक आइडियलाइज्ड DAgger बेसलाइन (जिसके पास पूर्ण टारगेट सुपरविजन है) के बराबर या बेहतर ट्रजेक्टरी लंबाई प्राप्त की।
मजबूती (Robustness): विधि ने महत्वपूर्ण डिस्ट्रीब्यूशनल शिफ्ट के तहत स्थिरता बनाए रखी, जिसमें एक चुनौतीपूर्ण लो-स्पीड-टू-हाई-स्पीड ट्रांसफर परिदृश्य शामिल था, जहाँ टारगेट डेटा एक कंजर्वेटिव PID कंट्रोलर द्वारा एकत्र किया गया था और लक्ष्य एक हाई-स्पीड रेसिंग एजेंट को प्रशिक्षित करना था।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि SCAL इमिटेशन लर्निंग में एक महत्वपूर्ण अंतराल को संबोधित करता है: उन नए विजुअल डोमेन में नीतियों को स्थानांतरित करना जहाँ टारगेट डेटा दुर्लभ, ऑफ-पॉलिसी और विशेषज्ञ पर्यवेक्षण रहित है।

व्यावहारिक प्रासंगिकता: यह विधि वास्तविक दुनिया की बाधाओं के लिए डिज़ाइन की गई है जहाँ सुरक्षा या लागत के कारण टारगेट वातावरण में ऑन-पॉलिसी अन्वेषण या एक्सपर्ट प्रदर्शन संग्रह संभव नहीं है।
सैद्धांतिक गारंटी: शुद्ध जनरेटिव ट्रांसलेशन दृष्टिकोणों (जैसे CycleGAN) के विपरीत, SCAL कंडीशनल KL अपर बाउंड के माध्यम से सैद्धांतिक गारंटी प्रदान करता है।
दक्षता: यह फ्रेमवर्क प्रदर्शित करता है कि स्टेट-कंडीशन्ड लेटेंट रिप्रेजेंटेशन को स्पष्ट रूप से संरेखित करके सीमित ऑफ-पॉलिसी डेटा से उच्च-प्रदर्शन वाली विज़न-आधारित पॉलिसियों को प्राप्त किया जा सकता है, जो उन मौजूदा फ्यू-शॉट अनुकूलन विधियों से बेहतर है जो अधिक मजबूत धारणाओं पर निर्भर करती हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि यह विधि आशाजनक है, भविष्य के कार्य सैद्धांतिक सीमाओं को कड़ा करने, वैकल्पिक डाइवर्जेंस मेट्रिक्स (जैसे, Wasserstein) का पता लगाने और वास्तविक दुनिया के सेंसर शोर और एक्चुएशन अनिश्चितता को संबोधित करने के लिए भौतिक रोबोटिक सिस्टम पर परीक्षण करने पर केंद्रित हो सकते हैं।