⚡ electrical engineering

Density-Ratio Weighted Behavioral Cloning: Learning Control Policies from Corrupted Datasets

यह शोध पत्र डेंसिटी-रेश्यो वेटेड बिहेवियरल क्लोनिंग (Density-Ratio Weighted Behavioral Cloning) प्रस्तुत करता है, जो एक सुदृढ़ ऑफलाइन रिइन्फोर्समेंट लर्निंग पद्धति है जो डेंसिटी-रेश्यो वेट्स का अनुमान लगाने और उन्हें लागू करने के लिए एक छोटे स्वच्छ संदर्भ सेट (clean reference set) का लाभ उठाती है, जिससे बिना किसी पूर्व भ्रष्टाचार तंत्र के ज्ञान के, प्रतिकूल हमलों या निम्न-गुणवत्ता वाले नमूनों से अत्यधिक दूषित डेटासेट से भी निकट-इष्टतम नियंत्रण नीतियों को सीखना सक्षम होता है।

मूल लेखक: Shriram Karpoora Sundara Pandian, Ali Baheri

प्रकाशित 2026-05-19

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Shriram Karpoora Sundara Pandian, Ali Baheri

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखाने की कोशिश कर रहे हैं। आपके पास ड्राइविंग फुटेज का एक विशाल वीडियो लाइब्रेरी है जिसे आप रोबोट को दिखाना चाहते हैं। यह "ऑफलाइन लर्निंग" (offline learning) है—रोबोट वास्तविक जीवन में गाड़ी चलाकर और दुर्घटनाग्रस्त होकर नहीं, बल्कि एक स्थिर डेटासेट से सीखता है।

हालाँकि, एक समस्या है: किसी ने वीडियो लाइब्रेरी के साथ छेड़छाड़ की है।

कुछ वीडियो कार को खाई में गिरते हुए दिखाते हैं (खराब डेटा)।
कुछ वीडियो में बिना किसी कारण के स्टीयरिंग व्हील पागलों की तरह घूम रहा है (करप्टेड डेटा)।
कुछ वीडियो में कार बिल्कुल सही चल रही है, लेकिन अंत में "स्कोर" पर "100 पॉइंट्स" के बजाय "0 पॉइंट्स" लिखा है (पॉइजनड रिवॉर्ड्स)।

यदि आप इन सभी वीडियो को रोबोट को समान रूप से दिखाएंगे, तो वह खाई में गिरना या पहिए घुमाना सीख जाएगा। वह सोचेगा कि यह बुरा व्यवहार सामान्य है क्योंकि यह डेटासेट में मौजूद है।

यह शोध पत्र इस समस्या को हल करने के लिए एक नया तरीका पेश करता है जिसे वेटेड बिहेवियरल क्लोनिंग (Weighted Behavioral Cloning) कहा जाता है। यह कैसे काम करता है, यहाँ सरल उपमाओं (analogies) के माध्यम से बताया गया है:

1. "विश्वसनीय लाइब्रेरियन" (द रेफरेंस सेट)

शोधकर्ता यह मानकर चलते हैं कि आपके पास वीडियो का एक छोटा, विशेष फोल्डर है जिसे आप जानते हैं कि वह 100% परफेक्ट है। शायद ये एक पेशेवर टेस्ट ड्राइव की रिकॉर्डिंग हैं जहाँ इंजीनियरों ने हर हरकत की पुष्टि की थी। वे इसे रेफरेंस सेट (Reference Set) कहते हैं। यह विशाल, अव्यवस्थित लाइब्रेरी की तुलना में छोटा है, लेकिन यह शुद्ध सोने के समान है।

2. "जासूस" (द डिस्क्रिमिनेटर)

यह विधि एक स्मार्ट एआई "जासूस" (जिसे डिस्क्रिमिनेटर कहा जाता है) का उपयोग करती है। इसका एकमात्र काम लाइब्रेरी से एक वीडियो देखना और यह पूछना है: "क्या यह मेरे विश्वसनीय फोल्डर वाले वीडियो जैसा दिखता है, या यह अजीब लग रहा है?"

यदि वीडियो विशेषज्ञ की ड्राइविंग जैसा दिखता है, तो जासूस कहता है, "हाँ, यह अच्छा है!"
यदि वीडियो दिखाता है कि कार दीवार से टकरा रही है या स्टीयरिंग व्हील बेतरतीब ढंग से घूम रहा है, तो जासूस कहता है, "नहीं, यह संदिग्ध है।"

3. "वेटेड लेसन" (द मैजिक ट्रिक)

सामान्य लर्निंग में, रोबोट हर वीडियो को समान रूप से महत्वपूर्ण मानता है। इस नई विधि में, रोबोट जासूस की बात सुनता है।

अच्छे वीडियो: जासूस उन्हें एक भारी वजन (heavy weight) देता है। रोबोट इन पर बहुत ध्यान देता है।
बुरे वीडियो: जासूस उन्हें एक बहुत कम वजन (tiny weight) (या लगभग शून्य) देता है। रोबोट मूल रूप से उन्हें अनदेखा कर देता है, भले ही वे डेटासेट में मौजूद हों।

रोबोट को यह जानने की ज़रूरत नहीं है कि डेटा को कैसे खराब किया गया था (चाहे वह सेंसर की खराबी हो, कोई हैकर हो, या टाइपिंग की गलती हो)। उसे बस इतना जानना है: "क्या यह उस विशेषज्ञ जैसा दिखता है जिस पर मैं भरोसा करता हूँ?"

4. परिणाम: "अटूट छात्र" (द अनब्रेकेबल स्टूडेंट)

शोधकर्ताओं ने रोबोट के कंप्यूटर सिमुलेशन (जैसे कि एक चीता दौड़ रहा है या एक वॉकर संतुलन बना रहा है) पर इसका परीक्षण किया। उन्होंने डेटा को चार बुरे तरीकों से खराब किया:

एक्शन पॉइजनिंग (Action Poisoning): रोबोट की गतिविधियों को रैंडम (बेतरतीब) बनाना।
स्टेट पॉइजनिंग (State Poisoning): रोबोट की "आंखों" (सेंसर डेटा) को धुंधला करना।
ट्रांजिशन पॉइजनिंग (Transition Poisoning): वीडियो को इस तरह उछालना कि कारण-और-प्रभाव (cause-and-effect) टूट जाए।
रिवॉर्ड पॉइजनिंग (Reward Poisoning): इस बारे में झूठ बोलना कि रोबोट ने कितना अच्छा प्रदर्शन किया।

परिणाम:
जब 80% से 100% डेटा खराब था (जिसका अर्थ है कि लगभग पूरी लाइब्रेरी बेकार थी), तब भी इस नए तरीके का उपयोग करने वाला रोबोट लगभग पूरी तरह से गाड़ी चलाना सीख गया।

पुराने तरीके (जैसे कि स्टैंडर्ड बिहेवियरल क्लोनिंग) विफल हो गए और दुर्घटनाग्रस्त हो गए, जिससे वे खाई में गिरने जैसी गलतियाँ सीखने लगे।
इस नए तरीके ने रोबोट को स्थिर और कुशल बनाए रखा, कचरे को नजरअंदाज किया और केवल उन कुछ साफ वीडियो पर ध्यान केंद्रित किया जो उसे मिल सके।

यह क्यों महत्वपूर्ण है

यह शोध पत्र गणितीय रूप से सिद्ध करता है कि यह विधि काम करती है, भले ही डेटासेट में "कचरा" बहुत अधिक हो। यह एक ऐसे छात्र की तरह है जो शोर मचाने वाले लोगों के बीच बैठ सकता है, लेकिन क्योंकि उसके पास एक विश्वसनीय शिक्षक है जो सही उत्तर फुसफुसा रहा है, वह फिर भी परीक्षा में शानदार अंक प्राप्त कर सकता है।

संक्षेप में: यह पेपर रोबोट को यह सिखाता है कि कैसे "अच्छे" डेटा के एक छोटे, सत्यापित नमूने से तुलना करके खराब डेटा को अनदेखा किया जाए, जिससे यह सुनिश्चित हो सके कि वे सही कौशल सीखें, भले ही प्रशिक्षण डेटा के साथ छेड़छाड़ की गई हो।

तकनीकी सारांश: डेंसिटी-रेशियो वेटेड बिहेवियरल क्लोनिंग

समस्या विवरण
ऑफलाइन सुदृढीकरण शिक्षण (Reinforcement Learning - RL), स्थिर डेटासेट से पॉलिसी अनुकूलन (policy optimization) को सक्षम बनाता है, जो स्वायत्त वाहनों और औद्योगिक रोबोटिक्स जैसे सुरक्षा-महत्वपूर्ण क्षेत्रों के लिए एक महत्वपूर्ण समाधान प्रदान करता है जहाँ ऑनलाइन अन्वेषण (exploration) अव्यवहारिक है। हालाँकि, वास्तविक दुनिया के डेटासेट अक्सर सेंसर दोषों, साइबर-भौतिक हमलों, एनोटेशन त्रुटियों, या प्रतिकूल हेरफेर से उत्पन्न डेटा पॉइजनिंग (data poisoning) से समझौता किए जाते हैं। मानक बिहेवियरल क्लोनिंग (BC) और ऑफलाइन RL एल्गोरिदम स्पष्ट रूप से सभी प्रक्षेप पथों (trajectories) को समान रूप से विश्वसनीय मानते हैं, जिससे अनुकूलन के दौरान स्वच्छ और दूषित नमूनों का मिश्रण हो जाता है। यह नीति प्रदर्शन में गिरावट, अस्थिरता, या सुरक्षा उल्लंघन का कारण बनता है, विशेष रूप से मध्यम-से-गंभीर पॉइजनिंग के तहत जहाँ सूक्ष्म विसंगतियाँ (anomalies) प्रक्षेप पथ ट्रैकिंग जैसे नियंत्रण कार्यों को बाधित कर सकती हैं। मौजूदा मजबूती संबंधी अध्ययन अक्सर विशिष्ट भ्रष्टाचार चैनलों (corruption channels) पर ध्यान केंद्रित करते हैं या ज्ञात मिश्रण वितरणों को मान लेते हैं, जिससे ऑफलाइन नियंत्रण डेटासेट में अज्ञात संदूषण तंत्रों को संभालने में एक अंतराल रह जाता है।

कार्यप्रणाली
यह शोध पत्र डेंसिटी-रेशियो वेटेड बिहेवियरल क्लोनिंग (Weighted BC) प्रस्तावित करता है, जो एक मजबूत इमिटेशन लर्निंग फ्रेमवर्क है जिसे दूषित ऑफलाइन डेटासेट से सीखने के लिए डिज़ाइन किया गया है, जिसमें भ्रष्टाचार तंत्र के पूर्व ज्ञान की आवश्यकता नहीं होती है। मुख्य कार्यप्रणाली तीन चरणों पर आधारित है:

रेफरेंस सेट का उपयोग: यह दृष्टिकोण एक छोटे, सत्यापित और विलगित (disjoint) संदर्भ सेट ( $D_{ref}$ ) तक पहुँच की धारणा रखता है, जो स्वच्छ विशेषज्ञ प्रक्षेप पथों का है और संभावित रूप से दूषित मुख्य डेटासेट ( $D$ ) से अलग है।
डिस्क्रीमिनेटर-आधारित डेंसिटी रेशियो अनुमान: एक बाइनरी डिस्क्रीमिनेटर $d_\phi$ को स्वच्छ संदर्भ सेट (क्लास 1) और दूषित मुख्य डेटासेट (क्लास 0) के बीच अंतर करने के लिए प्रशिक्षित किया जाता है। डिस्क्रीमिनेटर बाइनरी क्रॉस-एन्ट्रॉपी लॉस को कम करता है। संतुलित सैंपलिंग के तहत, डेंसिटी रेशियो $r(\tau) = p_{clean}(\tau)/p(\tau)$ को $d_\phi(\tau) / (1 - d_\phi(\tau))$ के रूप में प्राप्त किया जाता है।
वेटेड ऑब्जेक्टिव: इन अनुमानित अनुपातों को संख्यात्मक स्थिरता सुनिश्चित करने के लिए एक नियतात्मक सीमा $[\epsilon, C]$ तक क्लिप किया जाता है और उन्हें बिहेवियरल क्लोनिंग ऑब्जेक्टिव में भार (weights) के रूप में उपयोग किया जाता है। एम्पिरिकल लॉस बनता है:
$L_{WBC}(\theta) = \frac{1}{N} \sum_{i=1}^{N} w_i \sum_{t=0}^{T-1} -\log \pi_\theta(a_t^{(i)} | s_t^{(i)})$
जहाँ $w_i = \text{clip}(r(\tau_i), \epsilon, C)$ । यह वेटिंग स्कीम उन प्रक्षेप पथों को प्राथमिकता देती है जो स्वच्छ विशेषज्ञ व्यवहार के समान होते हैं, जबकि विसंगतिपूर्ण खंडों को कम भार देती है या हटा देती है।

इस पद्धति का मूल्यांकन निरंतर नियंत्रण बेंचमार्क पर लागू चार विशिष्ट पॉइजनिंग प्रोटोकॉल के विरुद्ध किया गया है:

रिवॉर्ड पॉइजनिंग: अच्छे व्यवहार को दंडित करने के लिए सकारात्मक रिवॉर्ड्स को उलटना।
स्टेट पॉइजनिंग: सेंसर विफलता का अनुकरण करने के लिए स्टेट्स में गौसियन नॉइज़ जोड़ना।
ट्रांजिशन पॉइजनिंग: कारण संबंधों (causal linkages) को बाधित करने के लिए नेक्स्ट-स्टेट ऑब्जर्वेशन को शफल करना।
एक्शन पॉइजनिंग: एक्शन को गौसियन नॉइज़ के साथ विक्षेपित करना।

प्रमुख योगदान
यह शोध पत्र तीन प्राथमिक योगदान देता है:

एल्गोरिद्मिक प्रस्ताव: यह Weighted BC पेश करता है, जो डिस्क्रीमिनेटर-आधारित वेटिंग के माध्यम से दूषित प्रक्षेप पथों की पहचान करने और उन्हें कम भार देने के लिए सत्यापित संदर्भ सेटों का उपयोग करता है। यह विशिष्ट भ्रष्टाचार तंत्र के ज्ञान की आवश्यकता के बिना मजबूत नीति शिक्षण सक्षम करता है।
सैद्धांतिक आधार: लेखक सैद्धांतिक गारंटी स्थापित करते हैं, जिसमें यूनिफॉर्म क्लीन-रिस्क एप्रोक्सिमेशन बाउंड्स और सीखे गए पॉलिसी के लिए अतिरिक्त क्लीन-रिस्क गारंटी शामिल है। महत्वपूर्ण रूप से, उपयुक्त क्लिपिंग थ्रेशोल्ड के तहत ये बाउंड्स कंटैमिनेशन रेट ( $\alpha$ ) से स्वतंत्र दिखाए गए हैं, जो फाइनाइट-सैंपल एरर्स, डिस्क्रीमिनेटर एरर्स और क्लिपिंग बायस को अलग करते हैं।
मूल्यांकन ढांचा: एक व्यापक मूल्यांकन ढांचा स्थापित किया गया है, जिसमें विभिन्न पॉइजनिंग परिदृश्यों (एक्शन, स्टेट, ट्रांजिशन और रिवॉर्ड) को निरंतर नियंत्रण बेंचमार्क (D4RL) में शामिल किया गया है, जो मौजूदा साहित्य के उस अंतराल को भरता है जो अक्सर विशिष्ट भ्रष्टाचार प्रकारों को मानता है।

परिणाम
प्रयोग D4RL बेंचमार्क (HalfCheetah, Ant, Hopper, Walker2d) पर 20% से 100% कंटैमिनेशन स्तरों ( $\alpha \in \{0.2, \dots, 1.0\}$ ) के साथ किए गए। Weighted BC की तुलना ट्रेडिशनल BC, बैच-कंस्ट्रेंड Q-लर्निंग (BCQ), और बिहेवियर रेगुलराइज्ड एक्टर-क्रिटिक (BRAC) से की गई।

मजबूती (Robustness): Weighted BC ने उच्च कंटैमिनेशन रेश्यो ( $\alpha \ge 0.8$ ) पर भी निकट-इष्टतम प्रदर्शन बनाए रखा, जबकि बेसलाइन्स में महत्वपूर्ण गिरावट देखी गई।
एक्शन पॉइजनिंग: इस परिदृश्य में, बेसलाइन्स विफल हो गईं (उदाहरण के लिए, $\alpha=1.0$ पर HalfCheetah में ट्रेडिशनल BC घटकर ~2,500 रिटर्न रह गया, जबकि Weighted BC ने >10,000 बनाए रखा)। डिस्क्रीमिनेटर ने सफलतापूर्वक एक्शन-करप्टेड प्रक्षेप पथों को बिहेवियरल मैनिफोल्ड से विचलित के रूप में पहचाना।
स्टेट और ट्रांजिशन पॉइजनिंग: Weighted BC ने निरंतर स्थिरता दिखाई, जबकि BCQ के VAE-आधारित कंस्ट्रेंट्स करप्टेड डायनेमिक्स को मॉडल करने में विफल रहे, और BRAC स्टेट करप्शन के तहत अस्थिरता प्रदर्शित किया।
रिवॉर्ड पॉइजनिंग: चूंकि BC रिवॉर्ड सिग्नल के बजाय स्टेट-एक्शन पेयर्स पर निर्भर करता है, इसलिए Weighted BC ने बेसलाइन प्रदर्शन का 80-90% बनाए रखा, जबकि BRAC कई वातावरणों में विफल रहा।
रिटेंशन (Retention): Weighted BC ने सभी पॉइजनिंग प्रकारों में 60% कंटैमिनेशन तक 80% से अधिक क्लीन प्रदर्शन बनाए रखा, जो ट्रेडिशनल BC में देखे गए लीनियर डिग्रेडेशन की तुलना में काफी बेहतर है।

महत्व और दावे
यह शोध पत्र दावा करता है कि Weighted BC, मनमाने डेटा पॉइजनिंग की उपस्थिति में ऑफलाइन RL के लिए एक मजबूत समाधान प्रदान करता है, जो सुरक्षा-महत्वपूर्ण प्रणालियों में लर्निंग-आधारित कंट्रोलर्स को तैनात करने के लिए एक महत्वपूर्ण आवश्यकता है। एक छोटे, सत्यापित संदर्भ सेट का लाभ उठाकर, यह विधि विशिष्ट भ्रष्टाचार की प्रकृति को मॉडल किए बिना दूषित डेटा को प्रभावी ढंग से फ़िल्टर करती है। सैद्धांतिक विश्लेषण पुष्टि करता है कि यह दृष्टिकोण फाइनाइट-सैंपल बाउंड्स के साथ स्वच्छ विशेषज्ञ पॉलिसी की ओर अभिसरण (converge) करता है, जो कंटैमिनेशन की गंभीरता पर निर्भर नहीं करते हैं। अनुभवजन्य रूप से, यह विधि अत्याधुनिक ऑफलाइन RL एल्गोरिदम की तुलना में बेहतर लचीलापन प्रदर्शित करती है, विशेष रूप से उच्च-कंटैमिनेशन शासन (regimes) में जहाँ मानक विधियाँ विफल हो जाती हैं। यह कार्य इस बात पर जोर देता है कि टेम्पोरल कंसिस्टेंसी और कंट्रोल-संबंधित विसंगतियों को पकड़ने के लिए प्रक्षेप पथ-स्तरीय (trajectory-level) मूल्यांकन आवश्यक है, जो इसे केवल आइसोलेटेड स्टेट-एक्शन आर्टिफैक्ट्स को संबोधित करने वाले तरीकों से अलग करता है।

1. "विश्वसनीय लाइब्रेरियन" (द रेफरेंस सेट)

2. "जासूस" (द डिस्क्रिमिनेटर)

3. "वेटेड लेसन" (द मैजिक ट्रिक)

4. परिणाम: "अटूट छात्र" (द अनब्रेकेबल स्टूडेंट)

यह क्यों महत्वपूर्ण है

इसी तरह के और पेपर