🤖 machine learning

TCRL: Temporal-Coupled Adversarial Training for Robust Constrained Reinforcement Learning in Worst-Case Scenarios

यह शोध पत्र TCRL का प्रस्ताव करता है, जो एक नवीन टेम्पोरल-कपल्ड एडवरसैरियल ट्रेनिंग फ्रेमवर्क है, जो सुरक्षा-महत्वपूर्ण डोमेन में टेम्पोरली कपल्ड परटर्बेशन्स का प्रभावी ढंग से मुकाबला करने के लिए एक वर्स्ट-केस-परसीव्ड कॉस्ट कंस्ट्रेंट और एक ड्यूल-कंस्ट्रेंट डिफेंस मैकेनिज्म पेश करके कंस्ट्रेंड रिइन्फोर्समेंट लर्निंग में मजबूती को बढ़ाता है।

मूल लेखक: Wentao Xu, Zhongming Yao, Weihao Li, Zhenghang Song, Yumeng Song, Tianyi Li, Yushuai Li

प्रकाशित 2026-06-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wentao Xu, Zhongming Yao, Weihao Li, Zhenghang Song, Yumeng Song, Tianyi Li, Yushuai Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कार चलाना या रस्सी पर चलना सिखा रहे हैं। कन्स्ट्रेंड रीइन्फोर्समेंट लर्निंग (CRL) की दुनिया में, आपका लक्ष्य दोहरा है: रोबोट को काम जल्दी पूरा करने के लिए प्रेरित करना (रिवॉर्ड को अधिकतम करना) लेकिन कभी भी उसे टकराने या किनारे से गिरने न देना (सुरक्षा बाधाओं को पूरा करना)।

समस्या यह है कि वास्तविक दुनिया में चीजें एकदम सटीक नहीं होतीं। कभी-कभी, एक "हैकर" या कोई तकनीकी खराबी रोबोट के सेंसर को धोखा देने की कोशिश कर सकती है। इसे एडवर्सरियल अटैक (Adversarial Attack) कहा जाता है।

पुराना तरीका बनाम नई समस्या

पिछले तरीके ऐसे थे जैसे किसी रोबोट को आँख में अचानक लगने वाली एक हल्की सी चोट को अनदेखा करना सिखाना। वे एक बार होने वाली गलतियों को संभालने में अच्छे थे। लेकिन वे तब विफल हो गए जब हमलावर ने रोबोट को बार-बार और लयबद्ध तरीके से (rhythmically) परेशान करना शुरू किया, हर सेकंड हमले को थोड़ा बदलकर रोबोट की याददाश्त को भ्रमित करने के लिए।

इसे इस तरह सोचें:

पुराना हमला: कोई धावक पर एक कंकड़ फेंकता है। धावक एक बार लड़खड़ाता है लेकिन संभल जाता है।
नया हमला (टेम्पोरल-कपल्ड): कोई धावक के साथ चल रहा है, उसे रस्सी से गिरा रहा है, फिर रस्सी ढीली कर रहा है, फिर कस रहा है, फिर उसे फिर से गिरा रहा है—यह सब एक समन्वित क्रम में है। धावक भ्रमित हो जाता है क्योंकि हमले समय के साथ आपस में जुड़े हुए हैं, जो एक गति (momentum) बनाते हैं और अंततः धावक को गिरा देते हैं।

लेख का तर्क है कि मौजूदा सुरक्षा प्रणालियाँ इस "लयबद्ध तरीके से गिराने" (rhythmic tripping) को नहीं समझ पाती हैं। वे अभिभूत हो जाती हैं क्योंकि वे केवल वर्तमान क्षण को देखती हैं, हमले के पैटर्न को नहीं।

समाधान: TCRL (एक "सुपर-तैयार" रोबोट)

लेखकों ने एक नया फ्रेमवर्क प्रस्तावित किया जिसे TCRL (टेम्पोरल-कपल्ड एडवर्सरियल ट्रेनिंग) कहा जाता है। उन्होंने अपने रोबोट को सबसे बुरे संभावित लयबद्ध हमलों के लिए "सुपर-तैयार" रहने के लिए प्रशिक्षित किया। उन्होंने इसे दो मुख्य तरीकों से किया:

1. "क्रिस्टल बॉल" सुरक्षा जाल (कॉस्ट कंस्ट्रेंट फंक्शन)

आमतौर पर, रोबोट सुरक्षा की गणना इस आधार पर करते हैं कि वे अभी क्या देख रहे हैं। TCRL रोबोट को एक "क्रिस्टल बॉल" देता है।

यह कैसे काम करता है: केवल यह पूछने के बजाय कि "क्या यह कदम सुरक्षित है?", रोबोट पूछता है, "यदि कोई अगले 10 सेकंड तक सबसे खराब लय में मुझे गिराता रहा, तो क्या मैं अभी भी सुरक्षित रहूँगा?"
उपमा: एक रस्सी पर चलने वाले (tightrope walker) की कल्पना करें। एक सामान्य चलने वाला यह देखता है कि रस्सी अभी स्थिर है या नहीं। TCRL वाला चलने वाला कल्पना करता है, "यदि हवा एक विशिष्ट, बिगड़ते हुए पैटर्न में बहने लगे, तो क्या मैं गिर जाऊँगा?" वे हवा के टकराने से पहले ही अपना संतुलन ठीक कर लेते हैं, जिससे वे सबसे खराब स्थिति में भी "खतरे की रेखा" को पार नहीं करते।

2. "भ्रमित करने वाला संगीत" रक्षा (रिवॉर्ड्स पर डुअल-कंस्ट्रेंट)

हमलावर अक्सर रोबोट को उस "स्कोर" (रिवॉर्ड) के साथ हेरफेर करके धोखा देने की कोशिश करते हैं जो रोबोट को मिलता है। यदि हमलावर को पता चल जाए कि स्कोर कैसे बदलता है, तो वह रोबोट के अगले कदम का अनुमान लगा सकता है और उसे फिर से गिरा सकता है।

कैसे काम करता है: TCRL रोबोट के प्रशिक्षण में दो नियम जोड़ता है:
1. पैटर्न तोड़ें: स्कोर के बदलावों को इतना अप्रत्याशित बना दें कि हमलावर यह अनुमान न लगा सके कि रोबोट आगे क्या करेगा। यह वैसा ही है जैसे रोबोट अचानक अपने संगीत की लय बदल दे ताकि हमलावर उसके साथ तालमेल बिठाकर नाच न सके।
2. स्थिरता बनाए रखें: भले ही हमलावर स्कोर के साथ छेड़छाड़ करने की कोशिश करे, रोबोट का स्कोर के प्रति आंतरिक "एहसास" बहुत अधिक उतार-चढ़ाव नहीं होना चाहिए। यह रोबोट को घबराने और अजीबोगरीब हरकतें करने से रोकता है।
उपमा: लुका-छिपी के खेल की कल्पना करें। यदि छिपने वाला हमेशा एक अनुमानित पैटर्न में चलता है, तो खोजने वाला उसे पकड़ लेगा। TCRL छिपने वाले को इस तरह से चलने के लिए सिखाता है जो खोजने वाले के लिए रैंडम (अनिश्चित) दिखे (पैटर्न तोड़ना) लेकिन फिर भी छिपने वाले को सुरक्षित और सही रास्ते पर रखे (स्थिरता)।

प्रयोगों में क्या हुआ?

शोधकर्ताओं ने कारों को चलाने और गेंदों को गोल घुमाने जैसे कार्यों पर अपने रोबकों का परीक्षण किया। उन्होंने अपने TCRL रोबोटों को इनके खिलाफ लड़ाया:

रैंडम नॉइज़ (स्टैटिक इंटरफेरेंस)।
हमलावर जो टकराव को अधिकतम करने की कोशिश कर रहे थे।
"वर्स्ट-टीसी" (Worst-TC) हमलावर: ऊपर वर्णित सुपर-स्मार्ट, लयबद्ध तरीके से गिराने वाला हमलावर।

परिणाम:

सुरक्षा: जब "वर्स्ट-टीसी" हमलावर ने रोबोटों को गिराने की कोशिश की, तो पुराने तरीके लगातार टकरा गए या ट्रैक से बाहर हो गए। हालाँकि, TCRL रोबोट सुरक्षित रहे। कुछ मामलों में, उन्होंने पुराने तरीकों की तुलना में दुर्घटनाओं की संख्या को 190 गुना तक कम कर दिया।
प्रदर्शन: न केवल वे सुरक्षित रहे, बल्कि उन्होंने कार्यों को बेहतर ढंग से भी पूरा किया। जहाँ अन्य रोबोट भ्रमित होकर धीमे हो गए, वहीं TCRL रोबोटों ने हमले के दौरान सामान्य स्थितियों की तुलना में उच्च स्कोर प्राप्त किया। ऐसा इसलिए क्योंकि उनकी "सुरक्षा-प्रथम" ट्रेनिंग उन्हें इतना मजबूत बना दी थी कि वे घबराहट में ऊर्जा बर्बाद नहीं करते थे।

निचोड़

TCRL रोबोट को प्रशिक्षित करने का एक नया तरीका है जो यह मानकर चलता है कि सबसे बुरे, लयबद्ध और समन्वित हमले होंगे। रोबोट को इन पैटर्नों का पूर्वानुमान लगाने के लिए सिखाकर और उसके रिवॉर्ड सिस्टम को हमलावरों के लिए अप्रत्याशित बनाकर, यह एक ऐसा रोबोट बनाता है जिसे धोखा देना बेहद कठिन है और जिसे तोड़ना लगभग नामुमकिन है, यहाँ तक कि सबसे अराजक वातावरण में भी।

तकनीकी सारांश: मजबूत बाधित सुदृढीकरण शिक्षण (Robust Constrained Reinforcement Learning) के लिए TCRL

समस्या विवरण

नियंत्रित सुदृढीकरण शिक्षण (Constrained Reinforcement Learning - CRL) स्वायत्त ड्राइविंग और रोबोटिक्स जैसे सुरक्षा-महत्वपूर्ण क्षेत्रों के लिए अत्यंत महत्वपूर्ण है, जहाँ एजेंटों को सुरक्षा बाधाओं का पालन करते हुए पुरस्कार (rewards) को अधिकतम करना होता है। हालाँकि, मौजूदा मजबूत CRL विधियाँ वास्तविक दुनिया के वातावरण में, जो प्रतिकूल विक्षोभों (adversarial perturbations) के अधीन हैं, महत्वपूर्ण कमजोरियाँ प्रदर्शित करती हैं। वर्तमान दृष्टिकोण मुख्य रूप से अस्थायी-स्वतंत्र (single-step) विक्षोभों पर ध्यान केंद्रित करते हैं, जिन्हें अक्सर निश्चित-त्रिज्या $\ell_p$ नॉर्म बॉल्स के भीतर मॉडल किया जाता है। वे अस्थायी-जुड़े हुए विक्षोभों (temporal-coupled perturbations) को संबोधित करने में विफल रहते हैं, जहाँ एक हमलावर एजेंट के इतिहास और सुरक्षा लागत बाधाओं के आधार पर समय के साथ विकसित होने वाले विक्षोभ उत्पन्न करता है।

सबसे खराब स्थितियों (worst-case scenarios) में, हमलावर एजेंट की सुरक्षा लागत और रिवॉर्ड फंक्शन को सीख सकते हैं ताकि ऐसे विक्षोभ उत्पन्न किए जा सकें जो धीरे-धीरे तीव्रता में बढ़ते जाते हैं। यह एजेंट को उसके लक्ष्य से विचलित होने, सुरक्षा बाधाओं का उल्लंघन करने और रिवॉर्ड में भारी गिरावट का सामना करने के लिए मजबूर करता है। मौजूदा विधियाँ दो विशिष्ट चुनौतियों का सामना करती हैं:

प्रत्यक्षण (Perception): उनमें ऐसी तंत्र की कमी है जो स्पष्ट रूप से हमलावर मॉडलिंग किए बिना, अस्थायी-जुड़े हुए हमलावरों के तहत 'वर्स्ट-केस' सुरक्षा लागतों का अनुमान लगाने और आकलन करने के लिए कॉस्ट फंक्शन को सक्षम बना सके।
रक्षा (Defense): उनमें रिवॉर्ड सिग्नल पर अस्थायी-जुड़े हुए हमलों से बचने के लिए प्रभावी प्रशिक्षण रणनीतियों की कमी है, जो अक्सर रिवॉर्ड की अप्रत्याशितता बनाए रखने या हमलावर के अस्थायी पैटर्न को बाधित करने में विफल रहती हैं।

कार्यप्रणाली: TCRL फ्रेमवर्क

लेखक TCRL (Temporal-Coupled Adversarial Training) प्रस्तावित करते हैं, जो सबसे खराब स्थिति वाले अस्थायी-जुड़े हुए विक्षोभों के तहत निर्णय लेने वाली नीतियों को अनुकूलित करने के लिए डिज़ाइन किया गया एक फ्रेमवर्क है। यह फ्रेमवर्क तीन मुख्य घटकों से बना है:

1. अस्थायी-जुड़ा हुआ विक्षोभ मॉडल (Temporal-Coupled Perturbation Model)

पेपर एक नवीन विक्षोभ बाधा को परिभाषित करता है जहाँ विक्षोभ की तीव्रता गतिशील होती है। एक अनुकूलित (adaptive) बाधा पैरामीटर $\bar{\epsilon}_t$ को पिछले विक्षोभ ( $p_{t-1}$ ) के परिमाण के आधार पर अपडेट किया जाता है:
$\bar{\epsilon}_t = \bar{\epsilon}_{t-1} + \alpha \cdot \|p_{t-1}\|$
यह हमलावर को समय के साथ उच्च-तीव्रता वाली रणनीतियों को खोजने की अनुमति देता है, जो क्रमिक विक्षोभों के बीच के अंतर की बाधा $\|p_t - p_{t-1}\| \leq \bar{\epsilon}_t$ के अधीन है।

2. वर्स्ट-केस परसीव्ड कॉस्ट कंस्ट्रेंट फंक्शन (Worst-Case Perceived Cost Constraint Function)

बिना स्पष्ट हमलावर मॉडलिंग के सुरक्षा लागतों का अनुमान लगाने की चुनौती को हल करने के लिए, TCRL एक वर्स्ट-केस कॉस्ट बेलमैन ऑपरेटर ( $\Gamma$ ) पेश करता है।

परिभाषा: एक नीति $\pi$ के लिए, ऑपरेटर बाउंडेड ऑब्जर्वेशन हमलों के तहत एक निर्णय क्षितिज (decision horizon) पर संचयी लागत का अनुमान लगाता है।
कार्यान्वयन: एक वर्स्ट-केस कॉस्ट नेटवर्क ( $Q^\pi_\varphi$ ) को एक विशेष लॉस फंक्शन का उपयोग करके प्रशिक्षित किया जाता है जो उन संभावित क्रियाओं के सेट $\Omega(s, \pi)$ पर अधिकतम लागत को शामिल करता है जिन्हें एक हमलावर स्टेट पर्टर्बेशन के माध्यम से प्रेरित कर सकता है।
कंस्ट्रेंट ट्रांसफॉर्मेशन: मानक CRL बाधा ( $V^\pi_c \leq \eta$ ) को एक वर्स्ट-केस बाधा में बदल दिया जाता है: $V^\pi_c \leq C_{threshold}$ , जहाँ $V^\pi_c$ अनुमानित वर्स्ट-केस कॉस्ट वैल्यू है। यह सबसे गंभीर अस्थायी-जुड़े हुए हमलों के तहत भी सुरक्षा सुनिश्चित करता है।

3. द्वैत-बाधा रिवॉर्ड रक्षा तंत्र (Dual-Constraint Reward Defense Mechanism)

उन हमलावरों का मुकाबला करने के लिए जो रिवॉर्ड फंक्शन को मॉडल करने के लिए ऐतिहासिक रिवॉर्ड डेटा का लाभ उठाते हैं, TCRL प्रशिक्षण के दौरान रिवॉर्ड सिग्नल पर दो बाधाएं लागू करता है:

अस्थायी सहसंबंध बाधा (Temporal Correlation Constraint): यह एक टाइम विंडो $w$ के भीतर रिवॉर्ड सीक्वेंस के ऑटोकोरिलेशन को सीमित करता है। एक कमजोर सहसंबंध बाधा ( $C_{corr} \leq \epsilon_{corr}$ ) को लागू करके, यह सिस्टम डायनेमिक्स में अस्थायी निर्भरताओं को मॉडल करने की हमलावर की क्षमता को बाधित करता है। मानक सहसंबंध गुणांकों की नॉन-डिफरेंशिएबिलिटी को संभालने के लिए एक ग्रेडिएंट करेक्शन मैकेनिज्म का उपयोग किया जाता है।
रिवॉर्ड एंट्रॉपी स्थिरता बाधा (Reward Entropy Stability Constraint): यह लगातार समय चरणों के बीच रिवॉर्ड वितरण में होने वाले अचानक परिवर्तनों को रोकता है। यह क्रमिक समय चरणों के बीच रिवॉर्ड एंट्रॉपी ( $H_t$ ) के परिवर्तन की दर को नियंत्रित करता है ( $C_{ent} \leq \epsilon_{ent}$ ), जिससे यह सुनिश्चित होता है कि रिवॉर्ड वितरण सुचारू रूप से विकसित हो और हमलावर के लिए अप्रत्याशित बना रहे।

कुल लक्ष्य लैग्रेंजियन रिलैक्सेशन (Lagrangian relaxation) का उपयोग करके तैयार किया गया है, जो नीति को सुरक्षा लागत, सहसंबंध और एंट्रॉपी बाधाओं को एक साथ संतुष्ट करते हुए अपेक्षित रिवॉर्ड को अधिकतम करने के लिए अनुकूलित करता है।

मुख्य योगदान

TCRL फ्रेमवर्क: विशेष रूप से वर्स्ट-केस टेम्पोरल-कपल्ड परिदृश्यों के लिए डिज़ाइन किया गया एक नवीन एडवरसेरियल ट्रेनिंग फ्रेमवर्क।
वर्स्ट-केस कॉस्ट एस्टीमेशन: एक कॉस्ट कंस्ट्रेंट फंक्शन जो स्पष्ट हमलावर मॉडलिंग के बिना, अस्थायी-जुड़े हुए विक्षोभों के तहत वर्स्ट-केस सुरक्षा लागतों का सीधे अनुमान लगाने में सक्षम है, जिसके साथ रोबस्ट ट्रेनिंग के लिए एक विशेष लॉस फंक्शन भी है।
द्वैत-बाधा रक्षा (Dual-Constraint Defense): एक रिवॉर्ड-आधारित रक्षा तंत्र जिसमें एक टेम्पोरल कोरिलेशन बाधा (हमला पैटर्न को बाधित करने के लिए) और एक एंट्रॉपी स्टेबिलिटी बाधा (रिवॉर्ड अप्रेटेबिलिटी बनाए रखने के लिए) शामिल है।
अनुभवजन्य सत्यापन (Empirical Validation): मौजूदा विधियों की तुलना में श्रेष्ठ मजबूती प्रदर्शित करने वाले व्यापक प्रयोग।

प्रयोगात्मक परिणाम

लेखकों ने चार निरंतर नियंत्रण कार्यों: Ball-Circle, Ball-Run, Car-Circle, और Car-Run में TCRL (PPOL एल्गोरिदम के साथ एकीकृत) का मूल्यांकन किया। मूल्यांकन में पांच स्थितियाँ शामिल थीं: नेचुरल (कोई हमला नहीं), MAD (मैक्सिमम एक्शन डिफरेंस), MC (मैक्स कॉस्ट), रैंडम, और एक कस्टम Worst-TC (वर्स्ट-केस टेम्पोरल-कपल्ड) हमलावर।

सुरक्षा प्रदर्शन: TCRL ने Worst-TC हमलों के तहत लगातार सबसे कम सुरक्षा लागत प्राप्त की। पेपर चार कार्यों में बेसलाइन विधियों की तुलना में सुरक्षा लागत में 559.38% से 19,077.78% तक की कमी रिपोर्ट करता है। उदाहरण के लिए, Car-Run कार्य में, TCRL ने बेसलाइन्स की तुलना में सुरक्षा लागत को 190.77 गुना तक कम कर दिया।
रिवॉर्ड प्रदर्शन: बेसलाइन्स के विपरीत, जो Worst-TC हमलों के तहत महत्वपूर्ण रिवॉर्ड गिरावट से जूझते हैं, TCRL अपने रिवॉर्ड मानों को बनाए रखता है या बढ़ाता भी है। TCRL ने Worst-TC हमलों के तहत बेसलाइन्स की तुलना में रिवॉर्ड मानों में 11.09% से 34.76% तक सुधार किया।
एब्लेशन स्टडी (Ablation Study): कॉस्ट कंस्ट्रेंट फंक्शन को हटाने (TCRL-Worstcost) से सुरक्षा लागत में उल्लेखनीय वृद्धि हुई, जबकि रिवॉर्ड डिफेंस बाधाओं को हटाने (TCRL-Reward) के परिणामस्वरूप रिवॉर्ड में भारी गिरावट आई, जो दोनों घटकों की आवश्यकता की पुष्टि करता है।

महत्व और दावे

पेपर का दावा है कि TCRL मौजूदा साहित्य के एक महत्वपूर्ण अंतर को संबोधित करता है, जो विशेष रूप से अस्थायी-जुड़े हुए विक्षोभों (जो सिंगल-स्टेप हमलों की तुलना में वास्तविक दुनिया के एडवरसेरियल परिदृश्यों के अधिक प्रतिनिधि हैं) को मॉडल करने और उनसे बचाव करने के लिए डिज़ाइन किया गया है।

लेखक दावा करते हैं कि TCRL एजेंटों को सक्षम बनाता है:

सबसे खराब स्थिति वाले अस्थायी हमलों के तहत सुरक्षा बाधाओं का उल्लंघन किए बिना उच्च कार्य रिवॉर्ड बनाए रखना।
स्पष्ट हमलावर मॉडल की आवश्यकता के बिना, अनुकूलित अस्थायी-जुड़े हुए हमलावरों को पहचानना और उनसे बचाव करना।
अस्थायी सहसंबंध और एंट्रॉपी बाधाओं के माध्यम से रिवॉर्ड फंक्शन को सीखने की हमलावर की क्षमता को बाधित करना।

यह कार्य TCRL को सुरक्षा-महत्वपूर्ण भौतिक वातावरणों में तैनात करने के लिए एक मजबूत समाधान के रूप में स्थापित करता है जहाँ स्टेट ऑब्जर्वेशन विकसित होते, सह-संबंधित एडवरसेरियल नॉइज़ के अधीन होते हैं।