तकनीकी सारांश: सेल्फ-प्ले सुदृढीकरण शिक्षण (Reinforcement Learning) में प्रतिकूल क्रिया निष्कासन (Adversarial Action Removal)

समस्या की परिभाषा

यह शोध पत्र मल्टी-एजेंट सुदृढीकरण शिक्षण (MARL) में एक नवीन और गंभीर प्रतिकूल हमले के सतह (attack surface) की जांच करता है: प्रतिकूल क्रिया मास्किंग (adversarial action masking)। अवलोकन संबंधी विक्षोभ (इनपुट में शोर जोड़ना) या पुरस्कार हेरफेर (reward manipulation) पर केंद्रित पिछले कार्यों के विपरीत, यह अध्ययन एक ऐसे हमले को औपचारिक रूप देता है जहाँ एक प्रतिकूल (adversary) एजेंट द्वारा निर्णय लेने से पहले पीड़ित एजेंट के क्रिया सेट (action set) से वैध क्रियाओं को चुनिष्ट रूप से हटा दिया जाता है।।

समस्या को एक द्वि-स्तरीय अनुकूलन (bi-level optimization) के रूप में फ्रेम किया गया है:

• आंतरिक लूप (Inner Loop): एक पीड़ित एजेंट (खिलाड़ी 0) मास्क द्वारा परिभाषित एक प्रतिबंधित क्रिया स्थान के तहत सेल्फ-प्ले के माध्यम से प्रशिक्षण प्राप्त करता है।
• बाहरी लूप (Outer Loop): एक प्रतिकूल (खिलाड़ी 1) एक ऐसी नीति सीखता है जो विशिष्ट सूचना अवस्थाओं (information states) पर उन क्रियाओं को चुनने के लिए है जिन्हें हटाया जाना है, ताकि पीड़ित के अपेक्षित मूल्य (expected value) को न्यूनतम किया जा सके।

प्रतिकूल एक बजट बाधा $k$ के तहत कार्य करता है, जो उन सूचना अवस्थाओं की संख्या को सीमित करता है जहाँ क्रियाओं को हटाया जा सकता है, लेकिन उसे प्रत्येक अवस्था में कम से कम एक वैध क्रिया बनाए रखनी होती है। मुख्य परिकल्पना यह है कि निर्णय विकल्पों को हटाना (संरचनात्मक कमी) सीमाओं वाले विक्षोभ (bounded perturbations) की तुलना में गुणात्मक रूप से भिन्न और अधिक हानिकारक है, क्योंकि यह एजेंट की निर्णय लेने की क्षमता को समाप्त कर सकता है और उसे एकल क्रियाओं (singleton actions) तक सीमित कर सकता है।

कार्यप्रणाली

औपचारिक ढांचा

लेखक वातावरण को दो-खिलाड़ी शून्य-योग विस्तृत-रूप खेल (two-player zero-sum extensive-form game) के रूप में मॉडल करते हैं। प्रतिकूल को एक मैपिंग $M: I_0 \to 2^A$ के रूप में परिभाषित किया गया है जो प्रत्येक पीड़ित सूचना सेट $h$ पर बरकरार रखने के लिए क्रियाओं के उपसमुच्चय (subset) का चयन करता है। प्रतिकूल का उद्देश्य पीड़ित के मूल्य $V_0(\pi^*_M)$ को न्यूनतम करना है।

यांत्रिक विश्लेषण (Mechanistic Analysis):
शोध पत्र हमले के तंत्र को समझाने के लिए दो मेट्रिक्स पेश करता है:

1. रीच-वेटेड कंटिंजेंट एक्शन कैपेसिटी ($CAC_w$): यह पहुँची गई सूचना अवस्थाओं में शेष बहु-क्रिया निर्णय क्षमता को मापता है, जिसे उनकी पहुँच की संभावना $\rho(h)$ द्वारा भारित (weighted) किया जाता है।
2. वैल्यू-वेटेड रिफाइनमेंट ($CAC_v$): यह एक अधिक सटीक मीट्रिक है जो क्षमता को पीड़ित की इष्टतम क्रिया और मजबूर की गई क्रिया के बीच के मूल्य अंतर $\delta(h)$ द्वारा भारित करता है: $CAC_v = \sum \rho(h) \cdot \delta(h) \cdot \mathbb{1}[|M(h)| > 1]$।

सैद्धांतिक प्रस्ताव सुझाव देते हैं कि एक लालची (greedy) प्रतिकूल उच्च $\rho(h) \cdot \delta(h)$ वाले राज्यों को लक्षित करता है, जिससे प्रभावी रूप से $CAC_w$ और $CAC_v$ को नीचे लाया जाता है। विशिष्ट स्थितियों के तहत (जैसे, $\epsilon$-greedy Q-learning), लेखक सिद्ध करते हैं कि यदि $CAC_w$ को शून्य तक पहुँचा दिया जाता है, तो पीड़ित की नीति एक अद्वितीय मजबूर क्रिया की ओर अभिसरित (converge) हो जाती है, जिससे एक स्थिर लेकिन उप-इष्टतम फिक्स्ड पॉइंट प्राप्त होता है।

प्रयोगात्मक सेटअप

अध्ययन निम्नलिखित के माध्यम से हमले का मूल्यांकन करता है:

• एल्गोरिदम: पांच अलग-अलग लर्निंग एल्गोरिदम जिनमें टैबुलर Q-लर्निंग, टैबुलर PPO, टैबुलर NFSP (न्यूरल फिक्टिशियस सेल्फ-प्ले), न्यूरल NFSP, और DQN शामिल हैं।
• डोमेन:
  • पोकर: कुह्न पोकर (6 अवस्थाएँ), लेड्यूक पोकर (50 अवस्थाएँ), और स्केल्ड वेरिएंट्स लेड्यूक-5 (389), लेड्यूक-10 (1,496), और लेड्यूक-20 (5,531 अवस्थाएँ)।
  • गैर-पोकर: प्रतिस्पर्धी ग्रिडवर्ल्ड (149 अवस्थाएँ) और रिसोर्स कलेक्शन (18,644 अवस्थाएँ)।
• बेसलाइन: रैंडम एक्शन रिमूवल, फिक्स्ड एक्शन रिमूवल, और लर्नड परटर्बेशन (RARL-शैली) हमलों के विरुद्ध तुलना।

प्रशिक्षण प्रोटोकॉल में पीड़ित प्रशिक्षण के 500 एपिसोड और प्रतिकूल के लिए एक ग्रेडिएंट स्टेप (REINFORCE का उपयोग करके) के बीच 20-25 बाहरी पुनरावृत्तियों (outer iterations) के माध्यम से बारी-बारी से कार्य किया जाता है।

मुख्य परिणाम

1. प्रतिकूल मास्किंग की श्रेष्ठता

लर्नड एडवरसैरियल मास्किंग, रैंडम मास्किंग या लर्नड परटर्बेशन की तुलना में काफी अधिक नुकसान पहुंचाती है।

• लेड्यूक पोकर में, समान सपोर्ट स्तरों पर लर्नड रिमूवल, रैंडम मास्किंग की तुलना में 4.8 गुणा अधिक हानिकारक है।
• समान प्रशिक्षण बजट के साथ लर्नड परटर्बेशन (RARL-शैली) की तुलना में, प्रतिकूल क्रिया निष्कासन कुह्न पोकर में 4 गुणा अधिक हानिकारक है।
• हमला तब भी बना रहता है जब प्रतिकूल को केवल सार्वजनिक जानकारी तक ही सीमित रखा जाता है, हालांकि निजी जानकारी तक पहुँच से बेहतर परिणाम मिलते हैं।

2. जटिलता के साथ स्केलिंग

लर्नड एडवरसरी का लाभ खेल की जटिलता बढ़ने के साथ बढ़ता है।

• लेड्यूक परिवार में, क्षति अनुपात (Adversarial/Random) 2.2× (~50 अवस्थाओं पर) से बढ़कर 4.8× (5,531 अवस्थाओं पर) हो जाता है।
• यह सुझाव देता है कि बड़े, अधिक जटिल खेल प्रतिकूल के लिए शोषण करने हेतु अधिक "रणनीतिक विषमता" (strategic heterogeneity) प्रदान करते हैं।

3. एल्गोरिदम और डोमेन अपरिवर्तनीयता

यह भेद्यता किसी एक एल्गोरिदम या डोमेन तक सीमित नहीं है:

• एल्गोरिदम: सभी परीक्षण किए गए एजेंट (QL, PPO, NFSP, DQN) प्रतिकूल मास्किंग के तहत विफल हो जाते हैं। यहाँ तक कि न्यूरल NFSP, जो एक मजबूत गेम-सॉल्विंग विधि है, भी महत्वपूर्ण रूप से घट जाता है (लेड्यूक-5 में -0.13 से -1.89 तक)।
• डोमेन: यह घटना गैर-पोकर वातावरण में भी बनी रहती है। प्रतिस्पर्धी ग्रिडवर्ल्ड में, प्रतिकूल मास्किंग ने रैंडम मास्किंग की तुलना में 1.9× अधिक नुकसान पहुँचाया। रिसोर्स कलेक्शन में, यह अंतर 1.4× था।

4. रिकवरी का अभाव

मास्क सक्रिय रहने के दौरान विस्तारित प्रशिक्षण के बावजूद पीड़ित उबर नहीं पाते हैं।

• जब एक निश्चित प्रतिकूल मास्क के तहत प्रशिक्षण जारी रहता है, तो पीड़ित का रिवॉर्ड अनमास्क्ड बेसलाइन की तुलना में काफी निचले स्तर पर स्थिर हो जाता है।
• अंतिम लर्नड मास्क पर शून्य से पुनः प्रशिक्षण (retraining from scratch) भी बड़े नुकसान का परिणाम देता है, जो दर्शाता है कि संरचनात्मक क्षति को अनुकूलन (adaptation) द्वारा आसानी से कम नहीं किया जा सकता है।

5. यांत्रिक सहसंबंध (Mechanistic Correlation)

$CAC_w$ और $CAC_v$ में कमी और पीड़ित के प्रदर्शन में गिरावट के बीच एक मजबूत अनुभवजन्य सहसंबंध है।

• $CAC_w$ पीड़ित रिवॉर्ड के साथ $r = 0.80$ पर सहसंबंधित है।
• $CAC_v$ $r = 0.81$ पर सहसंबंधित है, जो यह सुझाव देता है कि उच्च मूल्य अंतराल (value gaps) वाले राज्यों को लक्षित करना हमले की सफलता का प्राथमिक चालक है।

महत्व और दावे

यह शोध पत्र तर्क देता है कि क्रिया उपलब्धता (action availability) स्व-प्ले RL में एक विशिष्ट मजबूती सतह (robustness surface) बनाती है, जो अवलोकन या रिवॉर्ड मजबूती से अलग है।

• संरचनात्मक भेद्यता: निष्कर्ष दर्शाते हैं कि स्व-प्ले एजेंट क्रिया स्थान में लक्षित संरचनात्मक परिवर्तनों के प्रति नाजुक होते हैं। विक्षोभ (perturbations) के विपरीत जो शोर जोड़ते हैं, निष्कासन (removal) निर्णय विकल्पों को समाप्त कर देता है, जिससे एजेंट की रणनीतिक लचीलापन ढह जाता है।
• वर्तमान सुरक्षा उपायों की सीमाएँ: मौजूदा मजबूत MARL सुरक्षा उपाय (जैसे, विक्षोभ के विरुद्ध प्रशिक्षण या जनसंख्या विविधता का उपयोग) अपर्याप्त हैं क्योंकि वे यह मान लेते हैं कि संयुक्त क्रिया स्थान बरकरार है। शोध पत्र नोट करता है कि रणनीतियों का औसत निकालना या जनसंख्या विविधता बनाए रखना समाप्त की गई रणनीतिक आयामों को बहाल नहीं कर सकता है।
• तैनाती के निहितार्थ: वास्तविक दुनिया के सिस्टम में जहाँ प्रतिकूल विशिष्ट क्षमताओं (जैसे, API एंडपॉइंट, एक्टुएटर) को अक्षम कर सकते हैं, एजेंट विनाशकारी विफलता का सामना कर सकते हैं। लेखक सुझाव देते हैं कि प्रभावी सुरक्षा को मनमाने क्रिया अनुपलब्धता के लिए समान मजबूती के बजाय उच्च-रीच, उच्च-वैल्यू निर्णय बिंदुओं ($CAC_v$) पर रणनीतिक लचीलेपन को संरक्षित करने पर ध्यान केंद्रित करना चाहिए।

लेखक अपने सैद्धांतिक दावों के संबंध में विनम्र बने हुए हैं, यह नोट करते हुए कि क्षति सीमाएं स्थानीय और योगात्मक (additive) हैं, और स्केलिंग ट्रेंड अनुभवजन्य (चार गेम आकारों पर आधारित) है न कि एक सिद्ध स्केलिंग लॉ। वे स्वीकार करते हैं कि पूर्ण पोकर स्केल ($10^5+$ अवस्थाएँ) और निरंतर (continuous) एक्शन डोमेन में सत्यापन भविष्य का कार्य है।