Repeated Deceptive Path Planning against Learnable Observer

तकनीकी सारांश: सीखने योग्य पर्यवेक्षक के विरुद्ध बार-बार होने वाली भ्रामक पथ योजना (Repeated Deceptive Path Planning)

समस्या की परिभाषा

यह शोध पत्र भ्रामक पथ योजना (Deceptive Path Planning - DPP) में एक महत्वपूर्ण अंतराल को संबोधित करता है। पारंपरिक DPP एक स्थिर, गैर-सीखने वाले पर्यवेक्षक (observer) को मानता है जो एक प्रक्षेपवक्र (trajectory) से एजेंट के वास्तविक लक्ष्य का अनुमान लगाने का प्रयास करता है। हालाँकि, वास्तविक दुनिया के प्रतिकूल परिदृश्यों (जैसे, सैन्य संचालन, महत्वपूर्ण वस्तुओं का परिवहन) में, विरोधी सीखने योग्य (learnable) होते हैं; वे बार-बार होने वाली अंतःक्रियाओं (interactions) के माध्यम से ऐतिहासिक प्रक्षेप पथों का विश्लेषण करके अपने अनुमान मॉडलों को अनुकूलित करते हैं।

लेखक बार-बार होने वाली भ्रामक पथ योजना (Repeated Deceptive Path Planning - RDPP) को औपचारिक रूप देते हैं, जो एक ऐसा परिवेश है जहाँ एक एजेंट को उस पर्यवेक्षक से अपने वास्तविक गंतव्य को छिपाना होता है जो प्रत्येक अंतःक्रिया एपिसोड के बाद अपने पहचान मॉडल को अपडेट करता है। पहचाना गया मुख्य संघर्ष अनुकूलन अंतराल (adaptation lag) है: मानक प्रतिक्रियात्मक रणनीतियाँ (reactive strategies), जहाँ एजेंट केवल पर्यवेक्षक के बेहतर भविष्यवाणियों को देखने के बाद ही अपनी नीति (policy) को अपडेट करता है, अनिवार्य रूप से पर्यवेक्षक की सीखने की प्रगति से पीछे रह जाती हैं। समय के साथ, यह अंतराल संचित होता जाता है, जिससे पहले से प्रभावी भ्रामक व्यवहार पूर्वानुमानित और अप्रभावी हो जाते हैं।

कार्यप्रणाली: भ्रामक मेटा प्लानिंग (Deceptive Meta Planning - DeMP)

अनुकूलन की सीमाओं को दूर करने के लिए, लेखक भ्रामक मेटा प्लानिंग (DeMP) का प्रस्ताव करते हैं, जो एक दो-स्तरीय अनुकूलन ढांचा है जिसे पर्यवेक्षक की प्रतिक्रिया देने के बजाय उसके सीखने की गतिशीलता का पूर्वानुमान लगाने के लिए डिज़ाइन किया गया है।

1. समस्या का निरूपण

RDPP को एक टुपल $(M_{DPP}, \Phi, K)$ के रूप में मॉडल किया गया है, जहाँ $M_{DPP}$ एक भ्रामक मार्कोव निर्णय प्रक्रिया (Markov Decision Process) है, $\Phi$ सीखने योग्य पर्यवेक्षक का पैरामीटर स्पेस है, और $K$ बार-बार होने वाली अंतःक्रियाओं की संख्या है।

• अंतःक्रिया प्रोटोकॉल: प्रत्येक एपिसोड $k$ में, एजेंट एक प्रक्षेपवक्र $\tau^{(k)}$ उत्पन्न करता है। पर्यवेक्षक एक प्रीफिक्स $\zeta^{(k)}$ देखता है और एक लक्ष्य वितरण (goal distribution) का अनुमान लगाता है। एपिसोड के बाद, पर्यवेक्षक पूर्ण प्रक्षेपवक्र और वास्तविक लक्ष्य का उपयोग करके अपने पैरामीटर्स $\phi$ को अपडेट करता है, जबकि एजेंट फीडबैक के रूप में पर्यवेक्षक के अनुमान प्राप्त करता है।
• उद्देश्य: एजेंट का लक्ष्य $K$ एपिसोड में संचयी विश्वास-प्रेरित पुरस्कारों (belief-induced rewards) को अधिकतम करना है, जिससे उस संभावना को कम किया जा सके जो पर्यवेक्षक वास्तविक लक्ष्य को सौंपता है।

2. DeMP ढांचा

DeMP एक नेस्टेड संरचना के माध्यम से कार्य करता जिसमें एपिसोड-स्तरीय अनुकूलन (Episode-Level Adaptation) और मेटा-स्तरीय अपडेट (Meta-Level Updates) शामिल हैं:

• एपिसोड-स्तरीय अनुकूलन: प्रत्येक एपिसोड के बाद, एजेंट पर्यवेक्षक के वर्तमान अनुमान के आधार पर अपने नीति मापदंडों $\theta^{(k)}$ को अपडेट करता है। लॉस फंक्शन (loss function) एक मानक सुदृढीकरण शिक्षण (reinforcement learning) उद्देश्य को एक सरोगेट भ्रामक पुरस्कार (surrogate deceptive reward) के साथ जोड़ता है जो वास्तविक लक्ष्य में उच्च पर्यवेक्षक आत्मविश्वास को दंडित करता है। इसके अतिरिक्त, एक KL-विचलन (KL-divergence) नियमितीकरण पद यह सुनिश्चित करता है कि पर्यवेक्षक का पोस्टीरियर (posterior) एक समान वितरण (uniform distribution) के करीब रहे (भ्रम को अधिकतम करना)।
  $$\theta^{(k+1)} = \theta^{(k)} - \alpha \nabla_{\theta^{(k)}} \mathcal{L}^{(k)}(\theta^{(k)})$$

• मेटा-स्तरीय अपडेट: महत्वपूर्ण रूप से, DeMP केवल एपिसोड-स्तरीय अपडेट तक सीमित नहीं है। $M$ एपिसोड के एक ब्लॉक के बाद, यह नीति इनिशियलाइजेशन $\theta^{(0)}$ पर एक मेटा-अपडेट करता है। यह अपडेट द्वितीय-क्रम सूचना (second-order gradient information) (उच्च-क्रम डेरिवेटिव) का उपयोग यह गणना करने के लिए करता है कि एजेंट के प्रारंभिक मापदंड अनुकूलन के $M$ चरणों के बाद अंतिम प्रदर्शन को कैसे प्रभावित करते हैं।
  $$\theta^{(0)} \leftarrow \theta^{(0)} - \beta \nabla_{\theta^{(0)}} \mathcal{L}^{(meta)}$$
  $\theta^{(0)}$ को अनुकूलित करके, DeMP एक ऐसी नीति इनिशियलाइजेशन सीखता है जो पर्यवेक्षक के भविष्य के सीखने के प्रक्षेपवक्र के प्रति मजबूत (robust) हो। यह एजेंट को यह "पूर्वानुमान" लगाने की अनुमति देता है कि पर्यवेक्षक अपने मॉडल को कैसे अपडेट करेगा, जिससे अनुकूलन अंतराल को प्रभावी ढंग से कम किया जा सके।

3. सैद्धांतिक औचित्य

शोध पत्र DeMP का समर्थन करने वाला सैद्धांतिक विश्लेषण प्रदान करता है:

• सरोगेट निरंतरता (Surrogate Consistency): एक तर्कसंगत पर्यवेक्षक की धारणा के तहत, DeMP सरोगेट लॉस (स्पष्ट भविष्यवाणियों पर आधारित) को न्यूनतम करना, वास्तविक विश्वास-प्रेरित पुरस्कार (सुप्त विश्वासों पर आधारित) को अधिकतम करने के अनुरूप है।
• पूर्वानुमान तंत्र (Anticipation Mechanism): मेटा-ग्रेडिएंट में एक पद शामिल है जो पर्यवेक्षक के लर्निंग ग्रेडिएंट पर निर्भर है। यह सैद्धांतिक रूप से एजेंट की नीति की संवेदनशीलता को पर्यवेक्षक के भविष्य के अपडेट के प्रति कम करता है, जिससे सक्रिय (proactive) न कि केवल प्रतिक्रियात्मक अनुकूलन संभव होता है।

मुख्य योगदान

1. RRPP का औपचारिकीकरण: यह शोध पत्र RRPP समस्या को पेश करता है, जो मानक DPP को सीखने योग्य, अनुकूलित पर्यवेक्षकों वाले परिदृश्यों तक विस्तारित करता है, और बार-बार होने वाले सेटिंग्स में वन-शॉट विधियों की विफलता को रेखांकित करता है।
2. DeMP ढांचा: एक नवीन दो-स्तरीय अनुकूलन विधि जो तीव्र एपिसोड-स्तरीय अनुकूलन को मेटा-स्तरीय अपडेट के साथ जोड़ती है। यह पथ नियोजन में पर्यवेक्षक की सीखने की गतिशीलता को स्पष्ट रूप से मॉडल करने और उसका मुकाबला करने वाला पहला दृष्टिकोण है।
3. अनुभवजन्य सत्यापन: व्यापक प्रयोगों से पता चलता है कि DeMP सैकड़ों अंतःक्रियाओं में उच्च भ्रामक प्रदर्शन बनाए रखता है, जबकि मौजूदा विधियाँ (मानक RL-आधारित DPP और सरल प्रतिक्रियात्मक दृष्टिकोण सहित) जैसे-जैसे पर्यवेक्षक सीखता है, तेजी से खराब हो जाती हैं।

प्रयोगात्मक परिणाम

लेखकों ने ग्रिड-वर्ल्ड वातावरण (49x49 और 100x100) और सक्रिय पीछा (active pursuit) वाले एक "पाइरेट डेसेप्शन" परिदृश्य में DeMP का मूल्यांकन किया।

• निरंतर भ्रांति (Sustained Deception): 400 अंतःक्रिया एपिसोड के दौरान, DeMP ने लगातार पर्यवेक्षक द्वारा वास्तविक लक्ष्य की पहचान किए जाने की सबसे कम संभावना बनाए रखी। इसके विपरीत, एम्बिग्युटी मॉडल (AM) और एक 'नेइव एजेंट' जैसे बेसलाइन ने देखा कि जैसे-जैसे पर्यवेक्षक अनुकूलित हुआ, उनकी भ्रांति क्षमता ढह गई।
• पथ विविधता (Path Diversity): विज़ुअलाइज़ेशन (हीटमैप और t-SNE प्रोजेक्शन) ने खुलासा किया कि जबकि बेसलाइन एजेंट स्थिर या कठोर पथों की ओर अभिसरित (converge) हुए, DeMP ने अपने प्रक्षेपवक्र पैटर्न को निरंतर विकसित किया, जिससे पर्यवेक्षक को स्थिर निष्कर्ष संबंध स्थापित करने से रोका जा सका।
• लागत ट्रेड-ऑफ (Cost Trade-off): DeMP ने इष्टतम पथों की तुलना में थोड़ा अधिक पथ लागत (path cost) ली, जो दीर्घकालिक मजबूती के लिए एक आवश्यक समझौता है।
• सक्रिय पीछा (Active Pursuit): पाइरेट डेसेप्शन सेटिंग में, DeMP ने बेसलाइन की तुलना में एजेंट की पकड़ में आने की दर को काफी कम कर दिया, जो भविष्यवाणियों के आधार पर सक्रिय रूप से बचाव करने वाले विरोधी के विरुद्ध भी इसकी प्रभावकारिता को सिद्ध करता है।
• हाइपरपैरामीटर संवेदनशीलता: अध्ययन में पाया गया कि मेटा-अपडेट से पहले एपिसोड की एक मध्यम संख्या ($M$) ऐतिहासिक जानकारी को शामिल करने और समय पर अनुकूलन बनाए रखने के बीच सबसे अच्छा संतुलन प्रदान करती है।

महत्व और दावे

शोध पत्र का दावा है कि DeMP प्रतिक्रियात्मक (reactive) से सक्रिय (proactive) अनुकूलन की ओर बढ़कर भ्रामक नियोजन में एक मौलिक बदलाव लाता है। मेटा-लर्निंग सिद्धांतों का लाभ उठाकर, DeMP अनुकूलन अंतराल की संरचनात्मक सीमा को संबोधित करता है जो क्रमिक प्रतिकूल अंतःक्रियाओं में निहित है।

लेखक इस बात पर जोर देते हैं कि उनका कार्य सीखने योग्य विरोधियों के साथ बार-बार होने वाली अंतःक्रियाओं को मॉडल करने के महत्व को उजागर करता है। उनका तर्क है कि पर्यवेक्षकों की अनुकूलन प्रकृति को अनदेखा करने से वास्तविक दुनिया के परिदृश्यों में भ्रांति (deception) में तेजी से गिरावट आती है। हालांकि वर्तमान प्रयोग ग्रिड वर्ल्ड में किए गए हैं, यह ढांचा मल्टी-एजेंट सिस्टम में गोपनीयता और सुरक्षा के लिए नए अंतर्दृष्टि प्रदान करता है जहाँ विरोधी ऐतिहासिक डेटा से लगातार सीखते हैं। लेखक विनम्रतापूर्वक नोट करते हैं कि अधिक जटिल, उच्च-आयामी और गतिशील वास्तविक दुनिया के डोमेन में ढांचे की प्रभावशीलता का पता लगाने के लिए भविष्य के कार्य की आवश्यकता है।