$\texttt{Flip-Team}$: Cooperative Takeover Games with Stochastic Human Override

तकनीकी सारांश: फ्लिप-टीम: स्टोकेस्टिक ह्यूमन ओवरराइड के साथ कोऑपरेटिव टेकओवर गेम्स

समस्या विवरण
साझा स्वायत्तता (shared autonomy) प्रणालियाँ, जो स्वायत्त ड्राइविंग और सहायक रोबोटिक्स जैसे क्षेत्रों में महत्वपूर्ण हैं, मानव और स्वायत्त एजेंटों के बीच नियंत्रण हस्तांतरण के लिए सिद्धांत-आधारित तंत्र की मांग करती हैं। मौजूदा दृष्टिकोण अक्सर कंट्रोल ब्लेंडिंग या ह्यूरिस्टिक स्विचिंग नियमों पर निर्भर करते हैं जिनमें सैद्धांतिक गारंटी का अभाव होता है और जो अधिकार हस्तांतरण (authority transfer) की गतिशीलता को समझने में विफल रहते हैं। इसके अलावा, कई वर्तमान ढांचे सममित भूमिकाओं (symmetric roles) को मानते हैं या मानव उपयोगिता (human utility) के पूर्ण ज्ञान की आवश्यकता रखते हैं, जो अक्सर अवास्तविक होता है। एक विशिष्ट अंतराल 'अधिकार स्विचिंग' को मॉडल करने में है जहाँ मानव एक विषम "ओवरराइड" क्षमता (जब एजेंट नियंत्रण में हो तब भी हस्तक्षेप करने की क्षमता) रखता है, जो स्टोकेस्टिक स्थितियों के तहत होती है, जबकि दोनों एजेंट एक साझा मिशन उद्देश्य का पालन करते हैं। यह शोध पत्र एक सहयोगात्मक ढांचे (cooperative framework) की आवश्यकता को संबोधित करता है जो एड-हॉक नियमों या निरंतर मानव जुड़ाव पर निर्भर किए बिना इष्टतम स्विचिंग नीतियों को निर्धारित करता है।

कार्यप्रणाली (Methodology)
लेखक फ्लिप-टीम (Flip-Team) प्रस्तावित करते हैं, जो एक समान-हित गतिशील खेल (identical-interest dynamic game) के रूप में तैयार किया गया एक सहकारी गेम-थ्योरेटिक ढांचा है। मुख्य नवाचार स्विचिंग निर्णय को सीधे सिस्टम डायनेमिक्स में एम्बेड करना है, न कि इसे एक बाहरी मध्यस्थता तंत्र के रूप में मानना।

1. खेल का निर्धारण (Game Formulation):

   • स्टेट स्पेस (State Space): सिस्टम स्टेट $x_k$ या तो मानव नियंत्रण ($\alpha_k = H$) या स्वायत्त नियंत्रण ($\alpha_k = A$) के तहत विकसित होता है।
   • फ्लिपडाइन (FlipDyn) स्टेट: एक डिस्क्रीट स्टेट $\alpha_k$ ट्रैक करता है कि किसके पास अधिकार है। ट्रांज़िशन एजेंट के कार्यों द्वारा नियंत्रित होते हैं: "इडल" (नियंत्रण बनाए रखना) या "टेकओवर/रिक्वेस्ट"।
   • स्टोकेस्टिक ओवरराइड (Stochastic Override): एक प्रमुख विशेषता स्टोकेस्टिक ह्यूमन ओवरराइड है। जब स्वायत्त एजेंट नियंत्रण में होता ($\alpha_k = A$) और मानव हस्तक्षेप करने का प्रयास करता ($\pi^H_k = 1$) जबकि एजेंट हैंडऑफ का अनुरोध नहीं करता, तो टेकओवर $p_k$ प्रायिकता के साथ सफल होता है। यह इंटरफ़ेस लेटेंसी और उन मध्यस्थता तंत्रों को कैप्चर करता है जहाँ मानव अधिकार श्रेष्ठ है लेकिन गारंटीकृत नहीं है।
   • कॉस्ट फंक्शन (Cost Function): एजेंट संयुक्त रूप से एक कुल लागत $J$ को कम करते हैं जिसमें स्टेट कॉस्ट (ट्रैकिंग एरर, ऊर्जा) और टेकओवर कॉस्ट (संज्ञानात्मक भार, ट्रांजिशन जोखिम) शामिल हैं। लागत विषम ($g^H \neq g^A$, $h \neq a$) है जो अलग-अलग नियंत्रण प्रभावशीलता और स्विचिंग बोझ को दर्शाती है।

2. सामान्य सिस्टम विश्लेषण:

   • समस्या को डायनेमिक प्रोग्रामिंग का उपयोग करके हल किया जाता है। लेखक दोनों FlipDyn स्टेट्स ($H$ और $A$) के लिए वैल्यू फंक्शन्स और कॉस्ट-टू-गो मैट्रिसेस को परिभाषित करते हैं।
   • थ्योरम 1 प्योर स्ट्रेटेजीज में टीम-इष्टतम स्विचिंग नीतियों के अस्तित्व को स्थापित करता है। यह भविष्य के वैल्यू फंक्शन्स ($\tilde{v}_{k+1} = v^A_{k+1} - v^H_{k+1}$) के अंतर के आधार पर, जिसे टेकओवर लागत और ओवरराइड प्रायिकता $p_k$ द्वारा स्केल किया गया है, अधिकार हस्तांतरण के लिए स्पष्ट थ्रेशोल्ड स्थितियां व्युत्पन्न करता है।

3. लीनियर-क्वाड्रैटिक (LQ) विस्तार:

   • लीनियर सिस्टम के लिए क्वाड्रेटिक कॉस्ट के साथ, लेखक कोरोलरी 1 व्युत्पन्न करते हैं, जो इष्टतम स्विचिंग नीतियों और वैल्यू फंक्शन पैरामीटर्स ($P^H_k, P^A_k$) के लिए क्लोज्ड-फॉर्म रिकर्शन प्रदान करता है।
   • महत्वपूर्ण रूप से, यह फॉर्मूलेशन इष्टतम स्विचिंग थ्रेशोल्ड को ऑफलाइन कंप्यूट करने की अनुमति देता है और यह निरंतर स्टेट $x$ से स्वतंत्र रहता है (स्केलर केस में), या मल्टी-डायमेंशनल केस में केवल एक क्वाड्रेटिक फॉर्म के माध्यम से स्टेट पर निर्भर करता है। यह सुनिश्चित करता है कि निरंतर स्टेट स्पेस कार्डिनैलिटी के स्वतंत्र रूप से कम्प्यूटेशनल दक्षता बनी रहे।

प्रमुख योगदान

1. सहकारी टेकओवर फॉर्मूलेशन: यह शोध पत्र मानव-स्वायत्तता टेकओवर समस्या को एक समान-हित गतिशील खेल के रूप में तैयार करता है जहाँ स्विचिंग निर्णय सिस्टम डायनेमिक्स में एम्बेड किए गए हैं। यह एकीकृत ढांचा विषम अधिकार, स्टोकेस्टिक ह्यूमन ओवरराइड और स्टेट-डिपेंडेंट कॉस्ट को कैप्चर करता है।
2. इष्टतम स्विचिंग का लक्षण वर्णन: लेखक टीम-इष्टतम नीतियों के अस्तित्व को स्थापित करते हैं और उन्हें स्पष्ट थ्रेशोल्ड स्थितियों के माध्यम से लक्षणबद्ध करते हैं। ये स्थितियां यह निर्धारित करती हैं कि अधिकार कब स्थानांतरित होते हैं, जो भविष्य की लागत अंतर और स्विचिंग की संभाव्य लागत के बीच संतुलन पर आधारित हैं।
3. LQ सिस्टम के लिए विश्लेषणात्मक समाधान: लीनियर-क्वाड्रैटिक सिस्टम के लिए, पेपर इष्टतम नीतियों और वैल्यू फंक्शन्स के लिए क्लोज्ड-फॉर्म रिकर्शन व्युत्पन्न करता है। यह निरंतर स्टेट स्पेस में सहकारी टेकओवर रणनीतियों के कुशल कंप्यूटेशन को सक्षम बनाता है, जहाँ स्विचिंग थ्रेशोल्ड या तो निरंतर स्टेट से स्वतंत्र (स्केलर मामलों में) होते हैं या मैट्रिक्स असमानताओं (मल्टी-डायमेंशनल मामलों में) द्वारा परिभाषित होते हैं।

परिणाम
फ्रेमवर्क को स्केलर और मल्टी-डायमेंशनल लीनियर सिस्टम पर मान्य किया गया:

• स्केलर LTI सिस्टम: एक परिमित हॉरिजन ($L=40$) पर सिमुलेशन ने दिखाया कि स्विचिंग व्यवहार ओवरराइड प्रायिकता $p$ के प्रति अत्यधिक संवेदनशील है। एक क्रिटिकल थ्रेशोल्ड $p^* = H/(H+A)$ की पहचान की गई; इस मान से नीचे, एकतरफा मानव ओवरराइड कभी भी इष्टतम नहीं होता है। जैसे-जैसे $p$ बढ़ता है, इष्टतम ओवरराइड की आवृत्ति बढ़ती है, जो मध्यवर्ती शासन (intermediate regimes) में एक नॉन-मोनोटोनिक पॉलिसी इवोल्यूशन दिखाती है।
• व्हीकल लैटरल रेगुलेशन (2D): एक 2D वाहन लेन-ट्रैकिंग कार्य में, Flip-Team नीति ने "ऑलवेज-ऑटोनॉमस" बेसलाइन की तुलना में वर्स्ट-केस कॉस्ट को 18.65% कम कर दिया और फिक्स्ड-इंटरवल स्विचिंग रणनीतियों से बेहतर प्रदर्शन किया।
• स्टेट डायमेंशनलिटी: परिणामों ने स्केलर और मल्टी-डायमेंशनल सिस्टम के बीच एक मौलिक संरचनात्मक अंतर को उजागर किया। स्केलर सिस्टम में, स्विचिंग स्टेट-इंडिपेंडेंट है। उच्च आयामों में, स्विचिंग कंडीशन में मैट्रिक्स असमानताएं ($\tilde{P}_{k+1} \succeq H/p$) शामिल हैं, जिसका अर्थ है कि ओवरराइड उन स्टेट्स के लिए इष्टतम हो सकता है जो वैल्यू डिफरेंस मैट्रिक्स के विशिष्ट आइजनवेक्टर्स (eigenvectors) के साथ संरेखित हैं, लेकिन दूसरों के लिए नहीं।

महत्व और दावे
यह शोध पत्र दावा करता है कि साझा स्वायत्तता को कोऑपरेटिव गेम थ्योरी में आधारित करना ह्यूरिस्टिक ब्लेंडिंग या मध्यस्थता के लिए एक सिद्धांत-आधारित विकल्प प्रदान करता है। मानव और स्वायत्तता को एक साझा उद्देश्य वाले एक एकीकृत टीम के रूप में मानकर, Flip-Team इष्टतम स्विचिंग नीतियां प्रदान करता है जो सिस्टम डायनेमिक्स, कॉस्ट स्ट्रक्चर और मानव हस्तक्षेप की विश्वसनीयता के अनुकूल होती हैं। यह ढांचा मानव अनुकूलन क्षमता और स्वायत्त दक्षता के बीच के ट्रेड-ऑफ को स्पष्ट रूप से संबोधित करता है।

लेखक सीमाओं को नोट करते हैं: फ्रेमवर्क मानता है कि हित समान हैं (एलाइंड ऑब्जेक्टिव्स), ओवरराइड प्रायिकता को ज्ञात मानता है (तैनाती के दौरान अनुमान की आवश्यकता होती है), और क्लोज्ड-फॉर्म परिणामों को LQ सिस्टम तक सीमित रखता है। भविष्य के कार्य के रूप में प्राइवेट इंफॉर्मेशन के साथ बेयसियन गेम्स, ओवरराइड प्राय oleh ऑनलाइन लर्निंग, और ह्यूमन-इन-द-लूप प्रयोगों के साथ फिजिकल वैलिडेशन तक फ्रेमवर्क का विस्तार करने का प्रस्ताव है।