तकनीकी सारांश: मल्टी-टास्क सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए संभाव्य प्रदर्शन गारंटी

समस्या विवरण

मल्टी-टास्क सुदृढीकरण शिक्षण (MTRL) का लक्ष्य एक एकल नीति (policy) को प्रशिक्षित करना है जो एक अंतर्निहित, अक्सर अज्ञात, कार्य वितरण (task distribution) से प्राप्त कई कार्यों को निष्पादित करने में सक्षम हो। जबकि हालिया प्रगति ने औसत प्रदर्शन में सुधार किया है, मौजूदा दृष्टिकोणों में अनदेखे कार्यों (unseen tasks) के लिए औपचारिक प्रदर्शन गारंटी का अभाव है (जीरो-शॉट सामान्यीकरण)। यह प्रमाणन (certification) का अभाव सुरक्षा-महत्वपूर्ण डोमेन, जैसे कि स्वायत्त ड्राइविंग या रोबोटिक हेरफेर (robotic manipulation) में तैनात करने के लिए एक महत्वपूर्ण बाधा है, जहाँ गतिकी (dynamics), पुरस्कारों या प्रारंभिक स्थितियों में भिन्नता विनाशकारी विफलताओं का कारण बन सकती है।

मुख्य चुनौती जिसे संबोधित किया गया है वह है प्रमाणन समस्या: यह मात्रा निर्धारित करना कि एक सीखी गई नीति $\pi$ एक नए, अनदेखे कार्य $M \sim \mathcal{D}$ पर एक विशिष्ट प्रदर्शन थ्रेशोल्ड $B$ को पूरा करने की संभावना कितनी है, यह देखते हुए कि केवल कार्यों का एक सीमित सेट और प्रत्येक कार्य के लिए रोलआउट की एक सीमित संख्या उपलब्ध है। इस समस्या में दो अलग-अलग प्रकार की अनिश्चितताएँ शामिल हैं:

1. कार्य-स्तर की अनिश्चितता (Task-level uncertainty): अज्ञात कार्य वितरण $\mathcal{D}$ का अनुमान $n$ कार्यों के एक सीमित नमूने द्वारा लगाया जाता है।
2. रोलआउट-स्तर की अनिश्चितता (Rollout-level uncertainty): किसी विशिष्ट कार्य पर नीति के वास्तविक प्रदर्शन की गणना क्लोज्ड-फॉर्म में नहीं की जा सकती है और इसे $m$ रोलआउट से अनुमानित किया जाना चाहिए।

पूर्ववर्ती कार्य अक्सर प्रत्येक कार्य के सटीक प्रदर्शन मानों तक पहुँच को मानते हैं, जो निरंतर या जटिल वातावरणों में अवास्तविक है। यह शोध पत्र इस अंतर को संबोधित करता है और एक ऐसी विधि प्रदान करता है जो स्पष्ट रूप से रोलआउट अनुमान अनिश्चितता को कार्य-स्तरीय सामान्यीकरण चरण के माध्यम से प्रसारित (propagate) करती है।

कार्यप्रणाली

प्रस्तावित दृष्टिकोण दो चरणों के संभाव्य बाउंड्स (probabilistic bounds) को संयोजित करके एक उच्च-विश्वास सुरक्षा प्रमाणन (high-confidence safety certificate) का निर्माण करता है। यह विधि एल्गोरिदम-अज्ञेयवादी (algorithm-agnostic) है, जो उपयोग किए गए किसी भी मल्टी-टास्क लर्निंग एल्गोरिदम के बावजूद किसी भी सीखी गई मल्टी-टास्क नीति पर लागू होती है।

1. प्रति-कार्य निचला विश्वास अंतराल (Per-Task Lower Confidence Bounds)

प्रत्येक नमूनाकृत कार्य $M_i$ के लिए, विधि $m$ देखे गए रोलआउट का उपयोग करके नीति के प्रदर्शन $J_{M_i}(\pi)$ पर एक सुदृढ़ निचला विश्वास अंतराल $\tilde{J}^\beta_{M_i}(\pi)$ का निर्माण करती है।

• मैट्रिक धारणा: ढांचा मोनोटोनिक ट्रेजेक्टरी मेट्रिक्स (monotone trajectory metrics) को मानता है, जहाँ एक प्रक्षेपवक्र (trajectory) के लंबे प्रीफिक्स को देखने से मापा गया प्रदर्शन कम नहीं होता है (जैसे, गैर-ऋणात्मक पुरस्कारों के साथ डिस्काउंटेड रिटर्न, या सफलता की संभावना)। यह अनंत-क्षितिज (infinite-horizon) उद्देश्यों के लिए वैध निचले बाउंड के रूप में परिमित-प्रीफिक्स अवलोकनों को कार्य करने की अनुमति देता है।
• बाउंड निर्माण: मेट्रिक प्रकार के आधार पर, मानक सांद्रता असमानताओं (concentration inequalities) का उपयोग किया जाता है:
  • बाइनरी मेट्रिक्स (सफलता/विफलता): सटीक क्लॉपर-पियर्सन (Clopper–Pearson) बाउंड का उपयोग किया जाता है।
  • सीमित वास्तविक-मूल्य मेट्रिक्स: विधि होफडिंग (Hoeffding) की असमानता, ड्वेट्ज़की-कीर-वाल्डाउफ (DKW) असमानता, या एम्पेरिकल बर्नस्टीन (Empirical Bernstein) बाउंड का उपयोग करती है। बाद वाले मामलों में, जब सैंपल वेरिएंस कम होता है या सैंपल चरम छोरों से दूर केंद्रित होते हैं, तो वे होफडिंग की तुलना में कम रूढ़िवादी (less conservative) होते हैं।
• विश्वास पैरामीटर: ये बाउंड्स $1 - \beta$ की प्रायिकता के साथ मान्य होते हैं, जहाँ $\beta$ कार्य-स्तर के अनुमान के लिए एक उपयोगकर्ता-चयनित विश्वास पैरामीटर है।

2. कार्य-स्तरीय सामान्यीकरण (सुरक्षा प्रमाणन)

दूसरा चरण अज्ञात कार्य वितरण $\mathcal{D}$ के लिए एक एकल गारंटी प्रदान करने हेतु प्रति-कार्य संभाव्य बाउंड्स को एकत्रित करता है।

• थ्योरम 5.1 (सुरक्षा प्रमाणन): मुख्य सैद्धांतिक योगदान एक परिमित-नमूना बाउंड है जो $n$ नमूनाकृत कार्यों में अनिश्चितता और प्रत्येक कार्य में $m$ रोलआउट की अनिश्चितता दोनों को ध्यान में रखता है।
• तंत्र: थ्योरम $k(B)$ को उन नमूनों की संख्या के रूप में परिभाषित करता है जहाँ प्रति-कार्य निचला बाउंड प्रदर्शन थ्रेशोल्ड $B$ से नीचे गिर जाता है। फिर यह एक उल्लंघन प्रायिकता (violation probability) $\epsilon$ के लिए समाधान निकालता है ताकि वास्तविक सुरक्षा स्तर $S^\pi_\mathcal{D}(B) = \Pr_{M \sim \mathcal{D}}[J_M(\pi) \ge B]$ इस प्रकार संतुष्ट हो:
  $$\Pr[S^\pi_\mathcal{D}(B) \ge 1 - \epsilon] \ge 1 - \delta$$
  जहाँ $1-\delta$ उपयोगकर्ता-चयनित वैश्विक विश्वास स्तर है।
• अनिश्चितता को संभालना: मानक सामान्यीकरण बाउंड्स के विपरीत, जो सटीक कार्य प्रदर्शन के ज्ञान को मानते हैं, यह विधि एक द्विपद पूंछ तर्क (binomial tail argument) का उपयोग करती है ताकि यह सुनिश्चित किया जा सके कि कम से कम $K$ प्रासंगिक प्रति-कार्य बाउंड्स एक साथ मान्य हैं। एक सहायक पैरामीटर $K$ विधि को यह आवश्यकता कम करने की अनुमति देता है कि सभी बाउंड्स एक साथ मान्य हों, जिससे सख्त होने के बजाय अधिक सटीक प्रमाणन (tighter certificates) प्राप्त होता है। अंतिम बाउंड को बाइनोमियल प्रोबेबिलिटी और कार्य-स्तर के विफलता दर ($\beta$) के बीच संतुलन बनाते हुए एक विशिष्ट समीकरण को हल करके निकाला जाता है।

मुख्य योगदान

1. नवीन सामान्यीकरण बाउंड: यह शोध पत्र एक नया बाउंड पेश करता है जो प्रति-कार्य निचले विश्वास अंतराल को कार्य-स्तरीय सामान्यीकरण के साथ जोड़ता है। यह MTRL के लिए प्रति-कार्य रोलआउट अनुमान त्रुटि को वितरण-स्तर के सामान्यीकरण चरण के माध्यम से स्पष्ट रूप से प्रसारित करने वाला पहला दृष्टिकोण है।
2. एल्गोरिदम-अज्ञेयवादी प्रमाणन: इस विधि को प्रशिक्षण एल्गोरिदम या नीति की आंतरिक संरचना के ज्ञान की आवश्यकता नहीं होती है। यह केवल देखे गए रोलआउट डेटा पर निर्भर करती है।
3. कंप्यूटेशनल दक्षता: प्रमाणन प्रक्रिया कंप्यूटेशनल रूप से हल्की है। इसमें बाइसैक्शन (bisection) के माध्यम से एक यूनिवेरिएट समीकरण को हल करना शामिल है और यह स्टेट या एक्शन स्पेस की विमाओं (dimensionality) के साथ स्केल नहीं होती है, जिससे यह उच्च-विमीय निरंतर-नियंत्रण डोमेन के लिए भी उपयुक्त हो जाती है।
4. सुदृढ़ता और सटीकता (Soundness and Tightness): सैद्धांतिक विश्लेषण सिद्ध करता है कि प्रमाणन सांख्यिकीय रूप से सुदृढ़ (संभाव्यता $1-\delta$ के साथ मान्य) हैं। प्रायोगिक परिणाम दर्शाते हैं कि बाउंड्स वास्तविक नमूना आकारों (जैसे, सैकड़ों कार्य और हजारों रोलआउट) के साथ भी सूचनात्मक और सटीक बने रहते हैं।

प्रयोगात्मक परिणाम

लेखकों ने विविध वातावरणों और प्रशिक्षण एल्गोरिदम में इस विधि का मूल्यांकन किया:

• वातावरण:
  • ग्रिड वर्ल्ड (ब्रिजवर्ल्ड): एक डिस्क्रीट नेविगेशन कार्य जहाँ स्लिप प्रोबेबिलिटी कार्य वितरण को परिभाषित करती है।
  • कंटीन्यूअस कंट्रोल (चीता, वॉकर): उच्च-विमीय लोकोमोशन कार्य जहाँ कार्य भौतिक मापदंडों (द्रव्यमान, शरीर का आकार) द्वारा परिभाषित होते हैं।
  • ज़ोन्स (Zones): एक जटिल रोबोटिक नेविगेशन डोमेन जहाँ कार्य लीनियर टेम्पोरल लॉजिक (LTM) फॉर्मूला द्वारा निर्दिष्ट किए जाते हैं।
• निष्कर्ष:
  • प्रमाणित सुरक्षा बाउंड्स ने बड़े पैमाने के मूल्यांकन सेटों से अनुमानित अनुभवजन्य सुरक्षा (empirical safety) का लगातार अनुसरण किया और परीक्षण किए गए सभी कॉन्फ़िगरेशन में सुदृढ़ रहे।
  • विधि ने उच्च-विमीय निरंतर-नियंत्रण डोमेन में सटीक गारंटी प्रदान की, जो मॉडल-आधारित दृष्टिकोणों (विशेष रूप से PAC-IMDP) से बेहतर प्रदर्शन करती है, जो स्टेट-स्पेस जटिलता बढ़ने पर अपनी सटीकता खो देते हैं।
  • रोलआउट की संख्या ($m$) बढ़ाने से प्रति-कार्य बाउंड अधिक सटीक हुए, जिससे प्रमाणित सुरक्षा वक्र अनुकूल रूप से बदल गया। कार्यों की संख्या ($n$) बढ़ाने से सामान्यीकरण बाउंड का रिज़ॉल्यूशन और शार्पनेस में सुधार हुआ।
  • विधि विषम कार्य वितरणों (heterogeneous task distributions) के तहत भी प्रभावी रही, जिसमें LTL विनिर्देशों द्वारा प्रेरित वितरण भी शामिल हैं।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह उन सुरक्षा-महत्वपूर्ण सेटिंग्स में मल्टी-टास्क नीतियों को प्रमाणित करने के लिए एक सिद्धांत-आधारित समाधान प्रदान करता जहाँ औपचारिक गारंटी अपरिहार्य है। कार्यों को मनमाने मार्कोव निर्णय प्रक्रियाओं (MDPs) के रूप में मानकर और रोलआउट से सीधे प्रदर्शन को प्रमाणित करके, यह दृष्टिकोण स्पष्ट मॉडल बनाने या कार्य वितरण के विशिष्ट पैरामीट्रिक रूपों को मानने की आवश्यकता को समाप्त करता है।

लेखक इस बात पर जोर देते हैं कि उनका योगदान MTRL एल्गोरिदम विकास के पूरक के रूप में है; एक नया प्रशिक्षण एल्गोरिदम प्रस्तावित करने के बजाय, वे एक पोस्ट-ट्रेनिंग सत्यापन उपकरण प्रदान करते हैं। इसका महत्व सामान्यवादी नीतियों (generalist policies) को मापने योग्य जोखिम स्तरों के साथ तैनात करने में सक्षम बनाना है, जो उच्च-प्रदर्शन शिक्षण और सुरक्षा आश्वासन के बीच के अंतर को पाटता है। यह विधि एक व्यावहारिक उपकरण के रूप में प्रस्तुत की गई है जो अत्यधिक नमूनों की आवश्यकता के बिना कार्रवाई योग्य गारंटी देती है, जिससे यह वास्तविक दुनिया के अनुप्रयोगों के लिए व्यवहार्य हो जाती है।

भविष्य के कार्य में सिम-टू-रियल (Sim-to-Real) ट्रांसफर परिदृश्यों में विस्तार करना शामिल है जहाँ तैनाती वितरण (deployment distribution) प्रशिक्षण वितरण से भिन्न हो सकता है।