Distributionally Robust PAC-Bayesian Control

यहाँ डोमागोज हर्सेग और डुआर्टे एंटunes के शोध पत्र "डिस्ट्रीब्यूशनली रोबस्ट PAC-बेयसियन कंट्रोल" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लर्निंग-आधारित नियंत्रण (learning-based control) की एक महत्वपूर्ण सीमा को संबोधित करता है: सीमित डेटासेट पर प्रशिक्षित नियंत्रकों (controllers) की वितरण बदलाव (distribution shifts) (जिसे "सिम-टू-रियल" गैप कहा जाता है) के प्रति संवेदनशीलता।

• चुनौती: मानक लर्निंग-आधारित नियंत्रण यह मान लेता है कि प्रशिक्षण डेटा वितरण (training data distribution) तैनाती के वातावरण (deployment environment) से मेल खाता है। वास्तव में, अनमॉडल किए गए विक्षोभ (unmodeled disturbances) और पर्यावरणीय परिवर्तन प्रतिकूल बाधाओं (adversarial perturbations) के रूप में कार्य करते हैं, जिससे प्रदर्शन में गिरावट आती है।
• मौजूदा विधियों की सीमाएँ:
  • PAC-Bayes: मौजूदा PAC-Bayesian नियंत्रण ढांचे आमतौर पर बाउंडेड लॉस फंक्शन्स (bounded loss functions) और समान प्रशिक्षण/तैनाती वितरणों को मानते हैं। वे अक्सर अनबाउंडेड लॉस (unbounded losses) को संभालने में विफल रहते हैं (जो नियंत्रण में सामान्य है) या वितरण बदलावों को स्पष्ट रूप से मॉडल नहीं कर पाते हैं।
  • डिस्ट्रीब्यूशनली रोबस्ट ऑप्टिमाइज़ेशन (DRO): जबकि DRO वितरण बदलावों को संभालता है, इसमें अक्सर PAC-Bayes द्वारा प्रदान किए जाने वाले परिमित-नमूना सामान्यीकरण गारंटी (finite-sample generalization guarantees) की कमी होती है, या यह सूचना-सैद्धांतिक मापों (जैसे $f$-divergences) पर निर्भर करता है जो सीधे नियंत्रक स्थिरता से जुड़े बिना जटिलता के पदों को बढ़ा देते हैं।
• लक्ष्य: एक ऐसा ढांचा विकसित करना जो लर्निंग-आधारित नियंत्रकों के लिए उच्च-संभावना वाले परिमित-नमूना सुरक्षा प्रमाणपत्र (high-probability finite-sample safety certificates) प्रदान कर सके, जो तब भी मान्य रहें जब तैनाती का वितरण प्रशिक्षण वितरण से भिन्न हो, विशेष रूप से अनबाउंडेड लॉस (unbounded losses) को संभालते हुए।

2. कार्यप्रणाली (Methodology)

लेखक एक डिस्ट्रीब्यूशनली रोबस्ट (DR) PAC-Bayesian ढांचा प्रस्तावित करते हैं जो तीन प्रमुख सैद्धांतिक स्तंभों को एकीकृत करता है:

A. सैद्धांतिक आधार: Wasserstein DR-PAC-Bayes

मुख्य नवाचार वितरण बदलावों को ध्यान में रखने के लिए 1-Wasserstein दूरी का उपयोग करके PAC-Bayes सामान्यीकरण सीमा (generalization bound) का विस्तार करना है।

• एम्बिग्युटी सेट (Ambiguity Set): यह माना जाता है कि तैनाती का वितरण $D'$ प्रशिक्षण वितरण $D$ के चारों ओर $\rho$ त्रिज्या वाले एक Wasserstein बॉल के भीतर स्थित है।
• लिप्सचिट्ज़ पेनल्टी (Lipschitz Penalty): कांतोरोविच-रुबिनस्टीन द्वैतता (Kantorovich-Rubinstein duality) का लाभ उठाते हुए, लेखक एक ऐसी सीमा प्राप्त करते हैं जहाँ सामान्यीकरण त्रुटि (generalization error) में विक्षोभ के सापेक्ष लॉस फंक्शन के लिप्सचिट्ज़ स्थिरांक (Lipschitz constant) के समानुपाती एक दंड पद (penalty term) शामिल होता है।
• अनबाउंडेड लॉस (Unbounded Losses): पिछले कार्यों के विपरीत, जिनमें बाउंडेड लॉस की आवश्यकता होती है, यह ढांचा सब-गौसियन लॉस (sub-Gaussian losses) को समाहित करता है जहाँ वेरिएंस प्रॉक्सी (variance proxy) विशिष्ट नियंत्रक (परिकल्पना) पर निर्भर करता है।

B. सिस्टम लेवल सिंथेसिस (SLS) रीपैरामीट्राइजेशन

LTI प्रणालियों के लिए समस्या को गणनात्मक रूप से सुलभ बनाने के लिए, लेखक सिस्टम लेवल सिंथेसिस (SLS) ढांचे का उपयोग करते हैं।

• रीपैरामीट्राइजेशन: नियंत्रक गेन (controller gains) पर सीधे अनुकूलन करने के बजाय, वे क्लोज्ड-लूप सिस्टम रिस्पॉन्स (विक्षोभ के रैखिक मानचित्र के रूप में अवस्था और इनपुट प्रक्षेपवक्र) पर अनुकूलन करते हैं।
• क्लोज्ड-लूप मैप ($M(\theta)$): लॉस फंक्शन को विक्षोभ प्रक्षेपवक्र पर लागू क्लोज्ड-लूप मैप के नॉर्म के रूप में व्यक्त किया जाता है: $\ell(\theta, w) = \|M(\theta)w\|$।
• मुख्य अंतर्दृष्टि: SLS फॉर्मूलेशन में, दोनों सब-गौसियन वेरिएंस प्रॉक्सी (कंसंट्रेशन के लिए) और लिप्सचिट्ज़ स्थिरांक (रोबस्टनेस के लिए) स्पष्ट रूप से क्लोज्ड-लूप मैप $M(\theta)$ के ऑपरेटर नॉर्म (operator norm) द्वारा निर्धारित होते हैं।

C. अनुकूलन उद्देश्य (The Optimization Objective)

लर्निंग एल्गोरिदम एक पोस्टीरियर वितरण $Q$ की खोज करता है जो जोखिम के रोबस्ट अपर बाउंड (robust upper bound) को कम करता है:
$$\min_{Q} \mathbb{E}_{\theta \sim Q} \left[ \hat{R}_S(\theta) + \rho \|M(\theta)\|_{op} \right] + \text{Complexity Term}$$
जहाँ:

• $\hat{R}_S(\theta)$: प्रशिक्षण डेटा पर एम्पिरिकल रिस्क।
• $\rho \|M(\theta)\|_{op}$: Wasserstein रोबस्टनेस पेनल्टी (लिप्सचिट्ज़ स्थिरांक $\times$ शिफ्ट रेडियस)।
• कॉम्प्लेक्सिटी टर्म (Complexity Term): एक PAC-Bayes पद जिसमें प्रायर $P$ और पोस्टीरियर $Q$ के बीच KL डाइवर्जेंस शामिल है, जिसे अपेक्षित सब-गौसियन वेरिएंस द्वारा स्केल किया गया है।

3. मुख्य योगदान (Key Contributions)

1. Wasserstein DR-PAC-Bayes विस्तार: नियंत्रण के लिए 1-Wasserstein डिस्ट्रीबेशनल रोबस्टनेस के साथ PAC-Bayes सिद्धांत को मिलाने वाला पहला ढांचा, जो विशेष रूप से अनबाउंडेड, लिप्सचिट्ज़ निरंतर लॉस फंक्शन्स को संभालता है।
2. नियंत्रक-निर्भर प्रमाणपत्र (Controller-Dependent Certificates): स्पष्ट प्रमाणपत्रों का व्युत्पन्न जहाँ कंसंट्रेशन बाउंड (वेरिएंस) और रोबस्टनेस पेनल्टी (लिप्सचिट्ज़ स्थिरांक) दोनों सीधे क्लोज्ड-लूप मैप के ऑपरेटर नॉर्म से जुड़े हुए हैं। यह सिस्टम को विक्षोभ के प्रति संवेदनशीलता को कम करके सक्रिय रूप से "इम्यूनाइज" करने की अनुमति देता है।
3. Tractable SLS फॉर्मूलेशन: SLS के माध्यम से परिमित-क्षितिज (finite-horizon) LTI प्रणालियों के लिए इस अमूर्त सिद्धांत का विशेषीकरण, जिसके परिणामस्वरूप एक गणनात्मक रूप से सुलभ अनुकूलन समस्या (Gaussian posteriors पर ग्रेडिएंट-आधारित विधियों द्वारा हल करने योग्य) प्राप्त होती है।
4. वितरण पहचान की आवश्यकता नहीं: यह ढांचा उन तैनाती वितरणों के लिए गारंटी प्रदान करता है जो प्रशिक्षण से भिन्न हैं, बिना वास्तविक तैनाती वितरण को स्पष्ट रूप से पहचाने।

4. परिणाम और संख्यात्मक सत्यापन (Results and Numerical Validation)

लेखकों ने एक डबल इंटीग्रेटर (Double Integrator) सिस्टम का उपयोग करके अपने दृष्टिकोण को एक परिमित क्षितिज ($T=10$) के साथ सत्यापित किया।

• सेटअप: नियंत्रकों को गौसियन विक्षोभ प्रक्षेपवक्रों पर प्रशिक्षित किया गया और एक प्रतिकूल वितरण बदलाव (मीन शिफ्ट) के तहत परीक्षण किया गया, जो प्रमाणित Wasserstein रेडियस ($\rho = 0.08$) के भीतर था।
• तुलना:
  • वैनिला PAC-Bayes ($\rho=0$): वितरण बदलाव होने पर टेस्ट रिस्क पर एक वैध अपर बाउंड प्रदान करने में विफल रहा। वास्तविक रिस्क सैद्धांतिक बाउंड से अधिक हो गया।
  • रोबस्ट PAC-Bayes ($\rho > 0$): वितरण बदलाव के तहत टेस्ट रिस्क पर एक वैध अपर बाउंड सफलतापूर्वक प्रदान किया।
• प्रदर्शन: रोबस्ट विधि ने न केवल सुरक्षा सुनिश्चित की बल्कि शिफ्ट किए गए टेस्ट डेटा पर वैनिला दृष्टिकोण की तुलना में कम एम्पिरिकल कॉस्ट वाले नियंत्रक भी दिए।
• विघटन (Decomposition): परिणामों ने दिखाया कि जैसे-जैसे नमूना आकार बढ़ता है, PAC-Bayes कॉम्प्लेक्सिटी टर्म घटता है, जबकि अनुकूलन स्वाभाविक रूप से एम्पिरिकल रिस्क और Wasserstein पेनल्टी के बीच संतुलन बनाता है।

5. महत्व (Significance)

यह कार्य सांख्यिकीय शिक्षण सिद्धांत (statistical learning theory) और रोबस्ट कंट्रोल के बीच के एक महत्वपूर्ण अंतर को पाटता है:

• सुरक्षा प्रमाणपत्र (Safety Certificates): यह एक कठोर, उच्च-संभावना वाली गारंटी प्रदान करता है कि एक लर्निंग-आधारित नियंत्रक प्रशिक्षण वातावरण से भिन्न परिवेशों में भी सुरक्षित रूप से कार्य करेगा, जो वास्तविक दुनिया की तैनाती (जैसे रोबोटिक्स, स्वायत्त वाहन) के लिए एक पूर्व शर्त है।
• यथार्थवाद को संभालना: अनबाउंडेड लॉस और वितरण बदलावों को संबोधित करके, यह सैद्धांतिक नियंत्रण साहित्य में सामान्य आदर्श मान्यताओं से आगे बढ़ता है।
• अनुकूलन दक्षता: SLS का उपयोग एक जटिल गैर-उत्तल (non-convex) नियंत्रण समस्या को सिस्टम रिस्पॉन्स पर एक सुलभ अनुकूलन में बदल देता है, जिससे सैद्धांतिक सीमाएं व्यावहारिक रूप से लागू करने योग्य हो जाती हैं।
• भविष्य का प्रभाव: यह ढांचा लर्निंग-आधारित MPC (Model Predictive Control) और मॉडल अनिश्चितता के तहत रोबस्ट कंट्रोल के लिए मार्ग प्रशस्त करता है, जो "सुरक्षित अन्वेषण" (safe exploration) और तैनाती के लिए एक गणितीय आधार प्रदान करता है।