🤖 machine learning

SHAPO: Sharpness-Aware Policy Optimization for Safe Exploration

यह शोध पत्र SHAPO को प्रस्तुत करता है, जो सुदृढीकरण शिक्षण (reinforcement learning) के लिए एक सुरक्षित अन्वेषण विधि है जो कम-अन्वेषित क्षेत्रों में रूढ़िवादी व्यवहार की ओर सीखने के लिए शार्पनेस-अवेयर पॉलिसी अपडेट्स को लागू करके एपिस्टेमिक अनिश्चितता (epistemic uncertainty) का लाभ उठाती है, जिससे निरंतर-नियंत्रण कार्यों (continuous-control tasks) में सुरक्षा और कार्य प्रदर्शन दोनों में सुधार होता है।

मूल लेखक: Kaustubh Mani, Yann Pequignot, Vincent Mai, Liam Paull

प्रकाशित 2026-06-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kaustubh Mani, Yann Pequignot, Vincent Mai, Liam Paull

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को अदृश्य जाल (traps) से भरे कमरे में चलना सिखा रहे हैं। रोबोट ने पहले कभी वहां कदम नहीं रखा है, इसलिए उसे नहीं पता कि जाल कहां हैं। यह सेफ एक्सप्लोरेशन (Safe Exploration) की मूल समस्या है: आप एक एजेंट को सीखने के लिए कैसे सिखाते हैं बिना गलती से किसी "जाल" (एक विनाशकारी विफलता) में गिरे, जबकि वह अभी भी चीजों को समझने की कोशिश कर रहा है?

यह पेपर एक नई विधि पेश करता है जिसे SHAPO (शार्पनेस-अवेयर पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है ताकि इसे हल किया जा सके। यहाँ इस अवधारणा को सरल उपमाओं (analogies) के माध्यम से समझाया गया है।

1. समस्या: "अति-आत्मविश्वासी" छात्र

मानक AI प्रशिक्षण में, रोबोट (अभिनेता/actor) अब तक एकत्र किए गए डेटा को देखता है और कहता है, "मुझे लगता है कि मुझे आगे बढ़ने का सबसे अच्छा तरीका पता है।" वह अपने वर्तमान ज्ञान के आधार पर एक रास्ता निकालता है।

हालाँकि, उन क्षेत्रों में जहाँ रोबोट ने बहुत कम यात्रा की है (उच्च अनिश्चितता/high uncertainty), उसका ज्ञान डगमगा सकता है। उसे लग सकता है कि एक खतरनाक ढलान एक सुरक्षित रास्ता है क्योंकि उसने अभी तक किनारे को देखा नहीं है। मानक प्रशिक्षण विधियाँ अक्सर इन डगमगाते अनुमानों पर बहुत अधिक भरोसा करती हैं, जिससे रोबोट जोखिम भरे शॉर्टकट लेने लगता है जिसके परिणामस्वरूप दुर्घटनाएं होती हैं।

2. समाधान: "शंकालु" आशावादी

SHAPO निराशावाद (pessimism) का एक स्वस्थ डोज पेश करके रोबोट के सीखने के तरीके को बदल देता है। यह पूछने के बजाय कि, "अभी मैं सबसे अच्छा क्या कर सकता हूँ?", SHAPO पूछता है, "अगर मैं अपने ज्ञान के बारे में थोड़ा गलत हुआ, तो सबसे बुरा क्या हो सकता है?"

इसे कोहरे में हाइकर (hiker) के रूप में सोचें:

मानक AI: "रास्ता साफ दिख रहा है, इसलिए मैं तेजी से दौड़ूंगा।"
SHAPO: "रास्ता साफ दिख रहा है, लेकिन कोहरा घना है। अगर मैं गलत हुआ, तो मैं ढलान से गिर सकता हूँ। इसलिए, मैं धीरे और सावधानी से चलूँगा, यह मानते हुए कि जमीन फिसलन भरी हो सकती है।"

3. यह कैसे काम करता है: "डगमगाती मेज" की उपमा

पेपर एक अवधारणा का उपयोग करता है जिसे शार्पनेस-अवेयर ऑप्टिमाइज़ेशन (Sharpness-Aware Optimization) कहा जाता है। कल्पना कीजिए कि आप एक पहाड़ी के ऊपर एक गेंद को संतुलित करने की कोशिश कर रहे हैं।

एक "शार्प" (तीखी) पहाड़ी: यदि पहाड़ी एक तीखी चोटी है, तो गेंद बहुत अस्थिर होती है। एक छोटा सा धक्का (रोबोट के मस्तिष्क में एक छोटा सा बदलाव) उसे तुरंत नीचे गिरा देगा। यह उच्च अनिश्चितता का प्रतिनिधित्व करता है।
एक "फ्लैट" (सपाट) पहाड़ी: यदि पहाड़ी एक चौड़ा, सपाट पठार है, तो गेंद स्थिर होती है। आप उसे थोड़ा धक्का दे सकते हैं, और वह वहीं रहती है। यह कम अनिश्चितता (आप आश्वस्त हैं) का प्रतिनिधित्व करता है।

SHAPO रोबोट के निर्णयों के "लैंडस्केप" को देखता है। यदि रोबोट अपने परिदृश्य के "शार्प" हिस्से पर निर्णय ले रहा है (जहाँ वह अनिश्चित है), तो SHAPO कहता है, "यह निर्णय बहुत जोखिम भरा है। आइए अपने सीखने को अधिक रूढ़िवादी (conservative) बनाने के लिए इसे समायोजित करें।"

4. जादू का तरीका: "क्या होगा अगर" वाला कदम

यहाँ एल्गोरिदम का चतुर हिस्सा है, जिसे सरल रूप में समझाया गया है:

धक्का (The Nudge): रोबोट अपने मस्तिष्क को अपडेट करने से पहले, SHAPO उसके वर्तमान सेटिंग्स को उस दिशा में एक छोटा, कृत्रिम "धक्का" देता है जो उसे और खराब प्रदर्शन करने की ओर ले जाए। यह पूछता है, "अगर मैं थोड़ा गलत होता, तो यह कितना बुरा होता?"
प्रतिक्रिया (The Reaction): रोबोट फिर इस "खराब" परिदृश्य के आधार पर सीखने का कदम (learning step) कैलकुलेट करता है।
परिणाम:
- यदि रोबोट एक जोखिम भरा कार्य (एक ऐसा कार्य जो दुर्घटना का कारण बन सकता है) करने की योजना बना रहा था, तो "खराब" परिदृश्य बहुत डरावना दिखता है। यह रोबमा को भविष्य में उस कार्य से बचने के लिए अपने मस्तिष्क को मजबूती से अपडेट करने के लिए प्रेरित करता है।
- यदि रोबोट एक सुरक्षित कार्य करने की योजना बना रहा था, तो "खराब" परिदृश्य उतना बुरा नहीं होता है। रोबोट एक छोटा, अधिक सौम्य अपडेट करता है।

संक्षेप में: SHAPO रोबोट को दुर्लभ, खतरनाक गलतियों पर विशेष ध्यान देने के लिए मजबूर करता है और सुरक्षित, उबाऊ चीज़ों को अनदेखा करता है। यह प्रभावी रूप से कहता है, "सिर्फ उससे न सीखो जो सफल रहा; बल्कि उससे भी सीखो जो गलत हो सकता था।"

5. परिणाम: एक बेहतर सुरक्षा जाल

पेपर ने विभिन्न कार्यों पर इसका परीक्षण किया, जैसे कि छिपे हुए खतरों वाले भूलभुलैया (maze) में नेविगेट करने वाला रोबोट या बिना गिरे दौड़ने वाला रोबोट।

परिणाम: SHAPO का उपयोग करने वाले रोबोटों ने तेजी से सीखा और महत्वपूर्ण रूप से, मानक विधियों का उपयोग करने वाले रोबोटों की तुलना में वे बहुत कम बार दुर्घटनाग्रस्त हुए।
संतुलन: वे केवल अत्यधिक सतर्क होकर चलने से मना नहीं करते रहे। उन्होंने एक बेहतर संतुलन खोजा: वे पर्याप्त सुरक्षित थे कि खोज (explore) कर सकें, और काम पूरा करने के लिए पर्याप्त आत्मविश्वासी भी थे।

सारांश

SHAPO एक AI के लिए सुरक्षा प्रशिक्षक (safety instructor) की तरह है। AI को अज्ञात में अनुमान लगाने देने के बजाय, यह AI को हर उस चाल के लिए सबसे खराब स्थिति की कल्पना करने के लिए मजबूर करता है जिसे वह विचार में लेता है। ऐसा करके, AI खतरनाक, अपरिचित क्षेत्रों में सावधान रहने के साथ-साथ सुरक्षित क्षेत्रों में कुशल होना भी सीखता है, यह सुनिश्चित करता है कि वह तैयार होने से पहले क्रैश न हो जाए।

तकनीकी सारांश: SHAPO - सुरक्षित अन्वेषण के लिए शार्पनेस-अवेयर पॉलिसी ऑप्टिमाइजेशन (Sharpness-Aware Policy Optimization)

समस्या विवरण (Problem Statement)

सुरक्षा-महत्वपूर्ण डोमेन में सुदृढीकरण सीखने (Reinforcement Learning - RL) एजेंटों को तैनात करने के लिए सुरक्षित अन्वेषण (Safe Exploration) की आवश्यकता होती है, जो एक ऐसी प्रक्रिया है जहाँ एजेंट विनाशकारी विफलताओं से बचते हुए सूचनात्मक अनुभव एकत्र करते हैं। एक मौलिक चुनौती शुरुआती प्रशिक्षण के दौरान उत्पन्न होती है जब एजेंट उन अवस्थाओं (states) का दौरा करते हैं जहाँ एपिस्टेमिक अनिश्चितता (Epistemic Uncertainty) (कम ऑन-पॉलिसी डेटा के कारण मॉडल मापदंडों के बारे में अनिश्चितता) अधिक होती है। इन क्षेत्रों में, पॉलिसी भविष्यवाणियाँ अविश्वसनीय होती हैं, और अन्वेषणात्मक क्रियाएं असुरक्षित परिणामों की ओर ले जा सकती हैं।

जबकि पूर्व के कार्यों ने मुख्य रूप से रिटर्न की परिवर्तनशीलता (variability) को मापने के लिए अनिश्चितता को क्रिटिक (critic) पक्ष पर संबोधित किया है (जैसे कि एन्सेम्बल्स, ड्रॉपआउट, या डिस्ट्रिब्यूशनल विधियों का उपयोग करके), पॉलिसी अपडेट्स के लिए ऐसी विधियों में एक अंतर है जो स्पष्ट रूप से एक्टर (actor) के पैरामीटर अनिश्चितता को ध्यान में रखती हैं। डीप ऑन-पॉलिसी RL के लिए पॉलिसी मापदंडों के स्पष्ट पोस्टीरियर (posterior) को बनाए रखना अक्सर अव्यवहारिक होता है, जिससे एक्टर-साइड जोखिम निवारण (risk aversion) को लागू करना कठिन हो जाता है। फलस्वरूप, मानक पॉलिसी अपडेट अक्सर पॉइंट एस्टीमेट्स (point estimates) के ग्रेडिएंट्स पर निर्भर करते हैं, जो उच्च अनिश्चितता वाले क्षेत्रों में अति-आत्मविश्वासी (overconfident) हो सकते हैं।

कार्यप्रणाली: शार्पनेस-अवेयर पॉलिसी ऑप्टिमाइजेशन (SHAPO)

लेखक SHAPO का प्रस्ताव करते हैं, जो एक पॉलिसी अपडेट नियम है जो शार्पनेस-अवेयर मिनिमाइजेशन (SAM) फ्रेमवर्क (Foret et al., 2020) को सुरक्षित अन्वेषण के संदर्भ में अनुकूलित करता है। अपेक्षित रिटर्न को सीधे अनुकूलित करने के बजाय, SHAPO एक ऐसी पॉलिसी की खोज करता है जो वर्तमान पॉलिसी मापदंडों के स्थानीय पड़ोस (local neighborhood) के भीतर सबसे खराब स्थिति (worst-case) के अपेक्षित रिटर्न को अधिकतम करती है।

मुख्य तंत्र (Core Mechanism)

SHAPO मानक पॉलिसी ग्रेडिएंट अपडेट को संशोधित करता है, जिसमें वर्तमान मापदंडों के बजाय एक परेशान (perturbed) पैरामीटर पर ग्रेडिएंट का मूल्यांकन किया जाता है। अपडेट प्रक्रिया में दो चरण शामिल हैं:

इनर मिनिमाइजेशन (पेसिमिस्टिक परटर्बेशन): एल्गोरिदम एक ट्रस्ट रीजन (जो फिशर इंफॉर्मेशन मैट्रिक्स द्वारा परिभाषित है) के भीतर एक परटर्बेशन $\epsilon_{Down}$ पाता है जो लैग्रेंजियन ऑब्जेक्टिव $L_\lambda^{\pi_0}$ को कम करता है। यह वर्तमान पॉलिसी $\pi_0$ की तुलना में खराब प्रदर्शन करने वाली एक "सबसे खराब स्थिति" वाली पॉलिसी $\tilde{\pi}$ की पहचान करता है।
आउटर मैक्सिमाइजेशन (अपडेट): पॉलिसी को $\theta_0$ के बजाय इस परेशान पैरामीटर $\theta_0 + \epsilon_{Down}$ पर मूल्यांकित ऑब्जेक्टिव के ग्रेडिएंट का उपयोग करके अपडेट किया जाता है।

सैद्धांतिक व्याख्या: एपिस्टेमिक अनिश्चितता के माध्यम से निराशावाद (Pessimism)

यह शोध पत्र इस शार्पनेस-अवेयर समायोजन की पुनर्व्याख्या एपिस्टेमिक अनिश्चितता के लेंस के माध्यम से करता है:

अनिश्चितता मॉडलिंग: वर्तमान पॉलिसी मापदंडों $\theta_0$ को एक मल्टीवेरिएट नॉर्मल डिस्ट्रीब्यूशन $N(\theta_0, \frac{1}{n}F^{-1})$ के रूप में मॉडल किया गया है, जहाँ $F$ फिशर इंफॉर्मेशन मैट्रिक्स है और $n$ प्रभावी नमूना आकार (sample size) को दर्शाता है।
निराशावादी पूर्वाग्रह (Pessimistic Bias): परटर्बेशन $\epsilon_{Down}$ उस सबसे संभावित पैरामीटर मान को दर्शाता है जो अपेक्षित रिटर्न वितरण के निचले टेल (जैसे कि $\alpha$ -क्वांटाइल) में आता है। इस निराशावादी बिंदु पर ग्रेडिएंट के आधार पर अनुकूलन करके, SHAPO स्पष्ट रूप से पॉलिसी ग्रेडिएंट्स को पुन: भारित (reweigh) करता है।
ग्रेडिएंट री-वेटिंग: एक सरलीकृत गौसियन पॉलिसी पर विश्लेषणात्मक परिणाम दिखाते हैं कि SHAPO दुर्लभ, असुरक्षित क्रियाओं (नेगेटिव एडवांटेज) के लिए ग्रेडिएंट परिमाण को बढ़ाता है जबकि दुर्लभ, सुरक्षित क्रियाओं (पॉजिटिव एडवांटेज) के लिए ग्रेडिएंट को कम करता है। यह सीखने को रूढ़िवादी व्यवहार की ओर झुकाता है, जो प्रभावी रूप से उन क्रियाओं को दंडित करता है जिनके परिणामस्वरूप विनाशकारी परिणाम हो सकते हैं यदि वर्तमान पॉलिसी अनुमान थोड़ा भी गलत हो।

कार्यान्वयन (Implementation)

SHAPO को विभिन्न ऑन-पॉलिसी एल्गोरिदम (जैसे TRPO, PPO, CPO, CRIO) के साथ संगत बनाने के लिए डिज़ाइन किया गया है। यह पॉलिसी मैनिफोल्ड की ज्यामिति का सम्मान सुनिश्चित करने के लिए फिशर इंफॉर्मेशन मैट्रिक्स का उपयोग करता है। यह विधि एक हाइपरपैरामीटर $\delta_{Down}$ पेश करती है जो निराशावाद के स्तर को नियंत्रित करती है, जिसे स्थिर रखा जा सकता है या एकत्र किए गए नमूनों की संख्या के आधार पर शेड्यूल्ड किया जा सकता है।

प्रमुख योगदान (Key Contributions)

नवीन अपडेट नियम: SHAP, जो एपिस्टेमिक अनिश्चितता को स्पष्ट रूप से संभालने के लिए एक्टर के पॉलिसी अपडेट में शार्पनेस-अवेयर ऑप्टिमाइजेशन को एकीकृत करता है।
सैद्धांतिक अंतर्दृष्टि: एक औपचारिक प्रदर्शन कि SHAP का ग्रेडिएंट समायोजन एक पैरामीटर अनिश्चितता मॉडल के तहत एक निराशावादी ऑब्जेक्टिव को अनुकूलित करने के समान है, जिससे ग्रेडिएंट का एक व्यवस्थित पुन: भार मिलता है जो अनिश्चित क्षेत्रों में सुरक्षा को प्राथमिकता देता है।
अनुभवजन्य सत्यापन (Empirical Validation): विभिन्न बेसलाइन (TRPO, CPO, PIDLag, CRPO, SauteRL) और वातावरणों (Safety Gym, MuJoCo) में व्यापक प्रयोग जो दिखाते हैं कि SHAPO सेफ्टी-एफिशिएंसी पारेटो फ्रंटियर (Pareto frontier) का विस्तार करता है।
एब्लेशन अध्ययन (Ablation Studies): साक्ष्य कि:
- फिशर मेट्रिक में परिभाषित परटर्बेशन, यूक्लिडियन समकक्षों की तुलना में बेहतर प्रदर्शन करते हैं।
- एक्टर पर शार्पनेस-अवेयर ऑप्टिमाइजेशन लागू करना, क्रिटिक पर लागू करने की तुलना में सुरक्षित अन्वेषण के लिए अधिक महत्वपूर्ण है।
- SHAPO एपिसोडिक कॉस्ट डिस्ट्रीब्यूशन के हेवी-टेल्ड (heavy-tailed) वितरण (विनाशकारी विफलताओं) की आवृत्ति को कम करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Safety Gym (PointGoal1, PointButton1) और MuJoCo (Ant-v4, Walker2d-v4) वातावरणों पर SHAPO का मूल्यांकन किया।

सुरक्षा और दक्षता: सभी बेंचमार्क में, SHAPO ने लगातार या तो सुरक्षा (कम लागत/विफलता दर), या कार्य प्रदर्शन (उच्च रिटर्न), या दोनों में सुधार किया, जिससे बेसलाइन एल्गोरिदम के पारेटो फ्रंटियर्स का महत्वपूर्ण विस्तार हुआ।
टेल रिस्क में कमी: SHAPO ने एपिसोडिक कॉस्ट डिस्ट्रीब्यूशन में हेवी टेल्स को काफी हद तक दबा दिया (उदाहरण के लिए, Ant-v4 में लागत के 95वें पर्सेंटाइल को कम करना), जो दुर्लभ, विनाशकारी विफलताओं में कमी का संकेत देता है।
मजबूती (Robustness): विधि ने हाइपरपैरामीटर विकल्पों के प्रति मजबूती प्रदर्शित की, विशेष रूप से जब $\delta_{Down}$ को अनिश्चित नमूना आकार अनुमानों पर आधारित डायनामिक रूप से शेड्यूल्ड मान के बजाय एक ट्यून करने योग्य स्थिरांक के रूप में माना गया था।
अनकन्स्ट्रेंड RL (Unconstrained RL): टर्मिनेशन स्थितियों वाले अनकन्स्ट्रेंड वातावरण (Ant, Walker2d) में, SHAPO ने समयपूर्व समाप्ति (premature terminations) को कम किया, जिससे सैंपल एफिशिएंसी में सुधार हुआ। ऐसे वातावरणों में जिनमें इस तरह के टेल रिस्क नहीं थे (HalfCheetah), लाभ सीमित थे, जो पुष्टि करता है कि विधि विशेष रूप से टेल-रिस्क परिदृश्यों को लक्षित करती है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि SHAPO केवल अंतिम पॉलिसी पर बाधाओं को लागू करने के बजाय, अपडेट्स को स्वयं आकार देने पर ध्यान केंद्रित करके सुरक्षित अन्वेषण के एक महत्वपूर्ण अंतर को संबोधित करता है ताकि अनिश्चितता का सम्मान किया जा सके। पॉलिसी सरोगेट की "शार्पनेस" (इसके पैरामीटर परटर्बेशन के प्रति संवेदनशीलता) को एपिस्टेमिक अनिश्चितता के प्रॉक्सी के रूप में उपयोग करके, SHAPO एक क्लोज्ड लूप बनाता है:

सुरक्षित अपडेट से सुरक्षित प्रक्षेपवक्र (trajectories) मिलते हैं।
सुरक्षित प्रक्षेपवक्र जोखिम भरे क्षेत्रों में स्वच्छ डेटा उत्पन्न करते हैं।
स्वच्छ डेटा एपिस्टेमिक अनिश्चितता को कम करता है।
कम अनिश्चितता जैसे-जैसे लर्निंग आगे बढ़ती है, स्वाभाविक रूप से संरक्षण (conservatism) को शिथिल करती है।

लेखक SHAP को मौजूदा सेफ आरएल एल्गोरिदम के प्रतिस्थापन के रूप में नहीं, बल्कि एक मॉड्यूलर, ऑर्थोगोनल सुधार के रूप में प्रस्तुत करते हैं जो जटिल बेयसियन इन्फरेंस या स्पष्ट अनिश्चितता मात्रा निर्धारण मॉड्यूल की आवश्यकता के बिना मानक ऑन-पॉलिसी अपडेट की सुरक्षा और विश्वसनीयता को बढ़ाता है।