📊 statistics

PAC-Bayesian Reinforcement Learning Trains Generalizable Policies

यह शोध पत्र सुदृढीकरण लर्निंग (reinforcement learning) के लिए एक नवीन PAC-Bayesian सामान्यीकरण बाउंड (generalization bound) प्रस्तुत करता है जो मिक्सिंग टाइम (mixing time) के माध्यम से मार्कोव निर्भरताओं (Markov dependencies) को ध्यान में रखता है, और PB-SAC का प्रस्ताव करता है, जो निरंतर नियंत्रण कार्यों (continuous control tasks) में प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए गैर-रिक्त सामान्यीकरण प्रमाण (non-vacuous generalization certificates) प्रदान करने के लिए इस बाउंड को अनुकूलित करता है।

मूल लेखक: Abdelkrim Zitouni, Mehdi Hennequin, Juba Agoun, Ryan Horache, Nadia Kabachi, Omar Rivasplata

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abdelkrim Zitouni, Mehdi Hennequin, Juba Agoun, Ryan Horache, Nadia Kabachi, Omar Rivasplata

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चलना सिखा रहे हैं। आप उसे एक सिम्युलेटर में अभ्यास करने देते हैं, और वह उस विशिष्ट डिजिटल फर्श पर चलने में बहुत माहिर हो जाता है। लेकिन डरावनी बात यह है कि जब आप उस रोबोट को वास्तविक दुनिया में रखते हैं, तो वह लड़खड़ा सकता है। क्यों? क्योंकि सिम्युलेटर पूर्ण (perfect) है, लेकिन वास्तविक दुनिया अव्यवस्थित है। हो सकता है कि रोबोट ने वास्तव में संतुलन बनाना सीखने के बजाय सिम्युलेटर की खामियों को ही "रट" लिया हो।

यह शोध पत्र उस रोबोट को सीखने के दौरान एक "कॉन्फिडेंस रिपोर्ट कार्ड" (विश्वास का रिपोर्ट कार्ड) देने के बारे में है, ताकि हमें पता चल सके कि वह केवल अभ्यास कक्ष में ही नहीं, बल्कि वास्तविक दुनिया में भी अच्छा प्रदर्शन करेगा।

यहाँ उन्होंने क्या किया है, इसका सरल उपमाओं (analogies) के साथ विवरण दिया गया है:

1. समस्या: "मेमोरी चीट" (याददाश्त की चोरी)

पारंपरिक मशीन लर्निंग में, हम मानते हैं कि डेटा का हर हिस्सा स्वतंत्र है—जैसे कि सिक्का उछालना। यदि आप 'हेड्स' पाते हैं, तो अगला उछाल उससे प्रभावित नहीं होता। लेकिन रीइन्फोर्समेंट लर्निंग (RL) में, डेटा एक श्रृंखला (chain) की तरह जुड़ा होता है। यदि रोबोट बाईं ओर एक कदम लेता है, तो अगला कदम उस पहले कदम पर निर्भर करता है।

इस चेन रिएक्शन के कारण, मानक गणितीय सूत्र (formulas) जो यह गारंटी देते हैं कि एक AI नई स्थितियों में काम करेगा, विफल हो जाते हैं। वे "वैक्युअस" (vacuous) हो जाते हैं, जिसका अर्थ है कि वे बेकार या अर्थहीन हैं। यह मौसम की भविष्यवाणी करने के लिए केवल कल के तापमान को देखने जैसा है, जबकि आज के मौसम का कल से संबंध है, इसे अनदेखा करना।

2. समाधान: एक "सेफ्टी नेट" गणितीय सूत्र

लेखकों ने एक नया गणितीय नियम बनाया (जिसे PAC-Bayesian Bound कहा जाता है) जो इस चेन रिएक्शन को ध्यान में रखता है।

इसे इस तरह समझें:

पुराना गणित: हर कदम को एक अलग घटना मानता था। इसने इस तथ्य को अनदेखा कर दिया कि रोबलेट का इतिहास मायने रखता है।
नया गणित: यह देखता है कि रोबोट अपनी शुरुआती स्थिति को "भूलने" और एक स्थिर लय में बसने में कितना समय लेता है। इसे "मिक्सिंग टाइम" (Mixing Time) कहा जाता है।

कल्पना कीजिए कि क्रीम वाला एक कप कॉफी है। यदि आप इसे हिलाते हैं, तो क्रीम के समान रूप से मिलने में कुछ सेकंड लगते हैं। "मिक्सिंग टाइम" वह समय है जब सिस्टम स्थिर और अनुमानित हो जाता है। लेखकों ने इस अवधारणा का उपयोग करके एक सूत्र बनाया है जो हमें बताता है: "हमें 95% विश्वास है कि रोबोट का वास्तविक-दुनिया का प्रदर्शन कम से कम इतना अच्छा होगा।"

3. एल्गोरिदम: PB-SAC (एक स्मार्ट छात्र)

उन्होंने केवल एक शोध पत्र नहीं लिखा; उन्होंने PB-SAC (PAC-Bayesian Soft Actor-Critic) नामक एक एल्गोरिदम बनाया।

अधिकांश AI एजेंट केवल उच्चतम स्कोर प्राप्त करने की कोशिश करते हैं। PB-SAC अलग है। इसके दो लक्ष्य हैं:

उच्च स्कोर प्राप्त करना (सामान्य AI की तरह)।
"कॉन्फिडेंस गैप" (विश्वास का अंतर) को छोटा रखना।

एक छात्र की अभ्यास परीक्षा की कल्पना करें।

सामान्य AI: अभ्यास परीक्षा में 95% अंक प्राप्त करता है और कहता है, "मैं तैयार हूँ!"
PB-SAC: अभ्यास परीक्षा में 95% अंक प्राप्त करता है, लेकिन इसका "कॉन्फिडेंस रिपोर्ट कार्ड" कहता है, "मुझे 90% अंक मिलने की केवल 80% संभावना है।"

PB-SAC सक्रिय रूप से उस अंतर को कम करने की कोशिश करता है। यदि अंतर बहुत बड़ा है, तो वह जानता है कि वह ओवरफिटिंग (रटने) कर रहा है और अपने सीखने के तरीके को अधिक मजबूत (robust) बनाने के लिए समायोजित करता है। यह प्रशिक्षण के अंत में केवल एक जांच के रूप में नहीं, बल्कि एक लाइव गाइड के रूप में गणितीय सूत्र का उपयोग करता है।

4. यह कैसे काम करता है: "घोस्ट" पॉलिसियाँ (Ghost Policies)

इस विश्वास की गणना करने के लिए, PB-SAC केवल एक नीति (चलने का एक तरीका) को नहीं देखता है। यह नीतियों के एक वितरण (distribution) को देखता है।

इसे एक गायक मंडली (choir) की तरह समझें। एक मुख्य गायक (मुख्य नीति) के बजाय, आपके पास एक पूरी मंडली (पोस्टीरियर डिस्ट्रीब्यूशन) है।

मीन (Mean): मुख्य गायक है (सबसे अच्छा अनुमान)।
वैरिएंस (Variance): यह दर्शाता है कि अन्य गायक कितनी सामंजस्य बिठा रहे हैं या अलग हो रहे हैं।

यदि मंडली पूरी तरह से तालमेल में है, तो AI आश्वस्त है। यदि वे बेतरतीब ढंग से गा रहे हैं, तो AI जानता है कि वह अनिश्चित है। PB-SAC इस अनिश्चितता का उपयोग अन्वेषण (explore) करने के लिए करता है। यदि वह किसी चाल को लेकर अनिश्चित है, तो वह अलग-अलग विविधताओं (मंडली से नमूना लेना) को आज़माता है ताकि देख सके कि क्या कोई बेहतर तरीका है।

5. परिणाम: यह वास्तव में काम करता है

उन्होंने चलने (HalfCheetah, Ant, Hopper) जैसे रोबोटिक कार्यों पर इसका परीक्षण किया।

प्रदर्शन: PB-SAC ने मौजूदा सर्वोत्तम तरीकों (SAC) के समान प्रदर्शन किया। इसने गति या कौशल का त्याग नहीं किया।
प्रमाणपत्र (Certificates): "कॉन्फिडेंस रिपोर्ट कार्ड" सार्थक थे। जैसे-जैसे रोबोट सीखता गया, वे समय के साथ और सटीक होते गए, जिससे पता चला कि AI वास्तव में बेहतर और अधिक विश्वसनीय हो रहा था, न कि केवल भाग्यशाली।
मजबूती (Robustness): यहाँ तक कि यदि उन्होंने "मिक्सिंग टाइम" का गलत अनुमान लगाया (उसे बढ़ाकर बताया), तो भी सिस्टम सुरक्षित और सतर्क रहा। यह क्रैश नहीं हुआ; यह बस अधिक सावधान हो गया।

सारांश में

यह शोध पत्र AI को एक गणितीय गारंटी देता है कि वह केवल अपने प्रशिक्षण वातावरण को रटेगा नहीं। रोबोटिक्स में डेटा एक श्रृंखला की तरह जुड़ा होता है, इस तथ्य को ध्यान में रखकर और वास्तविक समय में सीखने के लिए इस गणित का उपयोग करके, उन्होंने एक ऐसा AI बनाया है जो न केवल कुशल है बल्कि विश्वसनीय भी है। यह एक ऐसे छात्र के बीच का अंतर है जिसने उत्तर रटे हैं और एक ऐसे छात्र के बीच का अंतर है जो विषय को वास्तव में समझता है।

तकनीकी सारांश: PAC-Bayesian सुदृढीकरण शिक्षण (Reinforcement Learning) सामान्यीकरण योग्य नीतियों को प्रशिक्षित करता है

समस्या विवरण
यह शोध पत्र सुदृढीकरण शिक्षण (RL) एल्गोरिदम के लिए कठोर सामान्यीकरण गारंटी (generalization guarantees) प्राप्त करने की चुनौती को संबोधित करता है। शास्त्रीय सांख्यिकीय शिक्षण सिद्धांत स्वतंत्र और समान रूप से वितरित (i.i.d.) डेटा नमूनों की धारणा पर निर्भर करता है। हालाँकि, RL डेटा क्रमिक, टेम्पोरल रूप से सह-संबंधित प्रक्षेपवक्रों (trajectories) से बना होता है जो मार्कोव निर्णय प्रक्रियाओं (MDPs) द्वारा उत्पन्न होते हैं, जो इस स्वतंत्रता धारणा का उल्लंघन करता है। फलस्वरूप, मानक एकाग्रता असमानताएं (concentration inequalities) और सामान्यीकरण सीमाएं (generalization bounds) सीधे RL नीतियों के लिए सार्थक प्रमाण पत्र प्रदान करने के लिए लागू नहीं की जा सकती हैं। PAC-Bayesian सीमाओं को RL के लिए विस्तारित करने के पिछले प्रयास या तो डिस्काउंट फैक्टर (discount factor) के साथ खराब स्केलिंग से ग्रस्त थे (जो लंबे क्षितिज वाले कार्यों के लिए इन्हें निरर्थक बना देता था) या उन्होंने प्रमाण प्रदान करने के बजाय अन्वेषण (exploration) के लिए सीमाओं का पुनरुद्देश्य किया।

कार्यप्रणाली
लेखक एक नया PAC-Bayesian सामान्यीकरण बाउंड (bound) व्युत्पन्न करते हैं जो अंतर्निहित मार्कोव श्रृंखला के मिक्सिंग टाइम (mixing time) के माध्यम से ऑफ-पॉलिसी RL के लिए स्पष्ट रूप से विचार करता है।

सैद्धांतिक व्युत्पत्ति:
- विश्लेषण $T$ प्रक्षेपवक्रों के एक डेटासेट पर इम्पॉर्टेंस सैंपलिंग (importance sampling) के माध्यम से अनुमानित वास्तविक अपेक्षित हानि (negative value function) और वास्तविक अपेक्षित हानि के बीच के अंतर पर केंद्रित है।
- लेखक एक प्रक्षेपवक्र में एकल संक्रमण (transition) को बदलने से औसत रिटर्न कैसे प्रभावित होता है, इसे मापने के लिए एक बाउंडेड-डिफरेंस कंडीशन (लेम्मा 3.2) स्थापित करते हैं, और स्पष्ट स्थिरांकों को व्युत्पन्न करते हैं जो डिस्काउंट फैक्टर $\gamma$ के माध्यम से त्रुटियों के प्रसार को ध्यान में रखते हैं।
- मार्कोव श्रृंखलाओं के लिए पॉलिन (2018) के मैकार्डिम्स इनइक्वलिटी (McDiarmid’s inequality) के विस्तार का लाभ उठाते हुए, वे वास्तविक और अनुभवजन्य हानि के विचलन के लिए एक एकाग्रता असमानता (concentration inequality) व्युत्पन्न करते हैं। यह असमानता स्पष्ट रूप से $\tau_{min}$ पर निर्भर करती है, जो पॉलिसी-प्रेरित मार्कोव श्रृंखला का मिक्सिंग टाइम है।
- इस एकाग्रता परिणाम को मानक PAC-Bayesian परिवर्तन-मापन (change-of-measure) तकनीक के साथ संयोजित करने से थ्योरम 3.3 प्राप्त होता है, जो अपेक्षित हानि पर एक उच्च-संभाव्यता बाउंड है। महत्वपूर्ण रूप से, यह बाउंड $O((1-\gamma)^{-1})$ के रूप में स्केल करता है, जो कि पूर्ववर्ती बाउंड्स की तुलना में एक महत्वपूर्ण सुधार है जो $O((1-\gamma)^{-4})$ के रूप में स्केल करते थे, जिससे यह आधुनिक डीप RL सेटिंग्स के लिए गैर-निरर्थक (non-vacuous) बन जाता है।
एल्गोरिदम कार्यान्वयन (PB-SAC):
- लेखक एक एल्गोरिदम PB-SAC पेश करते हैं जो सॉफ्ट एक्टर-क्रिटिक (SAC) के प्रशिक्षण लूप में व्युत्पन्न बाउंड को एकीकृत करता है।
- पोस्टीरियर रखरखाव (Posterior Maintenance): एल्गोरिदम पॉलिसी पैरामीटर्स पर एक डायगोनल गौसियन पोस्टीरियर वितरण बनाए रखता है। KL डाइवर्जेंस विस्फोट को रोकने के लिए प्रायर (prior) को मूविंग एवरेज के माध्यम से समय-समय पर अपडेट किया जाता है।
- अनुकूलन (Optimization): बाउंड के वर्ग-मूल पद की गैर-उत्तलता (non-convexity) को संभालने के लिए, लेखक एक वेरिएशनल सन्निकटन (variational approximation) यानी PAC-Bayes- $\lambda$ का उपयोग करते हैं जो पोस्टीरियर पैरामीटर्स और एक सहायक ट्रेड-ऑफ पैरामीटर $\lambda$ के स्थिर वैकल्पिक अनुकूलन की अनुमति देता है।
- ग्रेडिएंट अनुमान (Gradient Estimation): पोस्टीरियर पैरामीटर्स के सापेक्ष अपेक्षित अनुभवजन्य हानि के ग्रेडिएंट की गणना करने के लिए एक पॉलिसी-स्तरीय REINFORCE ट्रिक का उपयोग किया जाता है।
- अनुकूली नमूनाकरण (Adaptive Sampling): पोस्टीरियर अपडेट के कारण होने वाले क्रिटिक मिसअलाइनमेंट को संबोधित करने के लिए, एल्गोरिदम एक अनुकूली नमूनाकरण तंत्र का उपयोग करता है। एक PAC-Bayesian अपडेट के तुरंत बाद, एक्टर को फ्रीज कर दिया जाता है, और क्रिटिक को नई पॉलिसी वितरण के पुनर्मिलान के लिए उच्च दर के पोस्टीरियर नमूनों (256) का उपयोग करके अपडेट किया जाता है।

प्रमुख योगदान

सैद्धांतिक: मार्कोव श्रृंखला के मिक्सिंग टाइम पर स्पष्ट निर्भरता और डिस्काउंट फैक्टर एवं प्रक्षेपवक्र लंबाई के संबंध में बेहतर स्केलिंग के साथ RL के लिए एक नया PAC-Bayesian बाउंड। यह आधुनिक ऑफ-पॉलिसी एल्गोरिदम के लिए गैर-निरर्थक प्रमाण पत्र प्रदान करता है।
एल्गोरिदम: PB-SAC का परिचय, जो एक लाइव ऑब्जेक्टिव के रूप में PAC-Bayesian बाउंड को अनुकूलित करने वाला पहला व्यावहारिक एल्गोरिदम है। इसमें स्थिर अनुकूलन के लिए विशिष्ट नवाचार शामिल हैं, जैसे कि PAC-Bayes- $\lambda$ रिलैक्सेशन और अनुकूली क्रिटिक सैंपलिंग।
अनुभवजन्य: निरंतर नियंत्रण कार्यों (continuous control tasks) में प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए, यह प्रदर्शन करना कि बाउंड निरंतर नियंत्रण वातावरण (MuJoCo) में सार्थक, टाइटनिंग कॉन्फिडेंस सर्टिफिकेट प्रदान करता है।

परिणाम
प्रयोग चार MuJoCo निरंतर नियंत्रण वातावरण (HalfCheetah, Ant, Hopper, Walker2d) पर किए गए।

प्रमाणपत्र सुदृढ़ीकरण (Certificate Tightening): PAC-Bayesian लोअर बाउंड्स अपेक्षित रिटर्न पर लगातार प्रशिक्षण के दौरान टाइटनिंग होते रहे, जो सीखे गए पॉलिसियों के सुधार का अनुसरण करते हैं। बाउंड्स Ant जैसे जटिल, उच्च-आयामी कार्यों में भी सूचनात्मक बने रहे।
प्रदर्शन: PB-SAC ने डेंस-रिवॉर्ड कार्यों में वैनिला SAC के साथ प्रतिस्पर्धी प्रदर्शन बनाए रखा। स्पार्स-रिवॉर्ड सेटिंग्स (जैसे कि बहुत विलंबित पुरस्कारों के साथ Ant) में, PB-SAC ने दोनों SAC और PBAC (एक प्रायर PAC-Bayes अन्वेषण विधि) को पछाड़ दिया, जो दर्शाता है कि प्रमाणन ढांचा अन्वेषण में भी सहायता करता है।
मजबूती (Robustness): फ्रेमवर्क मिक्सिंग टाइम $\tau_{min}$ के अति-अनुमान (overestimation) के प्रति मजबूत साबित हुआ। हालांकि अति-अनुमान से लूज़ बाउंड्स मिलते हैं, एल्गोरिदम प्रभावी ढंग से अनुकूलित हुआ और सार्थक प्रमाण पत्र बनाए रखे। कम-अनुमान (underestimation) को कई ऑटोकोरिलेशन स्रोतों से प्राप्त रूढ़िवादी अनुमानों का उपयोग करके कम किया गया।

महत्व
यह शोध पत्र दावा करता है कि यह क्रमिक निर्णय लेने (sequential decision-making) में लर्निंग थ्योरी और एल्गोरिदम अभ्यास के बीच के अंतर को पाटता है। एक निष्क्रिय पोस्ट-ट्रेनिंग मूल्यांकन उपकरण से एक सक्रिय लर्निंग एल्गोरिदम के घटक में अपने सामान्यीकरण गारंटी को बदलकर, यह कार्य आधुनिक RL में अनुकूलन और प्रमाणन के लिए एक व्यावहारिक PAC-Bayesian कंप्यूटेशन फ्रेमवर्क स्थापित करता है। यह औपचारिक गारंटी प्रदान करके सुरक्षा-महत्वपूर्ण अनुप्रयोगों में डीप RL एजेंटों के सुरक्षित परिनियोजन की दिशा में एक मार्ग प्रशस्त करता है कि पॉलिसियाँ प्रशिक्षण डेटा से परे सामान्यीकरण करेंगी।