🤖 machine learning

Symmetric Behavior Regularized Policy Optimization

यह शोध पत्र सिमेट्रिक बिहेवियर रेगुलराइज्ड पॉलिसी ऑप्टिमाइजेशन (SymBRPO) के लिए एक सार्वभौमिक ढांचे को प्रस्तुत करता है जो पियर्सन-वजडा डाइवर्जेंस के परिमित-श्रृंखला सन्निकटन (finite-series approximation) का उपयोग करके सिमेट्रिक डाइवर्जेंस में क्लोज्ड-फॉर्म समाधानों की कमी और संख्यात्मक अस्थिरता पर विजय प्राप्त करता है, जिससे मजबूत प्रदर्शन प्राप्त होता है और ऑफलाइन सुदृढीकरण शिक्षण (reinforcement learning) में एसिमेट्रिक रेगुलराइजेशन की सीमाओं को संबोधित किया जाता है।

मूल लेखक: Lingwei Zhu, Haseeb Shah, Zheng Chen, Martha White

प्रकाशित 2026-07-21

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lingwei Zhu, Haseeb Shah, Zheng Chen, Martha White

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखा रहे हैं, लेकिन आप इसे वास्तविक दुनिया में चीजें आजमाकर अभ्यास करने की अनुमति नहीं दे सकते। शायद गेम बहुत महंगा है, बहुत खतरनाक है, या रोबोट पहले से ही टूटा हुआ है। इसके बजाय, आपको इसे एक मानव खिलाड़ी के विशाल वीडियो रिकॉर्डिंग का उपयोग करके सिखाना होगा जिसने पहले ही गेम खेला था। यह "ऑफलाइन रिइन्फोर्समेंट लर्निंग" (offline reinforcement learning) की दुनिया है। रोबोट को इस स्थिर इतिहास से सीखना होगा बिना कोई नया कदम उठाए।

पेचीदा हिस्सा यह है कि रोबोट बहुत लालची हो सकता है। यदि वह वीडियो में एक ऐसा कदम देखता है जो अद्भुत दिखता है, तो वह उसे पूरी तरह से कॉपी करने की कोशिश कर सकता है। लेकिन यदि वह कदम वास्तव में एक मानवीय चूक या गलती थी, तो रोबोट क्रैश हो सकता है और बर्बाद हो सकता है। इसे रोकने के लिए, वैज्ञानिक एक "रेगुलराइज़र" (regularizer) का उपयोग करते हैं। इसे एक हल्के पट्टे (leash) की तरह समझें। यह रोबोट के नए निर्णयों को पुराने मानव की शैली से बांध देता है, जिससे उसे खतरनाक, अनोखे क्षेत्रों में भटकने से रोका जा सके। आमतौर पर, यह पट्टा "असममित" (asymmetric) होता है, जिसका अर्थ है कि यह एक तरफ की तुलना में दूसरी तरफ अधिक जोर से खींचता है। यह एक ऐसे माता-पिता की तरह है जो बाएं जाने के बारे में बहुत सख्त है, लेकिन उसे इस बात की ज्यादा परवाह नहीं है कि आप दाएं जाएं।

लेकिन क्या होगा अगर पट्टा "सममित" (symmetric) हो? क्या होगा अगर यह दोनों दिशाओं में समान रूप से खींचे? यह पेपर एक बड़ा सवाल पूछता है: क्या एक सममित पट्टा वास्तव में बेहतर है? लेखक सुझाव देते हैं कि जबकि पुराना असममित पट्टा मानक रहा है, एक सममित पट्टा कुछ कठिन स्थितियों को—जैसे कि जब रोबोट किसी चट्टान के किनारे पर हो या जब मानव डेटा में अजीब अंतराल हों—कहीं अधिक प्रभावी ढंग से संभाल सकता है। हालाँकि, एक सममित पट्टे का उपयोग करना गणितीय रूप से जटिल है और रोबोट के दिमाग को खराब करने (संख्यात्मक अस्थिरता/numerical instability का कारण बनने) की संभावना रखता है। यह पेपर एक नया, मजबूत ढांचा बनाता है ताकि यह सममित पट्टा बिना कुछ तोड़े काम कर सके।

सममित पट्टे की कहानी (The Story of the Symmetric Leash)

रोबोट लर्निंग की दुनिया में, एक निरंतर खींचतान चलती रहती है। एक तरफ, आप चाहते हैं कि रोबोट स्मार्ट हो और सबसे अच्छे कदम खोजे। दूसरी ओर, आप चाहते हैं कि वह सुरक्षित रहे और जो वह जानता है उसी पर टिका रहे। यह पेपर एक विधि पेश करता है जिसे Symmetric Behavior Regularized Policy Optimization (Sf-AC) कहा जाता है। यह एक फैंसी तरीका है यह कहने का कि: "आइए हम रोबोट को एकतरफा पट्टे के बजाय एक संतुलित, दो-तरफा पट्टे का उपयोग करके सिखाएं।"

पुराना पट्टा थोड़ा असंतुलित क्यों था
लंबे समय तक, वैज्ञानिकों ने एक "असममित" पट्टे (विशेष रूप से, जिसे KL divergence कहा जाता है) का उपयोग किया। कल्पना करें कि आप एक पुराने सांचे में एक नया आकार फिट करने की कोशिश कर रहे हैं। पुराना पट्टा उन चीजों को रोकने में बहुत अच्छा था जो मानव ने कभी नहीं की थीं। लेकिन इसमें एक दोष था: यह उन चीजों को आज़माने से बहुत डरता था जो मानव ने शायद ही कभी की थीं।

लेखकों ने कुछ सरल परीक्षण किए (जैसे कि एक रोबोट जो केवल दो बटनों वाला गेम खेल रहा है) और पाया कि पुराना पट्टा बहुत रूढ़िवादी था। यदि कोई दुर्लभ बटन वास्तव में जीतने वाला कदम था, तो असममित पट्टा उसे दबाने से बहुत डरता था, यह सोचते हुए, "मानव ने इस पर शायद ही कभी हाथ लगाया, इसलिए मुझे भी ऐसा नहीं करना चाहिए!" हालाँकि, नया सममित (symmetric) पट्टा, दुर्लभ अच्छे कदमों के प्रति अधिक सम्मान रखता है। यह केवल इस बात को नहीं देखता कि मानव ने कुछ कितनी बार किया; यह रोबोट के विचार और मानव के इतिहास के बीच के संतुलन को देखता है। उनके परीक्षणों में, इसने रोबोट को बेहतर समाधान तेजी से खोजने में सक्षम बनाया।

चट्टान के किनारे वाली समस्या (The edge-of-the-cliff problem)
एक और समस्या थी जिसके साथ पुराना पट्टा संघर्ष करता था: सीमाएँ (boundaries)। कई खेलों में, आप अपने चरित्र को एक विशिष्ट सीमा के भीतर ही हिला सकते हैं, मान लीजिए -1 से 1 के बीच। यदि रोबोट -1.5 पर जाने की कोशिश करता है, तो गेम इसे काटकर वापस -1 कर देता है। इससे अजीब, विकृत व्यवहार होता है।

लेखकों ने दिखाया कि पुराना असममित पट्टा प्रायिकता द्रव्यमान (probability mass) को किनारे से बाहर "गिराने" (spill) की प्रवृत्ति रखता है। यह एक भरे हुए कप में पानी डालने की तरह है; पानी किनारे से बाहर गिर जाता है, और जब गेम इसे वापस काट देता है, तो रोबोट भ्रमित हो जाता है। नया सममित पट्टा, हालांकि, पानी को कप के अंदर रखने में बहुत बेहतर है। यह दोनों तरफ से किनारे से बाहर गिरने पर दंडित करता है, यह सुनिश्चित करता है कि रोबोट सुरक्षित रूप से अनुमत सीमाओं के भीतर रहे। उनके सिमुलेशन में, इससे रोबोट को पुराने तरीके की तुलना में लगभग दोगुना रिवॉर्ड मिला क्योंकि उसने अवैध चालों पर समय बर्बाद नहीं किया।

गणितीय उलझन और जादुई समाधान
यहाँ एक पेच है: सममित पट्टे (Symmetric leashes) उपयोग करने में बेहद कठिन होते हैं। जब आप एक सममित पट्टे के लिए सटीक गणित लिखने की कोशिश करते हैं, तो समीकरण इतने जटिल हो जाते हैं कि आप उन्हें आसानी से हल नहीं कर सकते। यह एक ऐसे पहेली को हल करने जैसा है जहाँ उसके टुकड़े लगातार अपना आकार बदलते रहते हैं। इसके अलावा, यदि आप कंप्यूटर पर उनकी गणना करने का प्रयास करते हैं, तो संख्याएं इतनी बड़ी या इतनी छोटी हो सकती हैं कि कंप्यूटर क्रैश हो जाता है (जिसे संख्यात्मक अस्थिरता कहा जाता है)।

इस पेपर की बड़ी सफलता एक चतुर गणितीय ट्रिक है। लेखकों ने महसूस किया कि किसी भी जटिल सममित पट्टे को सरल टुकड़ों (जिन्हें Pearson-Vajda divergences कहा जाता है) की एक लंबी, अनंत श्रृंखला में तोड़ा जा सकता है। असंभव अनंत पहेली को हल करने के बजाय, उन्होंने दिखाया कि आपको लगभग सटीक परिणाम प्राप्त करने के लिए केवल पहले कुछ टुकड़ों (एक परिमित श्रृंखला) का उपयोग करने की आवश्यकता है।

श्रृंखला को जल्दी काटने से, वे निम्नलिखित में सक्षम हुए:

एक स्पष्ट सूत्र ढूँढना: उन्होंने रोबोट की सर्वोत्तम नीति के लिए एक साफ, क्लोज्ड-फॉर्म अभिव्यक्ति (closed-form expression) निकाली, जिसका अर्थ है कि रोबोट को अनुमान लगाने के बिना पता है कि क्या करना है।
कंप्यूटर को क्रैश होने से रोकना: उन्होंने लॉस (loss) की गणना करने का एक नया, स्थिर तरीका बनाया, जिससे पिछले प्रयासों में होने वाले संख्यात्मक विस्फोटों से बचा जा सका।
यह साबित करना कि यह पर्याप्त है: उन्होंने गणितीय रूप से सिद्ध किया कि उनका "छोटा" संस्करण "पूर्ण" अनंत संस्करण के अविश्वसनीय रूप से करीब है, जिसमें त्रुटि इतनी कम है कि वह व्यावहारिक रूप से शून्य है।

क्या यह वास्तव में काम करता है?
लेखक केवल गणित तक ही सीमित नहीं रहे। उन्होंने अपने नए तरीके का परीक्षण किया, जिसे वे Symmetric f-Actor-Critic (Sf-AC) कहते हैं, D4RL नामक रोबोट लर्निंग के एक प्रसिद्ध बेंचमार्क सेट पर किया। इन बेंचमार्क में रोबोट कुत्ते का चलना सीखने, हाथ से पेन उठाने, या भूलभुलैया सुलझाने वाले रोबोट जैसे कार्य शामिल हैं।

परिणाम प्रभावशाली थे। अधिकांश कार्यों में, नया सममित तरीका मौजूदा सर्वोत्तम तरीकों के बराबर या उनसे बेहतर प्रदर्शन करता है। यह विशेष रूप से उन "किनारे" (edge) के मामलों को संभालने में अच्छा था जहाँ अन्य रोबोट संघर्ष करते थे। लेखकों ने यह भी जांचा कि उनके गणितीय ट्रिक में उपयोग किए गए टुकड़ों की संख्या के प्रति उनका तरीका कितना संवेदनशील है। उन्होंने पाया कि केवल कुछ टुकड़ों (2 से 6 के बीच) के साथ भी, रोबोट लगातार अच्छा प्रदर्शन करता है, जो यह दर्शाता है कि यह विधि मजबूत है और इसे काम करने के लिए अत्यधिक जटिल होने की आवश्यकता नहीं है।

उन्होंने क्या खारिज किया
यह ध्यान रखना महत्वपूर्ण है कि पेपर क्या कहता है जो काम नहीं करता है। लेखकों ने स्पष्ट रूप से रोबोट के लक्ष्य के लिए एक सममित पट्टे और मानव के इतिहास के लिए एक असममित पट्टे का उपयोग करने की वर्तमान लोकप्रिय प्रथा के खिलाफ तर्क दिया। उन्होंने गणित और उदाहरणों के माध्यम से दिखाया कि इन दो प्रकार के पट्टों को मिलाने से एक "ज्यामितीय बेमेल" (geometry mismatch) पैदा होता है। यह एक चौकोर छेद में गोल खूंटी डालने जैसा है; रोबक किस दिशा में जाना है, इसे लेकर भ्रमित हो जाता है, जिससे उप-इष्टतम (suboptimal) प्रदर्शन होता। उनका पेपर सिद्ध करता है कि यदि आप सममित दृष्टिकोण का उपयोग करना चाहते हैं, तो आपको पट्टे और लक्ष्य दोनों के लिए इसका उपयोग करना होगा।

वे कितने आश्वस्त हैं?
लेखक अपने गणितीय प्रमाणों में बहुत आश्वस्त हैं। उन्होंने केवल यह अनुमान नहीं लगाया कि श्रृंखला सन्निकटन (series approximation) काम करता है; उन्होंने इसे उन प्रमेयों (theorems) के साथ सिद्ध किया जो दिखाते हैं कि त्रुटि कितनी कम है। अपने प्रयोगों में, उन्होंने हजारों चरणों के माध्यम से रोबोट का परीक्षण किया और परिणामों को सुनिश्चित करने के लिए कई प्रयासों (seeds) पर औसत निकाला कि परिणाम केवल किस्मत नहीं थे। हालांकि उन्होंने यह दावा नहीं किया कि उन्होंने ऑफलाइन लर्निंग को हमेशा के लिए "हल" कर दिया है, उन्होंने प्रदर्शित किया कि उनका सममित दृष्टिकोण एक शक्तिशाली, स्थिर और अक्सर बेहतर विकल्प है, विशेष रूप से कठिन सीमाओं या पक्षपाती डेटा के मामले में।

संक्षेप में, यह पेपर एक अव्यवस्थित, कठिन विचार (सममित रेगुलराइजेशन) को एक चतुर गणितीय शॉर्टकट के साथ नियंत्रित करता है। परिणाम एक ऐसा रोबोट लर्निंग तरीका है जो अधिक संतुलित, अधिक स्थिर और अक्सर उन उपकरणों की तुलना में अधिक स्मार्ट है जिनका हम वर्षों से उपयोग कर रहे हैं।

तकनीकी सारांश: सिमेट्रिक बिहेवियर रेगुलराइज्ड पॉलिसी ऑप्टिमाइजेशन (Symmetric Behavior Regularized Policy Optimization)

समस्या विवरण (Problem Statement)

बिहेवियर रेगुलराइज्ड पॉलिसी ऑप्टिमाइजेशन (BRPO) ऑफलाइन रिइन्फोर्समेंट लर्निंग (RL) में एक मानक दृष्टिकोण है, जिसे एक स्थिर डेटासेट से प्राप्त बिहेवियर पॉलिसी ( $\pi_D$ ) की ओर सीखी गई पॉलिसी ( $\pi$ ) को रेगुलराइज करके डिस्ट्रीब्यूशनल शिफ्ट (distributional shift) को कम करने के लिए डिज़ाइन किया गया है। इस शोध पत्र में संबोधित मुख्य चुनौती रेगुलराइजेशन ( $D_{Reg}$ ) और ऑप्टिमाइजेशन ( $D_{Opt}$ ) के लिए उपयोग किए जाने वाले डाइवर्जेंस मेजर (divergence measure) का चयन करना है।

जबकि मौजूदा साहित्य मुख्य रूप से एसिमेट्रिक (asymmetric) डाइवर्जेंस (जैसे, KL डाइवर्जेंस, $\chi^2$ ) का उपयोग करता है, हाल के LLM संबंधी अवलोकनों से पता चलता है कि ऑप्टिमाइजेशन ऑब्जेक्टिव के रूप में उपयोग किए जाने वाले सिमेट्रिक (symmetric) डाइवर्जेंस (जैसे, जेन्सन-शैनन, जेफ्रीज़) प्रदर्शन में सुधार कर सकते हैं। हालाँकि, BRPO पर सिमेट्रिक डाइवर्जेंस लागू करने में दो महत्वपूर्ण सैद्धांतिक और व्यावहारिक बाधाएँ आती हैं:

क्लोज्ड-फॉर्म समाधान का अभाव (Lack of Closed-Form Solutions): जब इन्हें रेगुलराइज़र ( $D_{Reg}$ ) के रूप में उपयोग किया जाता है, तो सिमेट्रिक डाइवर्जेंस आम तौर पर अनुकूलित रेगुलराइज्ड पॉलिसी ( $\pi^*$ ) के लिए विश्लेषणात्मक अभिव्यक्ति (analytic expression) की अनुमति नहीं देते हैं, जिससे BRPO का पहला चरण अव्यवहार्य हो जाता है।
संख्यात्मक अस्थिरता (Numerical Instability): सिमेट्रिक डाइवर्जेंस ( $D_{Opt}$ ) को सीधे ऑप्टिमाइज़ करने से संख्यात्मक समस्याएँ उत्पन्न हो सकती हैं, विशेष रूप से तब जब पॉलिसियाँ सीमित सपोर्ट (finite support) रखती हों या एक-दूसरे से बहुत दूर हों, जिससे ग्रेडिएंट्स लुप्त (vanish) या विस्फोट (explode) हो सकते हैं।
ज्यामितीय बेमेल (Geometric Mismatch): मौजूदा विधियाँ जो ऑप्टिमाइजेशन ( $D_{Opt}$ ) के लिए सिमेट्रिक डाइवर्जेंस का उपयोग करती हैं लेकिन रेगुलराइजेशन ( $D_{Reg}$ ) के लिए एसिमेट्रिक KL बनाए रखती हैं, वे प्रोजेक्शन ज्योमेट्री मिसमैच (projection geometry mismatch) से ग्रस्त होती हैं। यह विसंगति सबऑप्टिमल पॉलिसी अपडेट की ओर ले जाती है क्योंकि सिमेट्रिक लॉस का ऑप्टिमाइजेशन लैंडस्केप एसिमेट्रिक रेगुलराइज़र द्वारा परिभाषित टारगेट पॉलिसी के साथ संरेखित नहीं होता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र किसी भी $f$ -डाइवर्जेंस को पियर्सन-वजडा डाइवर्जेंस (Pearson-Vajda divergences) की एक अनंत श्रृंखला के रूप में प्रदर्शित करके एक नवीन 'सिमेट्रिक BRPO' सक्षम करने हेतु एक नया ढांचा प्रस्तावित करता है।

1. पियर्सन-वजडा श्रृंखला के माध्यम से यूनिवर्सल BRPO फ्रेमवर्क

लेखक स्थापित करते हैं कि किसी भी $f$ -डाइवर्जेंस रेगुलराइजेशन को पियर्सन-वजडा $\chi$ -डाइवर्जेंसेस की एक अनंत श्रृंखला के रूप में समान रूप से प्रस्तुत किया जा सकता है:
$D_f(\pi || \pi_D) = \sum_{n=0}^{\infty} \frac{f^{(n)}(1)}{n!} \chi_n(\pi || \pi_D)$
जहाँ $\chi_n$ , $n$ -वें क्रम के पियर्सन-वजडा डाइवर्जेंस को दर्शाता है।

2. व्यवहार्यता के लिए परिमित-श्रृंखला सन्निकटन (Finite-Series Approximation for Tractability)

अनंत श्रृंखला को सीमित संख्या में पदों ( $N_{Reg}$ ) तक ट्रंकेट (truncate) करके, क्लोज्ड-फॉर्म समाधान की कमी को दूर करने के लिए लेखक निम्नलिखित प्रस्ताव करते हैं:

क्लोज्ड-फॉर्म पॉलिसी: श्रृंखला को $N_{Reg} < 5$ (विशेष रूप से सरलता के लिए $N_{Reg}=2$ का उपयोग किया गया है) पर ट्रंकेट करके, रेगुलराइज्ड ऑप्टिमल पॉलिसी $\pi^*$ एक क्लोज्ड-फॉर्म अभिव्यक्ति प्राप्त करती है। $N_{Reg}=2$ के लिए, पॉलिसी का रूप इस प्रकार होता है:
$\pi^*(a|s) = \mu(a|s) \left[ 1 + \frac{Q(s,a) - \alpha(s)}{2\tau} \right]_+$
यह अभिव्यक्ति स्वाभाविक रूप से लो-वैल्यू एक्शन्स को फ़िल्टर करती है ( $[\cdot]_+$ ऑपरेटर के माध्यम से), जिससे आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) व्यवहार नियंत्रित होता है।
संख्यात्मक रूप से स्थिर सरोगेट (Numerically Stable Surrogate): ऑप्टिमाइजेशन में संख्यात्मक अस्थिरता को संबोधित करने के लिए, लेखक एक सरोगेट ऑब्जेक्टिव ( $\hat{D}_{Opt}$ ) व्युत्पन्न करते हैं जो सिमेट्रिक डाइवर्जेंस को एक KL-जैसे टर्म और एक कंडीशनल सिमेट्री टर्म में अलग करता है। सिमेट्री टर्म को कंडीशनल सिमेट्री फंक्शन $g(t)$ के टेलर सीरीज़ विस्तार के माध्यम से अनुमानित किया जाता है, जिससे अनुपातों (ratios) की सीधी गणना से बचा जाता है जो अस्थिरता का कारण बनती है।
$\hat{D}_{Opt}(\theta) = \mathbb{E} \left[ -\left[ 1 + \frac{Q(s,a) - V(s)}{\tau} \right]_+ \ln \pi_\theta(a|s) \right] + \mathbb{E} \left[ \sum_{n=2}^{N_{Loss}} \frac{f^{(n)}(1)}{n!} \left( \frac{\pi^*(a|s)}{\pi_\theta(a|s)} - 1 \right)^n \right]$

3. सिमेट्रिक f-एक्टर-क्रिटिक (Sf-AC)

यह शोध पत्र Sf-AC एल्गोरिदम पेश करता है, जो उपरोक्त ढांचे को लागू करता है। यह ऑप्टिमल पॉलिसी टारगेट की गणना करने के लिए परिमित-श्रृंखला सन्निकटन का उपयोग करता है और स्थिर सरोगेट लॉस को मिनिमाइज करता है। यह एल्गोरिदम यह सुनिश्चित करता है कि दोनों रेगुलराइजेशन और ऑप्टिमाइजेशन ऑब्जेक्टिव एक ही सिमेट्रिक डाइवर्जेंस का उपयोग करें, जिससे प्रोजेक्शन ज्योमेट्री संरेखित रहती है।

मुख्य योगदान (Key Contributions)

सिमेट्रिक BRPO का सैद्धांतिक विश्लेषण: यह शोध पत्र व्यवस्थित रूप से सिमेट्रिक BRPO का अध्ययन करने वाला पहला पेपर है। यह उदाहरणों के माध्यम से सिद्ध करता है कि सिमेट्रिक डाइवर्जेंस निम्नलिखित में एसिमेट्रिक डाइवर्जेंस से बेहतर प्रदर्शन करते हैं:
- सपोर्ट गैप्स (support gaps) में वन-साइडेड बायस को कम करना।
- क्लिपिंग के तहत एक्शन बाउंड्रीज़ के पास पॉलिसी व्यवहार में सुधार करना (प्रोबेबिलिटी मास लीकेज को कम करना)।
- $D_{Reg}$ और $D_{Opt}$ के बीच प्रोजेक्शन ज्योमेट्री निरंतरता सुनिश्चित करना।
अव्यवहार्यता का समाधान: लेखक सिद्ध करते हैं कि पियर्सन-वजडा श्रृंखला को ट्रंकेट करने से एक क्लोज्ड-फॉर्म ऑप्टिमल पॉलिसी अभिव्यक्ति प्राप्त होती है (थ्योरम 4), जिससे वह समस्या हल हो जाती है जहाँ सिमेट्रिक डाइवर्जेंस पहले विश्लेषणात्मक समाधानों का अभाव रखते थे।
स्थिर ऑप्टिमाइजेशन सरोगेट: एक नया ऑप्टिमाइजेशन ऑब्जेक्टिव व्युत्पन्न किया गया है (थ्योरम 5) जो वैनिला सिमेट्रिक डाइवर्जेंस (जैसे, जेन्सन-शैनन) से जुड़ी संख्यात्मक अस्थिरताओं से बचता है, जबकि एप्रोक्सिमेशन एरर पर एक टाइट अपर बाउंड (थ्योरम 6) बनाए रखता है।
अनुभवजन्य सत्यापन (Empirical Validation): प्रस्तावित Sf-AC एल्गोरिदम का मूल्यांकन D4RL बेंचमार्क (MuJoCo, Adroit, Maze2D) पर किया गया है।

परिणाम (Results)

बेंचमार्क प्रदर्शन: D4RL MuJoCo सूट पर, जेन्सन-शैनन डाइवर्जेंस के साथ Sf-AC लगातार शीर्ष-स्तरीय प्रदर्शन प्राप्त करता है, जो विभिन्न कठिनाई स्तरों (Medium, Medium-Expert, Medium-Replay) में XQL, IQL और AWAC जैसे मजबूत बेसलाइन्स को अक्सर पीछे छोड़ देता है।
चुनौतीपूर्ण वातावरण: कठिन Adroit और Maze2D बेंचमार्क पर, Sf-AC शीर्ष प्रदर्शन करने वालों में शामिल है, जो उच्च-आयामी निरंतर नियंत्रण (high-dimensional continuous control) और स्पार्स रिवॉर्ड सेटिंग्स में मजबूती प्रदर्शित करता है।
बाउंड्री व्यवहार: प्रयोग पुष्टि करते हैं कि Sf-AC, KL-रेगुलराइज्ड विधियों (जैसे AWAC) की तुलना में अनुमत एक्शन रेंज के भीतर प्रोबेबिलिटी मास को अधिक प्रभावी ढंग से बनाए रखता है, जो अक्सर सीमाओं के बाहर मास "स्पिल" (spill) करने की प्रवृत्ति रखते हैं, जिससे सबऑप्टिमल क्लिप्ड रिवॉर्ड मिलते हैं।
हाइपरपैरामीटर मजबूती: विधि को परिमित सन्निकटन के लिए उपयोग किए जाने वाले पदों की संख्या ( $N_{Loss}$ ) के प्रति मजबूत दिखाया गया है, जिसमें $N_{Loss} \in \{2, \dots, 6\}$ के लिए उचित प्रदर्शन देखा गया है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र सफलतापूर्वक सिमेट्रिक बिहेवियर रेगुलराइज्ड पॉलिसी ऑप्टिमाइजेशन को व्युत्पन्न और कार्यान्वित करने का दावा करता है। इसका महत्व यहाँ निहित है:

एक सबऑप्टिमल अभ्यास को सुधारना: यह एसिमेट्रिक रेगुलराइजेशन को सिमेट्रिक ऑप्टिमाइजेशन के साथ मिलाने की उप-इष्टतमता (suboptimality) की पहचान करता है और उसे हल करता है, यह दिखाते हुए कि डाइवर्जेंस प्रकार को मिलाना ज्यामितीय निरंतरता के लिए महत्वपूर्ण है।
सिद्धांत और व्यवहार को जोड़ना: पियर्सन-वजडा श्रृंखला पर आधारित एक सार्वभौमिक ढांचे को प्रदान करके, यह शोध पत्र सिमेट्रिक डाइवर्जेंस (जो पहले अव्यवहार्य माने जाते थे) को कम्प्यूटेशनल रूप से व्यवहार्य और संख्यात्मक रूप से स्थिर बनाता है।
प्रदर्शन लाभ: परिणाम बताते हैं कि सिमेट्रिक डाइवर्जेंस, बिहेवियर पॉलिसी और एक्शन वैल्यूज के बीच एक बेहतर ट्रेड-ऑफ प्रदान करते हैं, विशेष रूप से बाउंड्री कंडीशन और सपोर्ट गैप को संभालने में, जिससे अधिक मजबूत ऑफलाइन RL एजेंट प्राप्त होते हैं।

लेखक एक सीमा नोट करते हैं: अनंत श्रृंखला प्रतिनिधित्व के लिए यह आवश्यक है कि पॉलिसी रेश्यो कन्वर्जेंस रेडियस के करीब रहे (जिसे PPO-शैली की क्लिपिंग के माध्यम से लागू किया जाता है), और भविष्य के कार्यों में पॉलिसी रेश्यो की गणना को पूरी तरह से टालने की आवश्यकता है।