A Closed-Loop Non-Asymptotic Convergence Analysis of PPO with Learned Critics and Clipping

तकनीकी सारांश: सीखे गए क्रिटिक्स और क्लिपिंग के साथ PPO का एक क्लोज्ड-लूप नॉन-एसिम्प्टोटिक कन्वर्जेंस विश्लेषण

1. समस्या विवरण

क्लिपिंग के साथ प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO-Clip), सुदृढ़ीकरण शिक्षण (Reinforcement Learning - RL) में, विशेष रूप से ह्यूमन फीडबैक से सुदृढ़ीकरण शिक्षण (RLHF) के माध्यम से लार्ज लैंग्वेज मॉडल्स (LLMs) को फाइन-ट्यून करने के लिए, एक प्रमुख एल्गोरिदम है। इसकी अनुभवजन्य सफलता के बावजूद, PPO-Clip को ट्यून करना कठिन बना हुआ है, और इसके मुख्य तंत्रों—विशेष रूप से क्रिटिक लर्निंग (critic learning), प्रोबेबिलिटी-रेशियो क्लिपिंग (probability-ratio clipping), और फाइनाइट-बैच रोलआउट रियूज (finite-batch rollout reuse)—के बीच की अंतःक्रियाओं की सैद्धांतिक समझ अपूर्ण है।

मौजूदा सैद्धांतिक परिणाम अक्सर इन घटकों को अलग-थलग मानते हैं या एसिम्प्टोटिक सीमाओं (जैसे, अनंत डेटा, लुप्त होते स्टेप साइज़) पर निर्भर करते हैं। वे PPO-Clip को एक क्लोज्ड-लूप एक्टर-क्रिटिक सिस्टम के रूप में एक एकीकृत, नॉन-एसिम्प्टोटिक विश्लेषण प्रदान करने में विफल रहते हैं। व्यवहार में, एक्टर वर्तमान क्रिटिक $w$ के आधार पर गणना किए गए एडवांटेज अनुमानों का उपयोग करके पॉलिसी को अपडेट करता है, जबकि क्रिटिक का रिग्रेशन टारगेट एक्टर के विकसित होने के साथ बदलता (drift) रहता है। इसके अलावा, आधुनिक कार्यान्वयन एक ही बैच की ट्राजेक्टरीज को कई इपोक (minibatch reuse) के लिए पुन: उपयोग करते हैं, जो क्लिपिंग सरोगेट की नॉन-स्मूथ प्रकृति के साथ जुड़े हुए डिस्ट्रीब्यूशन शिफ्ट और ऑफ-पॉलिसी बायस पेश करते हैं। यह शोध पत्र स्पष्ट धारणाओं के तहत इन परस्पर क्रिया करने वाले, निर्भर तंत्रों के लिए संयुक्त अभिसरण (convergence) गारंटी स्थापित करने की चुनौती को संबोधित करता है।

2. कार्यप्रणाली और विश्लेषणात्मक ढांचा

लेखक एक विशिष्ट सिंक्रोनस एक्टर-क्रिटिक प्रोटोकॉल के तहत PPO-Clip का एक नॉन-एसजिम्प्टोटिक विश्लेषण विकसित करते हैं, जिसमें सिंगल-ग्रेडिएंट पैरामीटर-सर्वर एसिंक्रोनस मॉडल का विस्तार भी शामिल है।

2.1 विश्लेषणात्मक सेटिंग

• फाइनाइट-होराइजन एपिसोडिक MDP: विश्लेषण एक निश्चित प्रारंभिक अवस्था वितरण के साथ एक फाइनाइट-होराइजन सेटिंग पर विचार करता है।
• क्लोज्ड-लूप डायनेमिक्स: सिस्टम को एक युग्मित लूप के रूप में मॉडल किया गया है जहाँ:
  • एक्टर वर्तमान क्रिटिक $w$ के साथ गणना किए गए जनरललाइज्ड एडवांटेज एस्टीमेशन (GAE) के आधार पर क्लिप्ड सरोगेट ग्रेडिएंट्स का उपयोग करके पैरामीटर्स $\theta$ को अपडेट करता है।
  • क्रिटिक मोंटे कार्लो रिटर्न्स के विरुद्ध रिग्रेशन लॉस को कम करने के लिए पैरामीटर्स $w$ को अपडेट करता है, जो वर्तमान एक्टर पॉलिसी $\pi_\theta$ पर निर्भर करते हैं।
• फाइनाइट-बैच रियूज: प्रोटोकॉल एक बिहेवियर पॉलिसी $\pi_{\bar{\theta}}$ के तहत $B$ ट्राजेक्टरीज एकत्र करता है और प्रत्येक आउटर इट्रेशन के लिए $K$ जॉइंट एक्टर-क्रिटिक अपडेट्स के लिए इस बैच का पुन: उपयोग करता है।
• रॉ GAE और मोंटे कार्लो टारगेट्स: विश्लेषण विशिष्ट त्रुटि स्रोतों को अलग करने के लिए बूटस्ट्रैप्ड क्रिटिक टारगेट्स के बजाय रॉ, रीकंप्यूटेड GAE अनुमानों और संग्रहीत मोंटे कार्लो रिटर्न्स का उपयोग करता है।

2.2 संबोधित की गई प्रमुख तकनीकी चुनौतियाँ

1. द्विदिश युग्मन (Bidirectional Coupling): क्रिटिक के एप्रोक्सीमेशन एरर एक्टर के एडवांटेज अनुमानों को पक्षपाती (bias) बनाते हैं, जबकि पॉलिसी ड्रिफ्ट क्रिटिक के लर्निंग ऑब्जेक्टिव में नॉन-स्टेशनैरिटी उत्पन्न करता है। विश्लेषण इसे एक ट्रैकिंग समस्या के रूप में मानता है जहाँ क्रिटिक एक चलते हुए मिनिमाइज़र $w^*(\theta)$ को ट्रैक करता है।
2. नॉन-स्मूथ क्लिपिंग: PPO-Clip सरोगेट क्लिपिंग बाउंड्रीज़ ($1 \pm \delta$) पर नॉन-स्मूथ होता है। लेखक ग्रेडिएंट को एक स्मूथ घटक और एक क्लिपिंग-प्रेरित डिस्टॉर्शन टर्म में डीकंपोज़ करने के लिए इवेंट लोकलाइजेशन (event localization) का उपयोग करते हैं, और बाद वाले को क्लिपिंग इवेंट की प्रायिकता का उपयोग करके बाउंड करते हैं।
3. फाइनाइट-बैच और रियूज प्रभाव: विश्लेषण एम्पिरिकल ग्रेडिएंट्स (जो पुन: उपयोग किए गए बैच से प्राप्त होते हैं) और पॉपुलेशन ग्रेडिएंट्स के बीच विसंगति को नियंत्रित करता है, इस तथ्य को ध्यान में रखते हुए कि बैच स्थिर रहता है जबकि पैरामीटर्स विकसित होते हैं।

2.3 धारणाएँ

विश्लेषण निम्नलिखित स्पष्ट रेगुलैरिटी धारणाओं पर निर्भर करता है:

• स्मूथनेस (Smoothness): अंतर्निहित RL ऑब्जेक्टिव $J(\theta)$ स्मूथ है।
• बाउंडेडनेस (Boundedness): एडवांटेज, स्कोर्स और वैल्यू फंक्शन्स बाउंडेड हैं।
• क्रिटिक रेगुलैरिटी: क्रिटिक लॉस स्थानीय रूप से क्वाड्रेटिक ग्रोथ और लिप्सचिट्ज़ ग्रेडिएंट्स के साथ कॉनवेक्स है; अनुकूलतम क्रिटिक मैप $w^*(\theta)$ लिप्सचिट्ज़ है।
• कवरेज (Coverage): सभी प्रासंगिक क्रियाओं के लिए सकारात्मक प्रायिकता।
• KL ट्रस्ट रीजन: एक पॉपुलेशन KL बजट $\kappa$ रियूज के दौरान बिहेवियर पॉलिसी और वर्तमान पॉलिसी के बीच डिस्ट्रीब्यूशन शिफ्ट को सीमित करता है।

3. मुख्य योगदान

3.1 एकीकृत फाइनाइट-टाइम विश्लेषण (थ्योरम 3.1)

प्राथमिक योगदान एक एकीकृत नॉन-एसिम्प्टोटिक बाउंड है जो संयुक्त रूप से चार चीजों को कैरेक्टराइज करता है:

1. एक्टर स्टेशनैरिटी: RL ऑब्जेक्टिव के ग्रेडिएंट का औसत स्क्वेर्ड नॉर्म, $\frac{1}{T} \sum \mathbb{E}\|\nabla J(\theta_t)\|^2$।
2. क्रिटिक ट्रैकिंग: सीखे गए क्रिटिक और चलते हुए अनुकूलतम क्रिटिक के बीच औसत स्क्वेर्ड डिस्टेंस, $\frac{1}{T} \sum \mathbb{E}\|w_t - w^*(\theta_t)\|^2$।

बाउंड्स को स्पष्ट हाइपरपैरामीटर्स (लर्निंग रेट $\eta, \beta_c$, क्लिपिंग $\delta$, KL बजट $\kappa$, बैच साइज $B$) और आंतरिक स्थिरांकों के संदर्भ में व्यक्त किया गया है। एक केंद्रीय विशेषता कपलिंग कोएफिशिएंट $\rho$ है, जो यह मापता है कि एक्टर-क्रिटिक फीडबैक त्रुटि स्रोतों (ऑप्टिमाइजेशन एरर, नॉइज़, ड्रिफ्ट, क्लिपिंग बायस और ट्रैकिंग एरर) को कैसे बढ़ाता है। $\rho < 1$ की स्थिति युग्मित असमानताओं (coupled inequalities) को बंद करने के लिए पर्याप्त है।

3.2 त्रुटि स्रोतों का अपघटन (Decomposition)

व्युत्पन्न बाउंड्स स्पष्ट रूप से निम्नलिखित के प्रभाव को अलग करते हैं और मात्रा निर्धारित करते हैं:

• ऑप्टिमाइजेशन और नॉइज़: मानक स्टोकेस्टिक ग्रेडिएंट टर्म्स।
• फाइनाइट-बैच रियूज: ट्राजेक्टरीज के एक सीमित सेट के पुन: उपयोग के कारण सांख्यिकीय त्रुटि ($\propto 1/B$)।
• ट्राजेक्टरी/पॉलिसी ड्रिफ्ट: बिहेवियर पॉलिसी और वर्तमान पॉलिसी के बीच अंतर से उत्पन्न बायस ($\propto \kappa$)।
• क्लिपिंग डिस्टॉर्शन: नॉन-स्मूथ क्लिपिंग ऑपरेशन से व्यवस्थित बायस ($\propto \kappa/\delta^2$)।
• क्रिटिक ट्रैकिंग एरर: अपूर्ण वैल्यू फंक्शन से प्रसारित बायस ($\propto \Delta_t$)।

3.3 स्ट्रक्चर्ड टैबुलर स्पेशलाइजेशन (कोरोलरी 3.2)

फाइनाइट लेयर्ड MDPs के लिए, जिनमें टैबुलर क्रिटिक्स हैं, लेखक एक फाइनाइट कम्पलीट-ट्राजेक्टरी सपोर्ट (जो एक्सपोनेन्शियली बड़ा हो सकता है) की आवश्यकता को क्लिप्ड-ग्रेडिएंट क्लास के बाउंड्स से बदल देते हैं। इसके परिणामस्वरूप एक यूनिफॉर्म बाउंड प्राप्त होता है जो पूर्ण पथों के बजाय होराइजन $H$ और स्टेट-एक्शन सेल्स की संख्या पर बहुपद (polynomially) रूप से निर्भर करता है।

3.4 कन्वर्जेंस रेट और कॉम्प्लेक्सिटी

• कन्वर्जेंस रेट: एक विशिष्ट टू-टाइम-स्केल शेड्यूल ($\eta \propto T^{-3/5}, \beta_c \propto T^{-2/5}$) के तहत, पेपर दोनों एक्टर स्टेशनैरिटी और क्रिटिक ट्रैकिंग एरर के लिए $O(T^{-2/5})$ बाउंड स्थापित करता है।
• सैंपल कॉम्प्लेक्सिटी: $\epsilon$ त्रुटि प्राप्त करने के लिए पर्याप्त फ्रेश-रोलआउट काउंट $Q$ को $Q = TB/K$ के संबंध से निकाला गया है। चूंकि एरर बाउंड $T^{-2/5}$ के रूप में स्केल करता है, इसलिए $\epsilon$ त्रुटि प्राप्त करने के लिए $T = O(\epsilon^{-5/2})$ की आवश्यकता होती है। बैच साइज स्केलिंग $B \propto T^{2/5}$ को देखते हुए, कुल फ्रेश रोलआउट काउंट $Q = TB/K$ फाइनाइट-सपोर्ट केस के लिए $O(\epsilon^{-7/2})$ और स्ट्रक्चर्ड टैबुलर केस (कोरोलरी 3.3) के लिए $\tilde{O}(\epsilon^{-7/2})$ स्केल करता है।

3.5 एसिंक्रोनस एक्सटेंशन (थ्योरम K.1)

विश्लेषण को पैरामीटर-सर्वर एसिंक्रोनस मॉडल तक विस्तारित किया गया है। परिणामों में स्टेलनेस पेनल्टी (staleness penalties) शामिल हैं और स्थिरता सुनिश्चित करने के लिए कपलिंग कंडीशन के अलावा डिले-डिपेंडेंट क्रिटिक स्टेपसाइज रिस्ट्रिक्शन की आवश्यकता होती है।

4. परिणाम और अनुभवजन्य सत्यापन

4.1 सैद्धांतिक गारंटी

• पर्याप्त स्थितियाँ (Sufficient Conditions): पेपर त्रुटियों के फाइनाइट-टाइम कंट्रोल के लिए पर्याप्त स्थितियाँ प्रदान करता है। यह स्पष्ट रूप से कहता है कि इन शर्तों का उल्लंघन होने का मतलब यह नहीं है कि डायवर्जेंस होगा, बल्कि यह कि विशिष्ट बाउंड्स लागू नहीं होंगे।
• एसिम्प्टोटिक रिकवरी: स्टेप साइजेस और KL बजट के लुप्त होने की सीमा में, फाइनाइट-टाइम बाउंड्स क्लासिकल टू-टाइम-स्केल एक्टर-क्रिटिक कन्वर्जेंस परिणामों को रिकवर करते हैं, जो विश्लेषण की निरंतरता को प्रमाणित करते हैं।
• KL बजट की भूमिका: विश्लेषण प्रकट करता है कि KL बजट $\kappa$ दो अलग-अलग विफलता मोड को नियंत्रित करता है: इन-इपॉक डिस्ट्रीब्यूशन शिफ्ट और क्लिपिंग डिस्टॉर्शन।

4.2 अनुभवजन्य चित्रण (Empirical Illustrations)

पेपर तंत्रों को मान्य करने के लिए छोटे पैमाने के MDPs (2-स्टेप और 8-स्टेप चेन्स) पर नियंत्रित प्रयोग शामिल करता है:

• जॉइंट ट्रैकिंग: प्रयोग पुष्टि करते हैं कि एक्टर स्टेशनैरिटी और क्रिटिक ट्रैकिंग एरर जॉइंट अपडेट्स के तहत एक साथ कम होते हैं।
• GAE बायस कैंसिलेशन: परिणाम दिखाते हैं कि जब $\lambda=1$ (टर्मिनल वैल्यूज के मिलान के साथ) होता है, तो पॉपुलेशन GAE बायस समाप्त हो जाता है, जो स्कोर-बेसलाइन कैंसिलेशन के अनुरूप है, जबकि फाइनाइट-बैच और क्लिपिंग रेसिडुअल्स बने रहते हैं।
• बैच डिस्क्रेपेंसी: एम्पिरिकल-टू-पॉपुलेशन विसंगतियां जैसे-जैसे फ्रेश बैच साइज $B$ बढ़ता है, कम होती जाती हैं, जो यूनिफॉर्म फाइनाइट-बैच बाउंड्स को मान्य करती हैं।
• क्रिटिक-क्लिपिंग इंटरैक्शन: प्रयोग दर्शाते हैं कि क्रिटिक ट्रैकिंग एरर क्लिपिंग निर्णयों और डिस्टॉर्शन को प्रभावित करते हैं, जो सिस्टम की क्लोज्ड-लूप प्रकृति को स्पष्ट करते हैं।

5. महत्व और दायरा

यह पेपर दावा करता है कि वह निम्नलिखित तरीकों से PPO-Clip की सैद्धांतिक समझ को आगे बढ़ाता है:

1. एक क्लोज्ड-लूप व्यू प्रदान करना: ओपन-लूप विश्लेषण से आगे बढ़कर एक्टर और क्रिटिक डायनेमिक्स के बीच फीडबैक को स्पष्ट रूप से मॉडल करना।
2. अंतःक्रियाओं को मापना: यह स्पष्ट सूत्र प्रदान करना कि हाइपरपैरामीटर्स (लर्निंग रेट, क्लिपिंग रेंज, KL बजट, बैच साइज) कैसे परस्पर क्रिया करते हैं ताकि फाइनाइट-टाइम एरर बाउंड्स निर्धारित किए जा सकें।
3. ट्यूनिंग में मार्गदर्शन: विश्लेषण सुझाव देता है कि ट्यूनिंग को तीन नियंत्रणों को समन्वित करना चाहिए: ट्रस्ट रीजन को कड़ा करना (छोटा $\kappa$), क्रिटिक टारगेट लैग बनाम नॉइज़ को संतुलित करना, और क्रिटिक की गुणवत्ता में सुधार करना।

सीमाएं और दायरा:

• परिणाम पर्याप्त (sufficient) स्थितियाँ हैं, न कि आवश्यक अस्थिरता थ्रेशोल्ड।
• विश्लेषण स्पष्ट कवरेज, वैल्यू रियलाइजेबिलिटी और क्रिटिक रेगुलैरिटी की धारणा लेता है, जो मनमाने न्यूरल नेटवर्क कार्यान्वयन के लिए लागू नहीं हो सकती है।
• गारंटी में कंजर्वेटिव कांस्टेंट्स (conservative constants) हैं और वे अनरिस्ट्रिक्टेड न्यूरल PPO को कवर नहीं करते हैं; टैबुलर प्रयोग केवल गुणात्मक चित्रण के रूप में कार्य करते हैं।
• पेपर वैश्विक इष्टतमता (global optimality) या मोनोटोनिक सुधार का दावा नहीं करता है, बल्कि स्टेशनरी पॉइंट्स और सटीक ट्रैकिंग की ओर अभिसरण का दावा करता है।

संक्षेप में, यह कार्य सीखे गए क्रिटिक्स और डेटा रियूज वाले वास्तविक सेटिंग्स में PPO-Clip की स्थिरता और अभिसरण को समझने के लिए एक कठोर, नॉन-एसिम्प्टोटिक फ्रेमवर्क प्रदान करता है, जो हाइपरपैरामीटर ट्यूनिंग और सिस्टम डिज़ाइन के लिए सैद्धांतिक मार्गदर्शन प्रदान करता है।