🤖 AI

Success Conditioning as Policy Improvement: The Optimization Problem Solved by Imitating Success

यह शोध पत्र सिद्ध करता है कि सफलता अनुकूलन (success conditioning), जो सफल प्रक्षेप पथों (trajectories) की नकल करके नीतियों को सुधारने के लिए उपयोग की जाने वाली एक व्यापक तकनीक है, गणितीय रूप से एक रूढ़िवादी ट्रस्ट-रीजन अनुकूलन समस्या के समान है जो वितरण विस्थापन (distribution shift) को स्वतः नियंत्रित करते हुए नीति सुधार को अधिकतम करती है, जिससे यह गारंटी मिलती है कि प्रदर्शन में गिरावट नहीं आएगी।

मूल लेखक: Daniel Russo

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniel Russo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Success Conditioning as Policy Improvement" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

मुख्य विचार: "विजेताओं" से सीखना

कल्पना कीजिए कि आप एक रोबोट को चलना सिखाने की कोशिश कर रहे हैं, या किसी कंप्यूटर प्रोग्राम को कविता लिखना सिखा रहे हैं। आमतौर पर, आप यह गणना करने की कोशिश कर सकते हैं कि कोई चाल अच्छी थी या बुरी, या आप स्कोर को अधिकतम करने के लिए रोबोट के मस्तिष्क को चरण-दर-चरण बदलने की कोशिश कर सकते हैं।

यह पेपर एक अलग, बहुत लोकप्रिय विधि की ओर देखता है जिसे Success Conditioning कहा जाता है।

उपमा: "हॉल ऑफ फेम" कोच
कल्पना कीजिए कि एक स्पोर्ट्स कोच अपनी टीम को बेहतर बनाना चाहता है। हर एक खेल का विश्लेषण करके सही रणनीति खोजने के बजाय, कोच यह करता है:

वह एक पूरे सीजन के खेल देखता है।
वह उन सभी खेलों को हटा देता है जिनमें टीम हार गई।
वह केवल उन खेलों को रखता है जिनमें टीम जीती।
वह खिलाड़ियों से कहता है: "अगली बार, बस वही करें जो आपने उन जीतने वाले खेलों में किया था।"

यही "Success Conditioning" करता है। यह असफलताओं को हटा देता है और AI को उन कार्यों की नकल करने के लिए कहता है जो सफलताओं के दौरान किए गए थे। इस तकनीक का उपयोग हर जगह किया जाता है, जैसे AI को चैट करना सिखाने (जैसे LLMs) से लेकर रोबोट को कार्य सीखने में मदद करने तक।

रहस्य: यह वास्तव में क्या कर रहा है?

लंबे समय से, वैज्ञानिक पूरी तरह से नहीं समझ पाए थे कि यह क्यों काम करता है या यह किस गणितीय समस्या को हल कर रहा है। यह केवल साधारण नकल जैसा दिखता है, जटिल गणित जैसा नहीं।

यह पेपर इस रहस्य को सुलझाता है। लेखक सिद्ध करते हैं कि जब आप इस "विजेताओं की नकल करने" वाली ट्रिक का उपयोग करते हैं, तो आप वास्तव में एक बहुत ही विशिष्ट, सुरक्षित गणितीय समस्या को हल कर रहे होते हैं जिसे Trust-Region Optimization कहा जाता है।

उपमा: "सुरक्षित क्षेत्र" (Safe Zone)
AI के वर्तमान व्यवहार को एक मैदान में चलते हुए व्यक्ति के रूप में सोचें।

मानक AI प्रशिक्षण (Standard AI training) कह सकता है, "लक्ष्य की ओर जितनी तेज़ हो सके दौड़ो!" यह जोखिम भरा है; आप खाई में गिर सकते हैं।
Success Conditioning कहता है, "उन रास्तों को देखें जो सफल लोगों ने लिए थे। अपने चलने के तरीके को उनसे मिलाने के लिए बदलें, लेकिन उस क्षेत्र से बहुत दूर न जाएँ जहाँ हमने पहले लोगों को चलते हुए देखा है।"

यह पेपर सिद्ध करता है कि यह विधि रूढ़िवादी (conservative) है। यह AI को कभी भी कुछ ऐसा जंगली या पूरी तरह से नया करने के लिए प्रेरित नहीं करेगी जो उसने पहले नहीं देखा है। यह केवल व्यवहार को थोड़ा सा उस दिशा में मोड़ती है जो अतीत में काम आया था।

"जादुई संख्या": Action-Influence

यह पेपर एक नई अवधारणा पेश करता है जिसे Action-Influence कहा जाता है। यह खोज का सबसे महत्वपूर्ण हिस्सा है।

उपमा: "भाग्यशाली सिक्का उछालना"
कल्पना कीजिए कि आप एक खेल खेल रहे हैं जहाँ आप जीतने के लिए सिक्का उछाल सकते हैं।

यदि 'Heads' 51% बार जीतता है और 'Tails' 49% बार, तो सिक्का उछालना ज्यादा मायने नहीं रखता। चाहे आप 'Heads' चुनें या 'Tails', परिणाम लगभग समान होता है।
यदि 'Heads' 90% बार जीतता है और 'Tails' 10% बार, तो आपकी पसंद बहुत मायने रखती है।

पेपर दिखाता है कि "Success Conditioning" केवल तभी बड़े सुधार करती है जब आपके चुनाव बहुत अधिक मायने रखते हैं (उच्च Action-Influence)।

यदि आपके चुनाव ज्यादा मायने नहीं रखते: AI जीतने वाले खेलों को देखता है, महसूस करता है कि जीतने वाले और हारने वाले खिलाड़ियों ने लगभग एक जैसा ही किया था, और निर्णय लेता है, "मैं कुछ नहीं बदलूँगा।" पॉलिसी वैसी ही रहती है।
यदि आपके चुनाव बहुत मायने रखते हैं: AI देखता है कि विजेताओं ने "Action A" किया और हारने वालों ने "Action B" किया, इसलिए वह अपना व्यवहार बदलकर "Action A" करने की ओर झुक जाता है।

मुख्य अंतर्दृष्टि: यह पेपर एक पूर्ण संतुलन (एक identity) सिद्ध करता है। AI के व्यवहार में होने वाला बदलाव ठीक उतना ही है जितना कि उसके विकल्पों ने सफलता को वास्तव में कितना प्रभावित किया।

यदि AI बहुत अधिक बदलाव करता है, तो इसका मतलब है कि उसे सुधार का एक बड़ा अवसर मिला।
यदि AI बहुत कम बदलाव करता है, तो इसका मतलब है कि डेटा में कोई स्पष्ट बेहतर चाल नहीं मिली।

यह अच्छी खबर क्यों है?

यह समझाता है कि "Success Conditioning" इतनी सुरक्षित और विश्वसनीय क्यों है।

यह गलती से चीजें खराब नहीं कर सकता: क्योंकि यह बहुत रूढ़िवादी है, यह अचानक कुछ पागलपन भरा या खतरनाक करने का निर्णय नहीं लेगा। यह जो पहले से जानता है, उसके करीब रहता है।
यह आपको बताता है कि यह कब विफल हो रहा है: यदि आप इस विधि का उपयोग करने की कोशिश करते हैं और AI अपने व्यवहार को बिल्कुल नहीं बदलता है, तो आप ठीक से जानते हैं कि क्यों: डेटा ने सफलता और विफलता के बीच कोई स्पष्ट अंतर नहीं दिखाया। यह कोई "छिपी हुई विफलता" नहीं है; यह एक स्पष्ट विफलता है।

"Return Threshold" की चेतावनी

यह पेपर एक सामान्य ट्रिक के बारे में भी चर्चा करता है जिसका लोग उपयोग करते हैं: सफलता के लिए एक उच्च मानक निर्धारित करना। उदाहरण के लिए, एक खेल में, आप कह सकते हैं, "केवल वे खेल रखें जहाँ स्कोर 100 से ऊपर है।"

उपमा: "लॉटरी टिकट"
यदि आप मानक बहुत ऊंचा रखते हैं (जैसे, "स्कोर 100 से ऊपर"), तो हो सकता है कि आप केवल उन खेलों को रखें जहाँ खिलाड़ी बहुत भाग्यशाली रहा।

AI उन भाग्यशाली चालों की नकल करना सीख जाएगा।
लेकिन यदि खिलाड़ी वास्तव में कुशल नहीं था, बल्कि केवल भाग्यशाली था, तो AI फिर से "भाग्यशाली होने" की कोशिश करने लग सकता है।
इससे AI ऐसी चीजें करने लग सकता है जो ट्रेनिंग डेटा में तो अच्छी दिखती हैं लेकिन वास्तविक दुनिया में विफल हो जाती हैं।

पेपर दिखाता है कि जबकि उच्च मानक सेट करना कभी-कभी AI को तेजी से सुधारने में मदद कर सकता है, यह AI को कौशल के बजाय भाग्य पर निर्भर रहने के लिए सिखाने का जोखिम भी उठाता है।

सारांश

यह क्या है? एक विधि जहाँ AI केवल सफल परिणामों के दौरान किए गए कार्यों की नकल करके सीखता है।
यह क्या हल करता है? यह एक "सुरक्षित" गणितीय समस्या को हल करता है जो AI को उसके वर्तमान व्यवहार के करीब रखती है, और केवल तभी आगे बढ़ती है जब डेटा स्पष्ट रूप से एक बेहतर तरीका दिखाता है।
नियम: AI अपने व्यवहार को केवल उतना ही बदलेगा जितना डेटा यह सिद्ध करता है कि बदलना वास्तव में सहायक है।
सुरक्षा: यह जंगली या खतरनाक अनुमान नहीं लगाएगा। यदि डेटा भ्रमित करने वाला है, तो यह बस बदलाव नहीं करेगा, जो कि विफल होने का एक सुरक्षित तरीका है।

तकनीकी सारांश: पॉलिसी सुधार के रूप में सफलता अनुकूलन (Success Conditioning)

समस्या विवरण
सफलता अनुकूलन (Success conditioning) सुदृढीकरण शिक्षण (Reinforcement Learning - RL) और लार्ज लैंग्वेज मॉडल्स (LLMs) के पोस्ट-ट्रेनिंग पाइपलाइनों में एक व्यापक रूप से अपनाया जाने वाला ह्यूरिस्टिक (heuristic) है। यह विधि प्रक्षेप पथों (trajectories) को एकत्र करने, उन्हें वांछित परिणाम (सफलता) प्राप्त करने के लिए फ़िल्टर करने, और इन सफल प्रक्षेप पथों के दौरान लिए गए कार्यों की नकल करने के लिए एक पॉलिसी को अपडेट करने में शामिल है। विभिन्न नामों—जैसे कि रिजेक्शन सैंपलिंग के साथ सुपरवाइज्ड फाइन-ट्यूनिंग (SFT), गोल-कंडीशन्ड RL, और डिसिजन ट्रांसफॉर्मर—के बावजूद, यह जिस सैद्धांतिक अनुकूलन समस्या को हल करता है, वह स्पष्ट नहीं रहा है। मानक RL विधियों के विपरीत, सफलता अनुकूलन स्पष्ट रूप से वैल्यू फंक्शन का अनुमान नहीं लगाता या पॉलिसी ग्रेडिएंट की गणना नहीं करता है। पिछले विश्लेषणों ने मौलिक सीमाओं का सुझाव दिया है, विशेष रूप से स्टोकेस्टिक वातावरण में जहाँ यह इष्टतम पॉलिसियों को पुनः प्राप्त करने में विफल रहता है, फिर भी इसका प्रभावी ढंग से उपयोग किया जाता रहता है। संबोधित किया गया केंद्रीय प्रश्न यह है: यदि सफलता अनुकूलन इष्टतम पॉलिसियों को पुनः प्राप्त नहीं करता है, तो यह वास्तव में किस अनुकूलन समस्या को हल करता है, और इसके क्या गारंटी और विफलता के मोड (failure modes) हैं?

कार्यप्रणाली और औपचारिकीकरण (Methodology and Formalization)
यह शोध पत्र एपिसोडिक मार्कोव डिसीजन प्रोसेस (MDPs) के ढांचे के भीतर सफलता अनुकूलन को औपचारिक रूप देता है।

सेटअप: प्रक्षेप पथ $\tau$ एक व्यवहार नीति (behavior policy) $\pi_0$ द्वारा उत्पन्न किए जाते हैं। सफलता को एक बाइनरी घटना $R(\tau)=1$ के रूप में परिभाषित किया गया है।
लक्ष्य नीति (Target Policy): सफलता-अनुकूलित नीति $\pi^+$ को बेयसियन कंडीशनिंग के माध्यम से परिभाषित किया जाता है:
$\pi^+(a | s) = P_{\pi_0}(A_t = a | S_t = s, R(\tau) = 1)$
यह नीति उन कार्यों के वितरण का प्रतिनिधित्व करती है जो इस तथ्य के आधार पर लिए गए थे कि प्रक्षेप पथ अंततः सफल रहा।
सीखना: व्यवहार में, $\pi^+$ को सफल प्रक्षेप पथों के डेटासेट पर 'नेक्स्ट-एक्शन प्रेडिक्शन लॉस' (क्रॉस-एंट्रॉपी) को कम करके अनुमानित किया जाता है।

मुख्य योगदान और सैद्धांतिक परिणाम

1. ट्रस्ट-रीजन समानता (The Trust-Region Equivalence)
प्राथमिक सैद्धांतिक योगदान यह प्रमाण है कि सफलता अनुकूलन एक विशिष्ट ट्रस्ट-रीजन पॉलिसी ऑप्टिमाइज़ेशन समस्या का सटीक समाधान है।

उद्देश्य: यह प्रथम-क्रम पॉलिसी सुधार पद $L_{\pi_0}(\pi)$ (व्यवहार नीति के तहत अपेक्षित एडवांटेज) को अधिकतम करता है।
प्रतिबंध: अनुकूलन व्यवहार नीति और नई नीति के बीच $\chi^2$ डाइवर्जेंस (divergence) पर एक प्रतिबंध के अधीन है, जिसे सफलता-अनुकूलित ऑक्यूपेंसी मेजर $d^+_{\pi_0}$ द्वारा भारित (weighted) किया गया है।
त्रिज्या (Radius): इस ट्रस्ट रीजन की त्रिज्या उपयोगकर्ता द्वारा चुना गया हाइपरपैरामीटर नहीं है, बल्कि यह डेटा द्वारा स्वचालित रूप से निर्धारित होती है। विशेष रूप से, प्रतिबंध त्रिज्या व्यवहार नीति के कुल एक्शन-इन्फ्लुएंस (action-influence) के बराबर है।
ज्यामिति (Geometry): ट्रस्ट रीजन पॉलिसी ऑप्टिमाइज़ेशन (TRPO) या प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) के विपरीत, जो कुलबैक-लीब्लर (KL) डाइवर्जेंस का उपयोग करते हैं, सफलता अनुकूलन $\chi^2$ डाइवर्जेंस का उपयोग करता है। यह ज्यामिति अधिक रूढ़िवादी (conservative) है: यह उन कार्यों को संभाव्यता (probability) आवंटित करने के लिए भारी दंड देती है जो व्यवहार नीति के तहत दुर्लभ थे (एक्सप्लोरेशन "महंगा" है), लेकिन उन कार्यों पर संभाव्यता केंद्रित करने की अनुमति देती है जो पहले से ही अच्छी तरह समर्थित थे (भूलना "सस्ता" है)।

2. एक्शन-इन्फ्लुएंस पहचान (The Action-Influence Identity)
यह शोध पत्र प्रत्येक अवस्था $s$ पर तीन मात्राओं को जोड़ने वाली एक उल्लेखनीय पहचान स्थापित करता है:

सापेक्ष लाभ (Relative Advantage): $\pi^+$ द्वारा सफलता की संभावना में सापेक्ष सुधार।
पॉलिसी परिवर्तन (Policy Change): $\chi^2$ डाइवर्जेंस द्वारा मापा गया नीति परिवर्तन का परिमाण।
एक्शन-इन्फ्लुएंस ( $I_{\pi_0}(s)$ ): एक मीट्रिक जो व्यवहार नीति के स्टोकेस्टिक एक्शन चयन द्वारा प्रेरित सफलता दरों की परिवर्तनशीलता को मापता है।

गणितीय रूप से, सफलता-अनुकूलित नीति $\pi^+$ के लिए:
$\frac{A_{\pi_0}(s, \pi^+)}{V_{\pi_0}(s)} = \chi^2(\pi^+(\cdot|s) \| \pi_0(\cdot|s)) = I_{\pi_0}(s)$
यह पहचान दर्शाती है कि नीति परिवर्तन का विस्तार सुधार की क्षमता के ठीक बराबर है। यदि व्यवहार नीति का एक्शन चयन परिणाम को महत्वपूर्ण रूप से प्रभावित नहीं करता है (कम एक्शन-इन्फ्लुएंस), तो नीति में बदलाव नहीं होगा।

3. विफलता के मोड का लक्षण वर्णन (Characterization of Failure Modes)
यह शोध पत्र सफलता अनुकूलन की ज्ञात सीमाओं की पुनर्व्याख्या करता है।

रूढ़िवादी सुधार (Conservative Improvement): सफलता अनुकूलन एक रूढ़िवादी ऑपरेटर है। यह प्रदर्शन को खराब नहीं कर सकता और न ही खतरनाक वितरण बदलाव (distribution shifts) पैदा कर सकता है क्योंकि यह देखे गए डेटा के एक्शन-इन्फ्लुएंस द्वारा बाधित है।
अवलोकनीय विफलता (Observable Failure): जब सफलता अनुकूलन इष्टतम नीति खोजने में "विफल" होता है (जैसे कि दो-आर्म बैंडिट उदाहरण में जहाँ सफलता दर लगभग समान है), तो यह नीति को बहुत कम अपडेट करके विफल होता है। विफलता अति-रूढ़िवादिता (over-conservatism) की है, न कि अस्थिरता की। नीति व्यवहार नीति के करीब रहती है क्योंकि डेटा कोई संकेत नहीं देता कि क्रियाएं बदलने से सफलता दर में सुधार होगा।

4. सघन पुरस्कार और प्रॉक्सी मानदंड (Dense Rewards and Proxy Criteria)
शोध पत्र रिटर्न थ्रेशोल्डिंग (सफलता को $Y > \theta$ के रूप में परिभाषित करना) के माध्यम से सघन पुरस्कारों वाले सेटिंग्स तक विश्लेषण का विस्तार करता है।

फिथफुल बनाम प्रॉक्सी (Faithful vs. Proxy): एक "फिथफुल" बाइनरी रिडक्शन अपेक्षित रिटर्न ऑब्जेक्टिव को संरक्षित करता है। हालांकि, रिटर्न थ्रेशोल्डिंग जैसे सामान्य अभ्यास प्रॉक्सी रिवार्ड्स के रूप में कार्य करते हैं।
व्यापार (Trade-off): एक प्रॉक्सी रिवार्ड के लिए कंडीशनिंग सफलता के संभावित सुधार (एक्शन-इन्फ्लुएंस) को बढ़ा सकती है यदि प्रॉक्सी अत्यधिक भेदभावपूर्ण (discriminative) हो। हालांकि, यदि थ्रेशोल्ड बहुत अधिक रखा जाता है, तो प्रॉक्सी विश्वसनीय क्रियाओं के बजाय "भाग्यशाली" प्रक्षेप पथों को चुन सकती है जिनके परिणाम अस्थिर होते हैं। इससे प्रॉक्सी ऑब्जेक्टिव और वास्तविक मूल्यांकन ऑब्जेक्टिव के बीच मिसअलाइनमेंट हो सकता है, जिससे प्रदर्शन में गिरावट आ सकती है।

5. पॉलिसी ग्रेडिएंट के साथ संबंध (Relationship to Policy Gradients)
यह शोध पत्र सफलता अनुकूलन को मानक RL एल्गोरिदम से जोड़ता है:

REINFORCE: यदि प्रत्येक एकल अपडेट स्टेप के बाद व्यवहार नीति को रिफ्रेश किया जाता है ( $N=1$ के साथ एक इटरेटिव स्कीम में), तो सफलता-अनुकूलन लॉस का ग्रेडिएंट REINFORCE पॉलिसी ग्रेडिएंट के समकक्ष होता है।
ऑफ-पॉलिसी प्रकृति: मानक सफलता अनुकूलन (सफल प्रक्षेप पथों के एक स्थिर डेटासेट पर प्रशिक्षण) ऑफ-पpolicy है। यह एक स्थिर व्यवहार नीति के आधार पर एक लक्ष्य नीति को परिभाषित करता है और इसे सुपरवाइज्ड लर्निंग के माध्यम से फिट करता है, न कि वर्तमान नीति पर वृद्धिशील ग्रेडिएंट स्टेप्स करके।

महत्व और दावे (Significance and Claims)
शोध पत्र का दावा है कि यह सफलता अनुकूलन को एक सिद्धांतपूर्ण समझ प्रदान करता है, जो इसे ट्रस्ट-रीजन विधियों (TRPO, PPO) के समान परिवार में रखता है, लेकिन अलग ज्यामितीय गुणों ( $\chi^2$ बनाम KL) और स्वचालित त्रिज्या निर्धारण के साथ।

सुरक्षा (Safety): सिद्धांत गारंटी देता है कि सटीक सफलता अनुकूलन प्रदर्शन को कम नहीं करेगा और न ही खतरनाक वितरण बदलाव पैदा करेगा; इसकी विफलता का मोड सौम्य (कोई बदलाव नहीं) है न कि खतरनाक।
नैदानिक उपयोगिता (Diagnostic Utility): सीखी गई नीति और व्यवहार नीति के बीच $\chi^2$ डाइवेंस, प्राप्त करने योग्य सुधार के परिमाण के लिए एक प्रत्यक्ष, पूर्व-परीक्षण (ex-ante) नैदानिक के रूप में कार्य करता है, जिसके लिए नए रोलआउट या रिवॉर्ड लेबल की आवश्यकता नहीं होती है।
सीमाएं: लेखक नोट करते हैं कि उनका विश्लेषण एक निश्चित व्यवहार नीति के तहत सटीक सफलता अनुकूलन का लक्षण वर्णन करता है। यह परिमित डेटा प्रभावों (finite data effects), फंक्शन एप्रोक्सिमेशन त्रुटियों, या पुनरावृत्त सफलता अनुकूलन के अभिसरण (convergence) को संबोधित नहीं करता है, जिन्हें खुले शोध के विषय के रूप में छोड़ दिया गया है।

संक्षेप में, यह शोध पत्र सफलता अनुकूलन को एक ऐसे ह्यूरिस्टिक के रूप में पुनर्गठित करता है जो इष्टतम क्रियाओं का "अनुमान" लगाता है, बल्कि एक कठोर, रूढ़िवादी अनुकूलन ऑपरेटर के रूप में जो देखे गए डेटा में मौजूद सूचना सामग्री (एक्शन-इन्फ्लुएंस) के अधीन सुधार को अधिकतम करता है।