🤖 machine learning

ESPO: Early-Stopping Proximal Policy Optimization

यह शोध पत्र ESPO (अर्ली-स्टॉपिंग प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन) का प्रस्ताव करता है, जो एक सुदृढीकरण लर्निंग (रीइन्फोर्समेंट लर्निंग) एल्गोरिदम है जो शोर को समाप्त करने और कंप्यूट बचाने के लिए विफल होने वाले रीजनिंग ट्रेजेक्टरीज को गतिशील रूप से समाप्त करता है, जिससे AIME और MATH-500 जैसे बेंचमार्क पर गणितीय तर्क प्रदर्शन में सुधार होता है और टोकन उपयोग में 20% से अधिक की कमी आती है।

मूल लेखक: Zihang Li, Rui Zhou, Yingcheng Shi, Wenhan Yu, Zhewen Tan, Zixiang Liu, Zeming Li, Binhua Li, Yongbin Li, Tong Yang, Jieping Ye

प्रकाशित 2026-05-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zihang Li, Rui Zhou, Yingcheng Shi, Wenhan Yu, Zhewen Tan, Zixiang Liu, Zeming Li, Binhua Li, Yongbin Li, Tong Yang, Jieping Ye

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन कभी-कभी अति-आत्मविश्वासी छात्र (एक लार्ज लैंग्वेज मॉडल) को जटिल गणित की समस्याएं हल करना सिखा रहे हैं।

समस्या: गलत मोड़ों का "डूबी हुई लागत" (Sunk Cost)

वर्तमान में इन मॉडलों को प्रशिक्षित करने के तरीके (जिसे PPO कहा जाता है) में, छात्र को एक समस्या दी जाती है और उसे अपना पूरा समाधान चरण-दर-चरण लिखने के लिए कहा जाता है।

यहाँ पेंच यह है: यदि छात्र पहले वाक्य में एक छोटी सी गलती करता है—जैसे किसी संख्या को गलत पहचानना या गलत फॉर्मूला चुन लेना—तो उसके बाद का पूरा निबंध बर्बाद हो जाता है। चाहे वह अगले 500 शब्दों को कितनी भी खूबसूरती से क्यों न लिखे, उत्तर गलत ही होगा।

हालाँकि, मानक प्रशिक्षण विधि छात्र को एक सख्त शब्द सीमा तक लिखते रहने के लिए मजबूर करती है, भले ही गलती हो चुकी हो।

बर्बादी: कंप्यूटर उन सैकड़ों बेकार शब्दों को उत्पन्न करने में समय और ऊर्जा खर्च करता है जो कभी "अच्छे ग्रेड" नहीं पा सकेंगे।
भ्रम: जब शिक्षक (एल्गोरिदम) पूरे निबंध को देखता है ताकि यह तय किया जा सके कि छात्र को क्या सिखाना है, तो वह भ्रमित हो जाता है। वह अंत में "बुरे" टेक्स्ट के बड़े ब्लॉक को देखता है और सोचता है, "ओह, छात्र वाक्य के अंत में बुरा था," बजाय इसके कि वह यह समझ सके कि समस्या बिल्कुल शुरुआत में हुई थी। यह "शोर" (noise) सीखने की प्रक्रिया को धीमा और कम कुशल बना देता है।

समाधान: ESPO (द "अर्ली स्टॉप" कोच)

यहाँ एक नया तरीका पेश किया गया है जिसे ESPO (अर्ली-स्टॉपिंग प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन) कहा जाता है। ESPO को एक ऐसे कोच के रूप में सोचें जो छात्र को वास्तविक समय (real-time) में देखता है और उसके पास यह कहने का अधिकार है, "रुको! तुम पटरी से उतर गए हो। चलो फिर से कोशिश करते हैं।"

ESPO कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:

1. "रिग्रेट" (पछतावा) रडार
हर बार जब छात्र एक शब्द चुनता है, तो मॉडल एक "रिग्रेट स्कोर" (Regret Score) की गणना करता है।

उदाहरण: कल्पना करें कि छात्र के पास एक अंतर्ज्ञान (gut feeling) है कि कौन सा शब्द सबसे अच्छा है (वह "लालची" विकल्प)। यदि वे एक ऐसा शब्द चुनते हैं जो उनके अंतर्ज्ञान से बहुत अलग है, तो रिग्रेट स्कोर बढ़ जाता है।
जादू: ESPO को हर कदम पर नए शिक्षक या मानव द्वारा ग्रेड देने की आवश्यकता नहीं होती है। यह केवल छात्र के अपने आंतरिक "अंतर्ज्ञान" (शब्द चयन के पीछे का गणित) को देखकर यह पता लगा लेता है कि क्या वह हिचकिचा रहा है या बेतरतीब ढंग से अनुमान लगा रहा है।

2. "वैल्यू" गेट (मूल्य द्वार)
कोच एक "वैल्यू मीटर" (Value Meter) की भी जाँच करता है। यह मीटर भविष्यवाणी करता है कि वर्तमान पथ में कितनी "अच्छाई" शेष है।

तर्क: यदि छात्र एक ऐसे पथ पर है जो आशाजनक दिखता है (High Value), तो कोच उन्हें एक छोटी सी गलती से उबरने के लिए थोड़ी अधिक छूट देता है। लेकिन यदि पथ निराशाजनक दिखता है (Low Value) और छात्र उच्च रिग्रेट (भ्रम) दिखा रहा है, तो कोच तुरंत काम रोक देता है।

3. "एब्जॉर्बिंग फेलियर" (विफलता को सोखने) का नियम
जब ESPO छात्र को रोकता है, तो यह केवल यह नहीं कहता कि "फिर से प्रयास करें।" यह उस विशिष्ट क्षण को एक टर्मिनल फेलियर (अंतिम विफलता) के रूप में चिह्नित करता है।

उदाहरण: छात्र को ढेर सारा कचरा लिखने देने और फिर पूरे निबंध को शून्य देने के बजाय, ESPO कहता है, "तुमने यहाँ गलती की। बाकी का निबंध अस्तित्व में ही नहीं है।"
लाभ: यह छात्र को एक बहुत ही स्पष्ट और तीखा संकेत भेजता है: "गलती ठीक यहाँ हुई थी, न कि अंत में।" इससे छात्र को ठीक-ठीक पता चलता है कि वह कहाँ गलत हुआ, बिना उस कचरा टेक्स्ट के शोर के जो उसके बाद आया था।

परिणाम: तेज़, स्मार्ट और सस्ता

पेपर ने विभिन्न आकार के मॉडलों का उपयोग करके गणित की समस्याओं (जैसे AIME और AMC प्रतियोगिताओं) पर ESPO का परीक्षण किया।

बेहतर ग्रेड: ESPO के साथ प्रशिक्षित मॉडलों ने वास्तव में इन कठिन गणित परीक्षणों पर उच्च स्कोर प्राप्त किया। उन्होंने अधिक समस्याओं को सही ढंग से हल किया।
ऊर्जा की बचत: क्योंकि मॉडलों ने तब लिखना बंद कर दिया जब उन्हें पता चल गया कि वे गलत थे, उन्होंने आमतौर पर बेकार टेक्स्ट उत्पन्न करने में खर्च होने वाली कंप्यूटर शक्ति (टोकन) के 20% से अधिक को बचा लिया।
कोई अतिरिक्त शिक्षक नहीं: अन्य तरीकों के विपरीत जिनमें प्रत्येक चरण को ग्रेड देने के लिए मनुष्यों को नियुक्त करने की आवश्यकता होती है, ESPO यह काम स्वचालित रूप से अपने स्वयं के आंतरिक संकेतों का उपयोग करके करता है।

सारांश

संक्षेप में, ESPO एक प्रशिक्षण तकनीक है जो भाषा मॉडल को उस विचार प्रक्रिया पर समय और ऊर्जा बर्बाद करने से रोकती है जो पहले ही दुर्घटनाग्रस्त हो चुकी है। "बुरे" हिस्सों को जल्दी काट कर और यह स्पष्ट रूप से चिह्नित करके कि गलती कहाँ हुई थी, यह मॉडल को तेजी से सीखने, कठिन समस्याओं को हल करने और कम कंप्यूटिंग पावर का उपयोग करने में मदद करता है।

तकनीकी सारांश: ESPO (अर्ली-स्टॉपिंग प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL) में, विशेष रूप से लंबी अवधि के तर्क (long-horizon reasoning) वाले कार्यों में, मानक एल्गोरिदम जैसे कि प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO), एक "रोलआउट निरंतरता समस्या" (rollout continuation problem) से ग्रस्त होते हैं। जब एक मॉडल एक प्रारंभिक, अपूरणीय तर्क त्रुटि (जैसे, एक गणितीय गणना की गलती या तार्किक दोष) कर देता है, तो मानक PPO नीति को एक निश्चित क्षितिज ( $T_{max}$ ) तक टोकन उत्पन्न करने के लिए मजबूर करता है।

यह प्रक्रिया दो महत्वपूर्ण अक्षमताओं को जन्म देती है:

कंप्यूटेशनल बर्बादी: मॉडल उन टोकन पर महत्वपूर्ण कंप्यूट खर्च करता है जिन्हें कभी सकारात्मक पुरस्कार प्राप्त नहीं होगा।
ग्रेडिएंट शोर (Gradient Noise): ये विफलता के बाद के टोकन सफल प्रक्षेप पथों (trajectories) के साथ एडवांटेज अनुमानों में शामिल हो जाते हैं। यह "पोस्ट-फेलियर नॉइज़" (विफलता के बाद का शोर) के साथ ग्रेडिएंट दिशा को प्रदूषित करता है, जो सीखने की प्रक्रिया को वास्तविक विफलता मोड से भटका देता है और संभावित रूप से नीति को कार्य को हल करने के बजाय अपने लॉजिट स्प्रेड (logit spread) को कोलैप्स करने के लिए प्रेरित करता है।

मौजूदा समाधान, जैसे कि प्रोसेस रिवॉर्ड मॉडल्स (PRMs), मध्यवर्ती चरणों के लिए महंगी मानवीय एनोटेशन की मांग करते हैं। अन्य विधियाँ जैसे GRPO या DAPO क्रेडिट असाइनमेंट में सुधार करती हैं, लेकिन वे अभी भी प्रत्येक प्रक्षेप पथ के लिए पूर्ण क्षितिज का उपयोग करती हैं। सीखे गए टर्मिनेशन मॉड्यूल (जैसे, ऑप्शन-क्रिटिक) अतिरिक्त मॉडल जटिलता जोड़ते हैं और अलग अनुकूलन उद्देश्यों की आवश्यकता होती है।

कार्यप्रणाली: ESPO

लेखक ESPO (अर्ली-स्टॉपिंग प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन) का प्रस्ताव करते हैं, जो एक हल्का तंत्र है जो बिना किसी अतिरिक्त रिवॉर्ड मॉडल या मानवीय एनोटेशन की आवश्यकता के, ऑन-द-फ्लाई विफलताओं का पता लगाता है और रोलआउट को जल्दी समाप्त कर देता है। ESPO PPO ऑब्जेक्टिव के बजाय रोलआउट संग्रह चरण को संशोधित करता है।

मुख्य घटक

प्रति-चरण सरोगेट रिग्रेट ( $g_t$ ):
ESPO प्रत्येक टाइमस्टेप पर केवल पहले से उत्पन्न लॉजिट्स का उपयोग करके एक रिग्रेट सिग्नल की गणना करता है:
$g_t = \max_{a \in V} \log \pi_\theta(a | s_t) - \log \pi_\theta(a_t | s_t)$
एक बड़ा $g_t$ यह दर्शाता है कि मॉडल ने एक ऐसा एक्शन चुना है जो नीति के सबसे पसंदीदा (greedy) एक्शन से काफी कम पसंद किया गया है, जो एक सही तर्क पथ से विचलन का संकेत देता है।
सामान्यीकृत संचयी स्टॉपिंग सांख्यिकी ( $z_t$ ):
प्रशिक्षण के दौरान स्केल परिवर्तनों को संभालने के लिए, $g_t$ को बैच-स्तरीय एक्सपोनेंशियल मूविंग एवरेज (EMA) सांख्यिकी ( $\mu_g, \sigma_g$ ) का उपयोग करके सामान्यीकृत किया जाता है। इस सामान्यीकृत सिग्नल को समय के साथ स्मूथ किया जाता है ताकि एक संचयी रिग्रेट मान बनाया जा सके:
$z_t = \alpha_s z_{t-1} + (1 - \alpha_s) \tilde{g}_t$
महत्वपूर्ण रूप से, EMA सांख्यिकी को वर्तमान रोलआउट के भविष्य के चरणों से सूचना लीक होने से रोकने के लिए केवल बैच सीमाओं पर अपडेट किया जाता है।
वैल्यू-गेटेड अर्ली टर्मिनेशन:
रोलआउट को तब समाप्त कर दिया जाता है यदि संचयी रिग्रेट वर्तमान अवस्था के अनुमानित मूल्य से काफी अधिक हो जाता है:
$z_t > \beta \cdot \max(V_\phi(s_t), \epsilon)$
यह गेटिंग मैकेनिज्म सुनिश्चित करता है कि उच्च भविष्य के रिटर्न वाली अवस्थाओं (उच्च $V_\phi$ ) को विचलन के लिए अधिक सहनशीलता दी जाए, जिससे सही लेकिन नॉन-मोड टोकन (उच्च एंट्रॉपी स्टेप्स) के समय से पहले रुकने से बचा जा सके।
एब्जॉर्बिंग फेलियर ट्रांज़िशन (Absorbing Failure Transition):
समाप्ति के बाद, प्रक्षेप पथ को एक 'एब्जॉर्बिंग फेलियर स्टेट' के रूप में माना जाता है। रुकने वाले स्टेप को एक टर्मिनल पेनल्टी ( $r_{fail}$ ) प्राप्त होती है, और आगे कोई डिकोडिंग नहीं होती है। यह टर्मिनल पेनल्टी को सीधे विफलता वाले स्टेप पर केंद्रित करता है, जिससे जेनरलाइज्ड एडवांटेज एस्टीमेशन (GAE) के माध्यम से एरर सिग्नल बिना किसी शोर के पीछे की ओर स्पष्ट रूप से प्रसारित होता है।
क्रिटिक वार्मअप:
रैंडली इनिशियलाइज्ड क्रिटिक के उच्च वेरिएंस के कारण होने वाले स्प्यूरियस (मिथ्या) अर्ली टर्मिनेशन को रोकने के लिए, ESPO एक एडेप्टिव वार्मअप अवधि का उपयोग करता है। स्टॉपिंग नियम तब तक अक्षम रहता है जब तक कि क्रिटिक स्थिर लर्निंग डायनेमिक्स प्रदर्शित न कर दे।

मुख्य योगदान

कुशल रोलआउट टर्मिनेशन: ESPO मानक एक्टर-क्रिटिक PPO में मौजूद संकेतों (लॉजिट्स और वैल्यू एस्टीमेट्स) का उपयोग करके विफल प्रक्षेप पथों का पता लगाने और उन्हें काटने का एक तंत्र पेश करता है, जिसमें नगण्य अतिरिक्त गणना की आवश्यकता होती है।
शोर में कमी: विफलता को एक टर्मिनल पेनल्टी के साथ एब्जॉर्बिंग फेलियर स्टेट के रूप में मानकर, ESPO नेगेटिव TD एरर्स को विफलता बिंदु तक सीमित करता है, जिससे मानक PPO में होने वाले "पोस्ट-फेलियर नॉइज़" को हटाया जा जाता है जो ग्रेडिएंट अपडेट को खराब करता है।
ऑर्थोगोनैलिटी: यह विधि मौजूदा क्रेडिट असाइनमेंट सुधारों (जैसे GRPO या DAPO) के समानांतर है और इसे किसी भी PPO-शैली के एडवांटेज एस्टीमेटर के ऊपर लगाया जा सकता है।
कोई बाहरी पर्यवेक्षण नहीं: PRMs के विपरीत, ESPO के लिए स्टेप-लेवल मानवीय एनोटेशन या अलग रिवॉर्ड मॉडल्स की आवश्यकता नहीं है।

प्रयोगात्मक परिणाम

लेखकों ने गणितीय तर्क के लिए प्रशिक्षित DeepSeek-R1-Distill-Qwen-1.5B और 7B मॉडल्स पर तीन बेंचमार्क: AIME 2024, AMC 2023, और MATH-500 पर ESPO का मूल्यांकन किया।

प्रदर्शन लाभ

7B स्केल: ESPO ने सभी बेंचमार्क पर मानक PPO और DAPO दोनों को पछाड़ दिया:
- AIME 2024: 46.28% (बनाम 45.25% PPO, 45.57% DAPO)
- AMC 2023: 85.83% (बनाम 82.94% PPO, 83.76% DAPO)
- MATH-500: 87.42% (बनाम 85.43% PPO, 85.95% DAPO)
- औसत सटीकता: 73.17% (बनाम 71.20% PPO, 71.76% DAPO)।
1.5B स्केल: ESPO ने 59.09% की औसत सटीकता प्राप्त की, जो PPO (57.03%) और DAPO (58.29%) से अधिक है।

दक्षता लाभ

टोकन बचत: ESPO ने 7B स्केल पर PPO की तुलना में संचयी रोलआउट टोकन को >20% और DAPO की तुलना में ~19% कम कर दिया।
एब्लेशन स्टडीज:
- क्रिटिक वार्मअप को हटाने से प्रदर्शन में 2.1 अंकों की कमी आई, जो अनकैलिब्रेटेड वैल्यू बेसलाइन से होने वाले बायस को रोकने में इसकी भूमिका की पुष्टि करता है।
- टर्मिनल फेलियर पेनल्टी को हटाने से प्रदर्शन में 2.6 अंकों की कमी आई, जो केंद्रित नेगेटिव TD सिग्नल्स के महत्व को रेखांकित करता है।
- रैंडम स्टॉपिंग (वेरिएंट F) ने समान टोकन बचत के बावजूद काफी कम सटीकता (42.4% बनाम 46.3%) प्राप्त की, जो यह सिद्ध करता है कि सुधार केवल अनुक्रमों को छोटा करने से नहीं, बल्कि कहाँ ट्रंकेट किया जा रहा है (रिग्रेट/वैल्यू के आधार पर) उससे आया है।

महत्व और दावे

लेखक दावा करते हैं कि ESPO LLMs में लॉन्ग-होरिजन रीजनिंग को आगे बढ़ाने के लिए एक स्केलेबल, कंप्यूट-एफिशिएंट फ्रेमवर्क प्रदान करता है। इसका प्राथमिक महत्व रोलआउट निरंतरता समस्या को हल करने में है:

उन प्रक्षेप पथों पर बर्बाद कंप्यूट को समाप्त करना जिनसे रिकवरी संभव नहीं है।
बिना किसी अतिरिक्त रिवॉर्ड मॉडल या मानवीय एनोटेशन के, "पोस्ट-फेलियर नॉइज़" को हटाकर पॉलिसी ग्रेडिएंट को साफ करना।
एक्सप्लोरेशन बनाए रखना: यह विधि एंट्रॉपी कोलैप्स का कारण नहीं बनती है; वास्तव में, यह PPO की तुलना में एंट्रॉपी डिके की दर को धीमा करती है क्योंकि यह उन स्प्यूरियस ग्रेडिएंट सिग्नल्स को हटा देती है जो अन्यथा नीति को नॉन-फेलियर टोकन के विरुद्ध वितरण को शार्पन करने के लिए मजबूर करते।

लेखक उन मॉडल्स के संबंध में सीमाओं का उल्लेख करते हैं जो "गलत लेकिन अत्यधिक आत्मविश्वासी" (जहाँ लॉजिट गैप्स कम होते हैं) हैं, और ट्रंकेशन दरों के लिए मैनुअल हाइपरपैरामीटर ट्यूनिंग की आवश्यकता को बताते हैं, जो भविष्य के एडेप्टिव मैकेनिज्म और मल्टी-टर्न एजेंटिक सेटिंग्स में विस्तार का सुझाव देते हैं।