🤖 machine learning

Missing Old Logits in Asynchronous Agentic RL: Semantic Mismatch and Repair Methods for Off-Policy Correction

यह शोध पत्र एसिंक्रोनस एजेंटिक आरएल (asynchronous agentic RL) में महत्वपूर्ण "मिसिंग ओल्ड लॉजिट्स" (missing old logits) समस्या की पहचान करता है जो ऑफ-पॉलिसी करेक्शन सिमेंटिक्स को बाधित करती है, इन मानों को पुनः प्राप्त करने या अनुमान लगाने के लिए तीन सटीक रणनीतियों और एक अनुमानित विधि का प्रस्ताव करता है, और यह प्रदर्शित करता है कि एक संशोधित PPO-EWMA दृष्टिकोण प्रशिक्षण गति और अनुकूलन प्रदर्शन दोनों में महत्वपूर्ण सुधार करता है।

मूल लेखक: Zhong Guan, Yongjian Guo, Haoran Sun, Wen Huang, Shuai Di, Xiong Jun Wu, Likang Wu, Hongke Zhao

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhong Guan, Yongjian Guo, Haoran Sun, Wen Huang, Shuai Di, Xiong Jun Wu, Likang Wu, Hongke Zhao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।

बड़ी तस्वीर: एक देरी से मिलने वाले कोच के साथ दौड़

कल्पना कीजिए कि आप एक रोबोट को एक जटिल वीडियो गेम खेलने के लिए प्रशिक्षित कर रहे हैं। बेहतर होने के लिए, रोबोट को चीज़ें आज़माने, यह देखने की ज़रूरत है कि क्या होता है, और फिर अपने मस्तिष्क को कैसे समायोजित किया जाए, इस पर एक "कोच" (प्रशिक्षण एल्गोरिदम) से फीडबैक प्राप्त करने की आवश्यकता है।

पुराने दिनों में, रोबोट एक लेवल खेलता था, रुक जाता था, और कोच द्वारा रीप्ले का विश्लेषण करने और दोबारा खेलने से पहले निर्देश देने का इंतज़ार करता था। यह सिंक्रोनस लर्निंग (Synchronous Learning) है। यह सुरक्षित है, लेकिन धीमा है।

तेज़ बनाने के लिए, शोधकर्ताओं ने असिंन्क्रोनस लर्निंग (Asynchronous Learning) की ओर रुख किया। अब, रोबोट पुराने डेटा का विश्लेषण करते समय भी नए लेवल्स खेलता रहता है। रोबोट हमेशा चलता रहता है, और कोच हमेशा काम करता रहता है। यह बहुत तेज़ है, लेकिन यह एक विशिष्ट समस्या पैदा करता है जिसे यह शोध पत्र हल करता है।

समस्या: "गायब रिप्ले टेप"

इस तेज़ गति वाली असिंक्रोनस दुनिया में, रोबोट (अभिनेता/Actor) चालों का एक लंबा क्रम उत्पन्न करता है। हालाँकि, क्योंकि रोबोट बहुत तेज़ी से चल रहा है, "पुराने लॉजिट्स" (Old Logits - वे विशिष्ट संभावनाएँ जो रोबोट के दिमाग में थीं जब उसने ठीक उसी क्षण एक चाल चली थी) कोच के देखने से पहले ही गायब हो जाते हैं।

इसे इस प्रकार सोचें:

रोबोट ट्रैक पर दौड़ने वाला एक धावक है।
कोच एक फिल्म संपादक (film editor) है जो धावक के फॉर्म की समीक्षा करने की कोशिश कर रहा है।
पुराने लॉजिट्स (Old Logits) धावक के पैर रखने की स्थिति का विशिष्ट वीडियो फुटेज हैं।

एक आदर्श दुनिया में, कोच धावक के पैर के फुटेज की समीक्षा ठीक उसी समय करता है जब धावक ने कदम रखा था। लेकिन इस तेज़ प्रणाली में, जब तक कोच को फुटेज मिलता है, धावक ने अपने जूते बदल लिए होते हैं, उसके जूतों ने अपनी चाल बदल ली होती है, और मूल वीडियो टेप को नए फुटेज के लिए जगह बनाने के चक्कर में कचरे में फेंक दिया जाता है।

कोच धावक के पैर के वास्तविक फुटेज के बजाय, इस बात के अनुमान (guess) का उपयोग करके धावक के फॉर्म को सुधारने की कोशिश करता है कि उसका पैर कैसा दिख रहा था। इससे भ्रम पैदा होता है:

क्या धावक इसलिए अलग तरह से चल रहा है क्योंकि वह थक गया है (पॉलिसी स्टेलेनेस/Policy Stalness)?
या धावक इसलिए अलग तरह से चल रहा है क्योंकि कैमरा एंगल बदल गया है (ट्रेनिंग-इन्फरेंस डिस्क्रेपेंसी/Training-Inference Discrepancy)?

बिना मूल टेप के, कोच के लिए अंतर करना असंभव है। वे धावक की थकान को ठीक करने के बजाय कैमरा समस्या को ठीक करने की कोशिश कर सकते हैं, या इसके विपरीत। इससे प्रशिक्षण अस्थिर हो जाता है या धीमा हो जाता है।

शोध पत्र का समाधान: टेप वापस पाने के दो तरीके

लेखक इस "गायब टेप" की समस्या को ठीक करने के लिए दो मुख्य तरीके प्रस्तावित करते हैं।

1. "टाइम मशीन" दृष्टिकोण (सटीक रिकवरी - Exact Recovery)

यह विधि मूल वीडियो टेप को सुरक्षित रखने की कोशिश करती है ताकि कोच बाद में उन्हें देख सके। वे इसे करने के तीन तरीके सुझाते हैं:

स्नैपशॉट ट्रैकिंग (Snapshot Tracking): हर कदम पर रोबकी के मस्तिष्क की एक प्रति रखें। यदि कोच को पुराने फुटेज की आवश्यकता होती है, तो वे उस विशिष्ट संस्करण के मस्तिष्क को फिर से लोड करते हैं ताकि चाल की पुनर्गणना की जा सके।
- लाभ: पूर्ण सटीकता।
- हानि: यह बहुत अधिक स्टोरेज स्पेस लेता है और सिस्टम को धीमा कर देता है क्योंकि मस्तिष्क को लोड करना धीमा होता है।
समर्पित सहायक (Dedicated Assistant): एक दूसरा, छोटा रोबोट केवल पुराने टेप देखने और संभावनाओं की गणना करने के लिए समर्पित है, जबकि मुख्य रोबोट दौड़ना जारी रखता है।
रुकना और स्विच करना (Pause and Switch): धावक को कुछ समय के लिए रोकें, उपकरणों को "पुराने" संस्करण पर स्विच करें, चाल की गणना करें, और फिर वापस स्विच करें।
- लाभ: पुराने मस्तिष्कों को स्टोर करने की आवश्यकता नहीं है।
- हानि: यह धावक को रोकता है, जिससे देरी होती है।

2. "स्मार्ट गेस" दृष्टिकोण (PPO-EWMA)

चूंकि सभी टेप रखना महंगा है और रुकना कष्टप्रद है, इसलिए लेखक एक चतुर शॉर्टकट का प्रस्ताव करते हैं। सटीक पुराना फुटेज खोजने के बजाय, वे एक "स्मार्ट औसत" (Smart Average) बनाते हैं।

कल्पना कीजिए कि कोच के पास 10 सेकंड पहले धावक के पैर का विशिष्ट वीडियो नहीं है। इसके बजाय, वे धावक के हालिया इतिहास के एक "स्मूथ" (smoothed) संस्करण को देखते हैं। वे धावक की हालिया शैलियों का भारित औसत (weighted average) लेते हैं ताकि एक "सर्वश्रेष्ठ अनुमान" बनाया जा सके कि पैर कैसा दिखता था।

ट्रिक: वे एक विशेष गणितीय सूत्र (Exponentially Weighted Moving Average) का उपयोग करते हैं ताकि यह सुनिश्चित हो सके कि उनका "सर्वश्रेष्ठ अनुमान" धावक की वर्तमान शैली के करीब रहे और बहुत पुराना (stale) न हो जाए।
सेफ्टी नेट: यदि "सर्वश्रेष्ठ अनुमान" वास्तविकता से बहुत दूर जाने लगता है (कोच को एहसास होता है कि उनका अनुमान गलत है), तो उनके पास एक "रीसेट" बटन होता है। वे अनुमान को तुरंत धावक की वर्तमान स्थिति से मेल खाने के लिए रिफ्रेश कर देते हैं, जिससे प्रशिक्षण विफल होने से बच जाता है।

परिणाम: गति बनाम सटीकता

लेखकों ने विभिन्न AI मॉडल (कुछ छोटे, कुछ बहुत बड़े) पर इन तरीकों का परीक्षण किया।

"टाइम मशीन" (सटीक रिकवरी): यह शुद्ध प्रदर्शन के मामले में सबसे अच्छा रहा, लेकिन यह कंप्यूटर सिस्टम के लिए बहुत महंगा और धीमा था।
"स्मार्ट गेस" (PPO-EWMA): यह व्यावहारिक उपयोग के लिए विजेता था। इसके लिए भारी मात्रा में डेटा स्टोर करने या सिस्टम को रोकने की आवश्यकता नहीं थी। इसने लगभग "परफेक्ट टाइम मशीन" पद्धति के समान प्रदर्शन किया लेकिन यह चलाने में बहुत तेज़ और सस्ता था।

निष्कर्ष (Takeaway)

तेज़, असिंक्रोनस AI प्रशिक्षण की दुनिया में, "पुराना डेटा" (अतीत की विशिष्ट संभावनाएँ) खो जाना प्रशिक्षण प्रक्रिया को तोड़ देता है। आप केवल अनुमान नहीं लगा सकते; आपको यह जानने की आवश्यकता है कि रोबोट अपना विचार बदल रहा है या कंप्यूटर सिस्टम अपना विचार बदल रहा है।

यह शोध पत्र दिखाता है कि जबकि आप अतीत का सटीक रिकॉर्ड रख सकते हैं (जो महंगा है), आप 10% लागत के साथ 90% लाभ प्राप्त करने के लिए एक स्मार्ट, स्व-सुधार करने वाले औसत (self-correcting average) का भी उपयोग कर सकते हैं। यह यह समझने जैसा है कि आपको कहानी समझने के लिए पूरी पुरानी फिल्म देखने की ज़रूरत नहीं है; आपको बस एक बहुत अच्छे सारांश की आवश्यकता है जो कहानी आगे बढ़ने के साथ खुद को अपडेट करता रहे।

तकनीकी सारांश: एसिंक्रोनस एजेंटिक RL में लुप्त पुराने लॉजिट्स (Missing Old Logits)

समस्या की परिभाषा
लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए एसिंक्रोनस सुदृढीकरण शिक्षण (Reinforcement Learning - RL) में, सैंपल जनरेशन (रोलआउट) और पॉलिसी ऑप्टिमाइज़ेशन को अलग करना थ्रूपुट को अधिकतम करने के लिए आवश्यक है। हालांकि, यह आर्किटेक्चर प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) शैली के ऑफ-पॉलिसी सुधार (off-policy correction) के लिए एक महत्वपूर्ण विफलता मोड पेश करता है।

आदर्श रूप से, PPO में इम्पॉर्टेंस रेशियो (importance ratio) को दो अर्थपूर्ण रूप से भिन्न कारकों में विभाजित किया जाना चाहिए:

ट्रेनिंग-इन्फरेंस विसंगति ( $r_d$ ): यह एक ही पॉलिसी वर्जन पर इन्फरेंस इंजन (जैसे, vLLM) और ट्रेनिंग इंजन (जैसे, Megatron-LM) के बीच संख्यात्मक अंतरों को ठीक करता है।
पॉलिसी स्टेलेनेस ( $r_s$ ): यह उस ऐतिहासिक व्यवहार नीति (behavior policy) और वर्तमान अनुकूलित नीति के बीच के अंतर को ठीक करता है जिसने टोकन उत्पन्न किए थे।

पेपर पहचानता है कि व्यावहारिक एसिंक्रोनस पाइपलाइनों में, विशेष रूप से आंशिक रोलआउट और विलंबित अपडेट के मामलों में, वह पुराने ट्रेनिंग-साइड लॉजिट्स ( $\pi_{old}$ ) जो $r_d$ के विसंगति पद (discrepancy term) की गणना के लिए आवश्यक हैं, अक्सर अनुपलब्ध होते हैं। जब एक्टर अपने वेट्स को उस वर्जन से पहले अपडेट कर देता है जिसके लिए रोलआउट किया गया था, तो वह विशिष्ट पॉलिसी वर्जन $\pi_{old}$ जिसका उपयोग उन टोकन्स को उत्पन्न करने के लिए किया गया था, अब उपलब्ध नहीं हो सकता है।

यह "लुप्त-पुराने-लॉजिट" (missing-old-logit) समस्या मौजूदा विधियों को वास्तविक $\pi_{old}$ को अनुमानों (जैसे, लीनियर इंटरपोलेशन या स्टैटिक प्रॉक्सी) से बदलने के लिए मजबूर करती है। लेखक तर्क देते हैं कि यह प्रतिस्थापन विसंगति सुधार (discrepancy repair) को स्टेलेनेस सुधार (staleness correction) के साथ उलझा देता है, जिससे इच्छित अर्थपूर्ण पृथक्करण टूट जाता है। परिणामस्वरूप, क्लिपिंग और मास्किंग थ्रेशोल्ड आपस में अवांछनीय रूप से क्रिया करते हैं, जिससे उप-इष्टतम (suboptimal) ऑप्टिमाइज़ेशन स्थिरता और प्रदर्शन होता है।

कार्यप्रणाली (Methodology)
पेपर "दोहरे-प्रतिबंध" (dual-constraint) दृष्टिकोण के तहत ऑफ-पॉलिसी सुधारों का एक एकीकृत विश्लेषण प्रस्तावित करता है और समाधान के लिए दो प्राथमिक दिशाओं का मूल्यांकन करता है:

सटीक पुराने-लॉजिट अधिग्रहण (सिस्टम-स्तरीय):
लेखक तीन रणनीतियों की जांच करते हैं जिनसे बिना किसी अनुमान पर निर्भर हुए ग्राउंड-ट्रुथ $\pi_{old}$ को प्राप्त किया जा सके:

स्नैपशॉट-आधारित वर्जन ट्रैकिंग: ऐतिहासिक पैरामीटर स्नैपशॉट्स को बनाए रखना और प्रत्येक टोकन द्वारा उत्पन्न विशिष्ट वर्जन को पुनः लोड करना। यह सटीक है लेकिन उच्च मेमोरी और I/O ओवरहेड का कारण बनता है।
समर्पित पुराना-लॉजिट मॉडल: केवल पुराने लॉजिट्स की गणना करने के लिए एक अलग मॉडल इंस्टेंस बनाए रखना जबकि मुख्य एक्टर ट्रेन हो रहा है। यह कंप्यूटेशन ओवरलैप की अनुमति देता है लेकिन संसाधन विभाजन (resource partitioning) की आवश्यकता होती है।
आंशिक रोलआउट व्यवधान के माध्यम से सिंक्रोनाइज़ेशन: रोलआउट वर्कर्स को बाधित करना ताकि पॉलिसी वर्जन के हटाए जाने से पहले आंशिक ट्रेजेक्टरीज के लिए पुराने लॉजिट्स की गणना की जा सके। यह स्टोरेज लागतों से बचता है लेकिन सिंक्रोनाइज़ेशन स्टॉल और रिसोर्स रीकॉन्फ़िगरेशन ओवरहेड पेश करता है।

अनुमानित सुधार (एल्गोरिदम-स्तरीय):
यह पहचानते हुए कि सटीक रिकवरी अक्सर बड़े पैमाने के सिस्टम के लिए बहुत महंगी है, पेपर एक संशोधित PPO-EWMA (एक्सपोनेंशियलली वेटेड मूविंग एवरेज) विधि प्रस्तावित करता है।

एक स्थिर इंटरपोलेशन प्रॉक्सी के बजाय, यह विधि एक स्मूथेड रेफरेंस पॉलिसी ( $\pi_{prox}$ ) बनाए रखती है जो एसिंक्रोनस वर्जन विंडो के केंद्र को ट्रैक करती है।
स्टेलेनेस-अवेयर डिके (Staleness-Aware Decay): डिके फैक्टर $\beta$ को अपेक्षित स्टेलेनेस विंडो ( $W_{stale}$ ) के आधार पर सेट किया जाता है ताकि यह सुनिश्चित हो सके कि रेफरेंस पॉलिसी वर्जन गैप के मध्य के साथ संरेखित हो, न कि पीछे छूटे।
स्वचालित रीसेट (Automatic Reset): यह सुनिश्चित करने के लिए कि रेफरेंस पॉलिसी बहुत दूर न भटक जाए और "ट्रेन-इन्फर मास्क" (जो उच्च विसंगति वाले टोकन्स को फ़िल्टर करता है) को ढहने (collapse) से रोके, सिस्टम सक्रिय टोकन्स के अंश की निगरानी करता है। यदि यह अंश एक थ्रेशोल्ड ( $\tau$ ) से नीचे गिर जाता है, तो सिस्टम वर्तमान एक्टर पैरामीटर्स के साथ रेफरेंस पॉलिसी को रीसेट कर देता है।

पेपर एक सैद्धांतिक विश्लेषण (प्रपोजिशन 1) भी प्रदान करता है जो यह प्रदर्शित करता है कि इंटरपोलेशन-आधारित प्रॉक्सी (लीनियर या लॉग-लीनियर) वास्तव में लुप्त रेफरेंस पॉलिसी को पुनः प्राप्त नहीं करते हैं; बल्कि, वे केवल कुल इम्पॉर्टेंस रेशियो के प्रभावी क्लिपिंग बाउंड्रीज को पुन: पैरामीटराइज करते हैं।

मुख्य योगदान

लुप्त-पुराने-लॉजिट समस्या की पहचान: पेपर में एजेंटिक RL में एक मौलिक अर्थपूर्ण विफलता मोड को औपचारिक रूप से परिभाषित किया गया है जहाँ $\pi_{old}$ की अनुपस्थिति विसंगति सुधार और स्टेलेनेस सुधार के अलगाव को तोड़ देती है।
ऑफ-पॉलिसी सुधारों का एकीकृत विश्लेषण: यह मौजूदा PPO वेरिएंट्स को मास्कड इम्पॉर्टेंस सैंपलिंग (MIS) फ्रेमवर्क के तहत फॉर्म्युलेट करता है, जिससे स्पष्ट होता है कि क्यों एक एकल रेशियो या थ्रेशोल्ड संख्यात्मक विसंगतियों और पॉलिसी स्टेलेनेस दोनों को संभालने के लिए अपर्याप्त है।
सिस्टम ट्रेड-ऑफ विश्लेषण: यह तीन सटीक अधिग्रहण रणनीतियों का मूल्यांकन करता है, उनके मेमोरी, I/O और सिंक्रोनाइज़ेशन ओवरहेड के संदर्भ में लागत को मापता है।
PPO-EWMA प्रस्ताव: यह एक कम-लागत वाली, अनुमानित सुधार विधि पेश करता है जो महंगे इंफ्रास्ट्रक्चर परिवर्तनों की आवश्यकता के बिना विकेंदकृत सुधार के लाभों को सुरक्षित रखती है।

प्रायोगिक परिणाम
लेखकों ने एजेंटिक RL बेंचमार्क्स ( $\tau^2$ -Bench और VitaBench) पर डेंस (Qwen3-4B) और मिक्स्चर-ऑफ-एक्सपर्ट्स (Qwen3-30B-A3B) मॉडल्स का उपयोग करके अपनी विधियों का मूल्यांकन किया।

प्रदर्शन: PPO-EWMA विधि ने लगातार मानक डिकपल्ड PPO और लीनियर इंटरपोलेशन प्रॉक्सी (Linear_prox) को पछाड़ दिया। 30B MoE मॉडल पर, PPO-EWMA ने एयरलाइन स्प्लिट पर उच्चतम पास रेट हासिल किया और रिटेल तथा टेलीकॉम कार्यों पर सर्वश्रेष्ठ के साथ बराबरी की।
आदर्श स्थिति से तुलना: हालांकि PPO-EWMA "स्नैपशॉट" विधि (जो पूर्ण एक्सेस मानती है) के प्रदर्शन से पूरी तरह मेल नहीं खा सका, लेकिन इसने आदर्श मामले के बहुत करीब परिणाम प्राप्त किए, जिससे पता चलता है कि एक अच्छी तरह से ट्यून किया गया अनुमानित रेफरेंस अधिकांश सटीक सुधार के लाभों को पुनः प्राप्त कर सकता है।
सिस्टम ओवरहेड: सटीक रिकवरी विधियों (स्नैपशॉट) ने महत्वपूर्ण सिस्टम लागत (जैसे, 30B मॉडल के लिए प्रति स्टेप ~178 सेकंड अतिरिक्त ऐतिहासिक फॉरवर्ड पासेज के कारण) उठाई। इसके विपरीत, PPO-EWMA ने नगण्य ओवरहेड जोड़ा, जो एक बेहतर प्रदर्शन-से-लागत ट्रेड-ऑफ प्रदान करता है।
एब्लेशन स्टडीज: प्रयोगों ने पुष्टि की कि स्वचालित रीसेट तंत्र के बिना, EWMA रेफरेंस भटक सकता था, जिससे ट्रेन-इन्फर मास्क ढह जाता और ट्रेनिंग विफल हो जाती। रीसेट तंत्र ने सफलतापूर्वक रेफरेंस को पुनः केंद्रित किया, जिससे स्थिरता बनी रही।

महत्व और दावे
पेपर का दावा है कि लुप्त-पुराने-लॉजिट समस्या एजेंटिक RL में एक मौलिक अर्थपूर्ण मुद्दा है जो विकेंदकृत सुधार के सैद्धांतिक गारंटियों को कमजोर करता है। लेखक का कहना है कि:

सटीक रिकवरी ही अर्थपूर्ण रूप से सही विसंगति सुधार और स्टेलेनेस सुधार प्राप्त करने का एकमात्र तरीका है, लेकिन यह अक्सर अत्यधिक महंगी होती है।
अनुमानित विधियाँ सरल इंटरपोलेशन पर आधारित अपर्याप्त हैं क्योंकि वे वास्तविक रेफरेंस पॉलिसी को बहाल करने में विफल रहती हैं, केवल बाधा सीमाओं (constraint boundaries) को स्थानांतरित करती हैं।
PPO-EWMA एक व्यावहारिक, कम-लागत वाला विकल्प प्रदान करता है जो मौजूदा एसिंक्रोनस बेसलाइन्स की तुलना में प्रशिक्षण गति और अनुकूलन प्रदर्शन में काफी सुधार करता है, जिससे यह बड़े पैमाने के एजेंटिक RL सिस्टम के लिए एक व्यवहार्य समाधान बन जाता है जहाँ सटीक लॉजिट रिकवरी अव्यवहार्य है।

कार्य निष्कर्ष निकालता है कि हालांकि PPO-EWMA एक अनुमान है और अत्यधिक नॉन-स्टेशनैरिटी या बहुत बड़े वर्जन गैप के तहत संघर्ष कर सकता है, यह भारी इंफ्रास्ट्रक्चर संशोधनों की आवश्यकता के बिना एसिंक्रोनस ट्रेनिंग को स्थिर करने की दिशा में एक महत्वपूर्ण कदम है।