🤖 machine learning

Staleness-Learning Rate Scaling Laws for Asynchronous RLHF

यह शोध पत्र $O(S \cdot \eta)$ के क्रम के प्रति-चरण ग्रेडिएंट बायस (per-step gradient bias) को व्युत्पन्न करके और रोलआउट लैग (rollout lag) तथा संचयी लर्नर ड्रिफ्ट (cumulative learner drift) पर आधारित लर्निंग रेट के लिए एक दो-प्रतिबंध स्थिरता स्थिति (two-constraint stability condition) को परिभाषित करने वाले एक सशर्त कोलैप्स-टाइम स्केलिंग लॉ (conditional collapse-time scaling law) को स्थापित करके, एसिंक्रोनस GRPO-आधारित RLHF में स्टेल रोलआउट्स (stale rollouts) के प्रभाव का विश्लेषण करता है।

मूल लेखक: Jingwei Song, Haofeng Xu, Jie Xiao, Chengke Bao, Jingwei Shi, Pengbin Feng, Weixun Wang, Yuhang Han, Chuan Wu, Linfeng Zhang, Bill Shi

प्रकाशित 2026-07-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jingwei Song, Haofeng Xu, Jie Xiao, Chengke Bao, Jingwei Shi, Pengbin Feng, Weixun Wang, Yuhang Han, Chuan Wu, Linfeng Zhang, Bill Shi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप गणित की समस्याएँ हल करने के लिए छात्रों की एक टीम (AI मॉडल) को सिखाने की कोशिश कर रहे हैं। आपके पास एक बहुत ही कुशल प्रणाली है: "रनर" (Runner) छात्रों का एक समूह बाहर जाता है, समस्याओं को हल करने की कोशिश करता है, और अपने उत्तर लेकर वापस आता है। इस बीच, एक "टीचर" (Teacher) छात्र डेस्क पर बैठा होता है, उत्तरों को पढ़ता है, और जो कुछ भी उसने सीखा है उसके आधार पर पाठ योजना (lesson plan) को अपडेट करता है।

एक आदर्श दुनिया में, रनर्स हमेशा नवीनतम पाठ योजना के आधार पर उत्तर लेकर आएंगे। लेकिन एक उच्च-गति, एसिंक्रोनस (asynchronous) प्रणाली में (जहाँ सभी लोग जितनी हो सके उतनी तेज़ी से काम करते हैं), रनर्स कुछ मिनट पहले की पुरानी पाठ योजना पर काम कर रहे हो सकते हैं। वे जो उत्तर लेकर आते हैं वे "स्टेल" (stale - पुराने/अप्रासंगिक) होते हैं।

यह शोध पत्र इस बात की जांच करता है कि जब टीचर इन पुराने उत्तरों से सीखने की कोशिश करता है तो क्या होता है। शोधकर्ताओं ने पाया कि यह "स्टेलेनेस" (staleness - पुरानापन) केवल थोड़ी भ्रम की स्थिति पैदा नहीं करता है; बल्कि यह एक विशिष्ट गणितीय संबंध बनाता है कि उत्तर कितने पुराने हैं और टीचर कितनी तेज़ी से सीखने की कोशिश करता है।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. दो बल जो खेल रहे हैं (The Two Forces at Play)

यह शोध पत्र दो अलग-अलग तरीकों की पहचान करता है जिनसे प्रशिक्षण गलत हो सकता है, यह इस बात पर निर्भर करता है कि टीचर कितनी तेज़ी से सीखता है और डेटा कितना पुराना है।

"स्टेल डेटा" की समस्या (स्थानीय बाधा - The Local Constraint):
कल्पना कीजिए कि टीचर एक छात्र के निबंध को सुधारने की कोशिश कर रहा है। यदि छात्र कल के ड्राफ्ट (पुराने डेटा) का उपयोग कर रहा है लेकिन टीचर एक बिल्कुल नई नियम पुस्तिका (वर्तमान नीति) लागू करने की कोशिश कर रहा है, तो सलाह पूरी तरह से गलत हो सकती है।
पेपर यह सिद्ध करता है कि यदि डेटा बहुत पुराना है, तो टीचर को अपनी सीखने की गति धीमी करनी होगी। विशेष रूप से, स्टेलेनेस (डेटा कितना पुराना है) और लर्निंग रेट (टीचर कितनी तेज़ी से सीखता है) का गुणनफल एक निश्चित सीमा से नीचे रहना चाहिए।
- नियम: यदि आप डेटा की आयु को दोगुना करते हैं, तो आपको सुरक्षित रहने के लिए सीखने की गति को आधा करना होगा। यदि आप ऐसा नहीं करते हैं, तो टीचर इस बेमेल (mismatch) के कारण भ्रमित हो जाएगा और प्रशिक्षण विफल (collapse) हो जाएगा (AI सीखना बंद कर देगा)।
"ड्रिफ्ट" की समस्या (क्षितिज बाधा - The Horizon Constraint):
अब, कल्पना कीजिए कि टीचर इतनी तेज़ी से सीख रहा है कि वह लगातार अपना विचार बदल रहा है, भले ही डेटा नया हो। अंततः, टीचर मूल शुरुआती बिंदु से इतना दूर जा सकता है कि पाठ योजना अब समझ में नहीं आती।
पेपर ने पाया कि यदि "स्टेल डेटा" की समस्या को नियंत्रित रखा जाता है (लर्निंग रेट को धीमा करके), तो प्रशिक्षण अंततः इसलिए विफल नहीं होगा क्योंकि डेटा पुराना है, बल्कि इसलिए होगा क्योंकि टीचर समय के साथ बहुत दूर ड्रिफ्ट (विचलित) हो गया है।
- नियम: इस परिदृश्य में, इससे कोई फर्क नहीं पड़ता कि डेटा थोड़ा पुराना है या थोड़ा नया। विफलता इस आधार पर होती है कि टीचर ने कुल कितना समय प्रशिक्षण लिया है। "कोलैप्स" (collapse) प्रशिक्षण के संचयी चरणों (cumulative steps) की एक निश्चित संख्या के बाद होता है, चाहे डेटा कितना भी पुराना क्यों न रहा हो।

2. "दो-बाधा" सुरक्षा नियम (The "Two-Constraint" Safety Rule)

शोधकर्ताओं ने इन दोनों विचारों को इन AI प्रणालियों को सेट करने के लिए एक एकल सुरक्षा नियम में संयोजित किया है। प्रशिक्षण को स्थिर रखने के लिए, आपको एक साथ दो शर्तों को पूरा करना होगा:

डेटा कितना पुराना है, इसके सापेक्ष बहुत तेज़ी से न सीखें। (यदि डेटा बहुत पुराना है, तो आपको बहुत धीरे सीखना होगा)।
अपनी प्रगति की जाँच किए बिना बहुत लंबे समय तक न सीखें। (भले ही डेटा ताज़ा हो, यदि आप बहुत लंबे समय तक बहुत तेज़ी से सीखते हैं, तो आप मानचित्र से भटक जाएंगे)।

पेपर एक भ्रमित करने वाले अवलोकन की व्याख्या करता है: कभी-कभी, जब लोग इन प्रणालियों का परीक्षण करते हैं, तो वे देखते हैं कि "अधिकतम सुरक्षित सीखने की गति" में बहुत अधिक बदलाव नहीं होता है, भले ही डेटा को पुराना बनाया जाए। पेपर इसे यह कहकर समझाता है: "आप ड्रिफ्ट ज़ोन (Drift Zone) में हैं।"

यदि आप ड्रिफ्ट ज़ोन में हैं, तो सीमा इस बात से तय होती है कि आपने कितनी देर प्रशिक्षण लिया है, न कि इस बात से कि डेटा कितना पुराना है। इसलिए, डेटा को पुराना बनाने से सीमा में कोई बदलाव नहीं दिखता है।
हालाँकि, यदि आप सिस्टम को और अधिक कठिन बनाते हैं, तो आप स्टेल ज़ोन (Stale Zone) में प्रवेश कर जाते है, जहाँ सीमा तेजी से गिरती है। यदि आप डेटा की आयु को दोगुना करते हैं, तो आपको तुरंत अपनी सीखने की गति को आधा करना होगा।

3. "बैलिस्टिक" बनाम "डिफ्यूसिव" वॉक (The "Ballistic" vs. "Diffusive" Walk)

पेपर ने यह भी देखा कि जब AI विफल होता है, तो वह कैसे विफल होता है। उन्होंने चलने के एक रूपक (metaphor) का उपयोग किया:

बैलिस्टिक वॉक (द क्रैश - Ballistic Walk): जब लर्निंग रेट डेटा की आयु के लिए बहुत अधिक होता है, तो AI के अपडेट एक ही गलत दिशा में इशारा करते हैं। यह एक व्यक्ति की तरह है जो सीधी रेखा में चलते हुए खाई में गिर जाता है। वे तेज़ी से और अनुमानित रूप से आपदा की ओर बढ़ते हैं। शोधकर्ता इसे डेटा में देख सके: क्रैश होने से ठीक पहले AI के अपडेट अत्यधिक सुसंगत (उच्च "कोसाइन सिमिलरिटी") थे।
डिफ्यूसिव वॉक (सेफ ज़ोन - Diffusive Walk): जब लर्निंग रेट पर्याप्त कम होता है, तो AI के अपडेट थोड़े रैंडम होते हैं, जैसे एक नशेड़ी की चाल (drunkard's walk)। वे इधर-उधर डगमगाते हैं। क्योंकि वे डगमगाते हैं, वे इतनी दूर नहीं भटकते कि खाई में गिर जाएं, भले ही वे लंबे समय तक प्रशिक्षण लें।

सारांश

यह पेपर एसिंक्रोनस AI प्रशिक्षण के लिए एक गणितीय "स्पीड लिमिट" प्रदान करता है। यह इंजीनियरों को बताता है:

यदि आप समय बचाने के लिए बहुत पुराने डेटा (उच्च स्टेलेनेस) का उपयोग करना चाहते हैं, तो आपको अपनी सीखने की गति को भारी रूप से कम करना होगा।
यदि आप लर्निंग रेट को इतना कम रखते हैं कि वह पुराने डेटा को संभाल सके, तो सिस्टम लंबे समय तक स्थिर रहेगा, जो केवल इस बात से सीमित होगा कि आप कितनी देर तक प्रशिक्षण लेते हैं, न कि डेटा की आयु से।
यदि आप इसे अनदेखा करते हैं और बहुत तेज़ी से सीखते हैं, तो AI सुरक्षित रूप से डगमगाने के बजाय, विफलता की ओर एक सीधी रेखा में "ड्रिफ्ट" करेगा।

यह इंजीनियरों को उनके द्वारा गलती से तोड़ने के बजाय तेज़ AI प्रशिक्षण प्रणालियों को डिज़ाइन करने में मदद करता है, जो कि "रनर्स" को "टीचर" से बहुत आगे जाने देते हैं।

तकनीकी सारांश: एसिंक्रोनस RLHF के लिए स्टेलेनेस–लर्निंग रेट स्केलिंग लॉज़ (Staleness–Learning Rate Scaling Laws)

समस्या विवरण (Problem Statement)

उच्च-थ्रूपुट वाले रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) सिस्टम, थ्रूपुट को अधिकतम करने के लिए रोलआउट जनरेशन और पॉलिसी ऑप्टिमाइज़ेशन को तेजी से अलग (decouple) करते जा रहे हैं। एसिंक्रोनस आर्किटेक्चर में, लर्नर पॉलिसी को उन रोलआउट्स का उपयोग करके अपडेट करता है जो संभावित रूप से पॉलिसी के पुराने स्नैपशॉट्स (व्यवहार नीति या behavior policy) द्वारा जनरेट किए गए होते हैं। जबकि मानक SGD में एसिंक्रोनस ट्रेनिंग का व्यापक अध्ययन किया गया है (जहाँ स्टेलेनेस को बाउंडेड डिले के रूप में मॉडल किया जाता है), पॉलिसी-ग्रेडिएंट मेथड्स जैसे कि ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) में निहित डिस्ट्रिब्यूशनल शिफ्ट के साथ इसके इंटरैक्शन को अभी तक ठीक से नहीं समझा गया है।

मौजूदा डिस्ट्रिब्यूटेड RL सिस्टम अक्सर समर्पित ऑफ-पॉलिसी करेक्शन (जैसे, V-trace) पर निर्भर करते हैं या स्टेलेनेस से बचने के लिए सिंक्रोनस बने रहते हैं। हालाँकि, आधुनिक GRPO-आधारित पाइपलाइन्स आमतौर पर स्पष्ट ऑफ-पॉलिसी करेक्शन के बजाय क्लिप्ड इम्पोर्टेंस रेशियो और KL रेगुलराइजेशन पर निर्भर करती हैं। फलस्वरूप, पाइपलाइन स्टेलेनेस ( $S$ ) और लर्निंग रेट ( $\eta$ ) के बीच का इंटरैक्शन, ट्रेनिंग स्टेबिलिटी को नियंत्रित करने वाला प्राथमिक लीवर बन जाता है। अनुभवजन्य अवलोकन (Empirical observations) एक दो-चरणीय पैटर्न की ओर संकेत करते हैं: स्थिर सुधार के बाद अचानक गिरावट, जो यह दर्शाता है कि यह यादृच्छिक अस्थिरता नहीं बल्कि संरचित विफलता के रेजिम (structured regimes of failure) है।

कार्यप्रणाली (Methodology)

यह शोध पत्र एसिंक्रोनस GRPO में स्टेलेनेस–लर्निंग रेट इंटरैक्शन के लिए एक स्थानीय सैद्धांतिक ढांचे (local theoretical framework) को विकसित करता है।

सैद्धांतिक ढांचा (Theoretical Framework)

व्यवहार-नीति-जागरूक सूत्रीकरण (Behavior-Policy-Aware Formulation): लेखक GRPO सरोगेट ऑब्जेक्टिव में लर्नर पैरामीटर्स ( $\theta$ ) और रोलआउट व्यवहार नीति ( $\phi$ ) को स्पष्ट रूप से अलग करते हैं। वे एक सरोगेट-ग्रेडिएंट मैपिंग $H(\theta, \phi)$ को परिभाषित करते हैं, जो वितरण-निर्भर ऑब्जेक्टिव के टोटल डेरिवेटिव से लर्नर के अपडेट दिशा को अलग करता है।
बायस डिकम्पोजिशन (Bias Decomposition): स्टोकेस्टिक ग्रेडिएंट $g(\theta_t; B_{\phi_t})$ $g (θ_{t}; B_{ϕ_{t}})$ को तीन घटकों में विभाजित किया गया है:
- ऑन-पॉलिसी सरोगेट ग्रेडिएंट $H_{on}(\theta_t)$ ।
- जीरो-मीन सैंपलिंग नॉइज़ $\xi_t$ ।
- एक स्टेलेनेस बायस टर्म $\delta_t = H(\theta_t, \phi_t) - H(\theta_t, \theta_t)$ ।
मान्यताएं (Assumptions): विश्लेषण तीन स्थानीय मान्यताओं पर आधारित है:
- लोकल बाउंडेडनेस (Local Boundedness): बाउंडेड सरोगेट ग्रेडिएंट्स और अपडेट मैग्नीट्यूड्स।
- लोकल डिस्ट्रिब्यूशनल स्मूथनेस (Local Distributional Smoothness): नीतियों के बीच KL डाइवर्जेंस, पॉलिसियों के बीच की दूरी के वर्ग के साथ स्केल करता है।
- व्यवहार-नीति स्मूथनेस (Behavior-Policy Smoothness): सरोगेट ग्रेडिएंट की व्यवहार नीति के प्रति संवेदनशीलता (sensitivity) बाउंडेड है।

व्युत्पन्न स्केलिंग लॉज़ (Scaling Laws Derived)

पर-स्टेप स्टेलेनेस बायस (Per-Step Staleness Bias): निर्धारित मान्यताओं के तहत, पुराने रोलआउट्स से प्रेरित बायस $\delta_t$ , $O(S\eta)$ के रूप में स्केल करता है, जहाँ $S$ अधिकतम रोलआउट लैग है और $\eta$ लर्निंग रेट है। यह एक सिंगल-स्टेप सेफ रीजन कंस्ट्रेंट की ओर ले जाता है: $S\eta \lesssim C_{safe}$ ।
कंडीशनल कोलैप्स-टाइम स्केलिंग (Conditional Collapse-Time Scaling): यह पेपर दो विफलता मोडों के बीच अंतर करता है:
1. लोकल स्टेल-रोलआउट कंडीशन: यदि विदिन-साइकिल ड्रिफ्ट, बैच-लेवल क्लिपिंग रेडियस ( $R_{batch}$ ) से अधिक हो जाता है, तो स्थिरता स्पष्ट रूप से $S\eta$ पर निर्भर करती है।
2. होराइजन-लेवल ड्रिफ्ट: यदि स्थानीय स्थिति संतुष्ट होती है, तो कोलैप्स तब होता है जब संचयी लर्नर ड्रिफ्ट ( $T\eta$ ), एक व्यापक सरोगेट-वैलिडिटी रेडियस ( $R_{crit}$ ) को पार कर जाता है। इस रेजिम में, कोलैप्स होराइजन $T\eta$ द्वारा शासित होता है और $S$ से काफी हद तक स्वतंत्र होता है।

यह एक दो-प्रतिबंध स्थिरता नियम (two-constraint stability rule) प्रदान करता है:
$\eta \ll \min\left\{ \frac{R_{batch}}{S G_{upd}}, \frac{R_{crit}}{T G_{upd}} \right\}$

मुख्य योगदान (Key Contributions)

स्पष्ट व्यवहार-नीति सूत्रीकरण: यह पेपर एक स्पष्ट व्यवहार नीति तर्क के साथ GRPO सरोगेट ग्रेडिएंट को औपचारिक रूप देता है, जिससे वितरण-निर्भर ऑब्जेक्टिव के टोटल डेरिवेटिव के साथ सरोगेट ग्रेडिएंट का मिश्रण टल जाता है।
पर-स्टेप स्टेलेनेस बायस बाउंड: यह सिद्ध करता है कि स्थानीय स्मूथनेस के तहत, पुराने रोलआउट्स से प्रेरित बायस, स्टेलेनेस और लर्निंग रेट के गुणनफल ( $O(S\eta)$ ) के साथ रैखिक रूप से स्केल करता है।
कंडीशनल कोलैप्स-टाइम स्केलिंग: यह बैच-लेवल क्लिपिंग प्रभावों (जो $S$ पर निर्भर हैं) और होराइजन-लेवल ड्रिफ्ट (जो $T$ पर निर्भर है) के बीच अंतर करके ट्रेनिंग कोलैप्स की समझ को परिष्कृत करता है।
दो-प्रतिबंध स्थिरता नियम: लेखक एक व्यावहारिक स्थिति प्रदान करते हैं जो यह बताती है कि क्यों अधिकतम स्थिर लर्निंग रेट कुछ रेजिमों में स्टेलेनेस पर कमजोर रूप से निर्भर दिखाई देती है (होराइजन-लिमिटेड रेजिम में) जबकि अन्य में इसके व्युत्क्रमानुपाती (inversely proportional) होती है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक अपने सिद्धांत को Llama-3.2 मॉडल्स (1B और 3B पैरामीटर्स) के साथ गणितीय तर्क कार्यों (mathematical reasoning tasks) पर एसिंक्रोनस GRPO का उपयोग करके प्रशिक्षित करके सत्यापित करते हैं।

स्टेलेनेस–लर्निंग रेट ट्रेड-ऑफ: $S \in \{8, 16, 32\}$ और $\eta$ के स्वीप वाले प्रयोग पुष्टि करते हैं कि अधिकतम स्थिर लर्निंग रेट स्टेलेनेस के व्युत्क्रमानुपाती स्केल करती है ( $\eta_{max} \propto 1/S$ )। उत्पाद $S \cdot \eta_{max}$ लगभग स्थिर रहता है, जो लोकल स्टेल-रोलआउट कंस्ट्रेंट को मान्य करता है।
एस्केप-टाइम स्केलिंग (Escape-Time Scaling): कोलैप्स होने वाले रन के लिए, कोलैप्स तक लर्नर स्टेप्स की संख्या केवल $\eta$ पर निर्भर करती है और $S$ से स्वतंत्र है। वेट सिंक्रोनाइज़ेशन काउंट्स ( $M_{collapse}$ ) के संदर्भ में, संबंध $M_{collapse} \cdot S \cdot \eta \approx \text{const}$ बना रहता है। यह पुष्टि करता है कि अस्थिर रेजिम में, कोलैप्स संचयी ड्रिफ्ट के वैलिडिटी बाउंडरी तक पहुँचने से होता है, न कि स्वयं स्टेलेनेस लैग से।
ग्रेडिएंट कोसाइन सिमिलैरिटी (ड्रिफ्ट रेजिम्स):
- अस्थिर (Ballistic) रन: इनमें लगातार उच्च ग्रेडिएंट कोसाइन सिमिलैरिटी देखी जाती है, जो इंगित करती है कि स्टेलेनेस बायस $\delta_t$ , नॉइज़ पर हावी है, जिससे वैलिडिटी बाउंडरी की ओर सुसंगत, रैखिक ड्रिफ्ट होता है।
- स्थिर (Diffusive) रन: इनमें लगभग शून्य ग्रेडिएंट कोसाइन सिमिलैरिटी देखी जाती है, जो इंगित करती है कि जीरो-मीन सैंपलिंग नॉइज़ $\xi_t$ हावी है। ड्रिफ्ट डिफ्यूसिव ( $\sim\sqrt{t}\eta$ ) है, जो बहुत धीरे-धीरे संचित होता है, जिससे विस्तारित होराइजन के बावजूद स्थिर ट्रेनिंग संभव होती है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह एसिंक्रोनस RLHF में स्थिरता के संरचित रेजिमों की व्याख्या करने के लिए एक स्थानीय सैद्धांतिक ढांचा प्रदान करता है। इसका प्राथमिक महत्व पर-स्टेप बायस ( $O(S\eta)$ ) के सैद्धांतिक बाउंड को उन अनुभवजन्य अवलोकनों के साथ सामंजस्य बिठाने में है जहाँ लर्निंग रेट थ्रेसहोल्ड स्टेलेनेस से स्वतंत्र दिखाई देते हैं।

लेखक तर्क देते हैं कि कुछ मामलों में स्टेलेनेस से स्थिरता की स्पष्ट स्वतंत्रता कोई सामान्य गारंटी नहीं है, बल्कि एक विशिष्ट रेजिम (होराइजन-लिमिटेड रेजिम) है जहाँ संचयी ड्रिफ्ट कंस्ट्रेंट प्रभावी होता है। इसके विपरीत, लोकल स्टेल-रोलआउट रेजिम में, स्टेलेनेस एक महत्वपूर्ण बाधा है। यह कार्य नए ऑफ-पॉलिसी करेक्शन का प्रस्ताव नहीं करता है, बल्कि यह लक्षण वर्णन करता है कि मौजूदा GRPO पाइपलाइन्स किन स्थितियों में स्थिर रहती हैं, जो एसिंक्रोनस RLHF सिस्टम को ट्यून करने के लिए एक व्यावहारिक दो-प्रतिबंध नियम प्रदान करता है।