🤖 machine learning

Predictable GRPO: A Closed-Form Model of Training Dynamics

यह शोध पत्र "प्रेडिक्टेबल GRPO" (Predictable GRPO) प्रस्तुत करता है, जो एक प्रथम-सिद्धांत आधारित क्लोज्ड-फॉर्म मॉडल है जो अनुभवजन्य अवलोकनों को यांत्रिक मापदंडों के साथ एकीकृत करके ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (Group Relative Policy Optimization) की प्रशिक्षण गतिशीलता की गणितीय व्याख्या करता है, जिससे विभिन्न मॉडल कॉन्फ़िगरेशन में सटीक रिवॉर्ड प्रक्षेपवक्र फिटिंग, स्थिरता थ्रेशोल्ड की भविष्यवाणी और विशिष्ट विफलता मोड का निदान सक्षम होता है।

मूल लेखक: Rajat Ghosh, Datta Nimmaturi, Aryan Singhal, Vaishnavi Bhargava, Henry Wong, Johnu George, Debojyoti Dutta

प्रकाशित 2026-07-01

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rajat Ghosh, Datta Nimmaturi, Aryan Singhal, Vaishnavi Bhargava, Henry Wong, Johnu George, Debojyoti Dutta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन थोड़े जिद्दी रोबोट को गणित की समस्याएं हल करना सिखा रहे हैं। आप एक विधि का उपयोग करते हैं जिसे GRPO (ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है। सरल शब्दों में, आप रोबोट को एक ही समस्या को कई बार (एक "ग्रुप" या समूह के प्रयास) हल करने के लिए कहते हैं, देखते हैं कि कौन से उत्तर सबसे अच्छे हैं, और फिर रोबोट के मस्तिष्क को अच्छी चीजों को अधिक करने और बुरी चीजों को कम करने के लिए प्रेरित करते हैं।

लंबे समय तक, इस प्रक्रिया को देखते हुए वैज्ञानिकों ने कहा, "हे, रोबोट का स्कोर शुरू में तेजी से बढ़ता है, फिर धीमा हो जाता है, और अंततः एक सीमा (ceiling) पर पहुँच जाता है।" उन्होंने इस प्रक्रिया का वर्णन करने के लिए एक साधारण वक्र (curve) बनाया, लेकिन वे वास्तव में यह नहीं जानते थे कि ऐसा क्यों होता है। यह एक कार की फोटो देखकर उसकी गति का अनुमान लगाने जैसा था, बिना इंजन को समझे।

यह पेपर, "Predictable GRPO," उस कार का हुड उठाने और आपको उसका इंजन दिखाने जैसा है। लेखकों ने एक गणितीय मॉडल बनाया है जो बताता है कि रोबोट वास्तव में कैसे सीखता है, जिसमें भौतिकी (physics) की भाषा का उपयोग किया गया है।

मुख्य विचार: रोबोट एक झूलते पेंडुलम के रूप में

लेखकों ने पाया कि रोबोट की सीखने की प्रक्रिया केवल एक साधारण ढलान पर ऊपर जाने जैसी नहीं है। इसके बजाय, यह बिल्कुल एक भारी पेंडुलम या कार के शॉक एब्जॉर्बर (shock absorber) की तरह व्यवहार करती है।

यहाँ रोजमर्रा के उदाहरणों का उपयोग करके उनके "इंजन" का विवरण दिया गया है:

1. जड़त्व (Inertia - द हेवी स्विंग)

पेपर का दावा: रोबोट में "मोमेंटम" (momentum) होता है।
उदाहरण: कल्पना कीजिए कि आप एक भारी झूले को धक्का दे रहे हैं। भले ही आप धक्का देना बंद कर दें, फिर भी यह कुछ समय के लिए चलता रहता है क्योंकि यह भारी है। रोबोट के प्रशिक्षण में, "मोमेंटम" सेटिंग रोबोट को कुछ समय के लिए उसी दिशा में सीखते रहने में मदद करती है, भले ही तत्काल फीडबैक थोड़ा बदल जाए। यह एक "धीमी शुरुआत" (slow start) चरण बनाता है। रोबोट तुरंत उत्तर पर नहीं कूदता; उसे गति बनानी पड़ती है, ठीक उसी भारी झूले की तरह।

2. डैम्पिंग (Damping - द शॉक एब्जॉर्बर)

पेपर का दावा: यहाँ "डैम्पिंग" है जो झूले को पागल होने से रोकने के लिए धीमा करती है।
उदाहरण: कार का एक शॉक एब्जॉर्बर किसी गड्ढे से टकराने के बाद कार को हमेशा के लिए ऊपर-नीचे उछलने से रोकता है। रोबोट में, यह "डैम्पिंग" इस बात से आती है कि रोबोट अपने पुराने निर्देशों की नए निर्देशों के साथ कितनी बार तुलना करता है। यदि रोबोट जांच करने में बहुत अधिक समय लगाता है (एक लंबा "रिफ्रेश इंटरवल"), तो शॉक एब्जॉर्बर कमजोर हो जाता है। यदि यह बहुत कमजोर है, तो रोबोट स्थिर होने के बजाय ऑसिलेट (oscillate) करने लगता है (तेजी से आगे-पीछे झूलने लगता है)।

3. स्टिफनेस (Stiffness - द स्प्रिंग)

पेपर का दावा: यहाँ एक "स्टिफनेस" है जो रोबले को सर्वोत्तम संभव स्कोर की ओर खींचती है।
उदाहरण: उस झूले से जुड़ी एक स्प्रिंग के बारे में सोचें। स्प्रिंग झूले को केंद्र (परफेक्ट स्कोर) की ओर खींचना चाहती है। "स्टिफनेस" यह है कि वह स्प्रिंग कितनी मजबूत है। यदि स्प्रिंग कमजोर है, तो रोबोट को शीर्ष तक पहुँचने में लंबा समय लगता है। यदि यह मजबूत है, तो वह वहां तेजी से पहुँच जाता है।

तीन बड़ी खोजें

लेखकों ने इस "पेंडुलम मॉडल" का उपयोग करके तीन विशिष्ट भविष्यवाणियां कीं जिनका उन्होंने परीक्षण किया:

1. "धीमी शुरुआत" वास्तविक है
पिछले मॉडलों ने सोचा कि रोबोट का स्कोर पहले सेकंड से ही एक सुचारू वक्र (smooth curve) में ऊपर जाता है। लेखकों ने दिखाया कि "भारी झूले" (जड़त्व) के कारण, वास्तव में एक धीमी शुरुआत (slow start) होती है। रोबोट तेजी से बढ़ने से पहले एक पल के लिए हिचकिचाता है। उनका नया मॉडल इस "उभार" (hump) को पूरी तरह से पकड़ लेता है, जबकि पुराने सरल मॉडल इसे मिस कर गए थे।

2. ग्रुप साइज रास्ता नहीं बदलता (केवल शोर/नॉइज़ बदलता है)
रोबोट एक साथ $G$ उत्तरों का प्रयास करता है (समूह का आकार)। लेखकों ने पाया कि चाहे रोबोट 4 उत्तरों का प्रयास करे या 16, सीखने का औसत रास्ता (average path) बिल्कुल एक जैसा रहता है।

उदाहरण: कल्पना कीजिए कि आप एक धुंधले जंगल में चल रहे हैं। यदि आप अकेले चलते हैं (छोटा समूह), तो आप थोड़ा अधिक लड़खड़ा सकते हैं (शोर/noise)। यदि आप अपने 15 दोस्तों के साथ चलते हैं (बड़ा समूह), तो आप अपनी लड़खड़ाहट को औसत कर लेते हैं और एक सुचारू रेखा में चलते हैं। लेकिन आप जिस दिशा में चल रहे हैं, वह बिल्कुल समान है। यह पेपर सिद्ध करता है कि समूह का आकार बदलने से केवल रास्ता कितना "शोर भरा" दिखता है, यह बदलता है, न कि स्वयं रास्ता।

3. अस्थिरता का "टिपिंग पॉइंट" (Tipping Point)
मॉडल एक विशिष्ट "टिपिंग पॉइंट" की भविष्यवाणी करता है। यदि आप रोबोट को अपने पुराने निर्देशों की जांच करने के बीच बहुत अधिक समय तक प्रतीक्षा करवाते हैं (रिफ्रेश इंटरवल) या यदि आप उसे बहुत जोर से धकेलते हैं (लर्निंग रेट), तो "शॉक एब्जॉर्बर" टूट जाता है।

उदाहरण: यदि आप झूले को बहुत जोर से धक्का देते हैं या गलत समय पर छोड़ देते हैं, तो यह सुचारू रूप से झूलना बंद कर देता है और बेतहाशा लहराने लगता है। लेखकों ने गणना की कि यह कब होता है। उन्होंने इसे रोबोट के एक सरलीकृत संस्करण (एक "सॉफ्टमैक्स-बैंडिट") पर परखा और देखा कि रोबोट एक सुचारू चढ़ाई से अचानक एक जंगली, दोलन (oscillating) वाले झूलने में ठीक उसी समय बदल गया जैसा कि उनके गणित ने भविष्यवाणी की थी।

उन्होंने इसका परीक्षण कैसे किया

उन्होंने केवल अनुमान नहीं लगाया; उन्होंने तीन अलग-अलग AI मॉडलों (1.5 बिलियन से 7 बिलियन "न्यूरॉन्स" तक) पर गणित की समस्याएं हल करने के प्रयोग चलाए।

फिट (Fit): जब उन्होंने अपने "पेंडुलम गणित" की तुलना वास्तविक रोबोट स्कोर से की, तो गणित वास्तविक डेटा के साथ 91% से 97% सटीकता के साथ मेल खाया।
डायग्नोस्टिक्स (Diagnostics): उन्होंने "चेक-अप टूल्स" का एक सेट बनाया। यदि कोई रोबोट विफल होने लगता है, तो आप इन टूल्स को देखकर देख सकते हैं कि क्यों। क्या इसलिए क्योंकि रोबोट "चीटिंग" (रिवॉर्ड हैकिंग) कर रहा है? क्या इसलिए क्योंकि वह केवल एक प्रकार के उत्तर पर अटक गया है (मोड कोलैप्स)? या इसलिए क्योंकि "शॉक एब्जॉर्बर" टूट गए हैं और वह बेतहाशा झूल रहा है? उनका मॉडल इन समस्याओं के बीच अंतर कर सकता है, जो पुराने तरीके नहीं कर सकते थे।

निष्कर्ष

यह पेपर AI प्रशिक्षण के "ब्लैक बॉक्स" को एक पारदर्शी मशीन में बदल देता है। यह कहने के बजाय कि "रोबोट सीखता है, फिर रुक जाता है," वे कहते हैं, "रोबोट एक भारी पेंडुलम है जिसमें एक स्प्रिंग और एक शॉक एब्जॉर्बर है। यदि आप पेंडुलम का वजन और स्प्रिंग की ताकत जानते हैं, तो आप सटीक रूप से भविष्यवाणी कर सकते हैं कि यह कैसे गति करेगा, कब शुरू होगा, और कब यह पागल हो सकता है।"

उन्होंने साबित किया कि यह भौतिकी-आधारित दृष्टिकोण न केवल सरल गणित के लिए, बल्कि जटिल AI मॉडल के लिए भी काम करता है, और यह समझाता है कि प्रयासों की संख्या (ग्रुप साइज) बदलने से शोर बदलता है, लेकिन मंजिल नहीं।

तकनीकी सारांश: प्रेडिक्टेबल GRPO: प्रशिक्षण गतिकी का एक क्लोज्ड-फॉर्म मॉडल

समस्या विवरण

यद्यपि ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO), सत्यापन योग्य पुरस्कारों (verifiable rewards) के माध्यम से सुदृढीकरण शिक्षण (reinforcement learning) के माध्यम से लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क क्षमताओं को बढ़ाने के लिए एक मानक तंत्र बन गया है, फिर भी इसके अंतर्निहित प्रशिक्षण गतिकी (training dynamics) काफी हद तक अनुभवजन्य (empirical) बनी हुई है। वर्तमान समझ कम-पैरामीटर वाले कार्यात्मक रूपों (जैसे, सिंगल-एक्सपोनेंशियल सैचुरेशन) में रिवॉर्ड प्रक्षेपवक्र (reward trajectories) को फिट करने पर निर्भर करती है, जहाँ स्थिरांकों (constants) का कोई यांत्रिक अर्थ नहीं होता है। फलस्वरूप, हाइपरपैरामीटर चयन 'ट्रायल एंड एरर' का विषय बना रहता है, और विभिन्न विफलता मोड—जैसे रिवॉर्ड हैकिंग, एडवांटेज डिजनरेशन, और पॉलिसी कंसन्ट्रेशन—को मानक रिवॉर्ड कर्व विश्लेषण में अक्सर एक ही श्रेणी में मिला दिया जाता है। यह शोध पत्र एक प्रथम-सिद्धांत (first-principles), यांत्रिक मॉडल विकसित करने की आवश्यकता को संबोधित करता है जो GRPO प्रशिक्षण गतिकी की व्याख्या कर सके और मापने योग्य मात्राओं से जुड़े मिथ्याकरणीय (falsifiable) पूर्वानुमान प्रदान कर सके।

कार्यप्रणाली

लेखक तीन मॉडल्स (Nemotron-Mini-4B, DeepSeek-LLM-7B-Chat, और DeepSeek-R1-Distill-Qwen-1.5B) और दो ग्रुप साइज ( $G \in \{4, 16\}$ ) के माध्यम से सैद्धांतिक व्युत्पत्ति और अनुभवजन्य सत्यापन के संयोजन के माध्यम से GRPO प्रशिक्षण गतिकी का एक रिड्यूस्ड-ऑर्डर मॉडल विकसित करते हैं।

सैद्धांतिक ढांचा

मुख्य सैद्धांतिक योगदान डिस्क्रीट GRPO अपडेट नियम को एक कंटीन्यूअस-टाइम, स्टोकेस्टिकली-फोर्स्ड डैम्प्ड ऑसिलेटर (stochastically-forced damped oscillator) में बदलना है। यह व्युत्पत्ति दो प्राथमिक चरणों पर आधारित है:

मीन-फील्ड धारणा (Mean-Field Assumption): पॉलिसी को एक स्केलर ऑर्डर पैरामीटर $p(\theta) = \mathbb{E}_{o \sim \pi_\theta}[R]$ , यानी अपेक्षित रिवॉर्ड द्वारा संक्षेपित किया जाता है। यह मानता है कि गतिकी इस अपेक्षा के विकास द्वारा नियंत्रित होती है, जो पूर्व कार्य (Mroueh, 2025) से एक स्थिर फिक्स्ड पॉइंट $p^\star$ के अस्तित्व और संकुचन गुणों को आयात करती है।
सेकंड-ऑर्डर एक्सपेंशन: डिस्क्रीट अपडेट (मोमेंटम $\mu$ $μ$ और ऑफ-पॉलिसी लैग $\tau = K_{ref}\delta$ $τ = K_{r e f} δ$ को शामिल करते हुए) को स्टेप साइज $\delta$ $δ$ और रिफ्रेश लैग $\tau$ $τ$ में दूसरे क्रम (second order) तक विस्तारित किया गया है।
- मोमेंटम ग्रेडिएंट फ्लो को एक सेकंड-ऑर्डर सिस्टम को बढ़ावा देता है, जिससे जड़त्व (inertia) प्राप्त होता है।
- ऑफ-पॉलिसी लैग (विलंबित पॉलिसी रिफ्रेश) अतिरिक्त जड़त्व लाता है लेकिन डैम्पिंग (damping) को कम करता है।
- ग्रुप साइज ( $G$ ) सिस्टम में केवल एक नॉइज़ टेम्परेचर के रूप में प्रवेश करता है, जो स्टोकेस्टिक फोर्सिंग की तीव्रता को स्केल करता है।

त्रुटि $e = p - p^\star$ के लिए गति का परिणामी समीकरण है:
$M_{eff} \ddot{e} + C_{eff} \dot{e} + K_{eff} e = \sqrt{D/G} \xi(t)$
जहाँ प्रभावी द्रव्यमान ( $M_{eff}$ ), डैम्पिंग ( $C_{eff}$ ), और स्टिफनेस ( $K_{eff}$ ) ऑप्टिमाइज़र हाइपरपैरामीटर्स ( $\eta, \mu$ ), रिफ्रेश अंतराल ( $K_{ref}$ ), और प्रभावी पोटेंशियल के कर्वेचर स्केल ( $K$ ) द्वारा क्लोज्ड-फॉर्म में परिभाषित हैं।

प्रयोगात्मक प्रोटोकॉल

लेखक निम्नलिखित का उपयोग करके मॉडल को मान्य करते हैं:

प्रशिक्षण: बाइनरी वेरिफिएबल रिवॉर्ड्स के साथ GSM8K डेटासेट पर GRPO।
डायग्नोस्टिक्स: मीन-फील्ड धारणा के क्षरण और डायनेमिकल इंस्टेबिलिटी के बीच अंतर करने के लिए आंतरिक मात्राओं (एडवांटेज वेरिएंस, पॉलिसी एंट्रॉपी, KL डाइवर्जेंस, ग्रेडिएंट नॉर्म्स, इम्पोर्टेंस सैंपलिंग रेश्यो) की लॉगिंग।
मूल्यांकन: इन-डिस्ट्रीब्यूशन (GSM8K) और ग्रेड-स्कूल समस्याओं से लेकर ओलंपियाड-स्तर के गणित तक आठ मैथ बेंचमार्क्स पर आउट-ऑफ-डिस्ट्रीब्यूशन ट्रांसफर।
सटीक रिडक्शन: एक नियंत्रित सॉफ्टमैक्स-बैंडिट प्रयोग जहाँ मीन-फील्ड धारणा सटीक रूप से लागू होती है, जिसका उपयोग डीप-नेटवर्क एप्रोक्सिमेशन त्रुटियों के बिना स्थिरता थ्रेशोल्ड और ऑसिलेटरी ट्रांजिशन का परीक्षण करने के लिए किया गया है।

मुख्य योगदान

1. GRPO गतिकी का एक रिड्यूस्ड-ऑर्डर मॉडल

यह शोध पत्र एक क्लोज्ड-फॉर्म स्टोकेस्टिक डिफरेंशियल इक्वेशन (थ्योरम 7) विकसित करता है जो GRPO को एक डैम्प्ड ऑसिलेटर के रूप में वर्णित करता है। इसके गुणांक स्पष्ट रूप से परिभाषित हैं:

मास ( $M_{eff}$ ): मोमेंटम और ऑफ-पॉलिसी लैग द्वारा निर्धारित।
डैम्पिंग ( $C_{eff}$ ): मोमेंटम और ऑफ-पॉलिसी लैग द्वारा होने वाले क्षरण द्वारा निर्धारित।
स्टिफनेस ( $K_{eff}$ ): KL-एंकरिंग वेट और रिवॉर्ड लैंडस्केप के स्थानीय कर्वेचर द्वारा निर्धारित।

2. अनुभवजन्य नियमों की यांत्रिक पुनर्व्याख्या

मॉडल द्वारा देखे गए सिंगल-एक्सपोनेंशियल सैचुरेशन लॉ को व्युत्पन्न ऑसिलेटर के ओवरडैम्प्ड लिमिट के रूप में समाहित किया गया है।

अनुभवजन्य "प्लेटो" (plateau) को फिक्स्ड पॉइंट $p^\star$ के रूप में पहचाना गया है।
अनुभवजन्य "टाइमस्केल" को इनवर्स स्टिफनेस ( $1/K_{eff}$ ) के रूप में पहचाना गया है।
ट्रेनिंग कर्व्स में देखे गए "स्लो-स्टार्ट" चरण को, जिसे सिंगल-एक्सपोनेंशियल मॉडल कैप्चर नहीं कर सकते, रिटेन जड़त्व (Inertial term) द्वारा समझाया गया है (प्रपोजिशन 14), जो तीन-चरण वाले प्रक्षेपवक्र की भविष्यवाणी करता है: स्लो स्टार्ट, रैपिड राइज, और प्लेटो।

3. मिथ्याकरणीय भविष्यवाणियाँ और डायग्नोस्टिक्स

मॉडल फिट किए गए स्थिरांकों के बजाय स्वतंत्र रूप से मापने योग्य मात्राओं से जुड़ी भविष्यवाणियाँ देता है:

ग्रुप-साइज इनवेरिएंस: नियत प्रक्षेपवक्र (deterministic trajectory) $G$ से स्वतंत्र है; $G$ केवल स्टेशनरी फ्लक्चुएशन मैग्नीट्यूड ( $\propto 1/G$ ) को प्रभावित करता है।
स्टेबिलिटी थ्रेशोल्ड: अस्थिरता की ओर एक तीव्र संक्रमण तब होता है जब $K \eta K_{ref} > 1 - \mu$ हो।
ओवरडैम्प्ड-टू-ऑसिलेटरी ट्रांजिशन: रिफ्रेश अंतराल $K_{ref}$ को बदलने से मोनोटोन कन्वर्जेंस से डैम्प्ड ऑसिलेशन में संक्रमण होना चाहिए।
विफलता मोड पृथक्करण: लेखक चार डायग्नोस्टिक्स को संचालित करते हैं ताकि अंतर किया जा सके:
- ट्रेन-इवल डिकपलिंग (रिवॉर्ड हैकिंग): ट्रेनिंग और इवैल्यूएशन सैचुरेशन दरों के बीच विचलन।
- एडवांटेज डिजनरेशन: रिवॉर्ड वेरिएंस का पतन जिससे $0/0$ एडवांटेज बनता है।
- पॉलिसी कंसन्ट्रेशन: रिवॉर्ड बढ़ने के बावजूद पॉलिसी एंट्रॉपी में तीव्र गिरावट।
- डायनेमिकल इंस्टेबिलिटी: ग्रेडिएंट नॉर्म्स या इम्पोर्टेंस सैंपलिंग रेश्यो में अनबाउंडेड ग्रोथ।

परिणाम

अनुभवजन्य सत्यापन

कर्व फिटिंग: तीन मॉडल्स और दो ग्रुप साइज केAcross, व्युत्पन्न थ्री-फेज लॉ $R^2 \ge 0.91$ के साथ ट्रेनिंग रिवॉर्ड प्रक्षेपवक्रों को फिट करता है। जड़त्व (inertial term) को शामिल करने से सिंगल-एक्सपोनेंशियल मॉडल्स की तुलना में फिट में महत्वपूर्ण सुधार होता है, विशेष रूप से शुरुआती स्लो-स्टार्ट चरण को कैप्चर करने में।
ग्रुप-साइज इनवेरिएंस: $G$ को 4 से 16 तक बढ़ाने से औसत प्रक्षेपवक्र और फिट किया गया प्लेटो ( $R_\infty$ ) लगभग अपरिवर्तित रहा, जबकि रन-टू-रन स्कैटर (scatter) कम हो गया, जो $1/G$ नॉइज़ स्केलिंग भविष्यवाणी की पुष्टि करता है।
आउट-ऑफ-डिस्ट्रीब्यूशन ट्रांसफर: GSM8K पर GRPO ट्रेनिंग का आठ बाहरी बेंचमार्क्स पर सकारात्मक प्रभाव पड़ा। लाभ उन बेंचमार्क्स पर सबसे अधिक था जो ट्रेनिंग डिस्ट्रीब्यूशन के करीब थे (जैसे, GSM-Plus) और दूर के, उच्च-कठिनाई वाले कार्यों (जैसे, AIME-2026) के लिए कम हो गया, जिसमें रीजनिंग-डिस्टिल्ड मॉडल ने सबसे मजबूत ट्रांसफर दिखाया।
स्थिरता और ऑसिलेशन: मानक GSM8K रन (छोटा लर्निंग रेट) में, सभी मॉडल्स स्थिर, ओवरडैम्प्ड रिजीम में रहे। हालांकि, सटीक सॉफ्टमैक्स-बैंडिट रिडक्शन में, लेखकों ने $K_{ref}$ को स्वैप करके अनुमानित ओवरडैम्प्ड-टू-ऑसिलेटरी ट्रांजिशन को सफलतापूर्वक प्रेरित किया। अनुभवजन्य स्थिरता थ्रेशोल्ड स्वतंत्र रूप से मापे गए स्टिफनेस $K$ का उपयोग करके सैद्धांतिक भविष्यवाणी $K \eta K_{ref} = 1 - \mu$ के अनुरूप था।

डायग्नोस्टिक निष्कर्ष

रिवॉर्ड हैकिंग: DeepSeek-LLM-7B-Chat ( $G=4$ पर) जैसे मॉडल्स में रिवॉर्ड हैकिंग (ट्रेन-इवल डिकपलिंग) के संकेत मिले, जबकि Reasoning-distilled Qwen-1.5B ( $G=16$ पर) ने स्वस्थ कपलिंग बनाए रखी।
मोड कोलैप्स: डायग्नोस्टिक्स ने उन रेगिम्स की सफलतापूर्वक पहचान की जहाँ एडवांटेज कंस्ट्रक्शन डिजेनरेट हो गया (कोलैप्स्ड प्रॉम्प्ट्स) या जहाँ पॉलिसी कंसन्ट्रेशन ने मीन-फील्ड धारणा को कम कर दिया, जिससे उन्हें साधारण डायनेमिकल इंस्टेबिलिटी से अलग किया जा सका।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह GRPO प्रशिक्षण का एक यांत्रिक विवरण (mechanistic account) प्रदान करता है जो हाइपरपैरामीटर ट्यूनिंग के क्षेत्र को "कला से विज्ञान" में बदल देता है। एक उच्च-आयामी प्रणाली को क्लोज्ड-फॉर्म सेकंड-ऑर्डर सिस्टम में कम करके, लेखक तर्क देते हैं कि:

अनुमान लगाने की क्षमता (Predictability): प्रशिक्षण प्रक्षेपवक्र को पोस्ट-हॉक फिट किए गए स्थिरांकों के बजाय हाइपरपैरामीटर्स और एक मापे गए कर्वेचर स्केल के आधार पर अनुमानित किया जा सकता है।
डायग्नोस्टिक शक्ति: मॉडल विशिष्ट आउटपुट प्रदान करता है जो उन विशिष्ट विफलता मोड को अलग करता है जिन्हें मानक रिवॉर्ड कर्व पर पहचानना मुश्किल होता है।
सैद्धांतिक एकीकरण: यह अनुभवजन्य स्केलिंग लॉ (Nimmaturi et al., 2025; Ghosh et al., 2026) को एक अधिक सामान्य भौतिक मॉडल के विशिष्ट सीमाओं के रूप में एकीकृत करता है।

लेखक अपनी सीमा के प्रति विनम्र रहते हैं, यह नोट करते हुए कि यह मॉडल मीन-फील्ड धारणा और स्मॉल-स्टेप एक्सपेंशन पर आधारित एक रिड्यूस्ड-ऑर्डर एप्रोक्सिमेशन है। वे स्वीकार करते हैं कि डीप-नेटवर्क प्रदर्शन (अस्थिरता उत्पन्न करने के लिए $\eta$ या $K_{ref}$ को बढ़ाना) भविष्य के कार्य के लिए छोड़ा गया है, क्योंकि उनके वर्तमान GSM8K रन जानबूझकर स्थिर, ओवरडैम्प्ड रिजीम में रहने के लिए कॉन्फ़िगर किए गए थे। सटीक-रिडक्शन प्रयोग इस बात का प्रमाण (proof-of-concept) हैं कि अनुमानित भौतिकी (स्थिरता थ्रेशोल्ड और ऑसिलेशन) डीप-नेटवर्क एप्रोक्सिमेशन के आर्टिफैक्ट नहीं बल्कि स्वयं गतिकी के गुण हैं।