🤖 machine learning

The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning

यह शोध पत्र LLM सुदृढीकरण शिक्षण (reinforcement learning) में प्रशिक्षण-अनुमान अंतराल (training-inference mismatch) को अस्थिरता के एक महत्वपूर्ण कारण के रूप में पहचानता है और एक नया ढांचा प्रस्तावित करता है जिसे मोनोटोनिक इन्फरेंस पॉलिसी अपडेट (MIPU) कहा जाता है, ताकि यह सुनिश्चित किया जा सके कि प्रशिक्षण में सुधार सीधे बेहतर अनुमान प्रदर्शन में परिवर्तित हो सके।

मूल लेखक: Jing Liang, Hongyao Tang, Yi Ma, Yancheng He, Weixun Wang, Xiaoyang Li, Ju Huang, Wenbo Su, Jinyi Liu, Yan Zheng, Jianye Hao, Bo Zheng

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jing Liang, Hongyao Tang, Yi Ma, Yancheng He, Weixun Wang, Xiaoyang Li, Ju Huang, Wenbo Su, Jinyi Liu, Yan Zheng, Jianye Hao, Bo Zheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र (AI मॉडल) को जटिल गणितीय समस्याओं को हल करने के लिए प्रशिक्षित कर रहे हैं। आपके पास इस प्रशिक्षण के लिए दो अलग-अलग वातावरण हैं:

कक्षा (ट्रेनिंग इंजन): यह वह जगह है जहाँ छात्र अभ्यास करता है। यह एक हाई-टेक लैब है जिसमें बेहतरीन रोशनी, सुपर-फास्ट कंप्यूटर और एक शिक्षक है जो छात्र के हर एक विचार को देख सकता है।
परीक्षा हॉल (इन्फरेंस इंजन): यह वह जगह है जहाँ छात्र वास्तव में वास्तविक दुनिया में परीक्षा देता है। यह थोड़ा अराजक हो सकता है, कंप्यूटर थोड़े धीमे हो सकते हैं, और रोशनी अलग हो सकती है।

समस्या: "दो-दुनियाओं" का विच्छेद (The "Two-World" Disconnect)

यह शोध पत्र तर्क देता है कि आधुनिक AI प्रशिक्षण में, हम अक्सर इन दोनों दुनियाओं के साथ ऐसा व्यवहार करते हैं जैसे वे समान हों। हम छात्र से कहते हैं, "बहुत बढ़िया! तुमने कक्षा में अपने स्कोर में 10% सुधार किया है!" और हम यह मान लेते हैं कि इसका मतलब यह होगा कि वह परीक्षा हॉल में भी 10% अधिक स्कोर करेगा।

लेकिन यहाँ एक पेंच है: कक्षा और परीक्षा हॉल वास्तव में अलग हैं।

तकनीकी अंतरों के कारण (जैसे कि कंप्यूटर कैसे संख्याओं को प्रोसेस करता है), छात्र परीक्षा हॉल में कक्षा की तुलना में थोड़ा अलग व्यवहार कर सकता है, भले ही वह बिल्कुल उसी मस्तिष्क (मॉडल पैरामीटर्स) का उपयोग कर रहा हो।

कक्षा में, छात्र कह सकता है, "मुझे 90% यकीन है कि यह उत्तर सही है।"
परीक्षा हॉल में, वही छात्र वास्तव में केवल 70% आश्वस्त हो सकता है, या वह एक छोटी सी गणना संबंधी त्रुटि कर सकता है जो उसने लैब में नहीं की थी।

शोध पत्र इसे "ट्रेनिंग-इन्फरेंस मिसमैच" (Training-Inference Mismatch) कहता है।

खतरा यह है कि AI लगातार कक्षा के आधार पर अपडेट प्राप्त करता रहता है। लेकिन यदि वे अपडेट परीक्षा हॉल में काम नहीं आते हैं, तो AI वास्तविक दुनिया में बुरे निर्णय लेना शुरू कर सकता है, भले ही प्रशिक्षण के आंकड़े एकदम सही दिख रहे हों। यह एक पायलट की तरह है जो एक आदर्श सिम्युलेटर में अभ्यास करता है, लेकिन हवा की स्थितियाँ अलग होने के कारण असली विमान को क्रैश कर देता है।

समाधान: "मोनोटोनिक इन्फरेंस पॉलिसी इम्प्रूवमेंट" (MIPI)

लेखक प्रशिक्षण के लिए एक नया नियम प्रस्तावित करते हैं: केवल यह न पूछें कि, "क्या छात्र ने कक्षा में सुधार किया?" बल्कि यह पूछें, "क्या छात्र ने वास्तव में परीक्षा के लिए सुधार किया है?"

वे इसे MIPI (Monotonic Inference Policy Improvement) कहते हैं। इसका अर्थ है कि हम केवल तभी एक प्रशिक्षण अपडेट को स्वीकार करेंगे जब हम सुनिश्चित हों कि यह वास्तविक दुनिया के प्रदर्शन को बेहतर बनाता है, न कि केवल कक्षा के प्रदर्शन को।

वे इसे कैसे करते हैं: "MIPU" दो-चरणीय प्रक्रिया

इसे साकार करने के लिए, उन्होंने छात्र के नए ज्ञान के लिए एक नया प्रशिक्षण ढांचा बनाया है जिसे MIPU (Monotonic Inference Policy Update) कहा जाता है। इसे छात्र के नए ज्ञान के लिए एक दो-चरणीय गुणवत्ता नियंत्रण प्रक्रिया के रूप में समझें:

चरण 1: "अभ्यास रन" (सैंपलर-रेफरेन्स्ड अपडेट)
केवल छात्र को कक्षा के नियमों के आधार पर सुधार करने के लिए कहने के बजाय, शिक्षक पहले पूछता है: "यदि आप अभी अपने वर्तमान मस्तिष्क का उपयोग करके परीक्षा देंगे, तो आप कैसा प्रदर्शन करेंगे?"

वे छात्र के सीखने को इस तरह समायोजित करते हैं कि "कक्षा" का अभ्यास "परीक्षा हॉल" की वास्तविकता के साथ बेहतर ढंग से मेल खाए।
यह एक कैंडिडेट अपडेट (उम्मीदवार अपडेट) बनाता है—छात्र का एक नया संस्करण जो बेहतर होना चाहिए।

चरण 2: "वास्तविकता की जाँच" (इन्फरेंस-गैप-अवेयर एक्सेप्टेंस)
इससे पहले कि छात्र को इस नए ज्ञान को वास्तविक दुनिया में ले जाने की अनुमति दी जाए, शिक्षक एक त्वरित परीक्षण करता है।

वे नए ज्ञान के साथ छात्र द्वारा परीक्षा देने का अनुकरण (सिमुलेट) करते हैं।
वे परिणाम की तुलना उस परिणाम से करते हैं जो छात्र पहले कर रहा था।
निर्णय:
- यदि नया ज्ञान परीक्षा हॉल के सिमुलेशन में वास्तव में मदद करता है? तो इसे स्वीकार करें। छात्र अगले स्तर पर जाता है।
- यदि नया ज्ञान कक्षा में अच्छा दिखता है लेकिन परीक्षा हॉल के सिमुलेशन में भ्रम या त्रुटियां पैदा करता है? तो इसे अस्वीकार करें। छात्र पिछले संस्करण पर वापस लौट जाता है।

यह क्यों महत्वपूर्ण है

शोध पत्र ने गणित की समस्याओं पर एक "लो-प्रिसिजन" सेटिंग (जो कक्षा और परीक्षा हॉल के बीच के अंतर को बहुत स्पष्ट बना देती है, जैसे टूटे हुए बटनों वाले कैलकुलेटर पर गणित हल करना) का उपयोग करके इसका परीक्षण किया है।

पुराने तरीके: AI कक्षा में उच्च स्कोर देखकर उत्साहित हो जाता, अपडेट लागू कर देता, और फिर अचानक वास्तविक दुनिया में खराब प्रदर्शन करने लगता क्योंकि कक्षा का स्कोर एक "मृगतृष्णा" (mirage) था।
MIPU तरीका: AI स्थिर रहता है। यह थोड़ा धीरे सीख सकता है क्योंकि यह खराब अपडेट को अस्वीकार कर देता है, लेकिन यह वास्तव में कार्य में लगातार बेहतर होता जाता है। यह "क्रैश" होने से बचता है और ऊपर चढ़ना जारी रखता है।

मुख्य निष्कर्ष (The Bottom Line)

शोध पत्र का दावा है कि हम गलत चीज़ को ऑप्टिमाइज़ कर रहे थे। हम AI को ट्रेनिंग में बेहतर बनाने की कोशिश कर रहे थे, जबकि हमें इसे डिप्लॉयमेंट (तैनाती) में बेहतर बनाना चाहिए था।

एक सरल "रियलिटी चेक" चरण (चरण 2) जोड़कर और प्रशिक्षण नियमों को वास्तविक दुनिया के नियमों के साथ संरेखित करके (चरण 1), AI अधिक विश्वसनीय हो जाता है। यह एक नकली वातावरण में उच्च स्कोर के पीछे भागना बंद कर देता है और वास्तविक दुनिया के लिए वास्तविक, स्थिर सुधार करना शुरू कर देता है।

तकनीकी सारांश: प्रशिक्षण नीतियों का अनुकूलन करने का भ्रम (MIPU)

1. समस्या विवरण: LLM में उद्देश्य का गलत संरेखण (Objective Misalignment)

रीइन्फोर्समेंट लर्निंग (RL) बड़े भाषा मॉडलों (LLMs) के पोस्ट-ट्रेनिंग के लिए एक महत्वपूर्ण प्रतिमान बन गया है, विशेष रूप से तर्क (reasoning) और निर्देश-अनुपालन क्षमताओं को बढ़ाने के लिए। हालांकि, आधुनिक LLM RL पाइपलाइनों में अक्सर प्रशिक्षण-अनुमान अंतराल (training-inference mismatch) की समस्या होती है। व्यवहार में, LLMs जनरेशन (अनुमान, जैसे vLLM, SGLang) और ग्रेडिएंट गणना (प्रशिक्षण, जैसे FSDP, Megatron) के लिए अलग-अलग इंजनों का उपयोग करते हैं। सिंक्रोनाइज़्ड मॉडल पैरामीटर्स के बावजूद, परिशुद्धता (precision) में अंतर (जैसे, FP8 बनाम FP16), डिकोडिंग कार्यान्वयन और सर्विंग बैकएंड के कारण, प्रशिक्षण नीति ( $\pi$ ) और अनुमान नीति ( $\mu$ ) एक ही प्रक्षेपवक्र (trajectories) के लिए अलग-अलग संभावनाएँ असाइन करते हैं।

मौजूदा कार्य सैंपलर-साइड अनुपातों को ठीक करके, अस्थिर नमूनों को फ़िल्टर करके, या लर्निंग रेट को कम करके इस विसंगति को कम करने का प्रयास करते हैं। हालांकि, लेखक तर्क देते हैं कि ये दृष्टिकोण मूल कारण का समाधान नहीं करते हैं, बल्कि केवल लक्षणों का उपचार करते हैं: उद्देश्य का गलत संरेखण (objective misalignment)। मानक RL एल्गोरिदम प्रशिक्षण नीति ( $\pi$ ) को अनुकूलित करते हैं, यह मानते हुए कि $\pi$ में सुधार ( $J(\pi_{k+1}) - J(\pi_k) \ge 0$ ) तैनात (deployed) अनुमान नीति ( $\mu$ ) में सुधार की गारंटी देता है। पेपर यह प्रदर्शित करता है कि विसंगति की स्थितियों में, यह निहितार्थ लागू नहीं होता है:
$J(\pi_{k+1}) - J(\pi_k) \ge 0 \nRightarrow J(\mu_{k+1}) - J(\mu_k) \ge 0$
परिणामस्वरूप, एक सिंक्रोनाइज़्ड अपडेट जो प्रशिक्षण पक्ष पर फायदेमंद प्रतीत होता है, वास्तव में तैनाती में उपयोग की जाने वाली अनुमान नीति के प्रदर्शन को कम कर सकता है।

2. कार्यप्रणाली: मोनोटोनिक इन्फरेंस पॉलिसी अपडेट (MIPU)

इसे संबोधित करने के लिए, लेखक एक नया अनुकूलन सिद्धांत प्रस्तावित करते हैं, मोनोटोनिक इन्फरेंस पॉलिसी इम्प्रूवमेंट (MIPI), जो उद्देश्य को प्रशिक्षण नीति में सुधार करने से बदलकर अनुमान नीति के निरंतर सुधार ( $J(\mu_{k+1}) - J(\mu_k) \ge 0$ ) सुनिश्चित करने की ओर ले जाता है। वे इस सिद्धांत को मोनोटोनिक इन्फरेंस पॉलिसी अपडेट (MIPU) नामक दो-चरणीय ढांचे के माध्यम से साकार करते हैं।

MIPU का मूल आधार अनुमान नीति सुधार को तीन पदों (terms) में विभाजित करना है:
$J(\mu_{k+1}) - J(\mu_k) = \underbrace{[J(\mu_{k+1}) - J(\pi_{k+1})]}_{\text{Term 1: पोस्ट-अपडेट इन्फरेंस गैप}} + \underbrace{[J(\pi_{k+1}) - J(\pi_k)]}_{\text{Term 2: ट्रेनिंग-साइड अपडेट}} + \underbrace{[J(\pi_k) - J(\mu_k)]}_{\text{Term 3: प्री-अपडेट इन्फरेंस गैप}}$

चरण 1: सैंपलर-संदर्भित नीति अपडेट (Sampler-Referenced Policy Update)

यह चरण पदों 2 और 3 को मिलाकर ( $J(\pi_{k+1}) - J(\mu_k)$ ) अनुकूलित करता है।

तंत्र: मानक GRPO/PPO की तरह सरोगेट ऑब्जेक्टिव के लिए मानक प्रशिक्षण नीति $\pi_k$ का संदर्भ लेने के बजाय, MIPU अनुमान नीति $\mu_k$ (सैंपलर) का उपयोग संदर्भ के रूप में करता है।
कार्यान्वयन: लेखक एक ट्रंकेटेड इम्पोर्टेंस सैंपलिंग (TIS) दृष्टिकोण अपनाते हैं। वे प्री-अपडेट विसंगति को ध्यान में रखने के लिए एक करेक्शन वेट $w_i^k = \pi_k(y_i|x) / \mu_k(y_i|x)$ की गणना करते हैं। उच्च विचरण (variance) को रोकने के लिए, इस वेट को ट्रंकेट किया जाता है। इसके बाद क्लिपिंग बाधा (clipping constraint) को केवल वर्तमान अपडेट अनुपात $r_i(\theta) = \pi_\theta(y_i|x) / \pi_k(y_i|x)$ पर लागू किया जाता है।
लक्ष्य: यह एक उम्मीदवार प्रशिक्षण नीति $\pi_{k+1}$ उत्पन्न करता है जो सैद्धांतिक रूप से सैंपलर $\mu_k$ के साथ संरेखित है, जिससे "हाफवे" (halfway) मोनोटोनिसिटी $J(\pi_{k+1}) - J(\mu_k) \ge 0$ सुनिश्चित होती है।

चरण 2: इन्फरेंस-गैप-अवेयर अपडेट स्वीकृति (Inference-Gap-Aware Update Acceptance)

यह चरण Term 1 ( $J(\mu_{k+1}) - J(\pi_{k+1})$ ) को मान्य करता है, जो उम्मीदवार प्रशिक्षण नीति और उसके सिंक्रोनाइज़्ड अनुमान यथार्थ के बीच के अंतर को दर्शाता है।

तंत्र: $\pi_{k+1}$ को इन्फरेंस इंजन में सिंक्रोनाइज़ करके $\mu_{k+1}$ बनाने के बाद, सिस्टम पोस्ट-अपडेट इन्फरेंस गैप का मूल्यांकन करता है।
प्रॉक्सी अनुमान: चूंकि $\pi_{k+1}$ के तहत सटीक एडवांटेज उपलब्ध नहीं है, MIPU $\mu_{k+1}$ से वैलिडेशन रोलआउट्स का उपयोग करके गैप का अनुमान लगाने के लिए एक रिवर्स आइडेंटिटी का उपयोग करता है। यह एक प्रॉक्सी $\hat{T}_{post} = -\mathbb{E}[\rho_i \hat{A}_{\mu_{k+1}}]$ की गणना करता है, जहाँ $\rho_i$ $\mu_{k+1}$ से $\pi_{k+1}$ के वितरण बदलाव (distribution shift) को ठीक करने के लिए एक लेंथ-नॉर्मलाइज्ड इम्पोर्टेंस वेट है।
स्वीकृति मानदंड: अपडेट तभी स्वीकार किया जाता है जब $\hat{T}_{post} \ge -c$ हो, जहाँ $c$ एक टॉलरेंस पैरामीटर है। यदि गैप बहुत अधिक नकारात्मक है (जो यह दर्शाता है कि अनुमान नीति प्रशिक्षण उम्मीदवार से कम प्रदर्शन कर रही है), तो अपडेट को अस्वीकार कर दिया जाता है, और सिस्टम पिछले चेकपॉइंट पर वापस चला जाता है।

3. मुख्य योगदान

MIPI सिद्धांत: पेपर LLM RL में उद्देश्य के गलत संरेखण की पहचान और उसे औपचारिक रूप देता है, यह प्रस्तावित करते हुए कि अनुकूलन लक्ष्य अनुमान नीति का प्रक्षेपवक्र होना चाहिए, न कि प्रशिक्षण सरोगेट।
MIPU ढांचा: एक नया दो-चरणीय RL ढांचा जो उम्मीदवार निर्माण (चरण 1) को इन्फरेंस-गैप सत्यापन (चरण 2) से अलग करता है। यह सैंपलर-संदर्भित अपडेट और इन्फरेंस-अवेयर स्वीकृति के लचीले कार्यान्वयन की अनुमति देता है।
अनुभवजन्य सत्यापन: यह प्रदर्शित करता है कि उच्च-विसंगति सेटिंग्स (विशेष रूप से FP8-क्वांटाइज्ड रोलआउट्स) में मानक GRPO और अन्य स्टेबिलाइजेशन बेसलाइन्स की तुलना में MIPU, तर्क प्रदर्शन और प्रशिक्षण स्थिरता दोनों में सुधार करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने महत्वपूर्ण प्रशिक्षण-अनुमान विसंगति उत्पन्न करने के लिए FP8-क्वांटाइज्ड रोलआउट्स का उपयोग करते हुए Qwen3-1.7B और Qwen3-4B मॉडलों पर MIPU का मूल्यांकन किया। प्रशिक्षण गणितीय तर्क डेटासेट्स (DAPO-Math-17, DeepMath-103K) पर किया गया था और पांच बेंचमार्क (MATH-500, AIME24, AMC23, Minerva, OlympiadBench) पर मूल्यांकन किया गया।

प्रदर्शन: MIPU ने दोनों मॉडल स्केल्स पर उच्चतम औसत सटीकता प्राप्त की (Qwen3-4B पर 66.71% और Qwen3-1.7B पर 53.97%), जो मानक GRPO, MIS (मिसमैच फ़िल्टरिंग), और LR-decay जैसे बेसलाइन्स से बेहतर है।
स्थिरता: जबकि बेसलाइन्स अक्सर मध्यवर्ती चोटियों (intermediate peaks) तक पहुँचने के बाद तीव्र प्रदर्शन गिरावट या पतन (collapse) प्रदर्शित करते हैं, MIPU पूरी प्रक्रिया के दौरान स्थिर प्रशिक्षण गतिशीलता बनाए रखता है।
एब्लेशन अध्ययन (Ablation Studies):
- केवल चरण 1: उम्मीदवार की गुणवत्ता में सुधार किया लेकिन मिसमैच त्रुटियों के संचय को रोकने में विफल रहा, जिससे अस्थिरता हुई।
- केवल चरण 2: खराब अपडेट को अस्वीकार करके पतन को रोका लेकिन यदि अंतर्निहित बेसलाइन उम्मीदवार पक्षपाती थे तो प्रदर्शन में सुधार नहीं कर सका।
- पूर्ण MIPU: संयोजन आवश्यक था; चरण 1 ने अपडेट की दिशा को सुधारा, जबकि चरण 2 ने अविश्वसनीय उम्मीदवारों को फ़िल्टर किया, जिसके परिणामस्वरूप उच्च पीक प्रदर्शन और दीर्घकालिक स्थिरता दोनों प्राप्त हुई।
चरण 2 का विश्लेषण: लेखकों ने सत्यापित किया कि चरण 2 की सफलता केवल अधिक अपडेट को अस्वीकार करने के कारण नहीं है (एक "रैंडम रोलबैक" कंट्रोल अधिक अपडेट को अस्वीकार करने के बावजूद विफल रहा)। इसके बजाय, इसकी प्रभावशीलता इन्फरेंस-गैप सिग्नल का उपयोग करके हानिकारक और निर्दोष सिंक्रोनाइज़्ड उम्मीदवारों के बीच अंतर करने से आती है।

5. महत्व और दावे

पेपर का दावा है कि प्रशिक्षण-अनुमान विसंगति को केवल एक निम्न-स्तरीय सिस्टम विसंगति के रूप में नहीं देखा जाना चाहिए जिसे कम किया जाना है, बल्कि नीति सुधार के उद्देश्य में एक मौलिक बदलाव के रूप में देखा जाना चाहिए। प्रशिक्षण नीति से ध्यान हटाकर अनुमान नीति पर केंद्रित करके, MIPU उस "भ्रम" को संबोधित करता है जहाँ प्रशिक्षण-पक्ष के सुधार तैनाती लाभों में अनुवादित नहीं होते हैं।

लेखक विनम्रतापूर्वक नोट करते हैं कि कंप्यूटेशनल बाधाओं के कारण उनके प्रयोग वर्तमान में मध्यम-पैमाने के मॉडलों तक सीमित हैं और चरण 2 एक निश्चित कार्यान्वयन के बजाय एक लचीला डिज़ाइन स्पेस है। वे सुझाव देते हैं कि भविष्य का कार्य पोस्ट-अपडेट गैप के लिए अधिक कुशल अनुमानकों का पता लगा सकता है और इन सिद्धांतों को बड़े मॉडलों और विविध RL सिस्टम पर लागू कर सकता है। मुख्य योगदान एक प्रतिमान परिवर्तन (paradigm shift) है: यह सुनिश्चित करना कि उपयोग की जाने वाली नीति वह है जिसे अनुकूलित किया जा रहा है, न कि यह मान लेना कि प्रशिक्षण-पक्ष अनुकूलन पर्याप्त है।