🤖 machine learning

Near-Future Policy Optimization

यह शोध पत्र नियर-फ्यूचर पॉलिसी ऑप्टिमाइज़ेशन (NPO) का प्रस्ताव करता है, जो एक मिश्रित-पॉलिसी सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) विधि है जो अभिसरण (कन्वर्जेंस) को गति देने और प्रदर्शन में सुधार करने के लिए उच्च-गुणवत्ता वाले, कम-विचलन वाले प्रशिक्षण संकेतों के रूप में मॉडल के अपने भविष्य के चेकपॉइंट्स का लाभ उठाता है, साथ ही इसमें ऑटोएनपीओ (AutoNPO) नामक एक अनुकूलित संस्करण भी है जो इस प्रक्रिया को स्वचालित रूप से अनुकूलित करता है।

मूल लेखक: Chuanyu Qin, Chenxu Yang, Qingyi Si, Naibin Gu, Dingyu Yao, Zheng Lin, Peng Fu, Nan Duan, Jiaqi Wang

प्रकाशित 2026-04-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chuanyu Qin, Chenxu Yang, Qingyi Si, Naibin Gu, Dingyu Yao, Zheng Lin, Peng Fu, Nan Duan, Jiaqi Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को जटिल गणित की समस्याएं हल करना सिखा रहे हैं। आपके पास एक पाठ्यपुस्तक (AI मॉडल) है, और आप चाहते हैं कि वह और भी बुद्धिमान बने।

AI की दुनिया में, एक लोकप्रिय विधि है जिसे Reinforcement Learning with Verifiable Rewards (RLVR) कहा जाता है। इसे एक "कोशिश करो, असफल हो जाओ, सीखो" वाले लूप के रूप में सोचें। छात्र एक समस्या को हल करने की कोशिश करता है। यदि वह सही उत्तर देता है, तो उसे एक 'गोल्ड स्टार' मिलता है। यदि वह गलत होता है, तो वह फिर से प्रयास करता है। लक्ष्य अधिक से अधिक गोल्ड स्टार प्राप्त करना है।

हालाँकि, इस विधि के साथ एक समस्या है: छात्र अटक जाता है।

शुरुआत में: उसे कठिन समस्याओं को हल करने के लिए पर्याप्त ज्ञान नहीं है, इसलिए उसे शायद ही कभी गोल्ड स्टार मिलते हैं। वह एक "कोल्ड स्टार्ट" (cold start) में फंस जाता है।
बाद में: वह कुछ प्रकार की समस्याओं में कुशल हो जाता है लेकिन सुधार करना बंद कर देता है। वह एक "सीलिंग" (ceiling) या सीमा पर पहुँच जाता है जहाँ वह केवल एक ही तरह की रणनीतियों को दोहराता रहता है, भले ही वे रणनीतियाँ एकदम सटीक न हों।

पुराने समाधान (और वे क्यों विफल रहे)

शोधकर्ताओं ने बाहरी मदद लाकर इसे ठीक करने की कोशिश की, लेकिन दोनों विकल्पों में खामियां थीं:

"सुपर-जीनियस ट्यूटर" (बाहरी शिक्षक): आप एक बहुत ही बुद्धिमान शिक्षक को लाते हैं जो छात्र को समस्या हल करने का तरीका दिखाता है।
- समस्या: शिक्षक बहुत अधिक बुद्धिमान है। उनके सोचने का तरीका छात्र से इतना अलग है कि छात्र भ्रमित हो जाता है। यह वैसा ही है जैसे किसी छोटे बच्चे को क्वांटम फिजिक्स सिखाने की कोशिश करना। छात्र पाठ को आत्मसात नहीं कर पाता क्योंकि अंतर बहुत अधिक है।
"पुराना होमवर्क" (पिछले ट्राजेक्टरीज): आप छात्र को पिछले सप्ताह के अपने सफल होमवर्क को फिर से देखने के लिए कहते हैं।
- समस्या: होमवर्क बहुत आसान है। छात्र वह सब पहले ही सीख चुका है। यह उसे कुछ नया या कठिन सीखने के लिए प्रेरित नहीं करता। वह बस वही करता रहता है जो वह पहले से जानता है।

नया विचार: "नियर-फ्यूचर पॉलिसी ऑप्टिमाइजेशन" (NPO)

लेखकों ने एक शानदार, सरल समाधान निकाला: छात्र को उसके अपने "भविष्य के स्वरूप" (future self) से सीखने दें।

एक टाइम मशीन की कल्पना करें। आप आज छात्र के प्रशिक्षण को रोक देते हैं। आप उसे भविष्य में 20 कदम आगे ले जाते हैं, जहाँ उसने थोड़ा और सीखा है। आप उस "भविष्य के छात्र" को लेते हैं, उसे कठिन समस्याओं को हल करने के लिए कहते हैं, और फिर उन समाधानों को वापस "वर्तमान छात्र" के पास ले आते हैं।

यही NPO है।

यह "गोल्डिलॉक्स" (Goldilocks) समाधान क्यों है?

बहुत दूर नहीं (सुपर-जीनियस की तरह नहीं): "भविष्य का छात्र" केवल थोड़ा ही आगे है। वह वर्तमान छात्र की तरह ही सोचता है, इसलिए सबक समझना आसान है।
बहुत करीब नहीं (पुराने होमवर्क की तरह नहीं): "भविष्य के छात्र" ने कुछ नए तरीके सीख लिए हैं और वह उन समस्याओं को हल कर सकता है जिनमें वर्तमान छात्र विफल हो रहा है। वह एक ऐसी चुनौती प्रदान करता है जो बिल्कुल सही है।

व्यवहार में यह कैसे काम करता है

शोधकर्ताओं ने इसे दो तरीकों से परखा:

"अर्ली बूस्ट" (Early Boost): शुरुआत में, छात्र संघर्ष कर रहा होता है। सिस्टम प्रशिक्षण के कुछ मिनट आगे के "भविट छात्र" को चुनता है। यह वर्तमान छात्र को एक शुरुआती बढ़त देता है, जिससे वह अपने दम पर सीखने की तुलना में तेजी से सीख पाता है।
"सीलिंग ब्रेकर" (Ceiling Breaker): बाद में, जब छात्र एक पठार (plateau) पर पहुँच जाता है (सुधार करना बंद कर देता है), तो सिस्टम बहुत आगे के "भविष्य के छात्र" को चुनता है। उस छात्र ने कठिन तरकीबें सीख ली हैं। इन समाधानों को वर्तमान छात्र को दिखाकर, सिस्टम उस पठार को तोड़ देता है और छात्र को उच्च स्तर की बुद्धिमत्ता तक पहुँचा देता है।

उन्होंने एक AutoNPO प्रणाली भी बनाई। यह एक स्मार्ट कोच की तरह है जो छात्र पर नज़र रखता है। यदि कोच देखता है कि छात्र अटक गया है या ऊब गया है, तो कोच स्वचालित रूप से निर्णय लेता है, "ठीक है, चलिए भविष्य के छात्र को एक त्वरित सबक के लिए लाते हैं," बिना किसी मानवीय हस्तक्षेप के।

परिणाम

जब उन्होंने गणित और दृश्य पहेलियों (visual puzzles) को हल करने के लिए एक शक्तिशाली AI मॉडल (Qwen3-VL) पर इसका परीक्षण किया:

गति: AI शुरुआत में लगभग 2.1 गुना तेजी से सीखा।
कौशल: AI ने अन्य सभी विधियों की तुलना में उच्च अंतिम स्कोर प्राप्त किया, जिससे वह अधिक कठिन समस्याओं को हल करने में सक्षम हुआ।
दक्षता: इसे किसी सुपर-कंप्यूटर या अलग शिक्षक की आवश्यकता नहीं थी; इसे बस अपने थोड़े भविष्य के स्वरूप को देखने की आवश्यकता थी।

बड़ा चित्र रूपक (Metaphor)

पहाड़ चढ़ने की कल्पना करें।

मानक AI एक ऐसे हाइकर (पर्वतारोही) की तरह है जो अपने आप रास्ता खोजने की कोशिश कर रहा है। कभी-कभी वह कोहरे में खो जाता है (शुरुआती चरण), और कभी-कभी वह एक समतल सतह पर अटक जाता है (अंतिम चरण)।
बाहरी शिक्षक एक हेलीकॉप्टर की तरह हैं जो दूसरे पर्वत श्रृंखला से एक नक्शा गिराते हैं। नक्शा तो उत्तम है, लेकिन भूभाग बहुत अलग है, जिससे हाइकर उसका उपयोग नहीं कर पाता।
पिछले ट्राजेक्टरीज पहाड़ के निचले हिस्से के नक्शे को देखने जैसा है। यह परिचित है, लेकिन यह आपको ऊपर चढ़ने में मदद नहीं करता।
NPO एक हाइकर के अपने ही थोड़ा आगे के संस्करण को देखने जैसा है जिसने अभी-अभी अगला हाथ रखने योग्य स्थान (handhold) खोजा है। यह वही पहाड़ है, वही हाइकर है, बस कुछ कदम आगे है। यह एक आदर्श मार्गदर्शक है क्योंकि यह जानता है कि हाइकर कहाँ है और उसे आगे कहाँ जाना है।

संक्षेप में: सीखने का सबसे अच्छा तरीका किसी जीनियस को सुनना या अपने पुराने नोट्स को फिर से पढ़ना नहीं है; यह उस व्यक्ति से सीखना है जो आप बनने वाले हैं।

यहाँ शोध पत्र "Near-Future Policy Optimization" (NPO) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) रीजनिंग मॉडल्स (जैसे GRPO का उपयोग करके) के लिए मानक पोस्ट-ट्रेनिंग विधि बन गया है। हालाँकि, शुद्ध ऑन-पॉलिसी (on-policy) एक्सप्लोरेशन दो संरचनात्मक सीमाओं का सामना करता है:

प्रारंभिक प्रशिक्षण (Early Training): सही ट्रेजेक्टरीज (trajectories) विरल (sparse) होती हैं, जिससे कमजोर ग्रेडिएंट सिग्नल के साथ एक "कोल्ड स्टार्ट" की स्थिति उत्पन्न होती है।
विलंबित प्रशिक्षण (Late Training): रोलआउट डिस्ट्रीब्यूशन संकुचित हो जाता है, जिससे मॉडल एक परफॉरमेंस प्लेटो (performance plateau) पर पहुँच जाता है जहाँ वह अपनी वर्तमान क्षमताओं से परे नए समाधानों की खोज नहीं कर पाता।

इसे संबोधित करने के लिए, शोधकर्ताओं ने मिक्स्ड-पॉलिसी (mixed-policy) विधियों की खोज की है जो ऑफ-पॉलिसी ट्रेजेक्टरीज को पेश करती हैं। मौजूदा दृष्टिकोण एक मौलिक ट्रेड-ऑफ (trade-off) से ग्रस्त हैं:

बाहरी शिक्षक / दूर-भविष्य के मॉडल (External Teachers / Far-Future Models): उच्च गुणवत्ता वाली ट्रेजेक्टरीज ( $Q$ ) प्रदान करते हैं लेकिन एक बड़ा डिस्ट्रीब्यूशनल गैप (distributional gap) पैदा करते हैं, जिसके परिणामस्वरूप उच्च वेरिएंस लागत ( $V$ ) होती है जो प्रशिक्षण को अस्थिर कर देती है।
ऐतिहासिक रिप्ले (Historical Replay - Past Trajectories): वर्तमान डिस्ट्रीब्यूशन के करीब रहते हैं (कम $V$ ) लेकिन उनकी गुणवत्ता ( $Q$ ) सीमित होती है क्योंकि वे शुरुआती, कमजोर चेकपॉइंट्स से उत्पन्न होते हैं।

मुख्य चुनौती एक ऐसा ट्रेजेक्टरी स्रोत खोजने की है जो नए ज्ञान को सिखाने के लिए पर्याप्त मजबूत हो ( $High \ Q$ ) लेकिन अवशोषित करने के लिए पर्याप्त निकट हो ( $Low \ V$ ), जिससे प्रभावी लर्निंग सिग्नल $S = Q/V$ अधिकतम हो सके।

2. कार्यप्रणाली: Near-Future Policy Optimization (NPO)

लेखक NPO का प्रस्ताव करते हैं, जो एक मिक्स्ड-पॉलिसी स्कीम है जहाँ वर्तमान पॉलिसी अपने स्वयं के "निकट-भविष्य के स्व" (near-future self) (उसी ट्रेनिंग रन से एक बाद का चेकपॉइंट) से सीखती है।

मुख्य अवधारणा: क्वालिटी-वेरिएंस ट्रेड-ऑफ (The Quality-Variance Trade-off)

शोध पत्र प्रभावी लर्निंग सिग्नल को $S(\Delta) = Q(\Delta) / V(\Delta)$ के रूप में औपचारिक रूप देता है, जहाँ $\Delta$ वर्तमान पॉलिसी और गाइड पॉलिसी के बीच स्टेप डिस्टेंस है।

$Q(\Delta)$ (सिग्नल क्वालिटी): जैसे-जैसे $\Delta$ बढ़ता है, यह बढ़ता है क्योंकि भविष्य का चेकपॉइंट अधिक अनुकूलित (optimized) होता है।
$V(\Delta)$ (वेरिएंस कॉस्ट): पॉलिसी डिस्ट्रीब्यूशन में विचलन के कारण $\Delta$ बढ़ने के साथ यह तेजी से (exponentially) बढ़ता है।
$\text{Optimal } \Delta^*$ : एक अद्वितीय आंतरिक इष्टतम (interior optimum) मौजूद है जहाँ गाइड पर्याप्त दूर है ताकि नए समाधान दे सके, लेकिन इतना निकट भी है कि वेरिएंस कम रहे। NPO इसी "हाई-S" क्षेत्र को लक्षित करता है।

एल्गोरिद्मिक तंत्र (Algorithmic Mechanism)

NPO मानक RLVR रोलआउट ग्रुप फॉर्मेशन को संशोधित करता है:

ऑफलाइन कैशिंग (Offline Caching): एक ट्रेनिंग सेगमेंट से पहले, एक निकट-भविष्य का चेकपॉइंट $\pi(t+\Delta)$ प्रॉम्प्ट्स को ऑफलाइन रोल आउट करने के लिए उपयोग किया जाता है। सत्यापित सही ट्रेजेक्टरीज को कैश (cache) किया जाता है।
कंडीशनल इंजेक्शन (Conditional Injection): स्टेप $t$ $t$ पर प्रशिक्षण के दौरान, एक प्रॉम्प्ट $x$ $x$ के लिए:
- वर्तमान पॉलिसी $\pi(t)$ $n$ ट्रेजेक्टरीज सैंपल करती है।
- यदि ऑन-पॉलिसी पास-रेट कम है (जो दर्शाता है कि मॉडल संघर्ष कर रहा है) और $\pi(t+\Delta)$ से एक कैश की गई सही ट्रेजेक्टरी मौजूद है, तो रोलआउट ग्रुप के $n$ -वें स्लॉट को भविष्य की ट्रेजेक्टरी द्वारा बदल (replace) दिया जाता है।
- अन्यथा, ग्रुप पूरी तरह से ऑन-पॉलिसी रहता है।
ऑब्जेक्टिव (Objective): मानक क्लिप्ड PPO ऑब्जेक्टिव का उपयोग किया जाता है। महत्वपूर्ण बात यह है कि क्योंकि गाइड एक "निकट-भविष्य" का चेकपॉइंट है, इसलिए इम्पोर्टेंस सैंपलिंग (IS) रेश्यो $\pi_\theta / \pi_{t+\Delta}$ 1 के करीब होता है। लेखक प्रदर्शित करते हैं कि सटीक IS सुधार अक्सर अनावश्यक होता है, जिससे कार्यान्वयन सरल हो जाता है और कंप्यूट कम होता है।

AutoNPO: एडेप्टिव इंटरवेंशन (Adaptive Intervention)

यह नियंत्रित करने के लिए कि कब और कितना दूर हस्तक्षेप करना है, लेखक AutoNPO प्रस्तावित करते हैं:

ट्रिगर (Trigger): एक्सप्लोरेशन कोलैप्स या प्लेटो का पता लगाने के लिए ऑनलाइन सिग्नल्स (रिवॉर्ड स्टैग्नेशन, एंट्रॉपी डिक्लाइन) की निगरानी करता है।
चयन (Selection): विफल प्रॉम्प्ट्स के एक "मिस्टेक पूल" का उपयोग करके $S(\Delta)$ के एक अनुभवजन्य अनुमान को अधिकतम करके स्वचालित रूप से इष्टतम रोलबैक डिस्टेंस $\Delta^*$ की गणना करता है।
निष्पादन (Execution): प्रशिक्षण को $t-\Delta^*$ पर रोल बैक करता है और निकट-भविष्य के गाइड का उपयोग करके सेगमेंट को फिर से चलाता है, और फिर आगे बढ़ता है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): ऑफ-पॉलिसी RLVR में $Q/V$ ट्रेड-ऑफ को औपचारिक रूप दिया, यह सिद्ध करते हुए कि एक "निकट-भविष्य" का चेकपॉइंट प्रभावी लर्निंग सिग्नल $S$ के लिए एक अद्वितीय इष्टतम प्रदान करता है, जो बाहरी शिक्षकों और ऐतिहासिक रिप्ले दोनों से बेहतर है।
NPO एल्गोरिदम: एक प्लग-एंड-प्ले मिक्स्ड-पॉलिसी स्कीम जो अंडरलाइंग RL ऑब्जेक्टिव को बदले बिना वर्तमान रोलआउट ग्रुप में सत्यापित ट्रेजेक्टरीज को इंजेक्ट करती है।
AutoNPO फ्रेमवर्क: एक एडेप्टिव कंट्रोलर जो स्वचालित रूप से प्रशिक्षण प्लेटो का पता लगाता है और इष्टतम गाइड चेकपॉइंट का चयन करता है, जो प्रारंभिक-चरण के बूटस्ट्रैपिंग और विलंबित-चरण के ब्रेकथ्रू को एकीकृत करता है।
सरलीकरण (Simplification): प्रदर्शित किया कि निकट-पॉलिसी गाइड्स के लिए सटीक इम्पोर्टेंस सैंपलिंग सुधार मामूली है, जिससे अधिक कुशल कार्यान्वयन संभव होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

आठ मल्टीमॉडल रीजनिंग बेंचमार्क्स (जैसे, MMMU-Pro, MathVista, ZeroBench) पर GRPO एल्गोरिदम का उपयोग करके Qwen3-VL-8B-Instruct पर प्रयोग किए गए।

परफॉरमेंस गेन्स (Performance Gains):
- NPO (Manual): औसत सटीकता को 57.88 (Base GRPO) से बढ़ाकर 62.84 कर दिया।
- AutoNPO: इसे और बढ़ाकर 63.15 कर दिया, जो LUFFY (बाहरी शिक्षक), ExGRPO (ऐतिहासिक रिप्ले), और RLEP (दूर-भविष्य रिप्ले) सहित सभी बेसलाइन्स से बेहतर है।
ट्रेनिंग डायनेमिक्स (Training Dynamics):
- स्पीडअप (Speedup): प्रारंभिक-चरण के हस्तक्षेप ने अभिसरण (convergence) को ~2.1x तेज कर दिया।
- सीलिंग (Ceiling): विलंबित-चरण के हस्तक्षेप ने परफॉरमेंस प्लेटो को तोड़ा, वैनिला GRPO की तुलना में उच्च अंतिम सटीकता प्राप्त की।
- एंट्रॉपी (Entropy): GRPO के विपरीत, जो एंट्रॉपी कोलैप्स (समयपूर्व अभिसरण) से ग्रस्त है, AutoNPO ने हस्तक्षेप के बाद उच्च एंट्रॉपी बनाए रखी और एक्सप्लोरेशन को पुन: विस्तारित किया।
एब्लेशन (Ablation): NPO में इम्पोर्टेंस सैंपलिंग सुधार हटाने से नगण्य परफॉरमेंस लॉस हुआ, जो निकट-भविष्य के गाइड के लो-वेरिएंस गुण की पुष्टि करता है।

5. महत्व (Significance)

स्व-सुधार के लिए नया प्रतिमान (New Paradigm for Self-Improvement): NPO "टेम्पोरल सेल्फ-गाइडेंस" की अवधारणा पेश करता है, जहाँ एक मॉडल अपने स्वयं के भविष्य के ऑप्टिमाइजेशन स्टेट से सीखता है, जो मिक्स्ड-पॉलिसी RL और सेल्फ-डिस्टिलेशन के बीच के अंतर को पाटता है।
दक्षता (Efficiency): यह बाहरी शिक्षक मॉडल्स या जटिल रिवॉर्ड इंजीनियरिंग की आवश्यकता के बिना अत्याधुनिक परिणाम प्राप्त करता है, जो इसके बजाय प्रशिक्षण रन के प्राकृतिक विकास पर निर्भर करता है।
सामान्यीकरण (Generalizability): यह फ्रेमवर्क विभिन्न RLVR सेटिंग्स के लिए लागू करने योग्य है और रीजनिंग मॉडल प्रशिक्षण में निहित "कोल्ड स्टार्ट" और "प्लेटो" समस्याओं के लिए एक मजबूत समाधान प्रदान करता है।
सेल्फ-टॉट RLVR (Self-Taught RLVR): यह कार्य "सेल्फ-टॉट RLVR" के व्यापक शोध कार्यक्रम का हिस्सा है, जो NPO को "टेम्पोरल सेल्फ" आयाम के रूप में स्थापित करता है, जो पूर्ववर्ती "इन्फॉर्म्ड सेल्फ" और भविष्य के "पैरेलल सेल्फ" अवधारणाओं के पूरक के रूप में कार्य करता है।

संक्षेप में, NPO प्रदर्शित करता है कि RLVR के लिए सबसे प्रभावी सहायक सिग्नल बाहरी विशेषज्ञों या अतीत की यादों से नहीं, बल्कि मॉडल के अपने निकट-भविष्य की क्षमता से आता है, जो उच्च-गुणवत्ता वाले सिग्नल्स की आवश्यकता और लो-वेरिएंस अपडेट की स्थिरता के बीच प्रभावी ढंग से संतुलन बनाता है।