🤖 machine learning

PS-PPO: Prefix-Sampling PPO for Critic-Free RLHF

यह शोध पत्र PS-PPO का प्रस्ताव करता है, जो एक कंप्यूट-कुशल क्रिटिक-मुक्त (critic-free) RLHF विधि है जो केवल यादृच्छिक रूप से नमूना लिए गए प्रक्षेपवक्र उपसर्गों (trajectory prefixes) के माध्यम से बैकप्रोपैगेट करके और एक निष्पक्ष ग्रेडिएंट एस्टिमेटर बनाए रखने के लिए महत्व भारण (importance weighting) का उपयोग करके प्रशिक्षण लागत और मेमोरी उपयोग को कम करता है।

मूल लेखक: Doo Hwan Hwang, Kee-Eung Kim

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Doo Hwan Hwang, Kee-Eung Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत बुद्धिमान छात्र (एक AI) को जटिल गणितीय समस्याओं को हल करना सिखा रहे हैं। छात्र अपने सोचने की पूरी प्रक्रिया, चरण-दर-चरण, कागज के एक टुकड़े पर लिखता है। बिल्कुल अंत में, आप अंतिम उत्तर की जाँच करते हैं। यदि वह सही है, तो आप उसे एक गोल्ड स्टार देते हैं; यदि वह गलत है, तो आप एक रेड 'X' देते हैं।

समस्या: "पूरा कागज" वाला दंड (The "Whole Paper" Penalty)
वर्तमान तरीकों में (जिन्हें शोध पत्र "क्रिटिक-फ्री" बेसलाइन कहता है), जब छात्र को गोल्ड स्टार या रेड 'X' मिलता है, तो शिक्षक पूरे कागज को समान रूप से महत्वपूर्ण मानता है। वे फिर से हर एक शब्द को पहले वाक्य से लेकर अंतिम वाक्य तक दोबारा पढ़ते हैं, ताकि अगली बार सुधार करने के लिए वे क्या बदल सकते हैं, यह समझ सकें।

यह तरीका समय की बर्बादी है। अक्सर, जब तक छात्र समाधान का मध्य भाग लिख चुका होता है, तब तक यह स्पष्ट हो जाता है कि वह सही होने जा रहा है या गलत। अंतिम कुछ वाक्य केवल "फिलर" या दोहराव होते हैं। फिर भी, शिक्षक हर बार उन अंतिम कुछ वाक्यों के लिए कंप्यूटर को गणित की पुनर्गणना करने के लिए मजबूर करता है। यह उस किताब के आखिरी पन्ने को दोबारा पढ़ने जैसा है जिसे आप पहले ही जान चुके हैं कि उसका अंत क्या है, सिर्फ यह तय करने के लिए कि आपको कहानी पसंद आई या नहीं। यह बहुत अधिक ऊर्जा (कंप्यूटिंग पावर) और मेमोरी लेता है।

समाधान: PS-PPO (द "स्मार्ट स्निप")
लेखक एक नया तरीका प्रस्तावित करते हैं जिसे PS-PPO (प्रिफिक्स-सैंपलिंग प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है। इसे "स्मार्ट स्निप" (Smart Snip) रणनीति के रूप में सोचें।

पूरे कागज को हर बार दोबारा पढ़ने के बजाय, शिक्षक एक विशेष नियम का उपयोग करता है यह तय करने के लिए कि: "मुझे सीखने के लिए इस कागज के कितने हिस्से को वास्तव में दोबारा पढ़ने की आवश्यकता है?"

"अनिश्चितता" का मीटर: शिक्षक छात्र के काम को लिखे जाने के दौरान देखता है। यदि छात्र एक ठोस योजना के साथ शुरुआत करता है, तो शिक्षक जानता है कि परिणाम पहले ही तय हो चुका है। शिक्षक कहता है, "ठीक है, मुझे आगे पढ़ने की आवश्यकता नहीं है।"
रैंडम कट (Random Cut): शिक्षक रुकने के लिए एक स्थान (कटऑफ) बेतरतीब ढंग से चुनता है। शायद वे कागज के 30% के बाद रुकते हैं, या 70% के बाद।
निष्पक्षता का तरीका (जादुई सूत्र): यह सबसे चतुर हिस्सा है। यदि शिक्षक केवल पहले 30% को पढ़ता है, तो हो सकता है कि वह बाद में हुई किसी महत्वपूर्ण चीज़ को मिस कर दे। इसे ठीक करने के लिए, शिक्षक एक गणितीय "निष्पक्षता समायोजन" (fairness adjustment) का उपयोग करता है।
- यदि वे जल्दी रुक जाते हैं, तो वे पहले 30% शब्दों को उनके लेसन प्लान में अधिक महत्व (weight) देते हैं।
- यदि वे देर से रुकते हैं, तो वे उन शब्दों को कम महत्व देते हैं।
- परिणाम: भले ही वे कागज का केवल एक हिस्सा पढ़ते हैं, लेकिन कई, कई उदाहरणों के माध्यम से वे जो औसत सबक सीखते हैं, वह बिल्कुल वैसा ही होता है जैसा कि यदि उन्होंने हर बार पूरा कागज पढ़ा होता।

यह क्यों मायने रखता है
शोध पत्र ने कठिन गणितीय समस्याओं (जैसे हाई स्कूल प्रतियोगिताओं में पाई जाने वाली) पर इसका परीक्षण किया। यहाँ उन्होंने क्या पाया:

गति (Speed): क्योंकि कंप्यूटर वाक्य के अंत की गणना करना बंद कर देता है, इसलिए यह बहुत तेजी से प्रशिक्षित होता है। उन्होंने देखा कि प्रशिक्षण समय में लगभग 33% से 45% की कमी आई।
मेमोरी (Memory): यह कम कंप्यूटर मेमोरी (RAM) का उपयोग करता है, जो ऐसा है जैसे काम करने के लिए आपको एक छोटी डेस्क की आवश्यकता हो।
प्रदर्शन (Performance): कम पढ़ने के बावजूद, AI उतना ही अच्छा सीखता है जितना कि वे तरीके जो सब कुछ पढ़ते हैं। उसे भी उतने ही गोल्ड स्टार मिलते हैं।

"बजट" का उदाहरण
कल्पना कीजिए कि आपके पास अपने छात्र को सुधारने के लिए प्रतिदिन 100 "सोचने वाले टोकन" (thinking tokens) का बजट है।

पुराना तरीका: आप हर एक कागज पर सभी 100 टोकन खर्च करते हैं, भले ही पहले 20 टोकनों में ही गलती स्पष्ट हो गई हो। आप जल्दी ही ऊर्जा समाप्त कर देते हैं।
PS-PPO तरीका: आप अपने 100 टोकन बुद्धिमानी से खर्च करते हैं। आसान कागजों पर, आप 20 टोकन खर्च करते हैं। कठिन कागजों पर जहाँ गलती गहराई में छिपी होती है, आप 80 टोकन खर्च करते हैं। लेकिन क्योंकि आपके पास एक "निष्पक्षता समायोजन" है, आप अभी भी सही सबक सीखते हैं। आप उसी समय में अधिक कागजों को बिना गुणवत्ता खोए पूरा कर लेते हैं।

संक्षेप में
PS-PPO AI मॉडल को अधिक कुशल बनाने का एक तरीका है। यह महसूस करता है कि लंबे, जटिल तर्क कार्यों के लिए, कहानी का अंत अक्सर नई जानकारी नहीं जोड़ता है। कहानी के अंत को "स्निप" (काट) कर और मुआवजे के लिए गणितीय रूप से समायोजन करके, AI उतना ही अच्छा सीखता है लेकिन बहुत कम कंप्यूटर पावर और समय का उपयोग करता है।

तकनीकी सारांश: PS-PPO: क्रिटिक-फ्री RLHF के लिए प्रीफिक्स-सैंपलिंग PPO

1. समस्या विवरण (Problem Statement)

रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) बड़े भाषा मॉडलों (LLMs) को मानवीय प्राथमिकताओं के साथ संरेखित करने के लिए एक मानक विधि है। हालाँकि, RLHF के साथ LLMs को प्रशिक्षित करना महत्वपूर्ण कम्प्यूटेशनल बाधाओं का सामना करता है, विशेष रूप से क्रिटिक-फ्री (critic-free) दृष्टिकोणों (जैसे, GRPO, RLOO) में जो एक अलग वैल्यू नेटवर्क को प्रशिक्षित करने से बचते हैं।

इन क्रिटिक-फ्री विधियों में, पूर्ण ट्राजेक्टरी (पूर्णता/completion) के लिए एक एकल स्केलर रिवॉर्ड (scalar reward) जनरेशन के बाद असाइन किया जाता है। एडवांटेज (advantages) की गणना करने के लिए यह रिवॉर्ड ट्राजेक्टरी के सभी टोकन में समान रूप से प्रसारित (broadcast) किया जाता है। फलस्वरूप, पॉलिसी अपडेट के लिए प्रत्येक रोलआउट के लिए फुल-ट्राजेक्टरी बैकप्रोपैगेशन (full-trajectory backpropagation) की आवश्यकता होती है। लेखक तर्क देते हैं कि यह अक्षम है क्योंकि कई रीजनिंग कार्यों (जैसे, स्टेप-बाय-स्टेप मैथ) में, मध्यवर्ती प्रीफिक्स (intermediate prefixes) अक्सर अंतिम परिणाम निर्धारित करने के लिए पर्याप्त जानकारी रखते हैं। लेखकों का अनुभवजन्य विश्लेषण (चित्र 1) दिखाता है कि एक ट्राजेक्टरी की सफलता दर पूर्णता समाप्त होने से बहुत पहले ही स्थिर हो जाती है, जिससे संकेत मिलता है कि सफिक्स (suffix) के टोकन रेडंडेंट (redundant) लर्निंग सिग्नल ले जाते हैं। इस प्रकार, फुल-ट्राजेक्टरी अपडेट इन रेडंडेंट सफिक्स पर पर्याप्त कंप्यूट और GPU मेमोरी बर्बाद करते हैं।

2. कार्यप्रणाली: PS-PPO (Methodology: PS-PPO)

लेखक प्रीफिक्स-सैंपलिंग प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PS-PPO) का प्रस्ताव करते हैं, जो एक कंप्यूट-कुशल, क्रिटिक-फ्री विधि है जो बैकवर्ड पास को ट्रंकेट (truncate) करते हुए अनबायस्ड ग्रेडिएंट एस्टिमेटर (unbiased gradient estimator) बनाए रखकर टेम्पोरल रेडंडेंसी (temporal redundancy) का लाभ उठाती है।

मुख्य तंत्र (Core Mechanism)

पूरी पूर्णता $o = [o_1, \dots, o_T]$ के माध्यम से बैकप्रोपैगेट करने के बजाय, PS-PPO प्रत्येक ट्राजेक्टरी के लिए एक कटऑफ टाइमस्टेप $H$ सैंपल करता है। पॉलिसी अपडेट केवल प्रीफिक्स $o_{\le H} = [o_1, \dots, o_H]$ पर किया जाता है।

यह सुनिश्चित करने के लिए कि यह ट्रंकेशन बायस (bias) पेश न करे, PS-PPO एक रीवेटिंग स्कीम (reweighting scheme) का उपयोग करता है:

कटऑफ डिस्ट्रीब्यूशन: एक प्रॉम्प्ट-कंडीशन्ड डिस्ट्रीब्यूशन $\xi_{1:T}$ को परिभाषित किया गया है, जहाँ $\xi_t = \Pr(H \ge t | x)$ वह प्रायिकता है कि $t$ -वें टोकन को रिटेन (retain) किया जाएगा। यह डिस्ट्रीब्यूशन गैर-बढ़ता (non-increasing) है ( $\xi_1 \ge \xi_2 \ge \dots \ge \xi_T$ )।
अनबायस्ड एस्टिमेटर: ट्रंकेटेड ट्राजेक्टरी के लिए ग्रेडिएंट को इनवर्स इन्क्लूजन प्रोबेबिलिटी (inverse inclusion probability) $1/\xi_t$ द्वारा रीवेट किया जाता है। परिणामी एस्टिमेटर $\hat{G}(\theta)$ है:
$\hat{G}(\theta) := \frac{1}{K} \sum_{k=1}^K \sum_{t=1}^{H^{(k)}} \frac{1}{\xi_t} g_t^{(k)}(\theta)$
जहाँ $g_t^{(k)}$ प्रति-टाइमस्टेप ग्रेडिएंट है। $H$ के सैंपलिंग पर इस एस्टिमेटर का एक्सपेक्टेशन (expectation) फुल-ट्राजेक्टरी अपडेट को रिकवर करता है।

कटऑफ डिस्ट्रीब्यूशन को अनुकूलित करना (Optimizing the Cutoff Distribution)

लेखक $\xi_{1:T}$ के चयन को एक कॉनवेक्स ऑप्टिमाइज़ेशन (convex optimization) समस्या के रूप में फॉर्म्युलेट करते हैं। लक्ष्य एक कंप्यूट बजट $B$ (बैकप्रोपैगेट किए गए टोकन की अपेक्षित संख्या) के अधीन ट्रंकेटेड ग्रेडिएंट एस्टिमेटर के वेरिएंस (variance) को कम करना है।

वैरिएंस सरोगेट (Variance Surrogate): लेखक इम्पॉर्टेंस सैंपलिंग द्वारा प्रेरित वेरिएंस के लिए एक सुलभ सरोगेट प्राप्त करते हैं, जिसे $\sum w_t(x) (1/\xi_t - 1)$ के रूप में अनुमानित किया जाता है, जहाँ $w_t(x)$ टाइमस्टेप $t$ पर अपडेट इम्पॉर्टेंस को दर्शाता है।
इम्पॉर्टेंस का प्रॉक्सी (Proxy for Importance): चूंकि सटीक स्कोर नॉर्म $\|\nabla_\theta \log \pi_\theta\|^2$ $∥ \nabla_{θ} lo g π_{θ} ∥^{2}$ की गणना करने के लिए फुल बैकवर्ड पास की आवश्यकता होती है (जो उद्देश्य को ही विफल कर देता है), लेखक आउटपुट हेड एक्टिवेशन और रिवॉर्ड अनसर्टेन्टी (reward uncertainty) पर आधारित एक फॉरवर्ड-ओनली प्रॉक्सी का उपयोग करते हैं।
- रिवॉर्ड अनसर्टेन्टी ( $u_t(x)$ ): इसे प्रीफिक्स स्टेट के दिए गए रिवॉर्ड के वेरिएंस का उपयोग करके अनुमानित किया जाता है, जिसे सफल और असफल रोलआउट्स के नेक्स्ट-टोकन डिस्ट्रीब्यूशन के बीच की दूरी द्वारा अनुमानित किया जाता है।
- ग्रेडिएंट नॉर्म प्रॉक्सी ( $\bar{\gamma}_t$ ): आउटपुट हेड ग्रेडिएंट नॉर्म से व्युत्पन्न।
ऑप्टिमाइज़ेशन: समस्या बजट बाधा और मोनोटोनिसिटी (monotonicity) के अधीन $\sum \frac{\bar{\gamma}_t(x,t) u_t(x)}{\xi_t}$ को मिनिमाइज़ करती है। समाधान मोनोटोनिसिटी बाधा को लागू करने के लिए पूल एडजसेंट वायोलेटर्स (PAV) एल्गोरिदम का उपयोग करके पाया जाता है।

एल्गोरिदम फ्लो (Algorithm Flow)

एक प्रॉम्प्ट के लिए $K$ पूर्णताएं (completions) जेनरेट करें।
टर्मिनल रिवॉर्ड्स की गणना करें और एडवांटेज को ब्रॉडकास्ट करें।
रोलआउट्स से प्रति-टाइमस्टेप अनसर्टेन्टी और ग्रेडिएंट प्रॉक्सी का अनुमान लगाएं।
अनुकूलतम मोनोटोन कटऑफ प्रोबेबिलिटीज $\xi^*_{1:T}$ प्राप्त करने के लिए कॉनवेक्स ऑप्टिमाइज़ेशन को हल करें।
$\xi^*$ द्वारा परिभाषित डिस्ट्रीब्यूशन से प्रत्येक ट्राजेक्टरी के लिए एक कटऑफ $H^{(k)}$ सैंपल करें।
केवल $t \le H^{(k)}$ टोकन पर बैकप्रोपैगेशन करें, लॉस को $1/\xi^*_t$ द्वारा रीवेट करें।

3. प्रमुख योगदान (Key Contributions)

PS-PPO फ्रेमवर्क: एक नवीन क्रिटिक-फ्री RLHF विधि जो बैकवर्ड पास के स्टोकेस्टिक ट्रंकेशन को पेश करती है, जिससे कंप्यूट और मेमोरी लागत काफी कम हो जाती है।
अनबायस्ड ट्रंकेशन एस्टिमेटर: एक इनवर्स-इन्क्लूजन-प्रोबेबिलिटी रीवेटेड एस्टिमेटर का सैद्धांतिक व्युत्पन्न जो बिना किसी अतिरिक्त रोलआउट या ऑक्सिलरी वैल्यू मॉडल की आवश्यकता के, एक्सपेक्टेशन में फुल-सीक्वेंस अपडेट को रिकवर करता है।
ऑप्टिमाइज्ड कटऑफ स्ट्रैटेजी: ग्रेडिएंट इम्पॉर्टेंस और रिवॉर्ड अनसर्टेन्टी के फॉरवर्ड-ओनली प्रॉक्सी का उपयोग करके, कंप्यूट बजट के विरुद्ध वेरिएंस रिडक्शन को संतुलित करने वाले कॉनवेक्स ऑप्टिमाइज़ेशन समस्या को हल करके, कहाँ ट्रंकेट करना है, यह निर्धारित करने के लिए एक सिद्धांत आधारित दृष्टिकोण।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करना कि PS-PPO मजबूत क्रिटिक-फ्री बेसलाइन्स (GRPO, DAPO, RLOO) के समान सटीकता प्राप्त करता है, जबकि प्रशिक्षण समय और पीक GPU मेमोरी को काफी कम कर देता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Llama-3.1-8B-Instruct और Qwen2.5-Math-7B का उपयोग करके गणितीय तर्क बेंचमार्क (MATH500, AMC 2023, Minerva Math, AIME 2024/2025) पर PS-PPO का मूल्यांकन किया।

प्रदर्शन (Performance): PS-PPO (Optimized) ने सभी बेंचमार्क पर DAPO और S-GRPO जैसे मजबूत बेसलाइन्स के मुकाबले तुलनात्मक या थोड़ा बेहतर Pass@1 सटीकता प्राप्त की। उदाहरण के लिए, MATH500 पर Llama-3.1-8B के साथ, PS-PPO ने 47.6% प्राप्त किया जबकि DAPO ने 46.8% प्राप्त किया।
दक्षता (Efficiency):
- प्रशिक्षण समय (Training Time): PS-PSO ने बेसलाइन्स की तुलना में प्रति स्टेप प्रशिक्षण समय में 33%–45% की कमी की। यह मुख्य रूप से कम फॉरवर्ड/बैकवर्ड लागत के कारण था, जो कटऑफ डिस्ट्रीब्यूशन की गणना के ओवरहेड से अधिक प्रभावी था।
- मेमोरी (Memory): ट्रंकेटेड सीक्वेंस के लिए एक्टिवेशन के स्टोरेज को कम करने के कारण पीक GPU मेमोरी उपयोग में 15%–17% की कमी आई।
- स्केलिंग (Scaling): दक्षता लाभ अधिकतम पूर्णता लंबाई ( $T_{max}$ ) बढ़ने के साथ अधिक स्पष्ट होते गए। $T_{max}=4096$ पर, PS-PPO अपडेट स्टेज में S-GRPO से 2.8x तेज़ और DAPO से 3.3x तेज़ था।
एब्लेशन (Ablations):
- बजट ( $B$ ): $B=128$ टोकन के बजट ने सटीकता और गति के बीच सबसे अच्छा ट्रेड-ऑफ प्रदान किया। छोटे बजट ने वेरिएंस बढ़ाया; बड़े बजट ने उच्च कंप्यूट लागत के साथ घटते रिटर्न दिए।
- कटऑफ स्ट्रैटेजी: "Optimized" स्ट्रैटेजी (कॉनवेक्स समस्या को हल करना) यूनिफॉर्म, टाइम-प्रायर और ह्यूरिस्टिक ट्रंकेशन स्ट्रैटेजी की तुलना में काफी बेहतर प्रदर्शन करती है, जो पुष्टि करती है कि सूचनात्मक प्रीफिक्स को एडेप्टिवली चुनना महत्वपूर्ण है।
- रोलआउट्स ( $K$ ): $K$ बढ़ाने से स्थिरता और प्रदर्शन में सुधार हुआ लेकिन प्रति-स्टेप कंप्यूट बढ़ गया। $K=8$ को एक व्यावहारिक ट्रेड-ऑफ के रूप में पहचाना गया।

5. महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि PS-PPO काफी कम संसाधन आवश्यकताओं के तहत बड़े भाषा मॉडलों को संरेखित करने के लिए एक स्केलेबल पथ प्रदान करता है। मुख्य महत्व इस अवलोकन में निहित है कि रीजनिंग ट्रेसेस में इंटरमीडिएट प्रीफिक्स अक्सर अंतिम परिणाम निर्धारित करने के लिए पर्याप्त जानकारी रखते हैं, जिससे फुल-ट्राजेक्टरी अपडेट कम्प्यूटेशनल रूप से रेडंडेंट हो जाता है।

स्टोकेस्टिक प्रीफिक्स सैंपलिंग और इम्पॉर्टेंस वेटिंग के माध्यम से लर्निंग सिग्नल को पूर्ण अनुक्रम लंबाई से अलग करके, PS-PPO निम्न कार्य सक्षम करता है:

कम हार्डवेयर बाधाएं: कम पीक मेमोरी और कंप्यूट लागत RLHF को शैक्षणिक और संसाधन-बाधित समूहों के लिए अधिक सुलभ बनाती है।
कुशल लॉन्ग-कॉन्टेक्स्ट ट्रेनिंग: यह विधि लंबे रीजनिंग ट्रेसेस के लिए विशेष रूप से प्रभावी है जहाँ फुल बैकप्रोपैगेशन की लागत निषेधात्मक होती है।

लेखक एक मध्यम स्वर बनाए रखते हैं, यह नोट करते हुए कि PS-PPO एक ऑप्टिमाइज़ेशन विधि है जो दक्षता में सुधार करती है लेकिन स्वाभाविक रूप से मॉडल सुरक्षा या व्यवहार को निर्धारित नहीं करती है; ये रिवॉर्ड स्पेसिफिकेशन, ट्रेनिंग डेटा और डिप्लॉयमेंट गार्डरेल्स पर निर्भर करते हैं। विधि एक्सपेक्टेशन में फुल-सीक्वेंस ऑब्जेक्टिव के सैद्धांतिक गुणों को सुरक्षित रखती है, यह सुनिश्चित करती है कि दक्षता लाभ बायस्ड लर्निंग की कीमत पर न हों।