💬 NLP

LambdaPO: A Lambda Style Policy Optimization for Reasoning Language Models

LambdaPO एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) ढांचे को पेश करता है जो तर्क करने वाले भाषा मॉडलों के लिए GRPO के अखंड समूह माध्य बेसलाइन (monolithic group mean baseline) को एक विघटित, युग्मवार वरीयता संरचना (pairwise preference structure) और सूक्ष्म संकेतों को पकड़ने के लिए सिमेंटिक डेंसिटी रिवार्ड्स (semantic density rewards) से बदल देता है ताकि सूक्ष्म-स्तरीय अनुकूलन संकेतों को कैप्चर किया जा सके और जटिल कार्यों पर प्रदर्शन में सुधार किया जा सके।

मूल लेखक: Zhe Yuan, Yipeng Zhou, Jinghan Li, Xinyuan Chen, Bowen Deng, Zhiqian Chen, Liang Zhao

प्रकाशित 2026-05-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhe Yuan, Yipeng Zhou, Jinghan Li, Xinyuan Chen, Bowen Deng, Zhiqian Chen, Liang Zhao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "LambdaPO: A Lambda Style Policy Optimization for Reasoning Language Models" का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।

बड़ी तस्वीर: एक छात्र को सोचना सिखाना

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन भ्रमित छात्र (AI) को जटिल गणित की समस्याएं हल करना सिखाने की कोशिश कर रहे हैं। छात्र एक ही समस्या को हल करने के कई अलग-अलग तरीके बना सकता है, लेकिन कुछ रास्ते बंद गलियां हैं, कुछ बहुत उलझे हुए हैं, और केवल कुछ ही एकदम सटीक हैं।

इस शोध पत्र का लक्ष्य यह पता लगाना है कि छात्र को फीडबैक (प्रतिक्रिया) देने का सबसे अच्छा तरीका क्या है ताकि वे तेज़ी से सीख सकें और कम गलतियाँ करें।

समस्या: "औसत" का जाल

यह शोध पत्र एक लोकप्रिय विधि की ओर इशारा करता है जिसे GRPO (Group Relative Policy Optimization) कहा जाता है।

GRPO कैसे काम करता है: कल्पना कीजिए कि छात्र एक गणित की समस्या के 8 अलग-अलग समाधान लिखता है। शिक्षक (एल्गोरिदम) उन सभी 8 को देखता है, उनका औसत (average) स्कोर निकालता है, और फिर प्रत्येक छात्र को बताता है, "तुम औसत से बेहतर थे, इसलिए शाबाश!" या "तुम औसत से खराब थे, इसलिए फिर से कोशिश करो।"
खामी: शोध पत्र का तर्क है कि केवल "औसत" का उपयोग करना बहुत ही सतही है। यह एक ऐसे शिक्षक की तरह है जो कहता है, "तुम औसत हो," बिना यह बताए कि क्यों।
- यदि छात्र का समाधान एक खराब उत्तर की तुलना में थोड़ा बेहतर था लेकिन सबसे अच्छे उत्तर की तुलना में बहुत खराब था, तो "औसत" उस बारीकी को छिपा देता है।
- यह समूह को डेटा के एक एकल ढेर की तरह मानता है, जिससे एक समाधान दूसरे की तुलना में कैसे भिन्न है, इसका विशिष्ट विवरण खो जाता है। इससे छात्र के लिए एक "अच्छे" प्रयास और एक "बेहतरीन" प्रयास के बीच सूक्ष्म अंतर को समझना कठिन हो जाता है।

समाधान: LambdaPO (एक "आमने-सामने" मुकाबला कराने वाला कोच)

लेखक LambdaPO पेश करते हैं, जो छात्र को कोचिंग देने का एक नया तरीका है। औसत से तुलना करने के बजाय, LambdaPO समूह में मौजूद हर समाधान की आमने-सामने (head-to-head) अन्य समाधानों के विरुद्ध तुलना करता है।

उपमा: टूर्नामेंट ब्रैकेट (Tournament Bracket)

GRPO एक ऐसे कोच की तरह है जो स्कोरबोर्ड को देखता है और कहता है, "टीम का औसत स्कोर 50 था।"
LambdaPO एक ऐसे कोच की तरह है जो एक टूर्नामेंट देखता है जहाँ हर खिलाड़ी दूसरे खिलाड़ी से लड़ता है।
- यदि समाधान A, समाधान B को हरा देता है, तो समाधान A को एक अंक मिलता है।
- यदि समाधान A, समाधान C से हार जाता है, तो समाधान A एक अंक खो देता है।
- अंतिम स्कोर केवल "औसत से ऊपर" होने के बारे में नहीं है; यह इस बारे में है कि आपने विशिष्ट विरोधियों के खिलाफ कैसा प्रदर्शन किया।

"आत्मविश्वास" का मोड़ (The "Confidence" Twist)
LambdaPO एक चतुर मोड़ जोड़ता है: यह छात्र के अपने आत्मविश्वास को भी सुनता है।

यदि छात्र अनिश्चित है (उसे लगता है कि दो समाधान समान रूप से अच्छे हैं), तो कोच यह तय करने के लिए कि कौन जीता, वास्तविक गणितीय परिणामों पर ध्यान देता है।
यदि छात्र बहुत आत्मविश्वासी है कि समाधान A, समाधान B से बेहतर है, लेकिन गणित कहता है कि समाधान B वास्तव में बेहतर है, तो कोच एक बड़ा "सुधार" (correction) संकेत देता है। यह छात्र को यह समझने में मदद करता है कि वे अपनी अंतरात्मा (intuition) के बारे में गलत थे।

बोनस: "सिमेंटिक डेंसिटी रिवॉर्ड" (The "Semantic Density" Reward)

गणित की समस्याओं में, अंतिम उत्तर सही होना बहुत अच्छी बात है, लेकिन चरणों (steps) को सही करना अधिक कठिन है।

पुराना तरीका: यदि छात्र अंतिम संख्या गलत लिख देता है, तो उसे "0" मिलता है, भले ही उसने 90% तर्क (logic) सही ढंग से किया हो। यह एक ऐसी परीक्षा में फेल होने जैसा है क्योंकि आपने एक टाइपो (typo) कर दिया, जबकि आपने पूरी अवधारणा को समझा था।
नया तरीका (LambdaPO): लेखक एक "सिमेंटिक डेंसिटी रिवॉर्ड" जोड़ते हैं। यह एक ऐसे शिक्षक की तरह है जो छात्र के काम को पढ़ता है और सही शब्दों और तार्किक चरणों के उपयोग के लिए आंशिक क्रेडिट (partial credit) देता है, भले ही अंतिम संख्या थोड़ी गलत हो। यह केवल अंतिम परिणाम के बजाय तर्क की गुणवत्ता को पुरस्कृत करता है।

प्रयोगों में क्या हुआ?

शोधकर्ताओं ने विभिन्न AI मॉडल का उपयोग करके कठिन गणित और विज्ञान के प्रश्नों पर इस नई विधि का परीक्षण किया।

बेहतर स्कोर: LambdaPO के साथ प्रशिक्षित AI ने पुराने "औसत" वाले तरीके (GRPO) से प्रशिक्षित AI की तुलना में अधिक समस्याओं को सही ढंग से हल किया।
अधिक स्थिर सीखना: पुराने तरीके के कारण कभी-कभी AI भ्रमित हो जाता था और कुछ समय बाद बेतरतीब, खराब अनुमान लगाने लगता था (एक "कोलैप्स")। LambdaPO ने AI को स्थिर और केंद्रित रखा, जिससे वह भटकने से बच गया।
दक्षता (Efficiency): कुछ मामलों में, LambdaPO-प्रशिक्षित AI ने कम शब्दों (टोकन) का उपयोग करके समस्याओं को हल किया और पुराने तरीके के विपरीत, खुद को दोहराने के लूप में नहीं फंसा।

सारांश

LambdaPO AI को सोचने के लिए प्रशिक्षित करने का एक स्मार्ट तरीका है। AI को यह बताने के बजाय कि उसने "समूह के औसत" की तुलना में कैसा प्रदर्शन किया, यह उसे बताता है कि उसने अपने ही विशिष्ट प्रयासों की तुलना में कैसा प्रदर्शन किया। यह AI को केवल सही उत्तर पाने के लिए ही नहीं, बल्कि अच्छे तर्क लिखने के लिए भी पुरस्कृत करता है। यह AI को अधिक स्मार्ट, अधिक स्थिर और कठिन तर्क पहेलियों को हल करने में बेहतर बनाता है।

तकनीकी सारांश: LambdaPO – रीजनिंग लैंग्वेज मॉडल्स के लिए एक लैम्ब्डा स्टाइल पॉलिसी ऑप्टिमाइज़ेशन

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) में एक मौलिक सूचना-सैद्धांतिक बाधा (information-theoretic bottleneck) को संबोधित करता है, जो रीजनिंग कार्यों पर लार्ज लैंग्वेज मॉडल्स (LLMs) को अलाइन करने के लिए एक अग्रणी क्रिटिक-मुक्त (critic-free) सुदृढ़ीकरण शिक्षण (reinforcement learning) विधि है। जबकि GRPO स्पष्ट वैल्यू नेटवर्क को हटाकर और ट्रैजेक्टरी के एक समूह में रिवॉर्ड्स को सामान्य (normalize) करके प्रशिक्षण दक्षता में सुधार करता है, यह एक मोनोलिथिक सांख्यिकीय बेसलाइन (आमतौर पर समूह माध्य/group mean) पर निर्भर करता है।

लेखकों का तर्क है कि यह स्केलर रिडक्शन (scalar reduction) ट्रैजेक्टरी स्पेस की समृद्ध रिलेशनल टोपोलॉजी को ध्वस्त कर देता है। कोहॉर्ट (cohort) को एक अविभेदित समुच्चय (undifferentiated aggregate) मानकर, GRPO उन सूक्ष्म, पेयरवाइज़ प्रेफरेंस सिग्नल्स को त्याग देता है जो जटिल, रैंक-संवेदनशील रिवॉर्ड लैंडस्केप (जैसे, मल्टी-स्टेप मैथ रीजनिंग) में नेविगेट करने के लिए आवश्यक हैं। इसके परिणामस्वरूप सब-ऑप्टिमल क्रेडिट असाइनमेंट और उच्च ग्रेडिएंट वेरिएंस होता है, क्योंकि यह विधि उच्च-प्रदर्शन करने वाले उम्मीदवारों के बीच सूक्ष्म गुणात्मक अंतरों को नहीं पहचान पाती है। इसके अतिरिक्त, मानक रीजनिंग कार्यों में रिवॉर्ड स्पैरसिटी (reward sparsity) की समस्या होती है, जहाँ बाइनरी आउटकम सुपरविजन (सही/गलत) मध्यवर्ती तार्किक चरणों के लिए सघन संकेत (dense signals) प्रदान करने में विफल रहता है।

2. कार्यप्रणाली: लैम्ब्डा पॉलिसी ऑप्टिमाइज़ेशन (LambdaPO)

LambdaPO एक ऐसे ढांचे का प्रस्ताव करता है जो एडवांटेज एस्टीमेशन को एक स्केलर विचलन से बदलकर एक डिकम्पोज्ड, पेयरवाइज़ प्रेफरेंस स्ट्रक्चर के रूप में पुनर्गठित करता है, जो लर्निंग-टू-रैंक (LtR) में लैम्ब्डा रैंक फ्रेमवर्क से प्रेरित है।

2.1 पेयरवाइज़ डिकम्पोज्ड एडवांटेज (Pairwise Decomposed Advantage - PDA)

एडवांटेज को समूह माध्य ( $\mu_R$ ) से विचलन के रूप में गणना करने के बजाय, LambdaPO एक ट्रैजेक्टरी $o_i$ के लिए एडवांटेज को उसके कोहॉर्ट के सभी साथियों के विरुद्ध रिवॉर्ड डिफरेंशियल के एकीकृत योग के रूप में तैयार करता है। पेयरवाइज़ डिकम्पोज्ड एडवांटेज ( $A_\lambda$ ) को इस प्रकार परिभाषित किया गया है:

$A_\lambda(o_i) = \frac{1}{G-1} \sum_{j \neq i} \Delta R_{ij} \cdot \sigma\left(\frac{\Delta s_{ij}}{\tau}\right)$

जहाँ:

$\Delta R_{ij} = R(o_i) - R(o_j)$ ट्रैजेक्टरीज के बीच एक्सट्रिंसिक यूटिलिटी अंतर है।
$\Delta s_{ij} = \log \pi_\theta(o_i | q) - \log \pi_\theta(o_j | q)$ इनट्रिंसिक लॉग-प्रोबेबिलिटी गैप है, जो $o_i$ बनाम $o_j$ उत्पन्न करने में पॉलिसी के आत्मविश्वास को दर्शाता है।
$\sigma(\cdot)$ एक लॉजिस्टिक सिग्मॉइड फंक्शन है जो एक डायनेमिक वेटिंग फैक्टर के रूप में कार्य करता है।
$\tau$ एक टेम्परेचर पैरामीटर है जो प्रेफरेंस सरफेस की शार्पनेस को नियंत्रित करता है।

यह फॉर्मूलेशन एक स्टैटिक बेसलाइन को एक डायनेमिक, पीयर-कंडीशन्ड रेफरेंस से बदल देता है। ग्रेडिएंट अपडेट पेयरवाइज़ रिवॉर्ड डिफरेंशियल के समानुपाती हो जाता है, जिसे मॉडल के अपने कॉन्फिडेंस द्वारा भारित (weighted) किया जाता है। यह एक सेल्फ-एनीलिंग मैकेनिज्म बनाता है:

मॉडल कन्फ्यूजन (Model Confusion): जब मॉडल ट्रैजेक्टरीज के बीच अंतर नहीं कर पाता ( $s_i \approx s_j$ ), तो वेट मध्यम होता है, जिससे रिवॉर्ड अंतर सीखने की अनुमति मिलती है।
मिसअलाइनमेंट (Misalignment): यदि मॉडल आत्मविश्वास के साथ एक खराब ट्रैजेक्टरी को उच्च रैंक देता है, तो ग्रेडिएंट एक मजबूत करेक्शन सिग्नल प्रदान करता है।
कन्वर्जेंस (Convergence): जैसे-जैसे पॉलिसी रिवॉर्ड स्ट्रक्चर के साथ संरेखित होती है, ग्रेडिएंट स्वाभाविक रूप से कम होता जाता है, जिससे ओवर-ऑप्टिमाइज़ेशन रुकता है।

2.2 सिमेंटिक डेंसिटी रिवॉर्ड (Semantic Density Reward)

बाइनरी आउटकम सुपरविजन की स्पैरसिटी को कम करने के लिए, LambdaPO रिवॉर्ड फंक्शन को एक सिमेंटिक डेंसिटी रिवॉर्ड ( $R_{sem}$ ) के साथ संवर्धित करता है। यह सघन सिग्नल जेनरेटेड रीजनिंग ट्रेस और ग्राउंड-ट्रुथ सॉल्यूशन के बीच प्रिसिजन-रिकॉल अलाइनमेंट से प्राप्त होता है। विशेष रूप से, लेखक सही समाधान के साथ जेनरेटेड चेन-ऑफ-थॉट के अलाइनमेंट को मापने के लिए ROUGE-L F1-स्कोर का उपयोग करते हैं, जो गलत होने पर भी टोकन-लेवल फीडबैक प्रदान करता है।

2.3 एल्गोरिद्मिक फ्रेमवर्क

LambdaPO, PDA एस्टीमेटर को मानक PPO क्लिपिंग मैकेनिज्म में एकीकृत करता है। ट्रेनिंग लूप में शामिल हैं:

दिए गए प्रॉम्प्ट के लिए $G$ रिस्पॉन्स का एक कोहॉर्ट सैंपल करना।
रिवॉर्ड की गणना करना (एक्यूरेसी, फॉर्मेट और सिमेंटिक डेंसिटी को मिलाकर)।
प्रत्येक ट्रैजेक्टरी के लिए पेयरवाइज़ डिकम्पोज्ड एडवांटेज की गणना करना।
एक रेफरेंस मॉडल के विरुद्ध KL-डाइवर्जेंस पेनल्टी द्वारा नियमित (regularized) क्लिप्ड सरोगेट ऑब्जेक्टिव के माध्यम से पॉलिसी पैरामीटर्स को अपडेट करना।

3. मुख्य योगदान (Key Contributions)

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

मेथोडोलॉजिकल इनोवेशन: LambdaPO का परिचय, जो पेयरवाइज़ एडवांटेज डिकम्पोजिशन का लाभ उठाकर एक लेटेंट प्रेफरेंस मैनिफोल्ड से ग्रेडिएंट्स को साकार करता है, जिससे स्केलर बेसलाइन्स की रिलेशनल बाधा दूर होती है।
डेंस सिग्नल ऑग्मेंटेशन: सिमेंटिक डेंसी रिवॉर्ड मैकेनिज्म का प्रस्ताव, जो ग्राउंड-ट्रुथ रीजनिंग टोकन्स के रिकॉल और जेनरेटेड रेशनल्स की प्रिसिजन को स्पष्ट रूप से प्रोत्साहित करता है, जो आउटकम-आधारित सुपरविजन की स्पैरसिटी को संबोधित करता है।
एम्पिरिकल परफॉर्मेंस: व्यापक प्रयोगों के माध्यम से प्रदर्शन का प्रदर्शन कि LambdaPO गणितीय रीजनिंग और क्वेश्चन-आन्सरिंग बेंचमार्क्स पर GRPO से काफी बेहतर प्रदर्शन करता है, जिससे क्रिटिक-फ्री अलाइनमेंट के लिए एक नया स्टेट-ऑफ-द-आर्ट स्थापित होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Qwen3 (1.7B और 4B पैरामीटर्स) और Phi-4-mini (4B पैरामीटर्स) मॉडल परिवारों का उपयोग करके गणितीय तर्क (mathematical reasoning) और प्रश्न-उत्तर (question-answering) कार्यों पर LambdaPO का मूल्यांकन किया।

बेंचमार्क्स: प्रदर्शन को AIME24, AIME25, MATH-500, और GPQA-Diamond पर मापा गया।
परफॉर्मेंस गेन्स:
- Qwen3-4B पर, LambdaPO ने 76.49% की औसत सटीकता प्राप्त की, जो GRPO बेसलाइन (75.40%) की तुलना में +1.45% का सुधार है।
- Phi-4-mini पर, LambdaPO ने औसत स्कोर को 55.35% से बढ़ाकर 56.38% (+1.03%) कर दिया।
- विधि ने मूल्यांकित किए गए सभी कार्यों और मॉडल आर्किटेक्चर में निरंतर श्रेष्ठता दिखाई।
एब्लेशन स्टडीज (Ablation Studies):
- टेम्परेचर ( $\tau$ ): $\tau=1.5$ के इष्टतम तापमान ने सर्वश्रेष्ठ प्रदर्शन दिया, जो इस परिकल्पना की पुष्टि करता है कि मॉडल अनिश्चितता को ध्यान में रखने वाला एक "सॉफ्ट" रैंकिंग सिग्नल उच्च गुणवत्ता वाले ग्रेडिएंट प्रदान करता है।
- सिमेंटिक रिवॉर्ड: सिमेंटिक डेंसिटी रिवॉर्ड के समावेश ने विशिष्ट प्रदर्शन लाभ दिए, विशेष रूप से AIME बेंचमार्क पर।
ट्रेनिंग स्टेबिलिटी: ट्रेनिंग डायनेमिक्स के विज़ुअलाइज़ेशन से पता चला कि जबकि GRPO 1,200 स्टेप्स के बाद कैटास्ट्रोफिक पॉलिसी कोलैप्स (रिवॉर्ड लगभग शून्य तक गिरना) से ग्रस्त हुआ, LambdaPO ने लगातार उच्च रिवॉर्ड फ्लोर बनाए रखा, जो उच्च-वेरिएंस ग्रेडिएंट अपडेट के विरुद्ध बेहतर लचीलापन प्रदर्शित करता है।
केस स्टडीज: गुणात्मक विश्लेषण ने दिखाया कि LambdaPO ने GRO के रीजनिंग लूप में फंसने और अत्यधिक वर्बोसिटी (verbose repetition) की प्रवृत्ति को ठीक किया। एक ज्योमेट्री समस्या में, LambdaPO ~4k टोकन में सही समाधान तक पहुँचा, जबकि GRPO बिना निष्कर्ष तक पहुँचे ~8k टोकन खर्च कर गया।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि LambdaPO, LLMs के लिए RL की कार्यप्रणाली में एक सिद्धांतपूर्ण प्रगति का प्रतिनिधित्व करता है। पेयरवाइज़ इंफॉर्मेशन को रिकवर करके, जो मानक ग्रुप-रिलेटिव विधियों द्वारा खो दी जाती है, यह हल्के वजन वाले LLMs को स्पष्ट वैल्यू क्रिटिक्स के कम्प्यूटेशनल ओवरहेड के बिना बेहतर रीजनिंग प्रदर्शन प्राप्त करने में सक्षम बनाता है।

लेखक LambdaPO को एक समाधान के रूप में प्रस्तुत करते हैं जो लर्निंग-टू-रैंक की ग्रेडिएंट किनेमैटिक्स को ट्रस्ट-रीजन ऑप्टिमाइज़ेशन की स्थिरता के साथ जोड़ता है। वे दावा करते है कि यह विधि एक ऐसा लर्निंग सिग्नल प्रदान करती है जो दोनों डायरेक्शनली कोहेरेंट (वास्तविक रिवॉर्ड लैंडस्केप के अनुरूप) और डायनेमिकली सेल्फ-एनीलिंग (मॉडल के आत्मविश्वास के अनुकूल) है। यह कार्य सुझाव देता है कि जटिल रीजनिंग डोमेन में प्रतिस्पर्धी ट्रैजेक्टरीज के बीच सूक्ष्म भेदभाव करने के लिए "रिलेशनल बॉटलनेक" को संबोधित करना महत्वपूर्ण है।

पेपर निष्कर्ष निकालता है कि LambdaPO, रीजनिंग-ओरिएंटेड लैंग्वेज मॉडल्स की विश्वसनीयता और स्थिरता में सुधार के लिए एक स्केलेबल और कुशल मार्ग प्रदान करता है, जो संभवतः सहायक वैल्यू मॉडल्स पर निर्भरता को कम करके अलाइन्ड मॉडल्स को प्रशिक्षित करने के लिए इंजीनियरिंग बाधाओं को कम करता है।