🤖 machine learning

Hölder Policy Optimisation

यह शोध पत्र HölderPO प्रस्तुत करता है, जो एक सामान्यीकृत पॉलिसी ऑप्टिमाइज़ेशन फ्रेमवर्क है जो ग्रेडिएंट एकाग्रता और वेरिएंस स्थिरता को संतुलित करने के लिए होल्डर मीन पैरामीटर को गतिशील रूप से समायोजित करता है, जिससे ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) में फिक्स्ड एग्रीगेशन की सीमाओं को हल किया जाता है और गणितीय एवं कार्य-उन्मुख बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त किया जाता है।

मूल लेखक: Yuxiang Chen, Dingli Liang, Yihang Chen, Ziqin Gong, Chenyang Le, Zhaokai Wang, Jiachen Zhu, Lingyu Yang, Jianghao Lin, Weinan Zhang, Jun Wang

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuxiang Chen, Dingli Liang, Yihang Chen, Ziqin Gong, Chenyang Le, Zhaokai Wang, Jiachen Zhu, Lingyu Yang, Jianghao Lin, Weinan Zhang, Jun Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े भ्रमित छात्र (एक Large Language Model) को जटिल गणित की समस्याओं को हल करना या एक वीडियो गेम की दुनिया में नेविगेट करना सिखा रहे हैं। आप उन्हें अभ्यास के कई प्रयास देते हैं, और प्रत्येक प्रयास के लिए, आपको यह तय करना होता है: "उनके उत्तर में कौन से विशिष्ट शब्द सही होना सबसे महत्वपूर्ण थे?"

यह वह मुख्य चुनौती है जिसे यह शोध पत्र संबोधित करता है। लेखक एक नई शिक्षण पद्धति प्रस्तावित करते हैं जिसे HölderPO (Hölder Policy Optimisation) कहा जाता है।

सरल उपमाओं का उपयोग करके इसका विवरण यहाँ दिया गया है:

1. समस्या: "एक ही नियम वाला" शिक्षक

पिछले तरीकों (जैसे GRPO) ने एक ऐसे शिक्षक की तरह व्यवहार किया जो हमेशा एक छात्र के निबंध को ग्रेड देने के लिए एक ही नियम का उपयोग करता था।

अंकगणितीय माध्य (Arithmetic Mean - मानक GRPO): यह शिक्षक हर शब्द को समान रूप से औसत निकालता है। यदि छात्र 90% शब्द सही लिखता है लेकिन एक कठिन गणित की समस्या में एक महत्वपूर्ण "अहा!" क्षण (aha! moment) को छोड़ देता है, तो शिक्षक उस छूटे हुए क्षण को औसत में केवल एक मामूली सी चूक की तरह मानता है। छात्र उस विशिष्ट गलती से पर्याप्त नहीं सीख पाता है।
ज्यामितीय माध्य (Geometric Mean - अन्य विधियाँ): यह शिक्षक बहुत उदार है। वे ग्रेड को इस तरह सुचारू बनाते हैं कि कोई भी एक शब्द बहुत अधिक महत्वपूर्ण न हो जाए। यह उन आसान कार्यों के लिए अच्छा है जहाँ छात्र को बस निरंतर रहने की आवश्यकता होती है, लेकिन कठिन कार्यों पर, यह उन दुर्लभ, महत्वपूर्ण क्षणों को अनदेखा कर देता है जहाँ छात्र ने अंततः कुछ समझ लिया था।

मुद्दा: शोध पत्र ने पाया कि कोई एक "परफेक्ट" नियम नहीं है।

कठिन, विरल कार्यों पर (जैसे AIME गणित प्रतियोगिता): सही उत्तर कुछ दुर्लभ, शानदार चरणों पर निर्भर करता है। आपको एक ऐसे शिक्षक की आवश्यकता है जो उन विशिष्ट चरणों पर ज़ूम इन (zoom in) करे और बाकी को अनदेखा करे।
सघन कार्यों पर (जैसे मानक गणित का होमवर्क): सही उत्तर कई शब्दों में फैला हुआ होता है। आपको एक ऐसे शिक्षक की आवश्यकता है जो पूरी तस्वीर को देखे ताकि शोर (noise) से भ्रमित न हो।

2. समाधान: "डायल वाला" शिक्षक (HölderPO)

लेखकों ने एक नया सिस्टम बनाया है जिसमें एक एकल डायल (जिसे पैरामीटर $p$ कहा जाता है) है जो यह नियंत्रित करता है कि शिक्षक छात्र को ग्रेड कैसे देता है।

डायल को ऊपर घुमाने पर (High $p$ ): शिक्षक एक स्पॉटलाइट बन जाता है। वे उबाऊ, औसत शब्दों को अनदेखा करते हैं और तीव्रता से उन कुछ शब्दों पर ध्यान केंद्रित करते हैं जो "बेहद सही" या "बेहद गलत" थे। यह एक कोच की तरह है जो चिल्लाकर कहता है, "वह एक चाल जो तुमने चली वह एकदम सही थी! इसे फिर से करो!" यह छात्र को दुर्लभ, कठिन कौशल सीखने में मदद करता है।
डायल को नीचे घुमाने पर (Low $p$ ): शिक्षक एक वाइड-एंगल लेंस बन जाता है। वे शब्दों के पूरे क्रम को समान रूप से देखते हैं। यह छात्र को एक छोटी सी चीज़ को परफेक्ट करने के चक्कर में पागल होने से रोकता है और बाकी को अनदेखा करने से बचाता है। यह प्रशिक्षण को स्थिर और शांत रखता है।

3. गुप्त नुस्खा: "डायनेमिक शेड्यूल" (Dynamic Schedule)

शोध पत्र की सबसे बड़ी सफलता यह समझने में है कि आपको डायल को हमेशा एक ही स्थान पर नहीं रखना चाहिए।

एक मैराथन धावक के प्रशिक्षण की कल्पना करें:

प्रारंभिक चरण (द स्प्रिंट): जब धावक नया होता है, तो उसे शुरू करने के लिए विशिष्ट, विस्फोटक गतिविधियों को सीखने की आवश्यकता होती है। आप डायल को ऊपर (High $p$ ) घुमाते हैं। आप चिल्लाते हैं, "उस एक सटीक कदम पर ध्यान केंद्रित करो!" यह दुर्लभ, अच्छे संकेतों को बढ़ाता है ताकि वे आगे बढ़ सकें।
अंतिम चरण (द एंड्योरेंस): एक बार जब वे दौड़ना सीख जाते हैं, तो उन्हें अपने पैरों को लड़खड़ाने से बचाने के लिए एक स्थिर, सुचारू गति बनाए रखने की आवश्यकता होती है। आप डायल को नीचे (Low $p$ ) घुमाते हैं। आप कहते हैं, "अपने पूरे शरीर को संतुलित और सुचारू रखें।" यह उन्हें अत्यधिक सुधार करने और गिरने से रोकता है।

HölderPO स्वचालित रूप से प्रशिक्षण के दौरान डायल को "उच्च" से "निम्न" की ओर ले जाता है। यह "अहा!" क्षणों की आक्रामक रूप से तलाश करने से शुरू होता है और एक स्थिर समापन के लिए सब कुछ सुचारू बनाने के साथ समाप्त होता है।

4. परिणाम: दौड़ जीतना

लेखकों ने इस "डायल शिक्षक" का परीक्षण दो प्रकार की चुनौतियों पर किया:

गणित प्रतियोगिताएं (AIME, MATH, आदि): इस डायनेमिक पद्धति ने 54.9% औसत सटीकता प्राप्त की, जिसने पिछले सर्वश्रेष्ठ तरीकों को महत्वपूर्ण अंतर से पीछे छोड़ दिया। इसने सबसे कठिन गणित की समस्याओं (AIME) पर रिकॉर्ड तोड़ दिए क्योंकि यह सफलतापूर्वक उन दुर्लभ, सही तर्क चरणों को बढ़ा सका।
रोबोट/एजेंट कार्य (ALFWorld): एक सिम्युलेटेड दुनिया में जहाँ एक एजेंट को वस्तुओं को खोजने, साफ करने और गर्म करने का काम करना होता है, इस पद्धति ने 93.8% सफलता दर हासिल की। यह बहुत बड़ी बात है क्योंकि इसका मतलब है कि एजेंट लंबे, बहु-चरणीय कार्यों के दौरान शायद ही कभी खो जाता है या भ्रमित होता है।

सारांश

HölderPO को एक स्मार्ट प्रशिक्षण कोच के रूप में समझें जो जानता है कि कब छात्र को एक विशिष्ट सफलता पर ध्यान केंद्रित करने के लिए चिल्लाना है और कब उन्हें गलतियाँ करने से बचने के लिए शांत करना है। इन दोनों मोडों के बीच स्वचालित रूप से स्विच करके, यह AI मॉडल को पहले से कहीं अधिक तेज़ी से और अधिक विश्वसनीय रूप से कठिन समस्याओं को हल करना सिखाता है।

तकनीकी सारांश: होल्डर पॉलिसी ऑप्टिमाइजेशन (HölderPO)

1. समस्या विवरण

ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) जटिल रीजनिंग क्षमताओं के साथ लार्ज लैंग्वेज मॉडल्स (LLMs) को संरेखित करने के लिए एक प्रमुख, कंप्यूट-कुशल एल्गोरिदम के रूप में उभरा है, विशेष रूप से एक बाहरी क्रिटिक मॉडल की आवश्यकता को समाप्त करके। हालाँकि, GRPO टोकन-स्तरीय पॉलिसी अपडेट के लिए ट्राजेक्टरी-स्तरीय एडवांटेज को मैप करने हेतु एक फिक्स्ड एग्रीगेशन मैकेनिज्म पर निर्भर करता है। विशेष रूप से, यह एक अनुक्रम (sequence) के भीतर टोकन-स्तरीय इम्पॉर्टेंस रेश्यो को एग्रीगेट करने के लिए अंकगणितीय माध्य (arithmetic mean, $p=1$ ) का उपयोग करता है।

लेखक इस स्थिर दृष्टिकोण में एक महत्वपूर्ण सीमा की पहचान करते हैं: विभिन्न रीजनिंग टास्क अलग-अलग सिग्नल डेंसिटी (signal densities) प्रदर्शित करते हैं, और कोई भी एकल फिक्स्ड एग्रीगेशन फंक्शन सार्वभौमिक रूप से अनुकूल नहीं है।

स्पार्स-सिग्नल टास्क (Sparse-signal tasks) (जैसे, AIME, जहाँ सही रीजनिंग स्टेप्स दुर्लभ और उच्च-परिमाण के होते हैं): फिक्स्ड एग्रीगेशन जैसे अंकगणितीय माध्य अक्सर इन दुर्लभ "अहा मोमेंट्स" (aha moments) को साधारण टोकन्स के साथ औसत निकालकर कम कर देते हैं, या इसके विपरीत, उन्हें पर्याप्त रूप से प्रवर्धित (amplify) करने में विफल रहते हैं।
डेंस-सिग्नल टास्क (Dense-signal tasks) (जैसे, MATH, जहाँ सुपरविजन कई टोकन्स में वितरित होता है): ऐसे एग्रीगेशन जो उच्च-रेशियो वाले टोकन्स पर अत्यधिक ध्यान केंद्रित करते हैं, वे हाई-वैरिएंस ग्रेडिएंट अपडेट उत्पन्न कर सकते हैं, जिससे ट्रेनिंग कोलैप्स (training collapse) हो सकता है।

अनुभवजन्य अवलोकन (Empirical observations) एक ट्रेड-ऑफ प्रकट करते हैं: फिक्स्ड एग्रीगेशन जो ट्रेनिंग कोलैप्स को रोकते हैं, वे अक्सर स्पार्स टास्क पर पीक परफॉरमेंस देने में विफल रहते हैं, जबकि जो स्पार्स टास्क पर प्रदर्शन को अधिकतम करते हैं, वे डेंस टास्क पर अस्थिरता का शिकार हो सकते हैं। पेपर का तर्क है कि इष्टतम प्रोबेबिलिटी एग्रीगेशन एक स्थिरांक (constant) नहीं है, बल्कि टास्क सिग्नल डेंसिटी और ट्रेनिंग प्रोग्रेस का एक फंक्शन है।

2. कार्यप्रणाली: HölderPO

इसे हल करने के लिए, लेखक HölderPO प्रस्तावित करते हैं, जो एक सामान्यीकृत पॉलिसी ऑप्टिमाइजेशन फ्रेमवर्क है जो होल्डर मीन (Hölder mean) या $p$ -norm के माध्यम से टोकन-स्तरीय प्रोबेबिलिटी एग्रीगेशन को एकीकृत करता है।

मुख्य तंत्र (Core Mechanism)

एक फिक्स्ड मीन के बजाय, HölderPO एग्रीगेशन ऑपरेटर को एक स्केलर $p \in \mathbb{R}$ के साथ पैरामीटराइज़ करता है। टोकन-स्तरीय इम्पॉर्टेंस रेश्यो $\{r_{i,t}(\theta)\}$ के एक अनुक्रम के लिए, सीक्वेंस-स्तरीय सरोगेट टर्म $\rho_{i,p}(\theta)$ को इस प्रकार परिभाषित किया गया है:
$\rho_{i,p}(\theta) = \begin{cases} \left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} r_{i,t}(\theta)^p \right)^{1/p} & \text{यदि } p \neq 0 \\ \exp\left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \log r_{i,t}(\theta) \right) & \text{यदि } p = 0 \end{cases}$
यह फॉर्मूलेशन मानक GRPO ( $p=1$ , अंकगणितीय माध्य) और GSPO/GMPO ( $p \to 0$ , ज्यामितीय माध्य) को विशेष मामलों के रूप में रिकवर करता है, जबकि स्पेक्ट्रम को नकारात्मक मानों तक विस्तारित करता है।

सैद्धांतिक विश्लेषण: कंसंट्रेशन-स्टेबिलिटी ट्रेड-ऑफ (Concentration-Stability Trade-off)

पेपर $p$ के ऑप्टिमाइजेशन लैंडस्केप में भूमिका का एक सैद्धांतिक लक्षण वर्णन प्रदान करता है:

ग्रेडिएंट कंसंट्रेशन ( $p > 0$ ): जैसे-जैसे $p$ बढ़ता है, ग्रेडिएंट वेट डिस्ट्रीब्यूशन $W_{i,t}(p)$ उच्चतम इम्पॉर्टेंस रेश्यो वाले टोकन्स पर मोनोटोनिक रूप से केंद्रित होता है। यह स्पार्स, उच्च-परिमाण वाले लर्निंग सिग्नल्स को प्रवर्धित करता है (जो स्पार्स टास्क में शुरुआती चरण के सीखने के लिए महत्वपूर्ण है) लेकिन वेरिएंस बाउंड को ढीला कर देता है।
वेरिएंस बाउंड्स ( $p \le 0$ ): जैसे-जैसे $p$ घटता है (नेगेटिव वैल्यूज सहित), पॉलिसी ग्रेडिएंट एस्टीमेटर का वेरिएंस सख्ती से टाइट हो जाता है। नेगेटिव $p$ वैल्यूज कंसंट्रेशन को उल्टा कर देती हैं, जिससे $<1$ वाले रेश्यो वाले टोकन्स (जो हिचकिचाहट का संकेत देते हैं) को अधिक महत्व मिलता है, जो रीजनिंग डायवर्सिटी को बढ़ावा देता है और डेंस-सिग्नल टास्क पर ट्रेनिंग को स्थिर करता है।
ट्रेड-ऑफ: कोई भी स्थिर $p$ सिग्नल एम्प्लीफिकेशन और वेरिएंस मिनिमाइजेशन दोनों को एक साथ अधिकतम नहीं कर सकता। शुरुआती चरण के सिग्नल डिस्कवरी के लिए उच्च $p$ इष्टतम है, जबकि लेट-स्टेज कन्वर्जेंस स्टेबिलिटी के लिए निम्न (या नेगेटिव) $p$ इष्टतम है।

डायनेमिक शेड्यूलिंग स्ट्रैटेजी (Dynamic Scheduling Strategy)

यह पहचानते हुए कि ट्रेनिंग के साथ इष्टतम $p$ बदलता है, HölderPO एक डायनेमिक एनीलिंग एल्गोरिदम पेश करता है। $p$ को ट्रेनिंग लाइफसाइकिल के दौरान एक सकारात्मक प्रारंभिक मान ( $p_{high}$ ) से एक निम्न या नकारात्मक टर्मिनल मान ( $p_{low}$ ) तक मोनोटोनिक रूप से घटने के लिए शेड्यूल किया जाता है।

प्रारंभिक चरण (Early Phase): उच्च $p$ शुरुआती पॉलिसी इम्प्रूवमेंट को चलाने के लिए स्पार्स, उच्च-परिमाण वाले सिग्नल्स को प्रवर्धित करता है।
अंतिम चरण (Late Phase): निम्न/नेगेटिव $p$ स्थिर कन्वर्जेंस सुनिश्चित करने और मोड कोलैप्स को रोकने के लिए ग्रेडिएंट वेरिएंस बाउंड को सिकोड़ देता है।

3. मुख्य योगदान

HölderPO फ्रेमवर्क: एक सामान्यीकृत पॉलिसी ऑप्टिमाइजेशन फ्रेमवर्क जो अनुकूलनीय होल्डर पैरामीटर $p$ के माध्यम से विभिन्न मीन-आधारित एग्रीगेशन को एकीकृत करता है, जो स्टेटिक अंकगणितीय या ज्यामितीय माध्य से परे सर्च स्पेस को विस्तृत करता है।
सैद्धांतिक आधार (Theoretical Foundation): $p$ की दो-तरफा भूमिका का एक औपचारिक प्रमाण: बड़ा $p$ स्पार्स सिग्नल्स को प्रवर्धित करने के लिए ग्रेडिएंट्स को केंद्रित करता है, जबकि छोटा $p$ सख्ती से ग्रेडिएंट वेरिएंस को बांधता है। लेखक सिद्ध करते हैं कि कोई भी स्थिर कॉन्फ़िगरेशन दोनों छोरों को एक साथ प्राप्त नहीं कर सकता, जो डायनेमिक शेड्यूलिंग को प्रेरित करता है।
अनुभवजन्य सफलताएँ (Empirical Breakthroughs):
- दिखाया गया कि एक स्टेटिक उच्च $p$ (जैसे, $p=3$ ) चुनौतीपूर्ण AIME बेंचमार्क पर परफॉरमेंस सीलिंग को तोड़ देता है (46.7% सटीकता तक पहुँचता है)।
- दिखाया गया कि डायनेमिक शेड्यूलिंग ( $p: 2 \to -2$ ) इन लाभों को एकीकृत करती है, बिना किसी अतिरिक्त कंप्यूटेशनल ओवरहेड के SOTA परिणाम प्राप्त करती है।

4. प्रायोगिक परिणाम

लेखकों ने Qwen2.5-Math और Qwen2.5-Instruct बेस मॉडल्स का उपयोग करके गणितीय रीजनिंग और एजेंटिक निर्णय लेने के बेंचमार्क पर HölderPO का मूल्यांकन किया।

गणितीय रीजनिंग (Mathematical Reasoning):
- AIME24 (स्पार्स-सिग्नल): स्टेटिक $p=3$ ने 46.7% सटीकता प्राप्त की, जो पिछले GRPO रिकॉर्ड (43.3%) को पीछे छोड़ देती है।
- MATH500 (डेंस-सिग्नल): निम्न $p$ वैल्यूज (जैसे, $p=-1$ ) ने बेहतर स्थिरता और प्रदर्शन (85.0% सटीकता) दिया।
- कुल प्रदर्शन: डायनेमिक एनीलिंग स्ट्रैटेजी ( $p: 2 \to -2$ ) ने पांच गणितीय बेंचमार्क (AIME, AMC, MATH, Minerva, OlympiadBench) में 54.9% औसत सटीकता प्राप्त की। यह मानक GRPO पर 7.2% सापेक्ष लाभ का प्रतिनिधित्व करता है और PMPO जैसे समकालीन तरीकों से बेहतर प्रदर्शन करता है।
एजेंटिक टास्क (ALFWorld):
- ALFWorld बेंचमार्क पर, HölderPO ने 93.8% सफलता दर हासिल की, जो GRPO (72.8%) पर 28.8% सापेक्ष लाभ है।
- लेखक नोट करते हैं कि एजेंटिक टास्क के लिए, बेस मॉडल की डोमेन-विशिष्ट प्री-ट्रेनिंग की कमी के कारण एक अधिक कंजर्वेटिव शेड्यूल ( $p: 1 \to -1$ ) इष्टतम था, जो फ्रेमवर्क की अनुकूलन क्षमता को उजागर करता है।

5. महत्व और दावे

पेपर का दावा है कि HölderPO GRPO जैसे स्टेटिक पॉलिसी ऑप्टिमाइजेशन मेथड्स में अंतर्निहित मौलिक कंसंट्रेशन-स्टेबिलिटी ट्रेड-ऑफ को हल करता है। एग्रीगेशन मैकेनिज्म को एक फिक्स्ड हाइपरपैरामीटर के बजाय एक निरंतर डायल (continuous dial) के रूप में मानकर, फ्रेमवर्क मॉडल को निम्नलिखित अनुमति देता है:

ट्रेनिंग के शुरुआती चरणों के दौरान स्पार्स, उच्च-परिमाण वाले लर्निंग सिग्नल्स को आक्रामक रूप से प्रवर्धित करना।
बाद के चरणों में स्थिर कन्वर्जेंस सुनिश्चित करने के लिए ग्रेडिएंट वेरिएंस को सख्ती से नियंत्रित करना।

लेखक इस बात पर जोर देते हैं कि लॉन्ग-होरिजन रीजनिंग टास्क के लिए, जहाँ लर्निंग सिग्नल की प्रकृति विकसित होती है, यह डायनेमिक अनुकूलन क्षमता महत्वपूर्ण है। यह विधि बिना किसी अतिरिक्त कंप्यूटेशनल लागत के विविध बेंचमार्क पर SOTA प्रदर्शन प्राप्त करती है।

स्वीकृत सीमाएं (Limitations Acknowledged):

शेड्यूल उन हाइपरपैरामीटर्स ( $p_{high}, p_{low}$ , डिके शेप) को पेश करता है जिन्हें प्रत्येक टास्क के लिए अनुभवजन्य ट्यूनिंग की आवश्यकता होती है।
पॉजिटिव-कंसंट्रेशन रिजीम ( $p > 0$ ) रिवॉर्ड हैकिंग के प्रति संवेदनशील हो सकता है यदि वेरीफायर गलत-पॉजिटिव सिग्नल प्रदान करता है, क्योंकि यह उच्च-रेशियो वाले टोकन्स को आक्रामक रूप से प्रवर्धित करता है।

भावी कार्य (Future Work):
लेखक एक अनुकूली शेड्यूलर (adaptive scheduler) विकसित करने का सुझाव देते हैं जो मैनुअल ट्यूनिंग की आवश्यकता को समाप्त करने के लिए रीयल-टाइम मेट्रिक्स (जैसे, बैच-लेवल ग्रेडिएंट वेरिएंस या टोकन-रेशियो डिस्पर्शन) के आधार पर $p$ को एडजस्ट करे।