🤖 machine learning

HPO: Hysteretic Policy Optimization for Stable and Efficient Training under Sparse-Reward Regime

यह शोधपत्र हिस्टेरेटिक पॉलिसी ऑप्टिमाइज़ेशन (HPO) और इसके अनुकूली संस्करण (A-HPO) को पेश करता है ताकि स्पार्स रिवॉर्ड्स के तहत GRPO-शैली के सुदृढीकरण शिक्षण (reinforcement learning) में शुरुआती प्रशिक्षण अस्थिरता को संबोधित किया जा सके, जो नकारात्मक-एडवांटेज अपडेट को कम भार देने और प्रति-रिस्पॉन्स लंबाई सामान्यीकरण को माध्य-लंबाई सामान्यीकरण से बदलने के माध्यम से विभिन्न बेंचमार्क और मॉडल स्केल्स में बेहतर प्रदर्शन और स्थिरता प्रदान करता है।

मूल लेखक: Mohamed Sana, Nicola Piovesan, Antonio De Domenico, Fadhel Ayed, Haozhe Zhang

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohamed Sana, Nicola Piovesan, Antonio De Domenico, Fadhel Ayed, Haozhe Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक कठिन पहेली हल करना सिखा रहे हैं, जैसे कि कोई जटिल गणित की समस्या या नेटवर्क ट्रबलशूटिंग का कार्य। आप रोबोट को एक प्रॉम्प्ट देते हैं, और वह उत्तर देने का प्रयास करता है। कभी-कभी वह सही उत्तर देता है; लेकिन ज्यादातर समय, विशेष रूप से शुरुआत में, वह गलत होता है।

यह शोध पत्र इन रोबोट्स को प्रशिक्षित करने का एक नया तरीका पेश करता है, जिसे हिस्टेरेटिक पॉलिसी ऑप्टिमाइज़ेशन (Hysteresis Policy Optimization - HPO) कहा जाता है। यह एक मौजूदा विधि (GRPO) में किया गया एक सुधार है जो सीखने की प्रक्रिया को बहुत तेज़ और स्थिर बनाता है जब रोबोट सही उत्तर खोजने के लिए संघर्ष कर रहा हो।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

समस्या: "शोर भरा क्लासरूम" (The Noisy Classroom)

वर्तमान प्रशिक्षण पद्धति (GRPO) में, शिक्षक (एल्गोरिदम) रोबोट द्वारा किए गए 8 प्रयासों के एक बैच को देखता है।

"दुर्लभ सफलता" की समस्या (The "Rare Success" Problem): कठिन कार्यों में, रोबत 8 में से केवल 1 या 2 उत्तर ही सही दे पाता है। बाकी 6 गलत होते हैं।
"वॉल्यूम" की समस्या (The "Volume" Problem): वर्तमान विधि हर गलत उत्तर को उतने ही गंभीर रूप से लेती है जितना कि एक सही उत्तर को। चूंकि गलत उत्तर बहुत अधिक हैं, इसलिए शिक्षक 1 बार "अच्छा काम किया!" कहने के बजाय 6 बार चिल्लाकर "ऐसा मत करो!" कहता है।
"लंबाई" की समस्या (The "Length" Problem): वर्तमान विधि उत्तरों को उनकी लंबाई के आधार पर भी आंकती है।
- यदि रोबोट एक छोटा सही उत्तर देता है, तो उसे एक बहुत बड़ा "अच्छा काम किया!" का प्रोत्साहन मिलता है।
- यदि रोबोट एक लंबा, बड़बड़ाता हुआ गलत उत्तर देता है, तो "ऐसा मत करो!" की सजा इतने सारे शब्दों में बंट जाती है कि उसका प्रभाव कम हो जाता है।

परिणाम: रोबोट भ्रमित हो जाता है। वह गलत उत्तरों के शोर से अभिभूत हो जाता है और गलत उत्तरों की लंबी, भारी सजाओं से बचने के लिए बहुत छोटे, रैंडम उत्तर देने लगता है। यह एक ऐसे छात्र की तरह है जो, कई छोटी गलतियों के लिए 100 बार डांट खाने के बाद, पूरे वाक्य लिखना छोड़ देता है और बस "हाँ" या "नहीं" लिख देता है ताकि मामला जल्दी खत्म हो जाए।

समाधान: HPO (एक "स्मार्ट कोच")

लेखक प्रस्तावित करते हैं कि HPO एक स्मार्ट कोच की तरह काम करता है जो जानता है कि संघर्ष कर रहे छात्र को कैसे संभालना है। इसके पास दो मुख्य तरकीबें हैं:

1. "वॉल्यूम नॉब" (Hysteretic Weighting)

हर गलत उत्तर के साथ समान व्यवहार करने के बजाय, कोच नकारात्मक फीडबैक की आवाज़ (volume) को कम कर देता है।

उपमा: कल्पना कीजिए कि रोबोट एक कमरे में है जहाँ 6 लोग चिल्ला रहे हैं "गलत!" और 1 व्यक्ति फुसफुसा रहा है "सही!"
पुरानी विधि: कोच उन सभी 7 लोगों को समान रूप से सुनता है। "गलत!" वाला समूह "सही!" की फुसफुसाहट को दबा देता है।
HPO विधि: कोच "गलत!" वाले समूह पर "म्यूट बटन" लगा देता है। वे अभी भी उन्हें सुनते हैं, लेकिन वे आवाज़ को काफी कम कर देते हैं। इससे यह सुनिश्चित होता है कि दुर्लभ "सही!" की फुसफुसाहट वास्तव में सुनी जा सके और उससे सीखा जा सके।
अनुकूली संस्करण (A-HPO): यह सबसे स्मार्ट संस्करण है। कोच एक निश्चित म्यूट बटन का उपयोग नहीं करता है। इसके बजाय, वे वास्तविक समय में गिनते हैं कि कितने लोग "गलत!" बनाम "सही!" चिल्ला रहे हैं। यदि "गलत!" वाला समूह बहुत बड़ा है, तो वे उन्हें भारी रूप से म्यूट करते हैं। जैसे-जैसे रोबोट बेहतर होता है और "सही!" वाला समूह बढ़ता है, कोच धीरे-धीरे "गलत!" वाले समूह की आवाज़ को वापस बढ़ाता है ताकि रोबोट अपनी गलतियों से सीख सके।

2. "फेयर एवरेज" (Mean-Length Normalization)

कोच उत्तरों को उनके व्यक्तिगत लंबाई के आधार पर आंकना बंद कर देता है और उनके बजाय पूरे समूह की औसत लंबाई के आधार पर उन्हें आंकना शुरू करता है।

उपमा: पुरानी विधि में, एक छोटे, सही उत्तर को गोल्ड स्टार मिलता था, लेकिन एक लंबे, गलत उत्तर को एक छोटा, लगभग अदृश्य लाल 'X' मिलता था। इसने रोबोट को आलसी और संक्षिप्त होने के लिए प्रोत्साहित किया।
HPO विधि: कोच कहता है, "हम सभी को समूह के औसत प्रयास के आधार पर आंकेंगे।" यह रोबोट को केवल शब्दों की संख्या के आधार पर सिस्टम को चकमा देने की कोशिश करने से रोकता है। यह रोबोट को समस्या पर पूरी तरह से विचार करने के लिए प्रोत्साहित करता है, चाहे उसमें कितने भी शब्द क्यों न लगें।

प्रयोगों में क्या हुआ?

शोधकर्ताओं ने इसे दो कार्यों पर परखा:

TeleLogs: जटिल 5G नेटवर्क त्रुटियों को ठीक करना (जैसे किसी रहस्य को सुलझाने वाला जासूस)।
Countdown: एक गणित का खेल जहाँ आप लक्ष्य तक पहुँचने के लिए संख्याओं को जोड़ते हैं।

परिणाम:

तेज़ सीखना: नए तरीके (A-HPO) का उपयोग करने वाला रोबोट बहुत तेज़ी से सीखा, विशेष रूप से शुरुआत में जब वह बहुत अधिक विफल हो रहा था।
बेहतर स्कोर: नेटवर्क कार्य पर, नए तरीके ने 0.84 का स्कोर प्राप्त किया, जो पुराने तरीके (0.73) और अन्य प्रतिस्पर्धियों को महत्वपूर्ण अंतर से पीछे छोड़ देता है।
कोई "शॉर्ट-सर्किटिंग" नहीं: पुरानी विधि के विपरीत, जो कभी-कभी रोबोट को हार मानने और बहुत छोटे, बेकार उत्तर लिखने के लिए मजबूर करती थी, नया तरीका उत्तरों को लंबा और विचारशील बनाए रखता है जबकि सटीकता में भी सुधार करता है।

मुख्य निष्कर्ष (The Bottom Line)

जब आप AI को कोई कठिन कार्य सिखा रहे हों जहाँ वह अक्सर विफल होता है, तो आपको हर विफलता को हर सफलता के समान महत्वपूर्ण नहीं मानना चाहिए। यदि आप ऐसा करते हैं, तो AI अभिभूत हो जाता है और प्रयास करना छोड़ देता है।

HPO एक सरल समाधान है जो कहता है: "विफलताओं को सुनें, लेकिन उन्हें दुर्लभ सफलताओं को दबाने न दें। साथ ही, उत्तर की लंबाई को स्कोरिंग सिस्टम को धोखा देने न दें।" फीडबैक को संतुलित करके, AI अधिक कुशलता से सीखता है और कठिन समस्याओं को हल करता है।

तकनीकी सारांश: हिस्टेरेटिक पॉलिसी ऑप्टिमाइज़ेशन (HPO) - स्पार्स-रिवॉर्ड LLM ट्रेनिंग के लिए

1. समस्या विवरण (Problem Statement)

यह शोध पत्र 'ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन' (GRPO) के एक विशिष्ट विफलता मोड की जांच करता है, जब इसे स्पार्स वेरिफिएबल रिवॉर्ड रिजीम (जैसे कि रीजनिंग टास्क जहाँ सैंपल किए गए रिस्पॉन्स का एक छोटा हिस्सा ही सही होता है) के तहत लार्ज लैंग्वेज मॉडल्स (LLMs) पर लागू किया जाता है। लेखक दो परस्पर निर्भर पूर्वाग्रहों (biases) की पहचान करते हैं जो इस सेटिंग में प्रशिक्षण को अस्थिर करते हैं:

साइन इम्बैलेंस (नेगेटिव डोमिनेंस): स्पार्स-रिवॉर्ड परिदृश्यों में, प्रारंभिक पॉलिसी अक्सर अधिकतर गलत रिस्पॉन्स उत्पन्न करती है। इसके परिणामस्वरूप, सैंपल किए गए अधिकांश ट्राजेक्टरीज ग्रुप मीन से नीचे गिर जाती हैं, जिससे नेगेटिव एडवांटेज की उच्च आवृत्ति ( $p_- > p_+$ ) होती है। नेगेटिव सैंपल्स के प्रचुर मात्रा में होने के कारण उनका सममित (symmetric) उपचार दुर्लभ सकारात्मक संकेतों को दबा देता है, जिससे उपयोगी लेकिन शोर वाले (noisy) रीजनिंग ट्राजेक्टरीज बाधित होती हैं।
रिस्पॉन्स-लेवल लेंथ बायस: मानक GRPO प्रत्येक व्यक्तिगत रिस्पॉन्स के लेंथ ( $1/|\tau_i|$ $1/∣ τ_{i} ∣$ ) द्वारा लॉस को नॉर्मलाइज़ करता है। यह अपडेट मैग्नीट्यूड और रिस्पॉन्स लेंथ के बीच एक व्युत्क्रम संबंध (inverse relationship) बनाता है:
- छोटे सही रिस्पॉन्स (Short correct responses): इन्हें अत्यधिक बड़े पॉजिटिव ग्रेडिएंट्स मिलते हैं, जो मॉडल को संक्षिप्तता (brevity) की ओर झुकाते हैं।
- लंबे गलत रिस्पॉन्स (Long incorrect responses): इन्हें बहुत कम नेगेटिव ग्रेडिएंट्स मिलते हैं, जिससे वे विस्तृत विफलताओं (verbose failures) को पर्याप्त रूप से दंडित करने में विफल रहते हैं।
- यह अंतःक्रिया (interaction) ऑप्टिमाइज़ेशन प्रेशर को रिवॉर्ड और लेंथ दोनों पर निर्भर बनाती है, जो रीजनिंग टास्क के लिए विशेष रूप से समस्यात्मक है जहाँ लेंथ, सर्च डेप्थ या एक्सप्लेनेशन से जुड़ी होती है।

2. कार्यप्रणाली (Methodology)

लेखक हिस्टेरेटिक पॉलिसी ऑप्टिमाइज़ेशन (HPO) का प्रस्ताव करते हैं, जो GRPO ऑब्जेक्टिव में एक न्यूनतम संशोधन है जिसे इन पूर्वाग्रहों को दूर करने के लिए डिज़ाइन किया गया है:

2.1 फिक्स्ड HPO (Fixed HPO)

HPO, GRPO ऑब्जेक्टिव में दो संरचनात्मक परिवर्तन पेश करता है:

मीन-लेंथ नॉर्मलाइज़ेशन (Mean-Length Normalization): प्रत्येक रिस्पॉन्स को उसके अपने लेंथ ( $|\tau_i|$ ) से नॉर्मलाइज़ करने के बजाय, HPO पूरे बैच को मीन रिस्पॉन्स लेंथ ( $|\bar{\tau}|$ ) द्वारा नॉर्मलाइज़ करता है। यह रिस्पॉन्स लेंथ के साथ अपडेट मैग्नीट्यूड के व्युत्क्रम स्केलिंग को हटा देता है, यह सुनिश्चित करता है कि लंबे गलत रिस्पॉन्स को उचित रूप से दंडित किया जाए और छोटे सही रिस्पॉन्स ग्रेडिएंट पर हावी न हों।
असिमेट्रिक हिस्टेरेटिक वेटिंग (Asymmetric Hysteric Weighting): पॉलिसी ग्रेडिएंट अपडेट को एडवांटेज ( $\hat{A}_i$ $\hat{A}_{i}$ ) के साइन के आधार पर एसिमेट्रिकल रूप से स्केल किया जाता है:
- पॉजिटिव एडवांटेज ( $\hat{A}_i \geq 0$ ) पूर्ण वेट (फैक्टर = 1) बनाए रखते हैं।
- नेगेटिव एडवांटेज ( $\hat{A}_i < 0$ ) को एक हिस्टेरेटिक फैक्टर $\alpha \in [0, 1]$ द्वारा कम (down-weight) किया जाता है।
- ऑब्जेक्टिव फंक्शन बनता है:
  $J_{HPO}(\theta) = \mathbb{E}_X \left[ \frac{1}{N|\bar{\tau}|} \sum_{i=1}^N \sum_{j=1}^{|\tau_i|} w_i \ell_{i,j}(\theta) \right]$
  जहाँ $w_i = 1$ यदि $\hat{A}_i \geq 0$ , और $w_i = \alpha$ अन्यथा।

2.2 एडेप्टिव HPO (A-HPO)

यह समझते हुए कि अनुकूल $\alpha$ प्रशिक्षण रिजीम पर निर्भर करता है (जैसे-जैसे पॉलिसी बेहतर होती है, कम हिस्टेरेसिस की आवश्यकता होती है), लेखक A-HPO पेश करते हैं। यह वेरिएंट वर्तमान बैच के साइन स्टैटिस्टिक्स के आधार पर $\alpha$ को गतिशील रूप से एडजस्ट करता है:

यह पॉजिटिव और नेगेटिव एडवांटेज फ्रीक्वेंसी के अनुपात ( $\hat{p}_+ / \hat{p}_-$ ) का अनुमान लगाता है।
एडेप्टिव वेट को इस प्रकार सेट किया जाता है:
$\alpha_{adaptive} = \text{clip}\left( \frac{\hat{p}_+}{\hat{p}_- + \epsilon}, \alpha_{min}, 1 \right)$
मैकेनिज्म: जब नेगेटिव सैंपल्स हावी होते हैं (स्पार्स रिजीम), तो $\hat{p}_+ / \hat{p}_-$ छोटा होता है, जिससे $\alpha$ कम हो जाता है और नेगेटिव अपडेट्स को धीमा (dampen) कर देता है। जैसे-जैसे पॉलिसी सुधरती है और डिस्ट्रीब्यूशन संतुलित होता है, $\alpha$ बढ़कर 1 के करीब पहुँच जाता है, जिससे एक सममित अपडेट प्राप्त होता है। यह मैनुअल ट्यूनिंग की आवश्यकता को समाप्त करता है।

3. मुख्य योगदान (Key Contributions)

विफलता मोड की पहचान: पेपर स्पष्ट रूप से GRPO की अस्थिरता को नेगेटिव-एडवांटेज डोमिनेंस और रिस्पॉन्स-लेवल लेंथ नॉर्मलाइज़ेशन के संयोजन से जोड़ता है।
HPO एल्गोरिदम: यह "पॉजिटिव-ओनली" लर्निंग (जो नेगेटिव फीडबैक को छोड़ देता है) और पूर्णतः सममित अपडेट के बीच एक एक-पैरामीटर इंटरपोलेशन है। यह मीन-लेंथ नॉर्मलाइज़ेशन को एसिमेट्रिकल वेटिंग के साथ जोड़ता है।
A-HPO: यह एक हल्का, एडेप्टिव नियम है जो बैच-लेवल साइन स्टैटिस्टिक्स के आधार पर हिस्टेरेटिक वेट को स्वचालित रूप से ट्यून करता है, जिससे मैनुअल हाइपरपैरामीटर सर्च की आवश्यकता समाप्त हो जाती है।
अनुभवजन्य सत्यापन (Empirical Validation): एब्लेशन स्टडीज दर्शाती हैं कि इष्टतम व्यवहार "पॉजिटिव-ओनली" ( $\alpha=0$ ) और सममित ( $\alpha=1$ ) अपडेट्स के चरम सीमाओं के बीच स्थित है, जो इंटरमीडिएट हिस्टेरेसिस की आवश्यकता को प्रमाणित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो कार्यों पर HPO और A-HPO का मूल्यांकन किया: TeleLogs (5G नेटवर्क रूट-कॉज़ एनालिसिस) और Countdown (अंकगणितीय निर्माण), जिसमें 1.5B से 7B पैरामीटर्स तक के मॉडल्स का उपयोग किया गया।

TeleLogs (Qwen2.5-1.5B):
- A-HPO ने 0.84 का अंतिम रिवॉर्ड प्राप्त किया, जिसने GRPO (0.73, +15%), GSPO (0ের.76, +11%), और SAPO (0.80, +5%) को पीछे छोड़ दिया।
- A-HPO ने बेसलाइन्स की तुलना में काफी तेजी से उच्च रिवॉर्ड स्तर प्राप्त किया (सैंपल एफिशिएंसी), जबकि बेसलाइन के समान रिस्पॉन्स लेंथ बनाए रखी, जिससे "लेंथ कोलैप्स" (जो पॉजिटिव-ओनली मेथड्स में देखा जाता है) से बचा जा सका।
Countdown (1.5B–7B मॉडल्स):
- लाभ प्रारंभिक प्रशिक्षण (early training) और कठिन कॉन्फ़िगरेशन (Countdown-4 जिसमें 4 संख्याएँ हैं) में अधिक स्पष्ट थे जहाँ रिवॉर्ड स्पार्स होते हैं।
- उदाहरण के लिए, Llama3.1-3B पर Countdown-4 के साथ, A-HPO ने 200-स्टेप रिवॉर्ड को 0.40 (GRPO) से बढ़ाकर 0.54 कर दिया।
- सैचुरेटेड रिजीम्स (जैसे आसान Countdown-3 पर 7B मॉडल्स) में, प्रदर्शन का अंतर कम हो गया, जो यह दर्शाता है कि A-HPO तब सबसे महत्वपूर्ण है जब पॉलिसी अभी सीख रही होती है।
एब्लेशन स्टडीज (Ablation Studies):
- $\alpha=0$ (पॉजिटिव-ओनली) के साथ फिक्स्ड HPO बहुत छोटे आउटपुट (16 टोकन) और कम रिवॉर्ड (0.71) पर गिर गया।
- $\alpha=1$ (सिमेट्रिक) के साथ फिक्स्ड HPO नेगेटिव डोमिनेंस के कारण अंडरपरफॉर्म (0.72) हुआ।
- सर्वश्रेष्ठ फिक्स्ड प्रदर्शन $\alpha \approx 0.6$ पर था, जिसे A-HPO ने बिना ट्यूनिंग के स्वचालित रूप से मैच किया।
- "सरोगेट कॉन्ट्रिब्यूशन बैलेंस" के विश्लेषण ने पुष्टि की कि A-HPO सफलतापूर्वक पॉजिटिव और नेगेटिव अपडेट कॉन्ट्रिब्यूशन के मैग्नीट्यूड को संतुलित करता है, जबकि GRPO शोर भरा और नेगेटिव-डोमिनेटेड रहता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि HPO और A-HPO, GRPO के लिए एक व्यावहारिक, कम ओवरहेड वाला संशोधन प्रदान करते हैं जो LLMs के लिए स्पार्स-रिवॉर्ड RL में स्थिरता और सैंपल एफिशिएंसी में महत्वपूर्ण सुधार करता है।

मूल सिद्धांत: लेखक तर्क देते हैं कि स्पार्स-रिवॉर्ड रिजीम में, नेगेटिव-एडवांटेज अपडेट का उपयोग किया जाना चाहिए लेकिन जब वे अत्यधिक बार होते हैं, तो उन पर सममित रूप से भरोसा नहीं किया जाना चाहिए।
संतुलन: यह विधि प्रचुर मात्रा में विफलताओं द्वारा उपयोगी रीजनिंग ट्राज्येक्टियों को दबाने से सफलतापूर्वक रोकती है, जबकि नेगेटिव साक्ष्य को पूरी तरह से त्याग देने के डिजेनरेट व्यवहार से भी बचती है।
अनुकूलनशीलता (Adaptivity): A-HPO को एक मजबूत समाधान के रूप में प्रस्तुत किया गया है जो "पॉजिटिव-ओनली" और "सिमेट्रिक" अपडेट्स के बीच के इंटरमीडिएट रिजीम को ट्रैक करने के लिए स्वचालित रूप से ट्यून करता है, और जैसे-जैसे ट्रेनिंग डिस्ट्रीब्यूशन स्पार्स से डेंस रिवॉर्ड की ओर शिफ्ट होता है, खुद को ढाल लेता है।

यह कार्य HPO को LLM फाइन-ट्यूनिंग के लिए एक आवश्यक सुधार के रूप में स्थापित करता है, जब डेंस प्रोसेस रिवॉर्ड या क्रिटिक फीडबैक उपलब्ध नहीं होते हैं।