🤖 machine learning

Don't Let Gains FADE: Breaking Down Policy Gradient Weights in RL

यह शोध पत्र FADE पेश करता है, जो एक स्व-अनुकूलनकारी लाभ फलन (self-adapting advantage function) है जो प्रशिक्षण गतिकी का विश्लेषण करके ग्रेडिएंट भार को गतिशील रूप से शेड्यूल करता है ताकि एंट्रॉपी और नमूना फोकस के बीच के समझौतों को हल किया जा सके, जिससे बड़े भाषा मॉडलों के लिए सुदृढीकरण शिक्षण (reinforcement learning) में अभिसरण को गति मिलती है और सटीकता-विविधता के बीच के संतुलन में सुधार होता है।

मूल लेखक: Juliette Decugis, Sean O'Brien, Francis Bach, Gabriel Synnaeve, Taco Cohen

प्रकाशित 2026-07-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Juliette Decugis, Sean O'Brien, Francis Bach, Gabriel Synnaeve, Taco Cohen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को गणित की समस्याओं को हल करना और कोड लिखना सिखा रहे हैं। आप उसे एक समस्या देते हैं, वह उसे हल करने की कोशिश करता है, और आप उसे बताते हैं "सही!" या "गलत।" लक्ष्य रोबोट के दिमाग को बेहतर बनाना है ताकि वह समय के साथ और बेहतर हो सके। इस प्रक्रिया को रीइन्फोर्समेंट लर्निंग (Reinforcement Learning - RL) कहा जाता है।

हालाँकि, इसमें एक पेंच है: यदि आप सावधान नहीं रहे, तो रोबोट फंस सकता है। वह या तो:

नई चीजें आज़माना बंद कर देता है (वह केवल उसी एक तरकीब को दोहराता है जो एक बार काम कर गई थी)।
सीखा हुआ सब कुछ भूल जाता है क्योंकि वह गलतियाँ करने से बहुत डर जाता है।

यह शोध पत्र, जिसका शीर्षक है "Don't Let Gains FADE," रोबोट के शिक्षक के लिए एक मैनुअल की तरह है। यह बताता है कि रोबोट को मिलने वाले "स्कोर" को कैसे समायोजित किया जाए ताकि वह बिना बिगड़े तेज़ी से सीख सके।

यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

समस्या: रोबोट की दुविधा

जब रोबोट एक समस्या को आज़माता है, तो वह कई अलग-अलग प्रयास उत्पन्न करता है (जैसे पासे को 8 बार फेंकना)। कुछ काम करते हैं, कुछ नहीं। शिक्षक को यह तय करना होगा: मुझे गलत उत्तरों के लिए कितनी सजा देनी चाहिए? मुझे सही उत्तरों के लिए कितना इनाम देना चाहिए?

शोध पत्र कहता है कि पिछले शिक्षकों ने दो बड़ी गलतियाँ कीं:

"सजा देने वाला" शिक्षक (The Punisher Teacher): गलत उत्तरों पर बहुत अधिक ध्यान केंद्रित करता है।
- परिणाम: रोबोट गलतियों से बचने में इतना माहिर हो जाता है कि वह रचनात्मक रूप से सोचना बंद कर देता है। वह एक "रैंक-1" रोबोट बन जाता है, जिसका अर्थ है कि वह केवल एक सीधी रेखा में चलता है। वह नए समाधान खोजने की खोज (exploration) करना बंद कर देता है।
"प्रोत्साहन देने वाला" शिक्षक (The Cheerleader Teacher): सही उत्तरों पर बहुत अधिक ध्यान केंद्रित करता है।
- परिणाम: रोबोट आत्मविश्वासी तो हो जाता है लेकिन कठिन समस्याओं को आज़माना बंद कर देता है। वह आसान कार्यों पर अटक जाता है और कठिन चुनौतियों को संभालने की अपनी क्षमता खो देता है।

समाधान: घुमाने के लिए दो डायल (Two Dials to Turn)

लेखकों ने महसूस किया कि प्रत्येक शिक्षण पद्धति में दो छिपे हुए "डायल" होते हैं जो रोबोट के व्यवहार को नियंत्रित करते हैं:

साइन डायल (संतुलन - The Sign Dial): यह सफलता को पुरस्कृत करने बनाम विफलता को दंडित करने के बीच संतुलन को नियंत्रित करता है।
- यदि आप विफलता को बहुत कड़ी सजा देते हैं, तो रोबोट कठोर हो जाता है।
- यदि आप सफलता को बहुत अधिक पुरस्कृत करते हैं, तो रोबोट आलसी हो जाता है और खोज करना बंद कर देता है।
कठिनाई डायल (फोकस - The Difficulty Dial): यह नियंत्रित करता है कि शिक्षक आसान समस्याओं पर ध्यान केंद्रित करता है या कठिन समस्याओं पर।
- कठिन समस्याओं पर ध्यान केंद्रित करने से रोबometer को बड़े सबक मिलते हैं लेकिन यह जोखिम भरा है (वह भ्रमित हो सकता है)।
- आसान समस्याओं पर ध्यान केंद्रित करना सुरक्षित है लेकिन उबाऊ है (रोबोट कुछ भी नया नहीं सीखता है)।

नवाचार: FADE (स्मार्ट शिक्षक)

लेखकों ने FADE (Focal Advantage with Dynamic Entropy) नामक एक नई विधि बनाई है। FADE को एक सेल्फ-ड्राइविंग शिक्षक के रूप में सोचें जो वास्तविक समय में रोबोट के मस्तिष्क को देखता है और स्वचालित रूप से डायल को समायोजित करता है।

FADE दो चरणों में इस प्रकार कार्य करता है:

चरण 1: अन्वेषक (शुरुआती प्रशिक्षण - The Explorer)

क्या हो रहा है: रोबोट नया है और भ्रमित है। उसे कई अलग-अलग चीजें आज़माने की आवश्यकता है।
FADE का कदम: यह साइन डायल को संतुलित (समान रूप से पुरस्कृत और दंडित) करने के लिए घुमाता है और कठिनाई डायल को कठिन समस्याओं पर ध्यान केंद्रित करने के लिए घुमाता है।
क्यों: यह रोबोट को कठिन चुनौतियों के लिए संघर्ष करने और उन्हें हल करने के कई अलग-अलग तरीके खोजने के लिए मजबूर करता है। यह रोबोट के "मस्तिष्क" को विविध और लचीला बनाए रखता है।

चरण 2: विशेषज्ञ (बाद का प्रशिक्षण - The Exploiter)

क्या हो रहा है: रोबोट बुनियादी बातें सीख चुका है। वह अच्छा होने लगा है, लेकिन वह बहुत आत्मविश्वासी या दोहराव वाला हो सकता है।
FADE का कदम: यह देखता है कि रोबोट "बोर" (एन्ट्रॉपी गिरना) हो रहा है। यह साइन डायल को विफलता को दंडित करने पर ध्यान केंद्रित करने के लिए घुमाता है और कठिनाई डायल को मध्यम समस्याओं पर केंद्रित करने के लिए बदल देता है।
क्यों: यह रोबोट को एक ही ढर्रे में फंसने से रोकता है। यह रोबोट को अपने कौशल को निखारने और मूर्खतापूर्ण गलतियाँ करने से रोकने के लिए मजबूर करता है, बिना उसकी रचनात्मकता को कुचले।

परिणाम: तेज़ और स्मार्ट

इस शोध पत्र का परीक्षण दो अलग-अलग रोबोट दिमागों (एक छोटा और एक बड़ा) पर कोडिंग और गणित के परीक्षणों का उपयोग करके किया गया।

गति: FADE पुराने स्थिर तरीकों की तुलना में बहुत तेज़ी से अपने शिखर प्रदर्शन तक पहुँच गया। छोटे रोबोट के लिए, यह 20,000 स्टेप्स तेज़ था; बड़े रोबोट के लिए, यह 2,000 स्टेप्स तेज़ था।
गुणवत्ता: यह केवल तेज़ ही नहीं हुआ; यह विविधता (diversity) बनाए रखते हुए कठिन समस्याओं को हल करने में भी बेहतर हुआ।
समझौता (Trade-off): पुराने तरीकों को आमतौर पर सटीक होने या विविध होने के बीच किसी एक को चुनना पड़ता था। FADE दोनों होने में सक्षम रहा।

सारांश

कल्पना कीजिए कि आप एक कुत्ते को प्रशिक्षित कर रहे हैं।

पुरानी विधियाँ एक ऐसे ट्रेनर की तरह थीं जो या तो केवल गलतियों के लिए कुत्ते पर चिल्लाता था (जिससे कुत्ता डरा हुआ और कठोर हो जाता था) या केवल उस एक ट्रिक के लिए उसे ट्रीट देता था जिसे कुत्ता जानता था (जिससे कुत्ता आलसी हो जाता था)।
FADE एक स्मार्ट ट्रेनर की तरह है जो कहता है: "अभी के लिए, चलो कठिन ट्रिक्स आज़माते हैं और गलतियों के बारे में निष्पक्ष रहते हैं ताकि तुम सब कुछ सीख सको। एक बार जब तुम बुनियादी बातें सीख जाओ, तो चलिए तुम्हारी तकनीक को बेहतर बनाने और उन छोटी गलतियों को रोकने पर ध्यान केंद्रित करते हैं।"

यह शोध पत्र सिद्ध करता है कि इन दो मोड के बीच स्वचालित रूप से स्विच करके, रोबोट पहले की तुलना में तेज़ी से सीखता है, रचनात्मक रहता है, और कठिन समस्याओं को हल करता है।

तकनीकी सारांश: लाभों को FADE न होने दें: RL में पॉलिसी ग्रेडिएंट वेट्स का विश्लेषण

1. समस्या विवरण

वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) ने कोड जनरेशन और गणित जैसे डोमेन में लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क करने की क्षमताओं को महत्वपूर्ण रूप से बढ़ाया है। हालाँकि, यह प्रगति ट्रेनिंग अस्थिरता (training instability) और डाइवर्सिटी कोलैप्स (diversity collapse) से बाधित है, जहाँ मॉडल संकीर्ण समाधान मोड (narrow solution modes) की ओर अभिसरित हो जाते हैं, जिससे मजबूत प्रदर्शन के लिए आवश्यक तर्क रणनीतियों की व्यापकता का त्याग हो जाता है।

जबकि एडवांटेज फंक्शन्स (या पॉलिसी वेट्स) का उपयोग रोलआउट्स को पुनर्गठित करने और उन्हें पुन: भारित (reweight) करने के लिए व्यापक रूप से किया जाता है, यह क्षेत्र ऐसे तरीकों के प्रसार से ग्रस्त है (जैसे कि GRPO, DAPO, DR-GRPO, pass@k ऑब्जेक्टिव्स) जिनमें एक एकीकृत सैद्धांतिक ढांचे का अभाव है। यह स्पष्ट नहीं है कि किस समय कौन सा एडवांटेज फंक्शन उपयोग करना चाहिए, क्योंकि मौजूदा तरीके एक साथ कई अक्षों (axes) पर भिन्न होते हैं, जिससे तुलनात्मक विश्लेषण कठिन हो जाता है। विशेष रूप से, सफलताओं को सुदृढ़ करने, विफलताओं को दबाने और समस्या की कठिनाई पर ध्यान केंद्रित करने के बीच के अंतर्संबंध को ठीक से नहीं समझा गया है, जिससे सीखने की गति और समाधान विविधता के बीच इष्टतम संतुलन (trade-offs) बनाना कठिन हो जाता है।

2. कार्यप्रणाली: एक एकीकृत ढांचा

लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो किसी भी पॉलिसी वेट को दो ऑर्थोगोनल अक्षों पर सकारात्मक ( $m_S$ ) और नकारात्मक ( $m_F$ ) ग्रेडिएंट मास में विभाजित करता है: साइन एक्सिस (Sign Axis) और डिफिकल्टी एक्सिस (Difficulty Axis)।

2.1 अपघटन (Decomposition)

$p$ सॉल्व रेट वाले रोलआउट्स के एक बैच के लिए, पॉलिसी ग्रेडिएंट को इस प्रकार अनुमानित किया जा सकता है:
$\nabla_\theta J \approx m_S \cdot \bar{\nabla}_S - m_F \cdot \bar{\nabla}_F$
जहाँ $\bar{\nabla}_S$ और $\bar{\nabla}_F$ क्रमशः सफल और विफल ट्राजेक्टरीज पर औसत ग्रेडिएंट्स हैं।

यह ढांचा तीन महत्वपूर्ण डिज़ाइन अक्षों की पहचान करता है:

साइन एक्सिस (Sign Axis): $m_S$ और $m_F$ के बीच संतुलन निर्धारित करता है।
डिफिकल्टी एक्सिस (Difficulty Axis): यह निर्धारित करता है कि ग्रेडिएंट मास आसान प्रॉम्प्ट्स (उच्च $p$ ) पर केंद्रित है या कठिन प्रॉम्प्ट्स (निम्न $p$ ) पर।
स्केल एक्सिस (Scale Axis): ग्रेडिएंट का समग्र परिमाण (इम्प्लिसिट लर्निंग रेट रीस्केलिंग)।

2.2 पहचाने गए ट्रेड-ऑफ्स (Trade-offs)

सैद्धांतिक विश्लेषण और अनुभवजन्य अवलोकन के माध्यम से, पेपर सही और गलत ट्राजेक्टरीज के बीच प्रतिनिधि विषमता (representational asymmetry) द्वारा संचालित तीन मौलिक ट्रेड-ऑफ्स की पहचान करता है:

सफलताओं को सुदृढ़ करना बनाम एंट्रॉपी कोलैप्स (Reinforcing Successes vs. Entropy Collapse): सही समाधान अक्सर क्लस्टर्ड और समान होते हैं। उन्हें बढ़ाने से ( $m_S \gg m_F$ ) पॉलिसी एक संकीर्ण मोड पर केंद्रित हो जाती है, जिससे एंट्रॉपी कोलैप्स होता है। इस कोलैप्स की दर केवल साइन रेश्यो से ही अनुमानित की जा सकती है।
विफलताओं को दबाना बनाम रैंक-1 अपडेट कोलैप्स (Suppressing Failures vs. Rank-1 Update Collapse): विफलताएं विविध और डिकोरिलेटेड होती हैं। उन्हें बढ़ाने से ( $m_F \gg m_S$ ) वेट अपडेट एक एकल दमन दिशा (suppression direction) की ओर चला जाता है। यह रैंक-1 अपडेट कोलैप्स को प्रेरित करता है, जहाँ मॉडल केवल एक अक्ष (एक "रैंक-1 फनल") के साथ सीखता है, जो मल्टी-डायमेंशनल लर्निंग को रोकता है और आउट-ऑफ-डिस्ट्रीब्यूशन सामान्यीकरण (generalization) को कम करता है।
कठिन समस्याओं पर ध्यान केंद्रित करना बनाम वेरिएंस (Hard-Problem Focus vs. Variance): कम सॉल्व-रेट वाले प्रॉम्प्ट्स पर ग्रेडिएंट मास केंद्रित करने से अधिक सूचनात्मक अपडेट मिलते हैं, लेकिन सफल नमूनों की कमी के कारण उच्च वेरिएंस (variance) भी होता है।

2.3 FADE: फोकल एडवांटेज विद डायनेमिक एंट्रॉपी

स्थिर एडवांटेज फंक्शन्स की सीमाओं को दूर करने के लिए, लेखक FADE प्रस्तावित करते हैं, जो एक स्व-अनुकूलित (self-adapting) एडवांटेज फंक्शन है जो ट्रेनिंग डायनेमिक्स के आधार पर ग्रेडिएंट वेट्स को स्वचालित रूप से शेड्यूल करता है। FADE दो तंत्रों को जोड़ता है:

डायनेमिक साइन बैलेंसिंग ( $\delta$ ): वर्तमान एंट्रॉपी ( $\hat{H}$ $\hat{H}$ ) के आधार पर नेगेटिव और पॉजिटिव मास के अनुपात को समायोजित करता है।
- एक्सप्लोरेशन फेज (Exploration Phase): जब एंट्रॉपी अधिक होती है, तो $\delta \approx 1$ (साइन-बैलेंस्ड) होता है ताकि समय से पहले रैंक-1 कोलैप्स को रोका जा सके।
- एक्सप्लोइटेशन फेज (Exploitation Phase): जब एंट्रॉपी एक लक्षित $H^*$ से नीचे गिर जाती है, तो $\delta < 1$ (फेलियर-बायस्ड) होता है ताकि विफलताओं को दबाकर लर्निंग को तेज किया जा सके।
डायनेमिक डिफिकल्टी फोकस ( $\alpha$ ): सॉल्व रेट ( $\hat{p}$ $\overset{p}{^}$ ) के आधार पर कठिन समस्याओं पर फोकस को समायोजित करता है।
- ट्रेनिंग की शुरुआत में, $\alpha$ उच्च होता है ताकि कठिन समस्याओं पर ध्यान केंद्रित किया जा सके (फ्रंटियर लर्निंग)।
- जैसे-जैसे सॉल्व रेट बढ़ता है, $\alpha$ घटता है ताकि बढ़ते हुए आसान समस्याओं पर ओवरफिटिंग से बचा जा सके और सैंपल एफिशिएंसी बनाए रखी जा सके।

अपडेट नियम को इस प्रकार परिभाषित किया गया है:
$A_i = (1 - \bar{r})^{\alpha-1} \cdot \begin{cases} r_i - \bar{r} & \text{if } r_i \ge \bar{r} \\ \frac{r_i - \bar{r}}{\delta} & \text{if } r_i < \bar{r} \end{cases}$
जहाँ $\alpha$ और $\delta$ , अनुमानित सॉल्व रेट और एंट्रॉपी के क्लिप्ड फंक्शन्स हैं।

3. मुख्य योगदान

एकीकृत ढांचा (Unified Framework): पॉलिसी वेट्स का साइन और डिफिसिटी अक्षों के साथ पॉजिटिव/नेगेटिव ग्रेडिएंट मास में अपघटन, जो मौजूदा तरीकों के संरचनात्मक अंतर को स्पष्ट करता है।
सैद्धांतिक अंतर्दृष्टि (Theoretical Insights): एंट्रॉपी कोलैप्स (साइन असंतुलन द्वारा संचालित) और रैंक-1 अपडेट कोलैप्स (फेलियर बायस द्वारा संचालित) के पीछे के तंत्रों की पहचान, जो वेट अपडेट के सिंगुलर वैल्यू स्पेक्ट्रम से जुड़े हैं।
FADE एल्गोरिदम: एक डायनेमिक शेड्यूलर जो ट्रेनिंग स्टेट्स के अनुसार खुद को ढालता है, जो मैन्युअल ट्यूनिंग के बिना एक्सप्लोरेशन (बैलेंस्ड साइन्स, हार्ड फोकस) और एक्सप्लोइटेशन (फेलियर सप्रेशन, मीडियम फोकस) के बीच संतुलन बनाता है।
अनुभवजन्य सत्यापन (Empirical Validation): LiveCodeBench और AIME बेंचमार्क पर Qwen 2.5 7B और CWM 32B मॉडल्स पर व्यापक प्रयोग।

4. परिणाम

ट्रेनिंग स्पीड: FADE, 7B मॉडल पर सर्वश्रेष्ठ स्टैटिक बेसलाइन (Power $\alpha=2$ ) की तुलना में 20,000 स्टेप्स पहले और 32B मॉडल पर 2,000 स्टेप्स पहले पीक pass@1 प्रदर्शन तक पहुँच जाता है।
एक्यूरेसी-डाइवर्सिटी ट्रेड-ऑफ: FIDE सभी मॉडल स्केल्स और बेंचमार्क्स में एक्यूरेसी (pass@1) और डाइवर्सिटी (pass@10, pass@100) के बीच सबसे अच्छा संतुलन प्राप्त करता है। यह उच्च pass@100 स्कोर बनाए रखता है जहाँ स्टैटिक मेथड्स अक्सर डाइवर्सिटी कोलैप्स के कारण खराब प्रदर्शन करते हैं।
जनरलाइजेशन (Generalization): FADE के साथ प्रशिक्षित मॉडल, फेलियर-बायस्ड स्टैटिक मेथड्स (जो रैंक-1 कोलैप्स से ग्रस्त होते हैं) की तुलना में AIME 2024/2025 (अनदेखे गणित प्रतियोगिताओं) पर बेहतर जनरलाइजेशन दिखाते हैं।
एब्लेशन स्टडीज (Ablation Studies): डायनेमिक $\delta$ घटक को हटाने से एंट्रॉपी कोलैप्स होता है, जबकि $\alpha$ को हटाने से डाइवर्सिटी कम हो जाती है। एक्सप्लोरेशन-एक्सप्लोइटेशन ट्रेड-ऑफ को प्रभावी ढंग से संतुलित करने के लिए दोनों घटक आवश्यक हैं।

5. महत्व और दावे

पेपर का दावा है कि RLVR क्षेत्र में भ्रम उन डिजाइन्स के कारण है जो ऑर्थोगोनल डिजाइन अक्षों को मिला देते हैं। साइन बैलेंस (जो एंट्रॉपी और रैंक कोलैप्स को नियंत्रित करता है) को डिफिकल्टी फोकस (जो सिग्नल-टू-नॉइज़ रेशियो को नियंत्रित करता है) से स्पष्ट रूप से अलग करके, लेखक एडवांटेज फंक्शन्स को डिजाइन करने का एक सिद्धांत आधारित तरीका प्रदान करते हैं।

FADE का महत्व इसकी ट्रेनिंग ट्राजेक्टरी को स्वचालित रूप से नेविगेट करने की क्षमता में निहित है:

यह एक एक्सप्लोरेटिव मोड (बैलेंस्ड साइन्स, हार्ड फोकस) में शुरू होता है ताकि विविध तर्क रणनीतियों का निर्माण किया जा सके और शुरुआती ओवरफिटिंग से बचा जा सके।
जैसे ही पॉलिसी स्थिर हो जाती है, यह एक एक्सप्लोइटिव मोड (फेलियर सप्रेशन, मीडियम फोकस) में परिवर्तित हो जाता है, जो जनरलाइजेशन के लिए आवश्यक मल्टी-डायमेंशनल लर्निंग से समझौता किए बिना कन्वर्जेंस को तेज करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि उनका ढांचा बाइनरी, टर्मिनल रिवार्ड्स को मानता है, लेकिन $m_S$ और $m_F$ का अपघटन RL ट्रेनिंग डायनेमिक्स को समझने के लिए एक सामान्य लेंस प्रदान करता है, जो यह सुझाव देता है कि भविष्य के कार्यों को मल्टी-टर्न और एजेंटिक सेटिंग्स में इन ट्रेड-ऑफ्स का अन्वेषण करना चाहिए।