← नवीनतम पेपर
💬 NLP

Flexible Entropy Control in RLVR with a Gradient-Preserving Perspective

यह शोध पत्र एक नवीन डायनेमिक क्लिपिंग तंत्र का प्रस्ताव देकर 'वेरिफिएबल रिवार्ड्स के साथ रीइन्फोर्समेंट लर्निंग' (RLVR) में एंट्रॉपी कोलैप्स को संबोधित करता है, जो पॉलिसी एंट्रॉपी को सटीक रूप से नियंत्रित करने के लिए एक ग्रेडिएंट-प्रिजर्विंग परिप्रेक्ष्य का लाभ उठाता है, जिससे समयपूर्व अति-आत्मविश्वास को रोका जा सके और एलएलएम (LLM) तर्क प्रदर्शन को बढ़ाया जा सके।

मूल लेखक: Kun Chen, Peng Shi, Fanfan Liu, Haibo Qiu, Zhixiong Zeng, Siqi Yang, Wenji Mao

प्रकाशित 2026-05-11
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Kun Chen, Peng Shi, Fanfan Liu, Haibo Qiu, Zhixiong Zeng, Siqi Yang, Wenji Mao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: "अति-आत्मविश्वासी छात्र" की समस्या

कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र (एक लार्ज लैंग्वेज मॉडल) को कठिन गणितीय समस्याओं को हल करने के लिए प्रशिक्षित कर रहे हैं। आप रीइन्फोर्समेंट लर्निंग विद वेरिफिएबल रिवार्ड्स (RLVR) नामक एक प्रणाली का उपयोग करते हैं। इसे एक सख्त कोच के रूप में समझें जो छात्र को अंक केवल तभी देता है जब वह उत्तर सही पाता है।

शुरुआत में, छात्र जिज्ञासु होता है। वे समस्या को हल करने के कई अलग-अलग तरीके आज़माते हैं, गलतियाँ करते हैं लेकिन उनसे सीखते हैं। इस "जिज्ञासा" को एन्ट्रॉपी (Entropy) कहा जाता है। उच्च एन्ट्रॉपी का अर्थ है कि छात्र कई संभावनाओं की खोज कर रहा है।

हालाँकि, जैसे-जैसे प्रशिक्षण जारी रहता है, कुछ गलत हो जाता है। छात्र अति-आत्मविश्वासी (Overconfident) हो जाता है। वे नए दृष्टिकोणों को आजमाना बंद कर देते हैं और बस उन्हीं कुछ उत्तरों को दोहराते हैं जो उन्हें पता है कि काम करते हैं, भले ही वे उत्तर पूर्ण न हों। वे खोज करना बंद कर देते हैं। तकनीकी शब्दों में, उनकी एन्ट्रॉपी ढह (Collapse) जाती है

जब ऐसा होता है, तो छात्र सीखना बंद कर देता है क्योंकि वे अब जोखिम नहीं ले रहे होते हैं। वे एक "लोकल ऑप्टिमम" (Local Optimum) में फंस जाते हैं—एक आरामदायक स्थिति जहाँ उन्हें लगता है कि वे बहुत अच्छा कर रहे हैं, लेकिन वास्तव में वे सबसे अच्छे समाधानों को मिस कर रहे होते हैं।

मूल कारण: एक "सुरक्षा जाल" जो बहुत कसकर बंधा है

पेपर इस अपराधी की पहचान एक तंत्र के रूप में करता है जिसे ग्रेडिएंट-प्रिजर्विंग क्लिपिंग (Gradient-Preserving Clipping) कहा जाता है।

कल्पना कीजिए कि कोच के पास एक सुरक्षा जाल (एक "क्लिपिंग थ्रेशोल्ड") है ताकि छात्र को जंगली या खतरनाक अंदाज़ में अनुमान लगाने से रोका जा सके।

  • यदि छात्र एक नया, कम-संभावना वाला विचार आज़माता है, तो जाल आमतौर पर उसे पकड़ लेता है और कहता है, "नहीं, वहाँ मत जाओ।"
  • समस्या यह है कि यह जाल स्थिर (Static) (कठोर) है। यह हर स्थिति के साथ एक जैसा व्यवहार करता है। यह छात्र की कम-संभावना वाले विचारों को खोजने की क्षमता को बहुत कठोरता से काट देता है, और यह उन्हें उच्च-संभावना वाले विचारों पर पर्याप्त जोर देने भी नहीं देता।

चूँकि जाल बहुत कठोर है, इसलिए छात्र का आत्मविश्वास (एन्ट्रॉपी) बहुत तेज़ी से गिर जाता है, और "ग्रेडिएंट्स" (वे संकेत जो छात्र को सुधार करने के लिए बताते हैं) लुप्त हो जाते हैं। छात्र सीखना बंद कर देता है।

समाधान: एक "स्मार्ट, लचीला कोच"

लेखक छात्र के आत्मविश्वास को प्रबंधित करने का एक नया तरीका प्रस्तावित करते हैं। एक कठोर सुरक्षा जाल के बजाय, वे एक डायनेमिक क्लिपिंग थ्रेशोल्ड (Dynamic Clipping Threshold) का उपयोग करते हैं।

इसे एक ऐसे कोच के रूप में सोचें जो छात्र की वर्तमान स्थिति के आधार पर नियमों को समायोजित करता है:

  1. जब छात्र अनिश्चित हो (कम संभावना): कोच सुरक्षा जाल को ढीला कर देता है। "आगे बढ़ो, वह अजीब विचार आज़माओ! भले ही इसकी संभावना कम हो, देखते हैं क्या होता है।" यह अन्वेषण को प्रोत्साहित करता है और छात्र की जिज्ञासा (एन्ट्रॉपी) को उच्च बनाए रखता है।
  2. जब छात्र बहुत आश्वस्त हो (उच्च संभावना): कोच जाल को थोड़ा कस देता है। "तुम पहले से ही इस उत्तर के प्रति बहुत आश्वस्त हो; बहुत ज़्यादा आत्मविश्वासी मत बनो। आइए सुनिश्चित करें कि हम अन्य संभावनाओं को नज़रअंदाज़ नहीं कर रहे हैं।" यह छात्र को बहुत जल्दी अति-आत्मविश्वासी होने से रोकता है।

नियमों को संभावना-निर्भर (Probability-dependent) बनाकर, सिस्टम सटीक रूप से यह नियंत्रित कर सकता है कि छात्र कितना अन्वेषण करेगा बनाम वह कितना ध्यान केंद्रित करेगा।

तीन प्रशिक्षण रणनीतियाँ

पेपर केवल जाल को ठीक नहीं करता है; यह इस लचीले जाल का उपयोग करने के लिए तीन अलग-अलग "प्रशिक्षण कार्यक्रम" (रणनीतियाँ) डिज़ाइन करता है:

  1. बढ़ना-फिर-घटना (Increase-Then-Decrease - ID):

    • उपमा: एक "जंगली बच्चे" के चरण से शुरुआत करें। छात्र को सब कुछ एक्सप्लोर करने और पागलपन भरे समाधान आज़माने दें। एक बार जब उनके पास एक अच्छा आधार बन जाए, तो नियमों को धीरे-धीरे सख्त करें ताकि उन्हें ध्यान केंद्रित करने और अपने कौशल को निखारने में मदद मिले।
    • सर्वश्रेष्ठ: उन मॉडल्स के लिए जो पहले से ही थोड़े प्रशिक्षित हैं और जिन्हें अंतिम रूप देने से पहले रचनात्मकता के उछाल की आवश्यकता है।
  2. घटना-बढ़ना-फिर-घटना (Decrease-Increase-Decrease - DID):

    • उपमा: छात्र को शांत करने से शुरुआत करें (अराजकता कम करें)। फिर, उन्हें थोड़ा और अन्वेषण करने के लिए एक दूसरा मौका दें (जिज्ञासा बढ़ाएं) ताकि वे फंसने से बच सकें। अंत में, सर्वश्रेष्ठ उत्तरों को लॉक करने के लिए फिर से शांत करें।
    • सर्वश्रेष्ठ: उन मॉडल्स के लिए जो शुरुआत में बहुत अराजक या "कच्चे" होते हैं और जिन्हें सुरक्षित रूप से अन्वेषण करने से पहले स्थिरता के एक क्षण की आवश्यकता होती है।
  3. दोलन क्षय (Oscillatory Decay - OD):

    • उपमा: एक लयबद्ध नृत्य। कोच पूरे प्रशिक्षण के दौरान लगातार "एक्सप्लोर मोड" और "फोकस मोड" के बीच स्विच करता रहता है। यदि छात्र बहुत ऊब जाता है (एन्ट्रॉपी बहुत कम हो जाती है), तो कोच कहता है, "जाओ एक्सप्लोर करो!" यदि छात्र बहुत अधिक अनियंत्रित हो जाता है (एन्ट्रॉपी बहुत अधिक हो जाती है), तो कोच कहता है, "ध्यान केंद्रित करो!"
    • सर्वश्रेष्ठ: लंबे प्रशिक्षण सत्रों के लिए जहाँ छात्र एक ही ढर्रे में फंस सकता है; यह उन्हें सतर्क रखता है।

परिणाम

लेखकों ने गणित की समस्याओं (जैसे AIME और MATH बेंचमार्क) पर इन विधियों का परीक्षण किया।

  • परिणाम: उनके लचीले दृष्टिकोण ने "एन्ट्रॉपी कोलैप्स" को रोक दिया। छात्र बहुत जल्दी अति-आत्मविश्वासी नहीं हुए।
  • स्कोर: इन नई रणनीतियों के साथ प्रशिक्षित मॉडल्स ने मानक विधियों की तुलना में अधिक गणितीय समस्याओं को सही ढंग से हल किया। वे सही उत्तर खोजने में बेहतर थे क्योंकि उन्होंने बहुत जल्दी नए रास्तों की खोज करना नहीं छोड़ा।

सारांश

पेपर का तर्क है कि AI को स्मार्ट बनाने के लिए, हम न तो इसे बेतरतीब ढंग से सीखने दे सकते हैं, और न ही इसे बहुत कठोर बना सकते हैं। हमें एक डायनेमिक कोच की आवश्यकता है जो जानता हो कि कब जंगली अन्वेषण को प्रोत्साहित करना है और कब ध्यान केंद्रित करने की मांग करनी है, जिससे AI को जिज्ञासु लेकिन अराजक बनाए रखने के लिए वास्तविक समय में नियमों को समायोजित किया जा सके।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →