Reasoning or Memorization? Direction-Aware Diversity Exploration in LLM Reinforcement Learning

तकनीकी सारांश: DiRL – LLM सुदृढीकरण शिक्षण (Reinforcement Learning) में दिशा-जागरूक विविधता अन्वेषण (Direction-Aware Diversity Exploration)

समस्या विवरण
सुदृढीकरण शिक्षण (RL) जटिल तर्क (reasoning) को विकसित करने के लिए एक प्राथमिक प्रतिमान (paradigm) बन गया है। हालाँकि, RL में एक केंद्रीय चुनौती अन्वेषण (exploration) है: नीति (policy) को विविध प्रक्षेप पथों (trajectories) का नमूना लेना चाहिए ताकि संकीर्ण, उप-इष्टतम मोड (suboptimal modes) में ढहने से बचा जा सके। मौजूदा अन्वेषण विधियाँ आमतौर पर अर्थ संबंधी (semantic) या ग्रेडिएंट स्पेस में विविधता को प्रोत्साहित करती हैं, लेकिन वे उस विविधता के स्रोत के बीच अंतर नहीं करती हैं। एक प्रक्षेप पथ इसलिए नवीन लग सकता है क्योंकि वह वास्तव में एक नए तर्क पथ का अनुसरण कर रहा है, या केवल इसलिए क्योंकि वह याद किए गए पैटर्न और शॉर्टकट को बदल रहा है। वर्तमान दृष्टिकोण इन दोनों व्यवहारों को समान रूप से पुरस्कृत करते हैं, जिससे यह जोखिम बना रहता है कि अन्वेषण वास्तविक तर्क सुधार के बजाय रटने (memorization) की ओर मुड़ जाए। भले ही मेट्रिक्स अनुकूलन गतिशीलता (optimization dynamics) को बेहतर ढंग से दर्शाने के लिए सिमेंटिक एम्बेडिंग से ग्रेडिएंट स्पेस की ओर स्थानांतरित हो जाएं, फिर भी एक नवीन अपडेट तर्क क्षमताओं को बढ़ाने के बजाय रटने को सुदृढ़ कर सकता है।

कार्यप्रणाली: DiRL फ्रेमवर्क
यह शोध पत्र DiRL (Direction-Aware Reinforcement Learning) का प्रस्ताव करता है, जो एक ऐसा फ्रेमवर्क है जो अन्वेषण को नीति के अपने प्रतिनिधित्व (representations) से प्राप्त एक आंतरिक "तर्क-रटने दिशा" (reasoning-memorization direction) से जोड़ता है। DiRL मानक ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) एल्गोरिदम में सहजता से एकीकृत होता है। कार्यप्रणाली चार प्रमुख चरणों के माध्यम से आगे बढ़ती है:

1. तर्क-रटने दिशा निष्कर्षण (Reasoning-Memorization Direction Extraction):
   RL प्रशिक्षण से पहले, यह विधि नीति के रेसिडुअल स्ट्रीम (residual stream) में एक निश्चित दिशा वेक्टर $k$ का निर्माण करती है। यह दो विलगित (disjoint) कार्यों के बीच औसत सक्रियण अंतर (mean activation difference) की गणना करके प्राप्त किया जाता है: $D^+$ (तर्क-गहन कार्य, जैसे बहु-चरणीय गणित), और $D^-$ (स्मृति-गहन कार्य, जैसे तथ्यात्मक रिकॉल)। यह दिशा एक ज्यामितीय आधार (geometric anchor) के रूप में कार्य करती है ताकि यह अंतर किया जा सके कि क्या कोई प्रतिक्रिया तर्क या रटने के व्यवहार के साथ अधिक संरेखित है।

2. दिशा-भारित ग्रेडिएंट विशेषताएं (Direction-Weighted Gradient Features):
   प्रत्येक प्रतिक्रिया के लिए, DiRL एक ग्रेडिएंट फीचर $\Phi^{(i)}$ बनाता है जो यह सारांश देता है कि वह प्रतिक्रिया नीति को कैसे अपडेट करेगी। मानक ग्रेडिएंट फीचर्स के विपरीत, ये इस बात से भारित (weighted) होते हैं कि प्रत्येक टोकन का हिडन स्टेट (hidden state) तर्क दिशा $k$ के साथ कितना संरेखित है। जो टोकन तर्क पक्ष के साथ संरेखित होते हैं उन्हें उच्च भार मिलता है, जबकि जो रटने के साथ संरेखित होते हैं उन्हें कम भार मिलता है। यह सुनिश्चित करता है कि परिणामी फीचर वेक्टर मुख्य रूप से रटने के बजाय तर्क में विविधता को दर्शाता है।

3. तर्क-आधारित अन्वेषण स्कोर (Reasoning-Anchored Exploration Score):
   फ्रेमवर्क रोलआउट समूह को दो उप-समूहों में विभाजित करता है: एक तर्क-संरेखित उप-समूह ($G_R$) और एक स्मृति-संरेखित उप-समूह ($G_M$), जो $k$ पर माध्य हिडन स्टेट्स के प्रोजेक्शन पर आधारित है।

• $G_R$ में प्रतिक्रियाओं के लिए, अन्वेषण स्कोर अन्य तर्क-संरेखित साथियों के सापेक्ष नवीनता को मापता है।
• $G_M$ में प्रतिक्रियाओं के लिए, स्कोर तर्क-संरेखित अपडेट दिशाओं से दूरी को मापता है।
  यह डिज़ाइन सुनिश्चित करता है कि विविधता को केवल तभी पुरस्कृत किया जाता है जब वह वैध तर्क पथों के स्थान का विस्तार करती है, जबकि रटने के परिवर्तनों को कम मूल्यवान या हानिकारक माना जाता है।

4. दिशा-जागरूक पुरस्कार शेपिंग (Direction-Aware Reward Shaping):
   अन्वेषण स्कोर का उपयोग मूल बाइनरी रिवार्ड्स को आकार देने के लिए किया जाता है। सही तर्क-संरेखित प्रतिक्रियाओं को प्रवर्धित (amplified) पुरस्कार प्राप्त होते हैं, जबकि गलत तर्क प्रयासों के लिए दंड को नरम (softened) किया जाता है (क्योंकि वे उपयोगी दिशात्मक अपडेट में योगदान देते हैं)। इसके विपरीत, सही स्मृति-संरेखित प्रतिक्रियाओं को कम रिवॉर्ड मिलता है ताकि शॉर्टकट को हतोत्साहित किया जा सके, और गलत स्मृति-संgehend प्रतिक्रियाओं को अधिक दंडित किया जाता है। इन शेप्ड रिवार्ड्स को फिर मानक GRPO एडवांटेज गणना में फीड किया जाता है।

प्रमुख योगदान

• DiRL फ्रेमवर्क: एक दिशा-जागरूक RL फ्रेमवर्क का परिचय जो अन्वेषण को स्पष्ट रूप से तर्क-रटने के अंतर के साथ जोड़ता है, जिससे नीतियां रटे हुए पैटर्न के बजाय मजबूत तर्क की ओर बढ़ती हैं।
• नवीन अन्वेषण तंत्र: एक तंत्र का विकास जो दिशा-भारित ग्रेडिएंट फीचर स्पेस में नवीनता को मापता है, जो तर्क-संरेखित अन्वेषण को चुनिंदा रूप से बढ़ाता है और रटने-संरेखित विविधताओं को दबाता है।
• अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो दर्शाते हैं कि DiRL, मानक GRPO और अन्य विविधता-आधारित अन्वेषण विधियों की तुलना में गणितीय और सामान्य तर्क बेंचमार्क पर प्रदर्शन में सुधार करता है।

प्रायोगिक परिणाम
लेखकों ने Qwen3-1.7B और Qwen3-4B बैकबोन पर कई बेंचमार्क पर DiRL का मूल्यांकन किया:

• गणितीय तर्क (Mathematical Reasoning): MATH500, AMC, AIME24, और AIME25 सहित बेंचमार्क पर, DiRL ने लगातार बेसलाइन (GRPO, Entropy Bonus, EVOL-RL, और G2RL) को पछाड़ दिया। उदाहरण के लिए, Qwen3-4B पर, DiRL ने MATH500 पर 83.0 का pass@1 प्राप्त किया (GRPO पर +5.6 सुधार) और AIME24 पर 19.6 (AIME24 पर +7.3 सुधार)।
• सामान्य तर्क (General Reasoning): GPQA और MMLU-Pro पर, DiRL ने निरंतर सुधार दिखाया, जो इंगित करता है कि लाभ गणितीय समस्या समाधान से परे सामान्य तर्क क्षमताओं तक विस्तृत हैं।
• सामान्यीकरण और मजबूती (Generalization and Robustness): DiRL-प्रशिक्षित मॉडलों ने GSM-Symbolic और इसके परिवर्तित वेरिएंट पर बेहतर प्रदर्शन किया, जो सुझाव देता है कि मॉडलों ने विशिष्ट बेंचमार्क पैटर्न के बजाय अंतर्निहित तर्क प्रक्रियाओं को सीखा है।
• रोलआउट का विश्लेषण: DiRL ने रोलआउट में तर्क-संरेखित प्रतिक्रियाओं के अनुपात को बढ़ाया (जैसे, Qwen3-4B के लिए AIME25 पर 45.8% से 60.0% तक)।
• दक्षता (Efficiency): यह विधि प्रति चरण प्रशिक्षण समय में न्यूनतम कम्प्यूटेशनल ओवरहेड (लगभग 13-18% की वृद्धि) पेश करती है क्योंकि यह फॉरवर्ड-पास सक्रियणों और एक पूर्व-निकाले गए, स्थिर दिशा वेक्टर पर निर्भर करती है।

महत्व और दावे
शोध पत्र का दावा है कि LLM सुदृढीकरण शिक्षण में प्रभावी अन्वेषण का अर्थ केवल विविध प्रक्षेप पथ उत्पन्न करने पर ध्यान केंद्रित करना नहीं है, बल्कि उन प्रक्षेप पथों को प्रोत्साहित करना है जो वास्तव में तर्क का विस्तार करते हैं। तर्क और रटने के बीच अंतर करने के लिए LLM के आंतरिक ज्यामिति का लाभ उठाकर, DiRL एक तंत्र प्रदान करता है जो RL को अधिक मजबूत तर्क व्यवहारों की ओर निर्देशित करता है। लेखक यह तर्क देते हैं कि यह कार्य प्रतिनिधित्व-जागरूक अन्वेषण (representation-aware exploration) के अनुसंधान को प्रेरित करता है, जहाँ सीखने की गतिशीलता को अनुकूलित करने के लिए आंतरिक मॉडल हस्ताक्षरों (internal model signatures) का उपयोग किया जाता है। शोध पत्र सीमाओं को स्वीकार करते हुए कहता है कि वर्तमान दृष्टिकोण प्रतिनिधि डेटा से निकाले गए एकल वैश्विक दिशा पर निर्भर करता है और भविष्य के कार्य तर्क व्यवहार के कई गुप्त आयामों (latent dimensions) की खोज करने की संभावना तलाश सकते हैं।