तकनीकी सारांश: थिंक-विथ-रुब्रिक्स (Think-with-Rubrics)

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वर्तमान सुदृढीकरण शिक्षण (Reinforcement Learning - RL) दृष्टिकोण उन सत्यापन योग्य कार्यों में उत्कृष्ट हैं जहाँ ग्राउंड-ट्रुथ लेबल मौजूद होते हैं। हालाँकि, ओपन-एंडेड, गैर-सत्यापन योग्य निर्देश-अनुपालन कार्यों के लिए RL का विस्तार करना चुनौतीपूर्ण बना हुआ है क्योंकि विश्वसनीय रिवॉर्ड सिग्नल (reward signals) का अभाव है। मौजूदा समाधान अक्सर स्केलर रिवॉर्ड्स या मोनोलिथिक जनरेटिव रिवॉर्ड मॉडल्स पर निर्भर करते हैं, जो सूक्ष्म प्रतिक्रिया गुणवत्ता को पकड़ने के लिए बहुत अधिक सामान्य (coarse) पर्यवेक्षण प्रदान करते हैं।

जबकि हालिया "रुब्रिक-एज़-रिवॉर्ड" (Rubric-as-Reward) प्रतिमानों ने कार्यों को संरचित, व्याख्या योग्य मानदंडों में विघटित करके इसमें सुधार किया है, एक महत्वपूर्ण सीमा बनी हुई है: रुब्रिक्स को केवल बाहरी मूल्यांकनकर्ताओं के रूप में माना जाता है। वर्तमान ढाँचों में, रुब्रिक्स का उपयोग मॉडल द्वारा प्रतिक्रिया उत्पन्न करने के बाद प्रदर्शन को मापने के लिए पोस्ट-हॉक (post-hoc) रूप से किया जाता है। यह डिज़ाइन रुब्रिक्स को मॉडल की जनरेशन प्रक्रिया या रीजनिंग ट्राजेक्टरी (reasoning trajectory) को सक्रिय रूप से निर्देशित करने से रोकता है, जिससे वे पॉलिसी के प्राथमिक रीजनिंग ट्रेस से अलग हो जाते हैं।

2. कार्यप्रणाली: थिंक-विथ-रुब्रिक्स (Methodology: Think-with-Rubrics)

लेखक THINK-WITH-RUBRICS का प्रस्ताव करते हैं, जो एक नया प्रतिमान है जो रुब्रिक जनरेशन को मॉडल की आंतरिक तर्क प्रक्रिया के एक अभिन्न अंग के रूप में समाहित करता है। सीधे प्रतिक्रिया उत्पन्न करने के बजाय, मॉडल पहले सफलता के मानदंडों को परिभाषित करने के लिए एक स्व-जनित रुब्रिक (self-generated rubric) का निर्माण करता है, और फिर उन मानदंडों के आधार पर प्रतिक्रिया उत्पन्न करता है।

2.1 मुख्य प्रतिमान (Core Paradigm)

पॉलिसी ट्राजेक्टरी $\tau$ को दो क्रमिक चरणों में विभाजित किया गया है:

1. रुब्रिक जनरेशन: मॉडल इनपुट निर्देश $x$ के आधार पर एक स्व-जनित रुब्रिक $\hat{r}$ बनाता है: $\hat{r} \sim \pi_\theta(\hat{r} | x)$।
2. रिस्पॉन्स जनरेशन: मॉडल निर्देश और स्व-जनित रुब्रिक दोनों की स्थिति में अंतिम उत्तर $y$ उत्पन्न करता है: $y \sim \pi_\theta(y | x, \hat{r})$।

यह मॉडल को एक निष्क्रिय निष्पादक (passive executor) से एक सक्रिय विचारशील (active deliberator) में बदल देता है जो तर्क करने से पहले सफलता के नियम स्थापित करता है।

2.2 प्रशिक्षण कार्यप्रवाह (Training Workflow)

प्रशिक्षण प्रक्रिया दो चरणों में состоит है:

चरण 1: SFT वार्म-अप (SFT Warm-up)
यह सुनिश्चित करने के लिए कि मॉडल विशिष्ट <rubric>...</rubric><answer>...</answer> प्रारूप का पालन करता है और RL को प्रारूप अनुपालन पर चरण व्यर्थ करने से रोकने के लिए, लेखक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) करते हैं।

• टीचर डिस्टिलेशन (Teacher Distillation): Openrubrics डेटासेट पर Gemini-2.5-Flash से प्रतिक्रियाएँ डिस्टिल की जाती हैं।
• उद्देश्य: पूरे ट्राजेक्टरी पर संभावना (likelihood) को अधिकतम करना, जिससे पॉलिसी को एक स्थिर संरचना के साथ आरंभ किया जा सके जो रुब्रिक निर्माण को उत्तर जनरेशन से अलग करती है।

चरण 2: RL प्रशिक्षण (RL Training)
मॉडल को एक कंपोजिट रिवॉर्ड सिस्टम $R(\tau) = \alpha R_{gold} + \beta R_{self} + \gamma R_{fmt}$ के साथ DAPO एल्गोरिदम का उपयोग करके अनुकूलित किया जाता है।

• रुब्रिक वेरीफायर (Rubric Verifier): एक विशेष, हल्का वेरीफायर (Qwen3-32B-Instruct से डिस्टिल किया गया) यह मूल्यांकन करता है कि क्या एक प्रतिक्रिया विशिष्ट मानदंडों को संतुष्ट करती है, और एक भारित अनुपालन स्कोर (weighted compliance score) आउटपुट करता है।
• गोल्डन रुब्रिक कंसिस्टेंसी रिवॉर्ड ($R_{gold}$): Openrubrics से प्राप्त ग्राउंड-ट्रुथ "गोल्डन" रुब्रिक ($r^*$) के विरुद्ध अंतिम उत्तर के अनुपालन को मापता है।
• सेल्फ-जनरेटेड रुब्रिक कंसिस्टेंसी रिवॉर्ड ($R_{self}$): मॉडल के अपने जनरेटित रुब्रिक ($\hat{r}$) के विरुद्ध अंतिम उत्तर के अनुपालन को मापता है। यह आंतरिक संरेखण (internal alignment) को लागू करता है।
• फॉर्मेट रिवॉर्ड ($R_{fmt}$): यह सुनिश्चित करके कि रुब्रिक और उत्तर सफलतापूर्वक पार्स किए गए हैं और मानदंडों की संख्या एक उचित सीमा (5–15, जिसका शिखर 10 है) के भीतर है, "रिवॉर्ड हैकिंग" (जैसे, तुच्छ मानदंड बनाना) को रोकता है।

2.3 मुख्य परिकल्पना (Key Hypothesis)

लेखक परिकल्पना करते हैं कि $R_{gold}$ और $R_{self}$ का संयुक्त अनुकूलन एक फीडबैक लूप बनाता है: यदि एक उत्तर स्व-जनित रुब्रिक को संतुष्ट करता है और गोल्डन रुब्रिक पर भी उच्च स्कोर करता है, तो स्व-जनित रुब्रिक को अप्रत्यक्ष रूप से गोल्डन मानक के साथ संरेखित होने के लिए प्रोत्साहित किया जाता है ($S(y, \hat{r}) \uparrow \land S(y, r^*) \uparrow \Rightarrow \hat{r} \approx r^*$)।

3. मुख्य योगदान (Key Contributions)

1. प्रतिमान परिवर्तन (Paradigm Shift): रुब्रिक्स को बाहरी मूल्यांकन मेट्रिक्स से आंतरिक संज्ञानात्मक चरणों (cognitive steps) में बदल देता है, जिससे मॉडल अपनी रीजनिंग चेन के भीतर विशिष्ट संदर्भों के लिए मानदंडों को गतिशील रूप से अनुकूलित कर सकता है।
2. एकीकृत प्रशिक्षण कार्यप्रवाह (Unified Training Workflow): स्व-जनित और गोल्डन रुब्रिक पर्यवेक्षण को संयोजित करने वाली एक विधि पेश करता है, जो यह प्रदर्शित करती है कि रुब्रिक गुणवत्ता पर स्पष्ट पर्यवेक्षण की आवश्यकता नहीं है; रुब्रिक लर्निंग, संयुक्त उत्तर निरंतरता अनुकूलन के माध्यम से उभरती है।
3. स्केलेबल सेल्फ-इवोल्यूशन (Scalable Self-Evolution): यह प्रदर्शित करता है कि मॉडल केवल स्व-जनित रुब्रिक पर्यवेक्षण का उपयोग करके प्रतिस्पर्धी प्रदर्शन प्राप्त कर सकते हैं, जो बाहरी एनोटेशन पर निर्भरता के बिना स्केलेबल सेल्फ-इवोल्यूशन की ओर एक मार्ग सुझाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग तीन निर्देश-अनुपालन बेंचमार्क: IFEval, IFBench, और InfoBench पर Qwen3-8B और Qwen3-4B मॉडल्स पर किए गए।

• प्रदर्शन लाभ (Performance Gains): THINK-WITH-Rubrics लगातार "रुब्रिक-एज़-रिवॉर्ड" बेसलाइन (जो केवल बाहरी रिवॉर्ड के रूप में गोल्डन रुब्रिक्स का उपयोग करता है) से बेहतर प्रदर्शन करता है।
  • 8B मॉडल पर, मिश्रित रिवॉर्ड सेटिंग ने बेसलाइन की तुलना में औसतन 3.87 अंक का सुधार किया।
  • 4B मॉडल पर, सुधार 4.16 अंक था।
• रिवॉर्ड संरचना (Reward Composition): मिश्रित रिवॉर्ड सेटिंग (गोल्डन और स्व-जनित निरंतरता को संयोजित करना) ने सर्वोत्तम परिणाम दिए। हालांकि, "सेल्फ-जनरेटेड रिवॉर्ड केवल" सेटिंग (57.17% औसत) "गोल्डन रिवॉर्ड केवल" सेटिंग (56.81%) से थोड़ा बेहतर थी, जो स्व-इवोल्यूशन की व्यवहार्यता को प्रमाणित करती है।
• दक्षता (Efficiency): THINK-WITH-RUBRICS के लिए औसत थिंकिंग लेंथ (231 टोकन) वैनिला थिंकिंग (401 टोकन) की तुलना में काफी कम थी, जो यह दर्शाता है कि रुब्रिक्स आवश्यक आवश्यकताओं को एक सुव्यवस्थित प्रक्रिया में संक्षिप्त करते हैं।

तंत्र विश्लेषण (Mechanism Analysis)

• आंतरिक गुणवत्ता सुधार (Implicit Quality Improvement): गोल्डन रुब्रिक्स के माध्यम से पर्यवेक्षण अप्रत्यक्ष रूप से स्व-जनित रुब्रिक्स की गुणवत्ता में सुधार करता है, भले ही सीधे रुब्रिक-स्तरीय तुलना के बिना हो।
• आंतरिक निरंतरता (Internal Consistency): स्व-जनित रुब्रिक पर्यवेक्षण मॉडल के अपने रुब्रिक्स और उसके उत्तरों के बीच निरंतरता में काफी सुधार करता है। अप्रशिक्षित मॉडल अक्सर अपने स्वयं के जनरेटेड मानदंडों का पालन करने में विफल रहते हैं; स्व-पर्यवेक्षण इस आंतरिक विसंगति को कम करता है।
• रुब्रिक गुणवत्ता बनाम प्रदर्शन (Rubric Quality vs. Performance): जबकि केवल स्व-पर्यवेक्षण निर्देश-अनुपालन प्रदर्शन में सुधार करता है, परिणामी रुब्रिक्स आवश्यक रूप से बेहतर सामान्य-उद्देश्य वाले मूल्यांकनकर्ता नहीं होते हैं (जैसा कि RewardBench-2 में देखा गया है)। उनका मूल्य मॉडल की अपनी जनरेशन प्रक्रिया के दौरान बाधा निरंतरता (constraint consistency) बनाए रखने में निहित है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि THINK-WITH-RUBRICS रिवॉर्ड मॉडलिंग और पॉलिसी जनरेशन के बीच के अंतर को पाटकर, ओपन-एंडेड निर्देशों के साथ LLMs को संरेखित करने के लिए एक मजबूत समाधान प्रदान करता है।

• सक्रिय मार्गदर्शन (Active Guidance): रुब्रिक्स को बाहरी जाँच के बजाय आंतरिक रीजनिंग स्टेप्स के रूप में मानकर, मॉडल वांछित परिणामों की ओर अपनी जनरेशन को सक्रिय रूप से निर्देशित करता है, जो मानव मेटाकॉग्निशन (metacognition) की नकल करता है।
• स्व-इवोल्यूशन क्षमता (Self-Evolution Potential): केवल स्व-जनित रुब्रिक्स का उपयोग करके मॉडल के सुधार करने की क्षमता स्केलेबल सेल्फ-इवोल्यूशन के लिए एक व्यवहार्य पथ का सुझाव देती है, जिससे बाहरी ग्राउंड-ट्रुथ एनोटेशन पर निर्भरता कम होती है।
• सामान्यीकरण (Generalizability): यह प्रतिमान विभिन्न मॉडल स्केल्स (4B से 8B) और विभिन्न रिवॉर्ड वेट कॉन्फ़िगरेशन में प्रभावी रहता है, जो मजबूती (robustness) प्रदर्शित करता है।

लेखक निष्कर्ष निकालते हैं कि रुब्रिक जनरेशन को रीजनिंग ट्राजेक्टरी में एकीकृत करना ओपन-एंडेड टास्क अलाइनमेंट के लिए एक सामान्य प्रतिमान है, जो पारंपरिक "थिंक" या "चेन-ऑफ-थॉट" विधियों की तुलना में अधिक संरचित और स्व-सुसंगत दृष्टिकोण प्रदान करता है।