तकनीकी सारांश: EVOLM – सह-विकसित विभेदक रूब्रिक्स के माध्यम से स्व-विकसित भाषा मॉडल

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वर्तमान पोस्ट-ट्रेनिंग विधियाँ, विशेष रूप से ह्यूमन फीडबैक से रिइन्फोर्समेंट लर्निंग (RLHF), रिवॉर्ड सिग्नल उत्पन्न करने के लिए अत्यधिक बाहरी पर्यवेक्षण (supervision) पर निर्भर करती हैं। इन स्रोतों में मानव प्राथमिकता एनोटेशन, प्रोप्रायटरी API-आधारित जज (LLM-as-a-judge), स्केलर रिवॉर्ड मॉडल, या सत्यापन योग्य ग्राउंड-ट्रुथ उत्तर शामिल हैं। प्रत्येक एक मौलिक सीमा (ceiling) आरोपित करता है: मानव निर्णय अपनी स्वयं की क्षमताओं से परे क्षमताओं का पर्यवेक्षण नहीं कर सकता; प्रोप्रायटरी API निर्भरता और लागत संबंधी बाधाएं पैदा करते हैं; स्केलर रिवॉर्ड मॉडल रिवॉर्ड हैकिंग के प्रति संवेदनशील होते हैं; और सत्यापन योग्य रिवॉर्ड उन डोमेन तक सीमित हैं जहाँ ग्राउंड-ट्रुथ उत्तर उपलब्ध होते हैं।

यद्यपि LLMs प्रीट्रेनिंग से पर्याप्त मूल्यांकनात्मक ज्ञान (evaluative knowledge) को एनकोड करते हैं, वर्तमान विधियाँ इस अंतर्निहित ज्ञान को एक विश्वसनीय, स्व-स्थायी प्रशिक्षण संकेत के रूप में संरचित करने में विफल रहती हैं। मुख्य चुनौती इस मूल्यांकनात्मक क्षमता को एक ऐसे रूप में निकालने और संरचित करने की है जो बिना बाहरी पर्यवेक्षण के विश्वसनीय स्कोरिंग को सक्षम बना सके, जिससे मॉडल को स्थिर मूल्यांकन मानदंडों की सीमाओं से परे स्व-सुधार करने की अनुमति मिल सके।

2. कार्यप्रणाली: EVOLM

लेखक EVOLM का प्रस्ताव करते हैं, जो एक पोस्ट-ट्रेनिंग फ्रेमवर्क है जो एक ही भाषा मॉडल को अपनी जनरेशन (पॉलिसी) और मूल्यांकन (रूब्रिक) क्षमताओं को सह-विकसित (co-evolve) करने में सक्षम बनाता है। मुख्य नवाचार विभेदक रूब्रिक्स (discriminative rubrics) के रूप में मूल्यांकनात्मक ज्ञान को स्पष्ट रूप से संरचित करना है—जो प्राकृतिक भाषा के मानदंड हैं जिन्हें एक छोटे, फ्रोजन जज को पसंदीदा और नापसंद प्रतिक्रियाओं के बीच अंतर करने में मदद करने के लिए अनुकूलित किया गया है।

2.1 मुख्य घटक

• पॉलिसी मॉडल ($\pi_\theta$): प्रश्नों के उत्तर उत्पन्न करता है।
• रूब्रिक जनरेटर ($\rho_\phi$): दिए गए प्रश्न के लिए विशिष्ट उदाहरण-आधारित मूल्यांकन मानदंड (रूब्रिक्स) प्राकृतिक भाषा में उत्पन्न करता है।
• फ्रोजन जज ($J$): एक छोटा, स्थिर भाषा मॉडल (जैसे, Qwen3-1.7B) जो उत्पन्न रूब्रिक्स के विरुद्ध प्रतिक्रियाओं को स्कोर करता है। जज के पैरामीटर्स पूरे प्रशिक्षण के दौरान फ्रोजन रहते हैं।

2.2 प्रशिक्षण उद्देश्य और तंत्र

EVOLM रूब्रिक को एक लेटेंट वेरिएबल (latent variable) के रूप में मानता है और वेरिएशनल इन्फरेंस (variational inference) के माध्यम से रूब्रिक जनरेशन को औपचारिक रूप देता है। इसका लक्ष्य विभेदक उपयोगिता (discriminative utility) को अधिकतम करना है: एक रूब्रिक "अच्छा" है यदि, फ्रोजन जज द्वारा लागू किए जाने पर, यह पसंदीदा प्रतिक्रिया ($a^+$) को नापसंद प्रतिक्रिया ($a^-$) की तुलना में उच्च स्कोर प्रदान करता है।

प्रशिक्षण उद्देश्य ELBO को अधिकतम करता है, जो उन रूब्रिक्स को पुरस्कृत करता है जो पसंदीदा और नापसंद प्रतिक्रियाओं के बीच स्कोर के अंतर को बढ़ाते हैं:
$$\mathcal{L}_{rubric}(\phi) = \mathbb{E}_{r \sim \rho_\phi(r|q)} [\log \sigma(J(q, r, a^+) - J(q, r, a^-))] - \text{KL}(\rho_\phi(r|q) \| \rho_{ref}(r|q))$$
व्यवहार में, इसे मार्जिन-आधारित रिवॉर्ड और एक फॉर्मेट रिवॉर्ड के साथ अनुकूलित किया जाता है ताकि यह सुनिश्चित हो सके कि रूब्रिक एक संरचित JSON स्कीमा का पालन करता है जिसे जज द्वारा पार्स किया जा सके।

2.3 सह-विकसित प्रशिक्षण लूप (Co-Evolving Training Loop)

यह विधि GRPO (ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन) एल्गोरिदम का उपयोग करके दो चरणों के बीच बारी-बारी से चलती है:

1. चरण 1 (पॉलिसी अपडेट): रूब्रिक जनरेटर फ्रोजन रहता है। पॉलिसी प्रतिक्रियाएँ उत्पन्न करती है, जिन्हें वर्तमान रूब्रिक्स का उपयोग करके फ्रोजन जज द्वारा स्कोर किया जाता है। पॉलिसी को इन रूब्रिक-व्युत्पन्न रिवॉर्ड्स को अधिकतम करने के लिए अपडेट किया जाता है।
2. चरण 2 (रूब्रिक अपडेट): पॉलिसी फ्रोजन रहती है। पॉलिसी के अपने आउटपुट से प्राथमिकता जोड़े $(a^+, a^-)$ बनाए जाते हैं। रूब्रिक जनरेटर उम्मीदवार रूब्रिक्स उत्पन्न करता है, जिन्हें जज द्वारा दोनों प्रतिक्रियाओं पर स्कोर किया जाता है। रूब्रिक जनरेटर को पसंदीदा और नापसंद प्रतिक्रियाओं के बीच स्कोर मार्जिन को अधिकतम करने के लिए अपडेट किया जाता है।

2.4 प्राथमिकता जोड़े का निर्माण (Preference Pair Construction)

बाहरी लेबल से बचने के लिए, EVOLM पूरी तरह से पॉलिसी के अपने आउटपुट का उपयोग करके तीन पूरक विधियों से प्राथमिकता जोड़े बनाता है:

• टेम्पोरल कॉन्ट्रास्ट (Temporal Contrast): एक वर्तमान प्रतिक्रिया ($a^+$) को पिछले प्रशिक्षण चेकपॉइंट से एक पिछली प्रतिक्रिया ($a^-$) के साथ जोड़ता है। जैसे-जैसे पॉलिसी में सुधार होता है, टेम्पोरल गैप कठिनाई का एक स्वाभाविक पाठ्यक्रम (curriculum) बनाता है।
• इन्फर्ड क्वेश्चन (Inferred Question - IQ): पॉलिसी उस प्रश्न का अनुमान लगाती है जिसे एक पसंदीदा प्रतिक्रिया संबोधित करती है, फिर उस अनुमानित प्रश्न के लिए एक नापसंद प्रतिक्रिया उत्पन्न करती है ताकि प्रासंगिकता का परीक्षण किया जा सके।
• रूब्रिक-कंडीशन्ड (Rubric-Conditioned - RC): रूब्रिक के आधार पर एक पसंदीदा प्रतिक्रिया और केवल प्रश्न के आधार पर एक नापसंद प्रतिक्रिया उत्पन्न करता है, जो रूब्रिक की उपयोगिता का परीक्षण करता है।

3. मुख्य योगदान

• स्व-विकसित फ्रेमवर्क: EVOLM पहला तरीका है जो औपचारिक रूप से रूब्रिक की गुणवत्ता को 'विभेदक उपयोगिता' के रूप में परिभाषित करता है और बिना किसी बाहरी पर्यवेक्षण, प्रोप्रायटरी API, या कार्य-विशिष्ट वेरिफायर के एंड-टू-एंड रूब्रिक जनरेटर को प्रशिक्षित करता है।
• सह-विकास (Co-Evolution): यह फ्रेमवर्क एक फीडबैक लूप स्थापित करता है जहाँ पॉलिसी का सुधार रूब्रिक्स को तेज (sharpen) होने के लिए मजबूर करता है (ताकि वे विभेदक बने रहें), और तेज रूब्रिक्स और अधिक सूचनात्मक रिवॉर्ड प्रदान करते हैं जो आगे के पॉलिसी सुधार को संचालित करते हैं।
• रूब्रिक संवर्धन तंत्र (Rubric Enrichment Mechanism): गुणात्मक विश्लेषण से पता चलता है कि प्रशिक्षित रूब्रिक्स अमूर्त लेबल से बदलकर ठोस, सत्यापन योग्य जाँचों में विकसित हो जाते हैं। वे विशिष्ट अपेक्षित मूल्यों (जैसे, "उत्तर 144 है") को एम्बेड करते हैं और बाधाओं को व्यक्तिगत रूप से जांचने योग्य उप-कार्यों में विभाजित करते हैं, जिससे समग्र निर्णय (holistic judgment) को पैटर्न मैचिंग में बदल दिया जाता है जिसे छोटे जज भी विश्वसनीय रूप से कर सकते हैं।
• सामान्यीकरण (Generalization): सीखा गया रूब्रिक अनदेखी (unseen) नीतियों, विभिन्न मॉडल परिवारों और आउट-ऑफ-डिस्ट्रीब्यूशन डोमेन (जैसे, डीप रिसर्च टास्क) पर प्रभावी ढंग से स्थानांतरित होता है।

4. प्रयोगात्मक परिणाम

प्रयोग Qwen3-8B को पॉलिसी/रूब्रिक जनरेटर के रूप में और Qwen3-1.7B को फ्रोजन जज के रूप में उपयोग करके किए गए थे।

• डाउनस्ट्रीम प्रदर्शन: EVOLM-प्रशिक्षित पॉलिसी ने OLMo3-Adapt सूट (12 बेंचमार्क) पर औसतन 69.3% प्राप्त किया, जो निम्नलिखित से बेहतर प्रदर्शन करता है:
  • GPT-4.1 प्रॉम्प्टेड रूब्रिक्स के साथ प्रशिक्षित नीतियां (66.7%)।
  • Qwen3-8B प्रॉम्प्टेड रूब्रिक्स के साथ प्रशिक्षित नीतियां (67.5%)।
  • स्टेट-ऑफ-द-आर्ट स्केलर रिवॉर्ड मॉडल (SkyWork-RM-V2) (59.7%)।
  • अन्य रूब्रिक-आधारित RL विधियाँ (RAR, RRD, RLCER, RUBRIC-ARM) जो 66.7% से 67.6% के बीच थीं।
• रूब्रिक गुणवत्ता: सीखे गए रूब्रिक्स ने RewardBench-2 पर GPT-4.1 को 25.7% से पीछे छोड़ दिया (विशिष्ट मेट्रिक्स में 46.0% बनाम 20.3%, हालांकि एब्स्ट्रैक्ट GPT-4.1 रूब्रिक्स पर 25.7% सुधार का उल्लेख करता है)।
• सामान्यीकरण:
  • क्रॉस-पॉलिसी: Qwen3-8B पर प्रशिक्षित रूब्रिक्स ने अनदेखी Qwen3-4B और Llama-3.1-8B नीतियों पर GPT-4.1 प्रॉम्प्टेड रूब्रिक्स की तुलना में बेहतर डाउनस्ट्रीम प्रदर्शन दिखाया।
  • क्रॉस-जज: 1.7B जज के साथ प्रशिक्षित रूब्रिक्स बड़े जजों (Qwen3-8B, OLMo-3-7B) के साथ जोड़े जाने पर भी प्रभावी रहे, जो प्रॉम्प्टेड बेसलाइन्स की तुलना में महत्वपूर्ण लाभ दिखाते हैं।
  • आउट-ऑफ-डिस्ट्रीब्यूशन: डीप रिसर्च टास्क (HealthBench, ResearchQA) पर, EVOLM रूब्रिक्स ने विशेषज्ञ मानव रूब्रिक्स के साथ GPT-4.1 की तुलना में उच्च पेयरवाइज एग्रीमेंट हासिल किया (HealthBench पर 58.4% बनाम 52.5%)।
• एब्लेशन अध्ययन (Ablation Studies):
  • जज का आकार: एक छोटे 1.7B जज ने सबसे अच्छा डाउनस्ट्रीम पॉलिसी बनाया, जो सुझाव देता है कि रूब्रिक सामग्री की गुणवत्ता जज की क्षमता से अधिक महत्वपूर्ण है।
  • प्रशिक्षण गतिशीलता: सह-विकसित (co-evolving) प्रशिक्षण ने क्रमिक प्रशिक्षण (पहले रूब्रिक्स फिर पॉलिसी) से बेहतर प्रदर्शन किया, जो अनुकूल फीडबैक लूप के महत्व को उजागर करता है।
  • रिवॉर्ड ओवरऑप्टिमाइजेशन: स्केलर रिवॉर्ड मॉडल, स्थिर बेंचमार्क्स (RewardBench-2: 86.4%) पर हावी होने के बावजूद, सबसे कमजोर डाउनस्ट्रीम पॉलिसी उत्पन्न करता है, जो पुष्टि करता है कि स्थिर मानदंड शिफ्टिंग पॉलिसी डिस्ट्रीब्यूशन के अनुकूल नहीं हो पाते।

5. महत्व और दावे

पेपर दावा करता है कि EVOLM यह प्रदर्शित करता है कि सह-विकसित विभेदक रूब्रिक्स के माध्यम से एक मॉडल की मूल्यांकनात्मक क्षमता को संरचित करना बिना किसी बाहरी पर्यवेक्षण के स्व-सुधार को सक्षम बनाता है।

लेखक तर्क देते हैं कि प्रत्येक बाहरी रिवॉर्ड स्रोत एक सीमा आरोपित करता है: मानव निर्णय अपनी क्षमता से परे पर्यवेक्षण नहीं कर सकता, और स्थिर मानदंड उस आउटपुट डिस्ट्रीब्यूशन के अनुकूल नहीं हो सकते जो एक लर्निंग पॉलिसी बनाती है। पॉलिसी के साथ मूल्यांकन मानदंडों को सह-विकसित करके, EVOLM इन बाधाओं को हटा देता है। सीखा गया मूल्यांकन ढांचा अनदेखी नीतियों, जजों और डोमेन में स्थानांतरित होने योग्य है, जो स्वायत्त, स्केलेबल स्व-सुधार की दिशा में एक मार्ग का सुझाव देता है।

यह कार्य रूब्रिक्स को न केवल व्याख्यात्मकता (interpretability) के उपकरण के रूप में, बल्कि प्रीट्रेनिंग से अंतर्निहित मूल्यांकनात्मक ज्ञान को निकालने और उसे एक विश्वसनीय, स्व-स्थायी प्रशिक्षण संकेत में संरचित करने के एक तंत्र के रूप में स्थापित करता है।