तकनीकी सारांश: ARES (स्केलेबल LLM सुदृढीकरण शिक्षण के लिए स्वचालित रूब्रिक संश्लेषण)

समस्या विवरण

सत्यापन योग्य पुरस्कारों (Verifiable Rewards) के साथ सुदृढीकरण शिक्षण (Reinforcement Learning - RLVR) गणित और कोडिंग जैसे डोमेन में, जहाँ परिणाम स्वतः जांचने योग्य होते हैं, LLMs को बेहतर बनाने के लिए अत्यधिक प्रभावी सिद्ध हुआ है। हालाँकि, यह प्रतिमान (paradigm) एक मौलिक स्केलेबिलिटी बाधा का सामना करता है: यह बाइनरी, परिणाम-स्तर के सत्यापन पर निर्भर करता है, जो स्वास्थ्य सेवा, निर्देश पालन (instruction following), और पेशेवर लेखन जैसे खुले-अंत वाले (open-ended) कार्यों के लिए विरल (sparse) और अक्सर अव्यवहारिक होता है।

रूब्रिक-आधारित पुरस्कारों (बहु-आयामी मूल्यांकन मानदंड) को पेश करने के मौजूदा प्रयास इस सीमा को दूर करने के लिए किए गए हैं, लेकिन वे दो प्राथमिक समस्याओं से ग्रस्त हैं:

1. स्केलेबिलिटी: रूब्रिक-एनोटेटेड डेटा के निर्माण के लिए आमतौर पर प्रश्नों, संदर्भ उत्तरों और मूल्यांकन मानदंडों के मैनुअल विशेषज्ञ क्यूरेशन की आवश्यकता होती है, जो बड़े पैमाने पर तैनाती को रोकता है।
2. सूक्ष्मता (Granularity): कई मौजूदा रूब्रिक्स कार्य या डेटासेट स्तर पर परिभाषित होते हैं, जो व्यक्तिगत प्रश्नों की विशिष्ट मूल्यांकन आवश्यकताओं और बारीकियों को पकड़ने में विफल रहते हैं।

परिणामस्वरूप, विविध, खुले-अंत वाले डोमेन में RL प्रशिक्षण को सक्षम करने के लिए कच्चे प्रीट्रेनिंग दस्तावेजों से बड़े पैमाने पर, प्रश्न-विशिष्ट, भारित (weighted) रूब्रिक डेटा उत्पन्न करने वाले स्केलेबल पाइपलाइन की कमी है।

कार्यप्रणाली: ARES फ्रेमवर्क

लेखक ARES (Automated Rubric synthEsis for Scalable RL) का प्रस्ताव करते हैं, जो एक छह-चरणीय पाइपलाइन है जिसे कच्चे प्रीट्रेनिंग दस्तावेजों को RL-रेडी इंस्टेंस में बदलने के लिए डिज़ाइन किया गया है, जिसमें स्व-निहित प्रश्न, संदर्भ उत्तर और प्रश्न-विशिष्ट भारित रूब्रिक्स शामिल हैं।

1. डेटा पाइपलाइन

यह पाइपलाइन निम्नलिखित चरणों के माध्यम से कच्चे प्रीट्रेनिंग दस्तावेजों (जैसे, DCLM, FineWeb-Edu, FinePDFs) पर कार्य करती है:

• दस्तावेज़ फ़िल्टरिंग: एक LLM-आधारित क्लासिफायर कम गुणवत्ता वाले, बॉयलरप्लेट-भारी, या संदर्भ-हीन दस्तावेजों को हटा देता है जो प्रश्न निर्माण के लिए अनुपयुक्त हैं।
• डोमेन और पेर्सोना असाइनमेंट: रिटेन किए गए दस्तावेजों को एक सिमेंटिक डोमेन (10 श्रेणियों में से) और लक्षित पेर्सोना (जैसे, डॉक्टर, छात्र, देखभाल करने वाला) के साथ एनोटेट किया जाता है। यह पीढ़ी को विविध प्रश्न शैलियों और तर्क की गहराई उत्पन्न करने के लिए अनुकूलित करता है।
• रूब्रिक-ऑगमेंटेड QA सह-जनरेशन: एक जनरेटर मॉडल ($M_{gen}$) एक साथ निम्नलिखित का उत्पादन करता है:
  • एक स्व-निहित प्रश्न (जो स्रोत दस्तावेज़ के बिना भी उत्तर योग्य हो)।
  • स्रोत दस्तावेज़ पर आधारित एक संदर्भ उत्तर।
  • एक प्रश्न-विशिष्ट रूब्रिक ($R_q$), जो भारित मानदंडों $\{(c_k, w_k)\}$ का एक सेट है। रूब्रिक में वांछित गुणों के लिए सकारात्मक भार और सामान्य विफलता मोड (जैसे, मतिभ्रम/hallucinations, महत्वपूर्ण सुरक्षा खुलासे की कमी) के लिए नकारात्मक भार शामिल हैं।
• गुणवत्ता सत्यापन: उत्पन्न QA जोड़ों को स्व-निहितता, उत्तर की स्रोत के प्रति निष्ठा (faithfulness), और सूचना रिसाव की कमी (प्रश्न उत्तर को स्पष्ट रूप से प्रकट नहीं करता है) के लिए सत्यापित किया जाता है।
• रूब्रिक सत्यापन: रूब्रिक्स की अच्छी तरह से निर्मित मानदंडों, प्रमुख आवश्यकताओं के कवरेज, वैध वेट रेंज और पर्याप्त विविधता के लिए जाँच की जाती है।
• फॉर्मेट रूपांतरण: सत्यापित इंस्टेंस को Group Relative Policy Optimization (GRPO) के अनुकूल प्रारूप में सीरियलाइज़ किया जाता है।

2. पुरस्कार तंत्र (Reward Mechanism)

बाइनरी पुरस्कारों के विपरीत, ARES RL प्रशिक्षण के लिए एक रूब्रिक-आधारित पुरस्कार कार्य का उपयोग करता है। एक प्रश्न $q$ और प्रतिक्रिया $y$ के लिए, पुरस्कार की गणना इस प्रकार की जाती है:
$$R_{rubric}(q, y; R_q) = \sum_{k=1}^{N_q} w_k^{(q)} \cdot J_\phi(q, y, c_k^{(q)})$$
जहाँ $J_\phi$ एक LLM जज है जो इस बात को स्कोर करता है कि प्रतिक्रिया किस हद तक मानदंड $c_k$ को संतुष्ट करती है, और $w_k$ इसका महत्व भार (importance weight) है। यह सघन (dense), नैदानिक (diagnostic) पर्यवेक्षण प्रदान करता है, जिससे मॉडल को सही घटकों के लिए आंशिक श्रेय मिल सकता है, भले ही समग्र प्रतिक्रिया अपूर्ण हो।

3. प्रशिक्षण सेटअप

लेखक RL ऑप्टिमाइज़र के रूप में Group Relative Policy Optimization (GRPO) का उपयोग करते हैं। पॉलिसी को रूब्रिक-आधारित मूल्यांकन से प्राप्त अपेक्षित पुरस्कार को अधिकतम करने के लिए प्रशिक्षित किया जाता है, जो एडवांटेज को सामान्य करने के लिए प्रतिक्रियाओं के एक समूह की तुलना करती है।

मुख्य योगदान

1. ARES पाइपलाइन: एक स्केलेबल, स्वचालित फ्रेमवर्क जो कच्चे प्रीट्रेनिंग दस्तावेजों को स्व-निहित प्रश्नों, संदर्भ उत्तरों और प्रश्न-विशिष्ट भारित रूब्रिक्स वाले RL इंस्टेंस में बदल देता है।
2. बड़े पैमाने का डेटासेट: दस विविध डोमेन (सामाजिक विज्ञान, चिकित्सा, प्रौद्योगिकी और शिक्षा सहित) में फैला हुआ 100K रूब्रिक-एनोटेटेड डेटासेट का निर्माण। यह डेटासेट सूक्ष्म-स्तरीय (fine-grained) रिवॉर्ड पर्यवेक्षण प्रदान करता है, जो पहले छोटे, मैन्युअल रूप से क्यूरेट किए गए सेटों तक सीमित था।
3. अनुभवजन्य सत्यापन (Empirical Validation): सात बेंचमार्क पर व्यापक मूल्यांकन प्रदर्शित करता है कि ARES द्वारा प्रशिक्षित रूब्रिक-आधारित RL, CPT, SFT और बाइनरी-रिवॉर्ड RL की तुलना में बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम

लेखकों ने आधार मॉडल के रूप में Qwen3-4B-Base का उपयोग करके चार बेसलाइनों (CPT, NaturalReasoning (SFT), Webscale (बाइनरी-रिवॉर्ड RL), और ARES-SFT (जेनरेटेड डेटा पर SFT)) के विरुद्ध ARES-RL दृष्टिकोण का मूल्यांकन किया।

• समग्र प्रदर्शन: ARES-RL ने सभी सात बेंचमार्क में उच्चतम औसत स्कोर प्राप्त किया, जिसने CPT से 5.33 अंक, NaturalReasoning से 6.78 अंक और बाइनरी-रिवॉर्ड RL से 4.39 अंक अधिक अंक प्राप्त किए।
• खुले-अंत वाले कार्य (Open-Ended Tasks): सबसे महत्वपूर्ण लाभ बहु-आयामी, खुले-अंत वाले कार्यों में देखे गए:
  • निर्देश पालन (IFEVAL): बाइनरी-रिवॉर्ड RL पर +19.27 अंक।
  • स्वास्थ्य सेवा (HealthBench): बाइनरी-रिवॉर्ड RL पर +5.37 अंक।
  • लेखन (WritingBench): बाइनरी-रिवॉर्ड RL पर +1.15 अंक।
• संरचित कार्य: गणित (930) और कोडिंग (1,631) के लिए कम उदाहरण होने के बावजूद, ARES-RL ने GSM8K, HumanEval+, और MBPP+ पर अत्याधुनिक (state-of-the-art) परिणाम प्राप्त किए, जो सुझाव देते हैं कि रूब्रिक-आधारित पुरस्कारों के लाभ संरचित तर्क कार्यों में भी स्थानांतरित होते हैं।
• एब्लेशन अध्ययन (Ablation Studies):
  • स्ट्रक्चर्ड बनाम होलिस्टिक: स्ट्रक्चर्ड रूब्रिक दृष्टिकोण (ARES-RL और जनरल रूब्रिक) होलिस्टिक "ब्लाइंड जज" बेसलाइनों से बेहतर रहे, जो यह दर्शाता है कि मूल्यांकन को स्पष्ट मानदंडों में विभाजित करना अधिक प्रभावी रिवॉर्ड सिग्नल प्रदान करता है।
  • प्रश्न-विशिष्टता: ARES-RL (प्रश्न-विशिष्ट रूब्रिक्स) ने औसत रूप से जनरल रूब्रिक बेसलाइन से बेहतर प्रदर्शन किया, विशेष रूप से उन कार्यों पर जिनमें विविध बाधाएं (constraints) थीं (जैसे, IFEval), जो विशिष्ट प्रश्नों के अनुरूप मानदंडों को तैयार करने के महत्व को उजागर करता है।
  • स्थिरता: जबकि संदर्भ-उत्तर-आधारित पुरस्कारों ने HealthBench जैसे विशिष्ट बेंचमार्क पर अच्छा प्रदर्शन किया, वे विविध कार्य प्रकारों (जैसे, IFEval पर काफी गिरावट) में अस्थिर थे, जबकि ARES-RL ने मजबूत प्रदर्शन बनाए रखा।

महत्व और दावे

पेपर का दावा है कि ARES खुले-अंत वाले डोमेन में RL को स्केल करने की महत्वपूर्ण बाधा को उच्च-गुणवत्ता, बहु-आयामी रिवॉर्ड सिग्नल के स्वचालन के माध्यम से संबोधित करता है। लेखक तर्क देते हैं कि:

• समृद्ध पर्यवेक्षण (Richer Supervision): रूब्रिक-आधारित पुरस्कार बाइनरी सत्यापन या इमिटेशन-आधारित SFT की तुलना में अधिक सघन और नैदानिक शिक्षण संकेत प्रदान करते हैं, जिससे मॉडल प्रतिक्रिया की गुणवत्ता के सूक्ष्म पहलुओं (जैसे, सुरक्षा, पूर्णता, बाधा संतुष्टि) के लिए अनुकूलित हो सकता है।
• स्केलेबिलिटी: कच्चे प्रीट्रेनिंग दस्तावेजों का लाभ उठाकर, ARES मैनुअल विशेषज्ञ क्यूरेशन की आवश्यकता को समाप्त करता है, जिससे रूब्रिक-आधारित RL उस स्तर (100K इंस्टेंस) और डोमेन विविधता (10 डोमेन) के लिए सुलभ हो जाता है जो पहले अप्राप्य था।
• सामान्यीकरण (Generalization):ity: फ्रेमवर्क प्रदर्शित करता है कि बहु-आयामी रूब्रिक्स के साथ अनुकूलित RL न केवल खुले-अंत वाले डोमेन में सुधार कर सकता है, बल्कि सीमित डोमेन-विशिष्ट डेटा के साथ भी संरचित तर्क और कोडिंग कार्यों में प्रभावी ढंग से स्थानांतरित हो सकता है।

लेखक निष्कर्ष निकालते हैं कि ARES निष्क्रिय टोकन भविष्यवाणी से लक्षित रिवॉर्ड ऑप्टिमाइज़ेशन की ओर एक बदलाव का प्रतिनिधित्व करता है, जो कच्चे दस्तावेजों को जटिल, बहु-आयामी क्षमताओं के लिए केंद्रित पोस्ट-ट्रेनिंग पर्यवेक्षण में बदल देता है।