💻 computer science

Rationale Matters: Learning Transferable Rubrics via Proxy-Guided Critique for VLMReward Models

यह शोध पत्र Proxy-GRM का प्रस्ताव करता है, जो एक नवीन फ्रेमवर्क है जो सुदृढीकरण शिक्षण (reinforcement learning) के दौरान रूब्रिक गुणवत्ता पर विभेदक फीडबैक (differentiable feedback) प्रदान करने के लिए हल्के प्रॉक्सी एजेंटों को प्रशिक्षित करके विजन-लैंग्वेज मॉडल रिवॉर्ड मॉडल्स के प्रदर्शन और हस्तांतरणीयता को बढ़ाता है, जिससे काफी कम प्रशिक्षण डेटा के साथ अत्याधुनिक परिणाम प्राप्त होते हैं।

मूल लेखक: Weijie Qiu, Dai Guan, Junxin Wang, Zhihang Li, Yongbo Gai, Mengyu Zhou, Erchao Zhao, Xiaoxi Jiang, Guanjun Jiang

प्रकाशित 2026-03-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Weijie Qiu, Dai Guan, Junxin Wang, Zhihang Li, Yongbo Gai, Mengyu Zhou, Erchao Zhao, Xiaoxi Jiang, Guanjun Jiang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Rationale Matters: Learning Transferable Rubrics via Proxy-Guided Critique for VLM Reward Models" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

मुख्य विचार: "क्या" से अधिक "क्यों" महत्वपूर्ण है

कल्पना कीजिए कि आप एक छात्र के निबंध को ग्रेड दे रहे हैं।

पुराना तरीका: आप बस निबंध देखते हैं और उसे एक ग्रेड देते हैं (A, B, या F)। आप जानते हैं कि ग्रेड क्या है, लेकिन आप यह नहीं जानते कि आपने वह ग्रेड क्यों दिया। यदि कोई अन्य शिक्षक आपके ग्रेड को देखता है, तो वह आपसे असहमत हो सकता है क्योंकि उसे आपकी सोचने की प्रक्रिया नहीं दिखती।
समस्या: AI की दुनिया में (विशेष रूप से विजन-लैंग्वेज मॉडल्स में जो चित्रों को देखते हैं और प्रश्नों के उत्तर देते हैं), हमारे पास "रिवॉर्ड मॉडल्स" (Reward Models) होते हैं जो इन शिक्षकों की तरह कार्य करते हैं। वे दो AI उत्तरों को देखते हैं और बेहतर वाले को चुनते हैं। लेकिन अक्सर, ये AI शिक्षक बिना कोई स्पष्ट कारण लिखे विजेता का अनुमान लगा लेते हैं। वे कह सकते हैं "उत्तर A बेहतर है," लेकिन यदि आप बाद में उनसे पूछें कि क्यों, तो उनका स्पष्टीकरण अस्पष्ट, पक्षपाती या अर्थहीन हो सकता है। इसे "ब्लैक बॉक्स" कहा जाता है।

समाधान: "प्रॉक्सी" (स्वतंत्र परीक्षक)

इस शोध पत्र के लेखकों ने, Proxy-GRM के माध्यम से, महसूस किया कि एक AI शिक्षक को वास्तव में अच्छा होने के लिए, विजेता चुनने से पहले एक स्पष्ट और तार्किक चेकलिस्ट (एक रूब्रिक/Rubric) लिखनी चाहिए।

लेकिन यहाँ एक पेंच है: आप AI को एक अच्छी चेकलिस्ट लिखना कैसे सिखाएंगे यदि आपके पास हर एक चेकलिस्ट की जाँच करने के लिए कोई इंसान न हो?

यहाँ आता है "प्रॉक्सी" (Proxy)।

प्रॉक्सी को एक सख्त, स्वतंत्र शिक्षण सहायक (Teaching Assistant) के रूप में सोचें।

मुख्य AI (The Policy) एक निबंध और एक चेकलिस्ट (रूब्रिक) लिखता है।
प्रॉक्सी केवल चेकलिस्ट और मूल निबंध को पढ़ता है। वह मुख्य AI के अंतिम ग्रेड को अनदेखा कर देता है।
परीक्षण: क्या प्रॉक्सी, केवल प्रदान की गई चेकलिस्ट का उपयोग करके, यह पता लगा सकता है कि कौन सा उत्तर वास्तव में बेहतर है?
- यदि हाँ: तो चेकलिस्ट स्पष्ट, तार्किक और हस्तांतरणीय (transferable) थी। मुख्य AI को उच्च स्कोर मिलता है।
- यदि नहीं: तो चेकलिस्ट भ्रमित करने वाली, पक्षपाती या निरर्थक थी। मुख्य AI को कम स्कोर मिलता है।

उपमा: "रेसिपी" बनाम "शेफ"

कल्पना कीजिए कि मुख्य AI एक शेफ (Chef) है जो एक नए प्रशिक्षु को एक आदर्श स्टेक बनाना सिखाने की कोशिश कर रहा है।

खराब शेफ: बस कहता है, "यह स्टेक अच्छा है क्योंकि इसका स्वाद अच्छा है।" (यह पुराना तरीका है)। यदि आप प्रशिक्षु को इसे बनाने के लिए कहते हैं, तो उसे समझ नहीं आता कि क्या करना है।
अच्छा शेफ (Proxy-GRM): एक विस्तृत रेसिपी लिखता है: "3 मिनट तक सेकें, पलटें, मक्खन डालें, 5 मिनट तक छोड़ दें।"
प्रॉक्सी: एक स्वाद-परीक्षक (Taste-tester) है जो केवल रेसिपी को देखता है। प्रॉक्सी केवल उन निर्देशों का उपयोग करके स्टेक बनाने की कोशिश करता है।
- यदि प्रॉक्सी एक बेहतरीन स्टेक बनाता है, तो रेसिपी हस्तांतरणीय (Transferable) थी (यह किसी के लिए भी काम करती है)।
- यदि प्रॉक्सी स्टेक जला देता है, तो रेसिपी खराब थी, भले ही शेफ ने दावा किया हो कि वह एकदम सही था।

यह पेपर शेफ (मुख्य AI) को ऐसी रेसिपी लिखना सिखाता है जिसे टेस्ट-टेस्टर (प्रॉक्सी) वास्तव में पालन कर सके।

यह एक बड़ी बात क्यों है (जादुई निष्कर्ष)

शोधकर्ताओं ने इस सिस्टम को प्रशिक्षित करते समय कुछ आश्चर्यजनक चीजें पाईं:

कम डेटा, बेहतर परिणाम: आमतौर पर, AI को सीखने के लिए भारी मात्रा में डेटा की आवश्यकता होती है। इस पद्धति ने अन्य तरीकों की तुलना में 4 गुना कम डेटा का उपयोग करके पूर्ण चेकलिस्ट लिखना सीखा। यह 400 व्यंजनों को चखने के बजाय केवल 100 व्यंजनों को चखकर एक मास्टर शेफ बनने जैसा है।
"SFT" बनाम "RL" का आश्चर्य: उन्होंने दो प्रकार के "शिक्षण सहायकों" (प्रॉक्सी) का परीक्षण किया:
- Proxy-SFT: एक छात्र जिसे एक मास्टर शिक्षक के नोट्स की हुबहू नकल करने के लिए सिखाया गया था।
- Proxy-RL: एक छात्र जिसने प्रयास और त्रुटि (trial and error - अनुमान लगाना और इनाम पाना) से सीखा।
- परिणाम: नकल करने वाला छात्र (SFT) वास्तव में एक बेहतर निर्णायक था! "प्रयास और त्रुटि" वाला छात्र कभी-कभी अजीब आदतें विकसित कर लेता था जो उन्हें रेसिपी की जाँच करने में बुरा बना देती थीं। यह हमें सिखाता है कि काम की जाँच करने के लिए, नियमों के प्रति वफादार होना रचनात्मक होने से बेहतर है।
"हस्तांतरणीय" (Transferable) सुपरपावर: मुख्य AI ने जो चेकलिस्ट लिखीं, वे इतनी अच्छी थीं कि अन्य AI मॉडल (जो प्रशिक्षण का हिस्सा भी नहीं थे) उन्हें पढ़ सकते थे और सही उत्तर प्राप्त कर सकते थे। यह एक ऐसा मैनुअल लिखने जैसा है जो इतना स्पष्ट है कि किसी दूसरे ब्रांड का रोबोट भी उसे पढ़ सकता है और काम को पूरी तरह से कर सकता है।

एक वाक्य में सारांश

Proxy-GRM AI को उत्तरों को ग्रेड करने के लिए स्पष्ट, तार्किक चेकलिस्ट लिखना सिखाता है, जिसमें एक "दूसरे राय देने वाले" रोबोट का उपयोग करके यह सत्यापित किया जाता है कि वे चेकलिस्ट वास्तव में किसी और के लिए भी सार्थक हैं, जिसके परिणामस्वरूप अधिक स्मार्ट, अधिक विश्वसनीय AI प्राप्त होता है जिसे सीखने के लिए कम डेटा की आवश्यकता होती है।

आपको इसकी परवाह क्यों करनी चाहिए?

यह AI को अधिक भरोसेमंद बनाता है। केवल यह कहने के बजाय कि "मुझे लगता है कि यह छवि सुरक्षित है," AI आपको कारणों की एक स्पष्ट, तार्किक सूची दे सकता है कि वह क्यों सुरक्षित है, और आप उस सूची पर भरोसा कर सकते हैं क्योंकि इसे एक स्वतंत्र चेकर द्वारा प्रमाणित किया गया है। यह AI को "अनुमान लगाने" से "तर्क करने" की ओर ले जाता है।

यहाँ शोध पत्र "Rationale Matters: Learning Transferable Rubrics via Proxy-Guided Critique for VLM Reward Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज मॉडल्स (VLMs) आउटपुट का मूल्यांकन करने के लिए तेजी से जेनरेटिव रिवॉर्ड मॉडल्स (GRMs) पर निर्भर हो रहे हैं। स्केलर रिवॉर्ड मॉडल्स के विपरीत, GRMs संरचित आलोचना (critiques) उत्पन्न करते हैं जो तीन भागों से बनी होती है:

रूब्रिक ( $R$ ): मूल्यांकन मानदंडों का एक सेट।
मूल्यांकन ( $E$ ): मानदंड-दर-मानदंड मूल्यांकन।
निर्णय ($Verdict, A$): अंतिम प्राथमिकता निर्णय।

मुख्य समस्या: मौजूदा GRM प्रशिक्षण पाइपलाइन विशेष रूप से अंतिम निर्णय ( $A$ ) के लिए अनुकूलित (optimize) होती हैं। मध्यवर्ती रूब्रिक ( $R$ ) को एक आकस्मिक उपोत्पाद (incidental byproduct) माना जाता है, जिससे यह अनसुपरवाइज्ड और अनवेरिफाइड रह जाता है। इसके कारण निम्नलिखित समस्याएं होती हैं:

पोस्ट-होक रेशनलाइजेशन (Post-hoc Rationalization): मॉडल ऐसे रूब्रिक्स बना सकते हैं जो एक निर्धारित उत्तर को केवल न्यायसंगत ठहराते हैं, न कि एक सिद्धांतपूर्ण मूल्यांकन का मार्गदर्शन करते हैं।
खराब हस्तांतरणीयता (Poor Transferability): मॉडल द्वारा उत्पन्न रूब्रिक्स अक्सर स्वतंत्र मूल्यांकनकर्ताओं या विभिन्न कार्य वितरणों (task distributions) पर लागू होने में विफल रहते हैं।
वर्तमान समाधानों की सीमाएं: सामान्य "LLM-as-a-Judge" दृष्टिकोण कम्प्यूटेशनल रूप से महंगा है और महत्वपूर्ण रूप से, यह नॉन-डिफरेंशिएबल सिग्नल (non-differentiable signals) प्रदान करता है, जो सुदृढीकरण सीखने (Reinforcement Learning - RL) के माध्यम से रूब्रिक की गुणवत्ता को अनुकूलित करने से रोकता है।

2. कार्यप्रणाली: प्रॉक्सी-GRM (Methodology: Proxy-GRM)

लेखक Proxy-GRM प्रस्तावित करते हैं, जो एक ढांचा है जो एक समर्पित प्रॉक्सी एजेंट (Proxy Agent) का उपयोग करके रूब्रिक की गुणवत्ता को स्पष्ट रूप से अनुकूलित करने के लिए एक क्लोज्ड-लूप ट्रेनिंग मैकेनिज्म पेश करता है।

A. मुख्य अवधारणा: रूब्रिक हस्तांतरणीयता (Core Concept: Rubric Transferability)

यह शोध पत्र रूब्रिक हस्तांतरणीयता को एक ऐसे गुण के रूप में परिभाषित करता है जहाँ एक उत्पन्न रूब्रिक एक स्वतंत्र एजेंट को सही प्राथमिकता निर्णय तक मार्गदर्शन करने में सक्षम होता है। यदि एक बाहरी एजेंट केवल उत्पन्न रूब्रिक (और मूल इनपुट) का उपयोग करके प्रतिक्रियाओं के जोड़े का सही निर्णय ले सकता है, तो रूब्रिक को उच्च-गुणवत्ता वाला और हस्तांतरणीय माना जाता है।

B. प्रॉक्सी एजेंट (The Proxy Agent)

एक हल्का प्रॉक्सी एजेंट विशेष रूप से रूब्रिक्स को उपभोग करने के लिए प्रशिक्षित किया जाता है, न कि उन्हें उत्पन्न करने के लिए।

इनपुट: मूल क्वेरी ( $q$ ), इमेज ( $I$ ), कैंडिडेट रिस्पॉन्स ( $r_1, r_2$ ), और एक उत्पन्न रूब्रिक ( $R$ )।
आउटपुट: एक निर्णय ( $A \in \{1, 2\}$ )।
प्रशिक्षण: प्रॉक्सी को प्रदान किए गए रूब्रिक्स का निष्ठापूर्वक पालन करने के लिए सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और सुदृढीकरण सीखने (RL) के माध्यम से प्रशिक्षित किया जाता है।
भूमिका: यह एक सत्यापनकर्ता (verifier) के रूप में कार्य करता है। इसकी भविष्यवाणी की सटीकता, मुख्य पॉलिसी मॉडल के लिए एक रूब्रिक-क्वालिटी रिवॉर्ड सिग्नल के रूप में कार्य करती है।

C. प्रशिक्षण पाइपलाइन (Training Pipeline)

इस ढांचे में दो मुख्य चरण शामिल हैं:

प्रॉक्सी एजेंट प्रशिक्षण:
- Proxy-SFT: आउटपुट फॉर्मेट सीखने के लिए 5k उच्च-गुणवत्ता वाले नमूनों पर फाइन-ट्यून किया गया।
- Proxy-RL: मजबूती (robustness) में सुधार के लिए 10k नमूनों पर और अधिक प्रशिक्षित किया गया।
- मुख्य निष्कर्ष: Proxy-SFT (SFT-आधारित) Proxy-RL (RL-आधारित) की तुलना में एक सत्यापनकर्ता के रूप में बेहतर प्रदर्शन करता है, जो यह सुझाव देता है कि केवल परिणाम-आधारित RL अनुकूलन मूल्यांकन के लिए आवश्यक प्रक्रिया-स्तरीय निष्ठा (process-level fidelity) को कम कर सकता है।
पॉलिसी मॉडल (GRM) प्रशिक्षण:
- कोल्ड-स्टार्ट (Cold-Start): बेस VLM को आउटपुट फॉर्मेट सीखने के लिए 10k नमूनों पर SFT-प्रशिक्षित किया जाता है।
- सुदृढीकरण सीखना (GRPO): पॉलिसी को एक मिश्रित रिवॉर्ड फंक्शन का उपयोग करके अनुकूलित किया जाता है:
  $r = r_{acc} + r_{proxy} + 0.5 \cdot r_{format}$
- $r_{acc}$ : अंतिम निर्णय की सटीकता।
- $r_{proxy}$ : नया घटक। +1 यदि फ्रीज किया गया प्रॉक्सी एजेंट उत्पन्न रूब्रिक का उपयोग करके ग्राउंड ट्रुथ के साथ सहमत होता है; अन्यथा -1।
- $r_{format}$ : XML संरचना का पालन।

3. मुख्य योगदान (Key Contributions)

रूब्रिक हस्तांतरणीयता की पहचान: यह शोध पत्र GRM गुणवत्ता के एक महत्वपूर्ण, कम-अन्वेषित आयाम के रूप में रूब्रिक हस्तांतरणीयता की पहचान करता है और एक सिद्धांतपूर्ण समाधान प्रस्तावित करता है।
प्रॉक्सी-गाइडेड क्लोज्ड-लूप ट्रेनिंग: एक स्वतंत्र प्रॉक्सी एजेंट के माध्यम से रूब्रिक की गुणवत्ता के लिए एक डिफरेंशिएबल रिवॉर्ड सिग्नल प्रदान करने वाला ढांचा पेश करता है, जो "LLM-as-a-Judge" की "ओपन-लूप" सीमा को हल करता है।
प्रॉक्सी एजेंटों पर आश्चर्यजनक अंतर्दृष्टि: यह प्रदर्शित करता है कि SFT-आधारित प्रॉक्सी एजेंट, मूल्यांकन कार्यों के लिए RL-आधारित एजेंटों की तुलना में बेहतर होते हैं, जो परिणाम-स्तर के अनुकूलन और प्रक्रिया-स्तर के मूल्यांकन की निष्ठा के बीच तनाव को उजागर करते हैं।
डेटा दक्षता: ~50k प्रशिक्षण नमूनों के साथ स्टेट-ऑफ-द-आर्ट (SOTA) परिणाम प्राप्त करता है, जो कि >200k नमूनों पर प्रशिक्षित तुलनीय तरीकों (जैसे, R1-Reward, Unified-Reward) की तुलना में 4 गुना कम डेटा है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन तीन प्रमुख बेंचमार्क पर किया गया: VL-RewardBench, Multimodal Reward Bench, और MM-RLHF-Reward Bench।

प्रदर्शन: Proxy-GRM (Proxy-SFT का उपयोग करते हुए) सभी बेंचमार्क पर SOTA परिणाम प्राप्त करने में सफल रहा।
- VL-RewardBench: 75.22% सटीकता (पिछले सर्वश्रेष्ठ, Unified-Reward-Think के 73.8% के मुकाबले)।
- Multimodal Reward Bench: 85.62% सटीकता (Claude-3.7-Sonnet और GPT-4o जैसे क्लोज्ड-सोर्स मॉडल्स से बेहतर)।
- MM-RLHF-Reward Bench: 82.94% सटीकता।
डेटा दक्षता: मॉडल ने 4 गुना अधिक डेटा पर प्रशिक्षित बेसलाइन्स को पछाड़ दिया, जो यह सिद्ध करता है कि प्रॉक्सी-गाइडेड वेरिफिकेशन, साधारण डेटा स्केलिंग की तुलना में अधिक कुशल लर्निंग सिग्नल है।
हस्तांतरणीयता: Proxy-GRM द्वारा उत्पन्न रूब्रिक्स ने अनदेखे मूल्यांकनकर्ता मॉडल्स (जैसे, जब Unified-Reward-SFT ने Proxy-GRM के रूब्रिक्स का उपयोग किया, तो इसकी सटीकता ~3.76 अंक बढ़ गई) के प्रदर्शन में महत्वपूर्ण सुधार किया। यह पुष्टि करता है कि रूब्रिक्स मॉडल-विशिष्ट शॉर्टकट के बजाय सार्वभौमिक मूल्यांकन सिद्धांतों को कैप्चर करते हैं।
एब्लेशन स्टडीज (Ablation Studies):
- प्रॉक्सी चयन: Proxy-SFT > Proxy-RL। बड़े सामान्य मॉडल्स (32B) ने विशेषीकृत 7B Proxy-SFT की तुलना में खराब प्रदर्शन किया, जो लक्षित प्रशिक्षण के महत्व को दर्शाता है।
- मल्टी-एजेंट एनसेम्बल: कई प्रॉक्सी एजेंटों को मिलाने से प्रदर्शन में गिरावट आई, जो विरोधाभासी रिवॉर्ड सिग्नल्स के कारण हुआ, जिससे पता चलता है कि एक एकल, अच्छी तरह से कैलिब्रेटेड प्रॉक्सी, विषम एजेंटों के समूह से बेहतर है।
- रिवॉर्ड एग्रीगेशन: रिवॉर्ड्स का सरल निहित जोड़ ( $r_{acc} + r_{proxy}$ ), उन जटिल योजनाओं से बेहतर था जो सटीकता रिवॉर्ड्स को प्रॉक्सी फीडबैक के आधार पर स्पष्ट रूप से संशोधित करती थीं।

5. महत्व (Significance)

यह कार्य रिवॉर्ड मॉडल्स के प्रशिक्षण के प्रतिमान को आउटकम-ओनली सुपरविजन से प्रोसेस सुपरविजन की ओर मौलिक रूप से बदल देता है। रूब्रिक को एक प्रथम-श्रेणी के नागरिक के रूप में मानकर, जिसे स्वतंत्र रूप से सत्यापित किया जा सके, लेखकों ने:

"रेशनलाइजेशन" को समाप्त किया जहाँ मॉडल वांछित उत्तर से मेल खाने के लिए तर्क बनाने का ढोंग करते हैं।
ऐसे मूल्यांकन मानदंड बनाए जो विभिन्न मॉडल्स और कार्यों के लिए मजबूत, व्याख्या योग्य और हस्तांतरणीय हैं।
यह प्रदर्शित किया कि उच्च-गुणवत्ता वाले रीजनिंग आर्टिफैक्ट्स को बड़े डेटासेट के बिना कुशलतापूर्वक सीखा जा सकता है, बशर्ते प्रशिक्षण लूप में स्वयं रीजनिंग प्रक्रिया की गुणवत्ता को सत्यापित करने के लिए एक तंत्र शामिल हो।

कोड यहाँ उपलब्ध है: https://github.com/Qwen-Applications/Proxy-GRM