RM-R1: Reward Modeling as Reasoning
यह शोध पत्र रीजनिंग रिवॉर्ड मॉडल्स (ReasRMs), विशेष रूप से RM-R1 परिवार को प्रस्तुत करता है, जो मौजूदा बड़े पैमाने के मॉडल्स की तुलना में बेहतर व्याख्यात्मकता और प्रदर्शन प्राप्त करने के लिए चेन-ऑफ-रूब्रिक्स मैकेनिज्म और टू-स्टेज ट्रेनिंग पाइपलाइन का उपयोग करके रिवॉर्ड मॉडलिंग को एक रीजनिंग कार्य के रूप में पुनर्गठित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप हजारों होमवर्क असाइनमेंट ग्रेड करने में मदद करने के लिए एक नया कर्मचारी रख रहे हैं। आपके पास दो प्रकार के उम्मीदवार हैं:
"फास्ट ग्रेडर" (पारंपरिक रिवॉर्ड मॉडल): यह व्यक्ति एक उत्तर देखता है, अंतिम परिणाम पर एक नज़र डालता है, और तुरंत कागज पर एक स्कोर लिख देता है (जैसे "8/10")। वे तेज़ हैं, लेकिन यदि आप उनसे पूछते हैं कि उन्होंने यह स्कोर क्यों दिया, तो वे बस कंधे उचका देते हैं। वे सही हो सकते हैं, लेकिन आपको यह पता नहीं चलेगा कि उन्होंने वास्तव में गणित को समझा या सिर्फ लिखावट के आधार पर अनुमान लगाया।
"थिंकिंग ट्यूटर" (RM-R1): यह व्यक्ति केवल स्कोर नहीं देता। वह बैठता है, प्रश्न पढ़ता है, रफ पेपर पर स्वयं समस्या को हल करता है, एक विस्तृत चेकलिस्ट लिखता है कि एक अच्छा उत्तर कैसा होना चाहिए, छात्र के काम की उस चेकलिस्ट के विरुद्ध तुलना करता है, और फिर एक पूर्ण स्पष्टीकरण के साथ स्कोर देता है।
यह पेपर RM-R1 पेश करता है, जो अनिवार्य रूप से "थिंकिंग ट्यूटर" है। लेखक तर्क देते हैं कि AI को बेहतर व्यवहार करने के लिए, हमें "फास्ट ग्रेडर्स" का उपयोग करना बंद करना होगा और "थिंकिंग ट्यूटर्स" का उपयोग करके उन्हें सिखाना शुरू करना होगा।
यहाँ उनके विचार का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "ब्लैक बॉक्स" ग्रेडर
वर्तमान में, अधिकांश AI सिस्टम स्केलर रिवॉर्ड मॉडल्स (फास्ट ग्रेडर्स) का उपयोग करते हैं। वे दो AI प्रतिक्रियाओं को देखते हैं और एक संख्या आउटपुट करके विजेता चुनते हैं।
- दोष: यह एक मुक्केबाजी मैच के जज की तरह है जो बिना यह बताए कि विजेता क्यों है, बस विजेता की ओर इशारा करता है। यदि AI कोई गलती करता है, तो हमें पता नहीं चलता कि वह लॉजिक की गलती थी, सुरक्षा संबंधी मुद्दा था, या केवल फॉर्मेटिंग की गड़बड़ी थी। क्योंकि वे निर्णय लेने से पहले "सोचते" नहीं हैं, इसलिए उन्हें फैंसी दिखने वाले लेकिन गलत उत्तरों द्वारा आसानी से धोखा दिया जा सकता है।
2. समाधान: "रीज़निंग एज़ रिवॉर्ड"
लेखक RM-R1 (रीज़निंग रिवॉर्ड मॉडल) का प्रस्ताव करते हैं। केवल स्कोर देने के बजाय, यह मॉडल एक जासूस या एक शिक्षक की तरह कार्य करता है।
- उपमा: कल्पना कीजिए कि एक गणित का शिक्षक टेस्ट ग्रेड कर रहा है। एक बुरा शिक्षक केवल अंतिम संख्या देखता है। एक अच्छा शिक्षक (RM-R1) चरणों को देखता है: "क्या उन्होंने समीकरण सही ढंग से बनाया? क्या उन्होंने अपना काम दिखाया? क्या तर्क सुसंगत है?"
- जादू: RM-R1 केवल यह नहीं कहता कि "A बेहतर है।" यह कहता है, "A बेहतर है क्योंकि इसने उन 4 नियमों (रूब्रिक्स) का पालन किया जिन्हें मैंने इस विशिष्ट प्रश्न के लिए अभी बनाया है, और B नियम संख्या #2 में विफल रहा।"
3. उन्होंने इसे कैसे प्रशिक्षित किया: "अपेंटिस" प्रणाली
आप केवल एक स्मार्ट AI को "ज़्यादा गहराई से सोचने" के लिए नहीं कह सकते। आपको उसे कैसे सोचना है, यह सिखाना होगा। लेखकों ने दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग किया:
चरण 1: "शैडोइंग" चरण (डिस्टिलेशन)
कल्पना कीजिए कि एक मास्टर शेफ (एक बहुत ही स्मार्ट AI जैसे GPT-4) एक जटिल व्यंजन बना रहा है। वे प्रत्येक चरण, प्रत्येक सामग्री का माप और उनके विकल्पों के पीछे के प्रत्येक कारण को लिखते हैं। अपेंटिस (RM-R1) इसे देखता है और रेसिपी की नकल करता है।पेपर में: उन्होंने शीर्ष-स्तरीय AI से उच्च-गुणवत्ता वाले "रीज़निंग ट्रेसेस" (चरण-दर-चरण सोच) लिए और RM-R1 को उस गहरी सोच की नकल करने के लिए प्रशिक्षित किया।
चरण 2: "प्रैक्टिस एग्जाम" चरण (रीइन्फोर्समेंट लर्निंग)
अब अपेंटिस अपने दम पर है। उन्हें एक टेस्ट दिया जाता है, लेकिन इसमें एक ट्विस्ट है: उन्हें इनाम तभी मिलता है जब वे उत्तर सही देते हैं और उनका तर्क तार्किक होता है।"चेन-ऑफ-रूब्रिक्स" (CoR): यही असली सफलता का मंत्र है। निर्णय लेने से पहले, मॉडल खुद से पूछता है: "क्या यह चैट प्रश्न है या गणित का प्रश्न?"
- यदि यह गणित है: "मुझे यह देखने के लिए कि किसने सही किया है, पहले समस्या को स्वयं हल करने की आवश्यकता है।"
- यदि यह चैट है: "मुझे सहानुभूति, सुरक्षा और उपयोगिता के लिए एक चेकलिस्ट (रूब्रिक) बनानी होगी, फिर उस सूची के विरुद्ध उत्तरों को ग्रेड करना होगा।"
यह लचीलापन मॉडल को विशिष्ट समस्या के अनुसार अपने "सोचने के तरीके" को अनुकूलित करने की अनुमति देता है, ठीक वैसे ही जैसे एक मानव विशेषज्ञ करता है।
4. परिणाम: छोटा लेकिन शक्तिशाली
आमतौर पर, किसी कार्य में बेहतर होने के लिए, आपको एक बड़े, अधिक महंगे कंप्यूटर (एक बड़े मॉडल) की आवश्यकता होती है।
- आश्चर्य: लेखकों ने अपेक्षाकृत छोटे (7 बिलियन से 32 बिलियन पैरामीटर्स वाले) RM-R1 मॉडल बनाए।
- जीत: भले ही वे छोटे हैं, वे विशाल, महंगे मॉडल्स (जैसे 70B या 340B पैरामीटर वाले) और यहाँ तक कि GPT-4o जैसे प्रोप्राइटरी दिग्गजों को भी रिवॉर्ड मॉडलिंग कार्यों में पछाड़ देते हैं।
- क्यों? क्योंकि वे आकार के आधार पर केवल "अनुमान" नहीं लगा रहे हैं, बल्कि वे सही ढंग से "सोच" रहे हैं। यह एक छोटे, प्रतिभाशाली जासूस और एक विशाल, भ्रमित मूर्ख के बीच का अंतर है।
5. यह क्यों महत्वपूर्ण है
- पारदर्शिता: हम अंततः देख सकते हैं कि एक AI क्यों सोचता है कि एक उत्तर दूसरे से बेहतर है। यह अब ब्लैक बॉक्स नहीं रह गया है।
- सुरक्षा: निर्णय लेने से पहले सुरक्षा नियमों की चेकलिस्ट बनाने के लिए AI को मजबूर करके, यह बहुत कठिन हो जाता है कि AI अनजाने में किसी हानिकारक प्रतिक्रिया को मंजूरी दे दे।
- दक्षता: हमें अच्छे परिणाम प्राप्त करने के लिए विशाल, ऊर्जा-खपत करने वाले मॉडल बनाने की आवश्यकता नहीं है; हमें बस छोटे मॉडल्स को गहराई से सोचना सिखाने की आवश्यकता है।
सारांश
RM-R1 एक नए प्रकार का AI जज है। स्कोर देने में जल्दबाजी करने के बजाय, यह रुकता है, विशिष्ट प्रश्न के लिए एक कस्टम चेकलिस्ट बनाता है, (यदि आवश्यक हो तो) स्वयं समस्या को हल करता है, और फिर एक विस्तृत, तार्किक स्पष्टीकरण के साथ उत्तर को ग्रेड करता है। यह "पहले सोचना, फिर निर्णय लेना" वाला दृष्टिकोण AI को सुरक्षित, अधिक सटीक और समझने में आसान बनाता है, और यह उद्योग के दिग्गजों की तुलना में कम कंप्यूटिंग पावर का उपयोग करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।