Enhanced LLM Reasoning by Optimizing Reward Functions with Search-Driven Reinforcement Learning
यह शोध पत्र एक खोज-संचालित सुदृढीकरण अधिगम (रिनफोर्समेंट लर्निंग) ढांचे का प्रस्ताव करता है जो स्वचालित पीढ़ी, सत्यापन और GRPO-आधारित स्क्रीनिंग के माध्यम से रिवॉर्ड फंक्शन विनिर्देशों को पुनरावृत्ति रूप से अनुकूलित करता है, यह प्रदर्शित करते हुए कि एक रैंक-फीडबैक लूप स्थिर या यादृच्छिक रिवॉर्ड एंसेम्बल्स की तुलना में GSM8K पर गणितीय तर्क प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र (एक लार्ज लैंग्वेज मॉडल) है जो बातें करने में तो बहुत माहिर है लेकिन कभी-कभी गणित में संघर्ष करता है। आप उसे गणित के सवाल बेहतर तरीके से हल करना सिखाना चाहते हैं। आमतौर पर, आप उसे होमवर्क ग्रेड करने के लिए एक शिक्षक को काम पर रखेंगे। लेकिन इस शोध पत्र में, लेखक एक अलग सवाल पूछते हैं: "क्या होगा अगर हमें ठीक-ठीक नहीं पता कि होमवर्क को पूरी तरह से कैसे ग्रेड किया जाए? क्या होगा अगर हम एक AI को हमारे लिए सबसे अच्छे ग्रेडिंग नियम बनाने में मदद करने दें?"
यहाँ बताया गया है कि उन्होंने इसे कैसे किया, सरल भाषा में:
1. समस्या: "ग्रेडिंग रूब्रिक" का रहस्य
AI की दुनिया में, किसी मॉडल को बेहतर सोचने के लिए सिखाने के लिए, आप रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक प्रणाली का उपयोग करते हैं। इसे एक कुत्ते को प्रशिक्षित करने की तरह समझें।
- कुत्ता: AI मॉडल।
- इनाम (Treat): एक "रिवॉर्ड" (एक सकारात्मक स्कोर)।
- ट्रिक: गणित के सवाल को सही ढंग से हल करना।
समस्या यह है कि "इनाम" (रिवॉर्ड फंक्शन) को डिजाइन करना कठिन है। यदि आप AI को कहते हैं, "अगर तुम सही उत्तर देते हो तो शाबाश," तो वह वास्तव में सोचे बिना केवल अनुमान लगाने या पैटर्न कॉपी करने के माध्यम से धोखाधड़ी कर सकता है। यदि आप उन चरणों (steps) को पुरस्कृत करने की कोशिश करते जो वह लेता है, तो आपको जटिल नियम लिखने होंगे, और उन नियमों में गलती करना बहुत आसान है।
2. समाधान: "ग्रेडिंग रूल फैक्ट्री"
लेखकों ने एक ऐसी प्रणाली बनाई जो ग्रेडिंग नियमों को स्वयं अनुकूलित (optimize) करने योग्य चीज़ मानती है। उन्होंने नियमों को हाथ से नहीं लिखा; उन्होंने एक फैक्ट्री स्थापित की जहाँ एक AI (एक "फ्रंटियर" मॉडल जिसका नाम Kimi K2 है) एक "नियम आविष्कारक" (Rule Inventor) के रूप में कार्य करता है।
यह फैक्ट्री कैसे काम करती है, चरण-दर-चरण यहाँ दिया गया है:
- राउंड 1: नियम आविष्कारक AI को 20 गणित के सवाल दिए जाते हैं और उन्हें उन्हें ग्रेड करने के 10 नए तरीके लिखने के लिए कहा जाता है। वह इन नियमों को सरल कंप्यूटर कोड (जैसे कि एक रेसिपी) के रूप में लिखता है।
- सुरक्षा जाँच: इन नियमों का उपयोग करने से पहले, वे एक "सुरक्षा स्कैनर" से गुजरते हैं ताकि यह सुनिश्चित हो सके कि वे खतरनाक या टूटे हुए नहीं हैं।
- टेस्ट ड्राइव: शोधकर्ता एक छोटे गणित के छात्र (एक 3-बिलियन-पैरामीटर वाला AI मॉडल) को लेते हैं और उसे इन नए नियमों में से एक का उपयोग करके समस्याओं को हल करने का अभ्यास करने देते हैं।
- स्कोरकार्ड: वे देखते हैं कि छात्र ने टेस्ट में कैसा प्रदर्शन किया। यदि नए नियम ने छात्र को बेहतर स्कोर करने में मदद की, तो उस नियम को उच्च रैंकिंग दी जाती है। यदि नए नियम ने छात्र को भ्रमित किया, तो उसे कम रैंकिंग मिलती है।
- फीडबैक लूप: शीर्ष प्रदर्शन करने वाले नियमों का सारांश निकाला जाता है और वापस नियम आविष्कारक AI को भेजा जाता है। AI को बताया जाता है, "हे, सोचने के चरणों (thinking steps) की संख्या गिनने वाले नियमों ने अच्छा काम किया। जिन नियमों ने केवल अंतिम उत्तर को देखा, उन्होंने उतना अच्छा काम नहीं किया। इसके आधार पर नए नियम बनाने की कोशिश करें।"
उन्होंने इस चक्र को 5 बार दोहराया, जिससे 50 अलग-अलग संभावित नियम तैयार हुए।
3. परिणाम: "स्वर्ण नियम" (Golden Rules) खोजना
5 राउंड के बाद, उन्हें कुछ विजेता मिले।
- सबसे अच्छा एकल नियम: एक नियम, जिसे
thinking_steps_countकहा गया, एक चैंपियन था। इसने अतिरिक्त अंक दिए यदि AI ने कम से कम तीन अलग-अलग पंक्तियों में अपनी सोचने की प्रक्रिया लिखी। इसने यह जाँच नहीं की कि उत्तर सही था या नहीं (बेस सिस्टम ने यह किया था); इसने बस AI को अपना काम दिखाने के लिए प्रोत्साहित किया। - टीम वर्क की शक्ति (Ensembles): उन्होंने महसूस किया कि एक नियम पर्याप्त नहीं है। इसलिए, उन्होंने सबसे अच्छे 5 नियमों को लिया और उन्हें एक "सुपर-ग्रेडिंग टीम" में मिला दिया।
- परिणाम: इस नियमों की टीम ने AI को 60% सफलता दर (केवल बुनियादी नियमों का उपयोग करके) से बढ़ाकर 79.5% सफलता दर तक पहुँचा दिया।
- "मैजिक" चेक: यह साबित करने के लिए कि यह केवल भाग्य या नियमों की अधिक संख्या नहीं थी, उन्होंने ढेर से चुने गए 5 नियमों की एक "रैंडम टीम" का परीक्षण किया। वह रैंडम टीम विफल रही, जिसमें AI लगभग सब कुछ गलत कर गया। इससे सिद्ध हुआ कि फीडबैक लूप (यह सीखना कि कौन से नियम काम कर रहे हैं और उस जानकारी को आविष्कारक को वापस भेजना) ही असली सफलता का राज था, न कि केवल अधिक नियम होना।
4. क्या AI ने धोखाधड़ी की? ("रिवॉर्ड हैकिंग" ऑडिट)
एक आम डर यह है कि यदि आप AI को कहता है "मुझे सोचने की अधिक पंक्तियाँ दो," तो वह अंक पाने के लिए केवल खाली जगह भर देगा।
- ऑडिट: लेखकों ने AI के उत्तरों की जाँच की। उन्होंने पाया कि जब AI ने उत्तर सही दिया, तो उसने गलत उत्तर देने की तुलना में वास्तव में अधिक पंक्तियाँ और अधिक गणितीय प्रतीकों का उपयोग किया।
- निष्कर्ष: AI खाली जगह भरकर धोखाधड़ी नहीं कर रहा था; वह वास्तव में अधिक मेहनत से सोच रहा था क्योंकि नियमों ने उसे ऐसा करने के लिए प्रोत्साहित किया था।
5. यह क्यों महत्वपूर्ण है?
- यह सुलभ है: आपको सुपरकंप्यूटर की आवश्यकता नहीं है। उन्होंने यह पूरा प्रयोग एक सिंगल, हाई-एंड कंज्यूमर ग्राफिक्स कार्ड (जैसे कि गेमर्स द्वारा उपयोग किए जाने वाले) पर लगभग 40 घंटों में चलाया।
- यह स्वचालित है: मानव विशेषज्ञों द्वारा यह अनुमान लगाने में हफ्तों बिताने के बजाय कि आदर्श ग्रेडिंग रूब्रिक कैसा दिखता है, यह प्रणाली उन नियमों की खोज को स्वचालित करती है।
- यह पारदर्शी है: नियम कोई 'ब्लैक बॉक्स' नहीं हैं; वे सरल पायथन (Python) कोड हैं जिन्हें इंसान पढ़ सकते हैं, समझ सकते हैं और उनमें बदलाव कर सकते हैं।
संक्षेप में: यह शोध पत्र दिखाता है कि यदि आप एक AI को दूसरे AI के लिए ग्रेडिंग सिस्टम डिजाइन करने में मदद करने दें, और आप उन नियमों को छात्र के प्रदर्शन के आधार पर लगातार परिष्कृत करते रहें, तो आप छात्र को केवल एक स्थिर, मानव-लिखित नियमों के सेट की तुलना में बहुत बेहतर तरीके से सोचने के लिए सिखा सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।