AIRL-S: Unifying Reinforcement Learning and Search-Based Test-Time Scaling via Adversarial Inverse Reinforcement Learning
यह शोध पत्र AIRL-S प्रस्तुत करता है, जो एक एकीकृत ढांचा है जो संदर्भ प्रक्षेप पथों (reference trajectories) से सघन, चरण-वार पुरस्कारों (step-wise rewards) का अनुमान लगाने के लिए एडवर्सरियल इनवर्स रिइन्फोर्समेंट लर्निंग को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन के साथ जोड़ता है, जिससे लेबल किए गए प्रोसेस डेटा की आवश्यकता समाप्त हो जाती है और मजबूत, लागत प्रभावी टेस्ट-टाइम स्केलिंग सक्षम होती है जो गणित, विज्ञान और कोड जनरेशन बेंचमार्क में GPT-4o-स्तर का प्रदर्शन प्राप्त करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) कई आधुनिक आर्टिफिशियल इंटेलिजेंस सिस्टम के पीछे के शक्तिशाली इंजन हैं, जो टेक्स्ट जेनरेट करने, समस्याओं को हल करने और कोड लिखने में सक्षम हैं। वर्षों से, शोधकर्ता इन सिस्टम्स को स्मार्ट बनाने की कोशिश कर रहे हैं, उन्हें समस्याओं को चरण-दर-चरण सोचने के लिए सिखाकर, जिसे "चेन ऑफ थॉट" (chain of thought) कहा जाता है। हालाँकि, मॉडल को अच्छी तरह से तर्क करना सिखाना कठिन है क्योंकि कंप्यूटर अक्सर केवल यह जानता है कि अंतिम उत्तर सही है या गलत, न कि यह कि वहां तक ले जाने वाले चरण कितने तार्किक थे। इसे ठीक करने के लिए, वैज्ञानिकों ने दो मुख्य दृष्टिकोणों का उपयोग किया है। एक में मॉडल को कार्य के बिल्कुल अंत में पुरस्कार (rewards) के साथ प्रशिक्षित किया जाता है, जो अस्थिर और अक्षम हो सकता है। दूसरा तरीका तर्क प्रक्रिया के प्रत्येक चरण की जांच करने के लिए एक अलग गाइड का उपयोग करता है, लेकिन इस गाइड को बनाने के लिए आमतौर पर हजारों उदाहरणों को लेबल करने के लिए महंगे मानव विशेषज्ञों की आवश्यकता होती है, और जब मॉडल नए तरीकों से सोचना शुरू करता है तो वह गाइड अक्सर विफल हो जाती है।
शोधकर्ताओं की एक टीम ने AIRL-S नामक एक नया सिस्टम पेश किया है जो इन दोनों दृष्टिकोणों को एक एकल, स्व-सुधार लूप (self-improving loop) में एकीकृत करता है। प्रत्येक चरण के लिए मानव लेबल पर निर्भर रहने के बजाय, यह सिस्टम उच्च-गुणवत्ता वाले तर्क के उदाहरणों का अवलोकन करके अपना स्वयं का आंतरिक गाइड बनाने के लिए सीखता है। फिर यह मॉडल को प्रशिक्षित करने और वास्तविक दुनिया के उपयोग के दौरान सर्वोत्तम उत्तर खोजने में मदद करने के लिए इस गाइड का उपयोग करता है। गणित, विज्ञान और कोडिंग से जुड़े आठ अलग-अलग बेंचमार्क में परीक्षणों के दौरान, शोधकर्ताओं ने पाया कि इस पद्धति ने मॉडल के प्रदर्शन को उसके शुरुआती संस्करण की तुलना में औसतन नौ प्रतिशत बेहतर बना दिया। परिणामी सिस्टम ने बिना किसी महंगे मानव पर्यवेक्षण के, उपलब्ध सबसे उन्नत वाणिज्यिक मॉडलों, जैसे कि GPT-4o, के समान प्रदर्शन किया।
मुख्य नवाचार इस बात में निहित है कि सिस्टम अपने काम का मूल्यांकन करना कैसे सीखता है। पारंपरिक रूप से, मॉडल को चरण-दर-चरण तर्क करने के लिए सिखाने हेतु, शोधकर्ताओं को एक "प्रोसेस रिवॉर्ड मॉडल" (process reward model) की आवश्यकता होती थी—एक अलग प्रोग्राम जिसे उस डेटा पर प्रशिक्षित किया जाता है जहाँ मनुष्यों ने प्रत्येक सही और गलत चरण को चिह्नित किया हो। यह धीमा और महंगा है। नया तरीका 'एडवर्सरियल लर्निंग' (adversarial learning) नामक तकनीक का उपयोग करके इसे दरकिनार करता है। कल्पना कीजिए कि सिस्टम एक खेल खेल रहा है जहाँ एक हिस्सा तर्क के चरण उत्पन्न करने की कोशिश करता है, और दूसरा हिस्सा उन उत्पन्न चरणों और उच्च-गुणवत्ता वाले संदर्भ उदाहरणों के बीच अंतर करने की कोशिश करता है। इस प्रतिस्पर्धा के माध्यम से, सिस्टम यह पहचानना सीख जाता है कि एक अच्छा तर्क चरण कैसा दिखता है, बिना किसी मनुष्य द्वारा स्पष्ट रूप से बताए। यह सीखा हुआ गाइड, या रिवॉर्ड मॉडल, घना और विस्तृत होता है, जो केवल अंतिम परिणाम के बजाय तर्क प्रक्रिया के प्रत्येक चरण पर फीडबैक प्रदान करता है।
एक बार जब सिस्टम ने अपना आंतरिक गाइड सीख लिया, तो वह इसका उपयोग दो तरीकों से एक साथ करता है। पहले, वह मुख्य मॉडल को प्रशिक्षित करने के लिए गाइड का उपयोग करता है, जिससे सीखने के चरण के दौरान बेहतर कदम उठाने के लिए प्रोत्साहन मिलता है। दूसरा, वह वास्तविक समस्या-समाधान चरण के दौरान सत्यापनकर्ता (verifier) के रूप में कार्य करने के लिए उसी गाइड को बनाए रखता है। जब मॉडल को एक कठिन समस्या हल करने के लिए कहा जाता है, तो वह कई अलग-अलग संभावित समाधान उत्पन्न कर सकता है। सीखा हुआ गाइड फिर इन संभावित समाधानों के प्रत्येक चरण को स्कोर देता है, जिससे सिस्टम को सबसे तार्किक पथ चुनने में मदद मिलती है। यह एक एकीकृत पाइपलाइन बनाता है जहाँ मॉडल को सिखाने वाला उपकरण वही उपकरण है जो परीक्षण के दौरान उसे सोचने में मदद करता है। शोधकर्ताओं ने प्रदर्शित किया कि यह गाइड मजबूत है; यह प्रभावी ढंग से काम करता है भले ही इसे विभिन्न मॉडलों या विभिन्न खोज रणनीतियों पर लागू किया जाए, जो यह सुझाव देता है कि सीखा गया ज्ञान सामान्य और हस्तांतरणीय है।
इस दृष्टिकोण के परिणामों को कार्यों की एक विस्तृत श्रृंखला में मापा गया। शोधकर्ताओं ने जटिल गणित प्रतियोगिताओं, वैज्ञानिक तर्क प्रश्नों और कोडिंग चुनौतियों सहित आठ मानक बेंचमार्क पर अपने मॉडल का परीक्षण किया। मॉडल, जो एक मानक ओपन-सोर्स लैंग्वेज मॉडल के रूप में शुरू हुआ था, इस नई पद्धति के साथ प्रशिक्षण के बाद अपने औसत सटीकता में नौ प्रतिशत सुधार करता है। विशिष्ट गणितीय और वैज्ञानिक कार्यों में, यह सुधार और भी अधिक था, जो तेरह प्रतिशत तक पहुँच गया। अन्य मॉडलों के साथ तुलना करने पर, जिन्हें महंगे मानव-लेबल वाले डेटा या अन्य उन्नत सुदृढीकरण शिक्षण (reinforcement learning) तकनीकों के साथ प्रशिक्षित किया गया था, यह नया सिस्टम लगातार बेहतर प्रदर्शन करता है। इसने GPT-4o जैसे शीर्ष-स्तरीय वाणिज्यिक मॉडल के प्रदर्शन की बराबरी भी की, जबकि इसके पैरामीटर्स काफी कम थे। यह सुझाव देता है कि तर्क प्रक्रिया की गुणवत्ता, जो इसके स्व-सीखे हुए रिवॉर्ड सिस्टम द्वारा निर्देशित है, केवल एक बड़े मॉडल होने की तुलना में अधिक महत्वपूर्ण है।
इस अध्ययन का एक प्रमुख निष्कर्ष यह है कि दो अलग-अलग प्रकार के लर्निंग सिग्नल एक साथ कैसे काम करते हैं। सिस्टम अपने स्व-सीखे हुए गाइड से मिलने वाले विस्तृत, चरण-दर-चरण फीडबैक को पारंपरिक तरीकों से मिलने वाले अंतिम परिणाम के पुरस्कारों के साथ जोड़ता है। शोधकर्ताओं ने पाया कि केवल एक प्रकार के सिग्नल पर निर्भर रहना कम प्रभावी था। चरण-दर-चरण गाइड ने मॉडल को बेहतर तर्क पथों को खोजने में मदद की, जबकि अंतिम परिणाम सिग्नल ने यह सुनिश्चित किया कि मॉडल सही उत्तर प्राप्त करने पर केंद्रित रहे। जब इन्हें सही ढंग से संतुलित किया गया, तो इन दोनों सिग्नलों ने एक-दूसरे को सुदृढ़ किया, जिससे अधिक स्थिर प्रशिक्षण और बेहतर परिणाम मिले। इसके अलावा, सिस्टम ने दिखाया कि वह इस सीखे हुए गाइड का उपयोग विभिन्न खोज विधियों को बेहतर बनाने के लिए कर सकता है, जैसे कि वे जो एक साथ कई समाधानों का प्रयास करती हैं या जो संभावनाओं का एक वृक्ष (tree of possibilities) बनाती हैं। यह गाइड जटिल खोज परिदृश्यों में विशेष रूप से प्रभावी था जहाँ मॉडल को सबसे अच्छा विकल्प बनाने के लिए मध्यवर्ती चरणों के मूल्य का मूल्यांकन करना पड़ता है।
इस कार्य के निहितार्थ केवल परीक्षणों पर उच्च स्कोर प्राप्त करने से कहीं अधिक हैं। चरण-दर-चरण तर्क के लिए महंगे मानव एनोटेशन (annotations) पर निर्भरता को हटाकर, यह विधि आर्टिफिशियल इंटेलिजेंस को बेहतर बनाने का अधिक स्केलेबल और लागत प्रभावी तरीका प्रदान करती है। यह सुझाव देता है कि मॉडल उच्च-गुणवत्ता वाले उदाहरणों का अवलोकन करके और स्वयं के विरुद्ध प्रतिस्पर्धा करके, अपने स्वयं के शिक्षक बन सकते हैं और अपनी तर्क क्षमताओं को परिष्कृत कर सकते हैं। शोधकर्ताओं ने उल्लेख किया कि उनका दृष्टिकोण विशेष रूप से उन कार्यों के लिए उपयुक्त है जहाँ अंतिम उत्तर को स्वचालित रूप से सत्यापित किया जा सकता है, जैसे कि गणित और कोडिंग। हालाँकि यह विधि शक्तिशाली है, लेखक स्वीकार करते हैं कि यह वर्तमान में इन सत्यापन योग्य परिणामों पर निर्भर है और इसे उन खुले-अंत वाले (open-ended) कार्यों को संभालने के लिए और अधिक विकास की आवश्यकता हो सकती है जहाँ एक एकल सही उत्तर मौजूद नहीं होता है। फिर भी, प्रशिक्षण और इन्फरेंस-टाइम सर्च को एक एकल, कुशल प्रणाली में एकीकृत करने की क्षमता, बड़े लैंग्वेज मॉडल्स को अधिक विश्वसनीय और सक्षम तर्ककर्ता बनाने की दिशा में एक महत्वपूर्ण कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।