Le Critique: Privileged Value Functions for LLM Reinforcement Learning
यह शोध पत्र "Le Critique" का परिचय देता है, जो टास्क-संबंधित टोकन-स्तरीय संकेतों को इंजेक्ट करने के लिए प्रिविलेज्ड वैल्यू फंक्शन्स (PVF) और ग्रुप-रिलेटिव एवं वैल्यू बेसलाइन्स के बीच एडेप्टिवली इंटरपोलेट करने के लिए TETHER को संयोजित करके लार्ज लैंग्वेज मॉडल सुदृढीकरण शिक्षण (reinforcement learning) को उन्नत करता है, जिससे मानक वैल्यू फंक्शन बेसलाइन्स की तुलना में बेहतर प्रदर्शन और GRPO के साथ प्रतिस्पर्धी परिणाम प्राप्त होते हैं, जबकि स्ट्रैगलर रोलआउट्स और उच्च विचरण (variance) जैसी समस्याओं को कम किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंप्यूटर प्रोग्रामों को बेहतर तरीके से सोचना सिखाने के लिए एक निरंतर संघर्ष चल रहा है। कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। यदि वह अंतिम उत्तर सही लिखता है, तो उसे अच्छे ग्रेड मिलते हैं। यदि वह गलत होता है, तो उसे खराब ग्रेड मिलते हैं। कई आधुनिक एआई सिस्टम इसी तरह सीखते हैं: वे किसी समस्या को हल करने के कई अलग-अलग तरीके आजमाते हैं, और कंप्यूटर अपने मस्तिष्क को इस आधार पर समायोजित करता है कि अंतिम परिणाम सफलता था या विफलता। इस पद्धति को 'रीइन्फोर्समेंट लर्निंग' (reinforcement learning) कहा जाता है। हालांकि, इसमें एक पेच है। यदि छात्र एक लंबा, जटिल निबंध लिखता है और अंतिम ग्रेड गलत आता है, तो कंप्यूटर को यह पता नहीं चलता कि किस विशिष्ट वाक्य के कारण त्रुटि हुई। वह केवल यह जानता है कि पूरा निबंध खराब था। यह सीखना धीमा और अक्षम बना देता है, जैसे बिना किसी उपकरण के यह अनुमान लगाने की कोशिश करना कि कार के इंजन का कौन सा हिस्सा खराब है।
इसे हल करने के लिए, शोधकर्ताओं ने लंबे समय से एआई के लिए एक "क्रिटिक" (critic - आलोचक) बनाने की कोशिश की है। यह एक दूसरा कंप्यूटर प्रोग्राम है जो छात्र को वाक्य दर वाक्य लिखते हुए देखता है और भविष्यवाणी करता है कि अंतिम उत्तर कैसा रहने वाला है। यदि क्रिटिक अंतिम ग्रेड का अनुमान जल्दी लगा लेता है, तो वह छात्र को तुरंत बता सकता है कि उसने कब गलत दिशा पकड़ी है, जिससे सीखना बहुत तेज़ और सटीक हो जाता है। लंबे समय तक, यह दृष्टिकोण चलन से बाहर हो गया क्योंकि इस दूसरे प्रोग्राम को बनाना और प्रशिक्षित करना कठिन और अक्सर अविश्वसनीय था। हाल ही में, क्षेत्र ने ऐसे तरीकों की ओर रुख किया है जो क्रिटिक को पूरी तरह से छोड़ देते हैं, और इसके बजाय उत्तरों के समूहों की आपस में तुलना करने पर भरोसा करते हैं। लेकिन यह नया शोध पत्र सुझाव देता है कि क्रिटिक का पुराना विचार मृत नहीं हुआ है; इसे बस दुनिया को देखने का एक नया तरीका चाहिए था।
शोधकर्ताओं ने, जो मिस्ट्रल एआई (Mistral AI) और अन्य संस्थानों में कार्यरत हैं, पाया कि क्रिटिक इसलिए विफल नहीं होता क्योंकि यह एक बुरा विचार है, बल्कि इसलिए क्योंकि इसे अक्सर असंभव कार्य करने के लिए कहा जाता है। उन्होंने पाया कि यदि वे क्रिटिक को थोड़ी अतिरिक्त जानकारी देते जिसे मुख्य एआई छात्र को देखने की अनुमति नहीं थी, तो क्रिटिक अविश्वसनीय रूप से सटीक हो जाता है। वे इसे "प्रिविलेज्ड वैल्यू फंक्शन" (privileged value function) कहते हैं। इसे समझने के लिए, एक छात्र द्वारा गणित की परीक्षा देने की कल्पना करें। छात्र एक समस्या को चरण-दर-चरण हल कर रहा है। क्रिटिक देख रहा है। सामान्यतः, क्रिटिक को केवल छात्र द्वारा अब तक लिखे गए विवरण के आधार पर अंतिम स्कोर का अनुमान लगाना होता है। लेकिन इस नए सेटअप में, क्रिटिक को गुप्त रूप से सही उत्तर कुंजी (answer key) थमा दी जाती है। वह छात्र को उत्तर नहीं दिखाता, लेकिन वह उस गुप्त ज्ञान का उपयोग छात्र की वर्तमान प्रगति को अधिक सटीक रूप से आंकने के लिए करता है। यदि छात्र का वर्तमान चरण सही पथ से दूर है, तो क्रिटिक इसे तुरंत जान जाता है और दिशा बदलने के लिए एक स्पष्ट संकेत देता है। यह संकेत छात्र को बहुत तेज़ी से सीखने में मदद करता है, बजाय इसके कि क्रिटिक अंधे होकर अनुमान लगाए।
टीम ने इस विचार का परीक्षण कई कठिन तर्क संबंधी कार्यों पर किया, जिसमें लॉजिक पहेलियाँ सुलझाना और कंप्यूटर कोड लिखना शामिल है। एक प्रयोग में, उन्होंने सुडोकू पहेली का उपयोग किया, जहाँ एआई को एक ग्रिड में एक बार में एक संख्या भरनी थी। मुख्य एआई केवल उन संख्याओं को देख सकता था जिन्हें उसने पहले ही रख दिया था। हालांकि, प्रिविलेज्ड क्रिटिक को पूरी तरह से हल किया गया ग्रिड दिखाया गया था। इसने क्रिटिक को एआई को तुरंत यह बताने की अनुमति दी कि क्या उसका एक कदम उसे गलत रास्ते पर ले जा रहा है, भले ही एआई ने केवल कुछ ही चालें चली हों। परिणाम आश्चर्यजनक थे। उन्होंने जितने भी कार्य आजमाए, उनमें से हर एक में, इस "प्रिविलेज्ड" क्रिटिक का उपयोग करने से एआई ने मानक तरीकों की तुलना में तेज़ी से सीखा और उच्च स्कोर प्राप्त किया। एआई केवल भाग्यशाली नहीं हुआ; इसने बेहतर निर्णय लेना सीखा क्योंकि इसके पास इस बात का स्पष्ट मानचित्र था कि वह कहाँ जा रहा है।
शोधकर्ताओं ने यह भी महसूस किया कि कभी-कभी क्रिटिक अभी भी सीख रहा होता है और पूर्ण नहीं होता है। यदि क्रिटिक बहुत अधिक आत्मविश्वासी है लेकिन गलत है, तो यह एआई को भ्रमित कर सकता है। इसे ठीक करने के लिए, उन्होंने "टेदर" (Tether) नामक एक दूसरा उपकरण बनाया। यह प्रणाली एक स्मार्ट स्विच की तरह कार्य करती है। प्रशिक्षण की शुरुआत में, जब क्रिटिक नया और अविश्वसनीय होता है, तो सिस्टम उत्तरों के समूहों की तुलना करने पर अधिक निर्भर रहता है, जो कि एक सुरक्षित लेकिन धीमा तरीका है। जैसे-जैसे क्रिटिक बेहतर होता जाता है और सटीक सलाह देना शुरू करता है, टेदर सिस्टम धीरे-धीरे क्रिटिक पर अपना विश्वास बढ़ा देता है। यह दोनों विधियों को आपस में मिला देता है, और बिना किसी मानव इंजीनियर द्वारा सेटिंग्स को बदलने की आवश्यकता के, एक से दूसरे में सहजता से बदल जाता है। यह सुनिश्चित करता है कि एआई के पास हमेशा सर्वोत्तम मार्गदर्शन हो, चाहे क्रिटिक नौसिखिया हो या विशेषज्ञ।
यह अध्ययन दिखाता है कि सीखने के मार्गदर्शन के लिए दूसरे प्रोग्राम का उपयोग करने का पुराना विचार न केवल वैध है, बल्कि श्रेष्ठ भी है, बशर्ते इसे सही उपकरण दिए जाएं। क्रिटिक को वह सब देखने की अनुमति देकर जो मुख्य एआई नहीं देख सकता, शोधकर्ताओं ने सीखने की प्रक्रिया से अनुमान लगाने की गुंजाइश को समाप्त कर दिया। उन्होंने यह भी दिखाया कि इस दृष्टिकोण को मजबूत और स्वचालित बनाया जा सकता है, जो क्रिटिक के अपने कौशल स्तर के अनुसार अनुकूलित होता है। हालांकि इस कार्य के लिए महत्वपूर्ण कंप्यूटिंग शक्ति और सावधानीपूर्वक इंजीनियरिंग की आवश्यकता थी, लेकिन परिणाम एक स्पष्ट मार्ग सुझाते हैं। क्रिटिक को छोड़ने के बजाय, एआई को तर्क करने के लिए सिखाने का भविष्य उसे समाधान का एक बेहतर दृश्य देने में निहित है, जिससे वह अपनी गलतियों से उस स्पष्टता के साथ सीख सके जो पहले पहुंच से बाहर थी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।