Reward Is Enough: LLMs Are In-Context Reinforcement Learners
यह शोध पत्र प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स, संचित रिवॉर्ड सिग्नल्स के आधार पर अपनी प्रतिक्रियाओं को पुनरावृत्ति से परिष्कृत करके, इन्फरेंस के दौरान इन-कॉन्टेक्स्ट रीइन्फोर्समेंट लर्निंग कर सकते हैं, जिससे बिना किसी अतिरिक्त प्रशिक्षण के विविध कार्यों में महत्वपूर्ण प्रदर्शन सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े ज़िद्दी छात्र को एक जटिल पहेली सुलझाना सिखा रहे हैं।
अतीत में, यदि छात्र गलत होता, तो शायद आपको कक्षा रोकनी पड़ती, उनकी पाठ्यपुस्तक फिर से लिखनी पड़ती और उन्हें पूरा विषय फिर से पढ़ाना पड़ता (यह एक AI को रिट्रेनिंग/पुनः प्रशिक्षित करने जैसा है)। या, आप शायद कह देते, "फिर से कोशिश करो, लेकिन इस बार एक लंबा निबंध लिखो कि तुम क्यों असफल हुए" (यह सेल्फ-रिफाइन (Self-Refine) या रिफ्लेक्शन (Reflexion) जैसा है, जहाँ AI खुद से बात करता है)।
यह शोध पत्र AI को सिखाने का एक नया, आश्चर्यजनक रूप से सरल तरीका पेश करता है: बस इसे एक स्कोर (अंक) दें।
मुख्य विचार: "स्कोरबोर्ड प्रभाव"
लेखक इसे इन-कॉन्टेक्स्ट रीइन्फोर्समेंट लर्निंग (ICRL) कहते हैं। यह सरल भाषा में इस प्रकार काम करता है:
- खेल: आप AI को एक कार्य देते हैं (जैसे गणित की समस्या हल करना या कहानी लिखना)।
- प्रयास: AI उसे हल करने की कोशिश करता है।
- स्कोर: फीडबैक के रूप में लंबा पैराग्राफ लिखने के बजाय, आप केवल एक संख्या देते हैं।
- क्या उसने गणित सही किया? स्कोर: 10।
- क्या वह गलत हुआ? स्कोर: 0।
- क्या उसने एक सुसंगत कहानी लिखी? स्कोर: 8।
- लूप: आप AI को उसके पिछले प्रयासों को उनके स्कोर के साथ दिखाते हैं। फिर आप उसे फिर से प्रयास करने के लिए कहते हैं।
- जादू: AI इतिहास को देखता है: "ओह, जब मैंने उस तरीके से किया तो मुझे 0 मिला, लेकिन जब मैंने इस तरीके से किया तो मुझे 10 मिला। मैं 'इस' तरीके को करने की कोशिश करूँगा।"
AI पारंपरिक अर्थों में "सीख" नहीं रहा है (इसका आंतरिक कोड/दिमाग नहीं बदलता है); इसके बजाय, यह अपने ही गलतियों और सफलताओं के इतिहास को देखकर उसी क्षण में सीख रहा है, ठीक वैसे ही जैसे एक इंसान स्कोरबोर्ड से सीखता है।
रचनात्मक उपमाएँ (Analogies)
1. वीडियो गेम प्लेयर
AI को एक गेमर के रूप में सोचें जो एक नया लेवल खेल रहा है।
- पुराना तरीका (Self-Refine): गेमर मर जाता है, गेम को रोकता है, और इस बारे में 5 प頁 का डायरी प्रविष्टि लिखता है कि वह क्यों मरा, और फिर दोबारा प्रयास करने से पहले उसे पढ़ता है, और फिर से प्रयास करता है।
- इस पेपर का तरीका (ICRL): गेमर मर जाता है, "गेम ओवर" स्क्रीन देखता है जिसमें "0" स्कोर है, अपने पिछले 10 प्रयासों के रीप्ले और उनके स्कोर देखता है, और तुरंत एक अलग रास्ता अपनाने की कोशिश करता है क्योंकि उसे एहसास होता है, "आह, वहाँ कूदने पर मुझे 10 मिलता है, लेकिन वहाँ दौड़ने पर मुझे 0 मिलता है।" वह केवल स्कोरबोर्ड को देखकर बेहतर होता जाता है।
2. शेफ और आलोचक
कल्पना कीजिए कि एक शेफ एक नई रेसिपी बनाने की कोशिश कर रहा है।
- पुराना तरीका: शेफ सूप चखता है, नोटबुक में लंबी आलोचना लिखता है ("बहुत नमकीन, तुलसी की आवश्यकता है"), नोटबुक पढ़ता है, और फिर से प्रयास करता है।
- इस पेपर का तरीका: शेफ सूप चखता है, एक आलोचक से एक साधारण स्कोर (1 से 10) प्राप्त करता है, अपने द्वारा बनाए गए पिछले 5 सूपों और उनके स्कोर की सूची देखता है, और अगले सूप में सुधार करता है। उन्हें निबंध लिखने के लिए आलोचक की आवश्यकता नहीं है; मार्गदर्शन के लिए संख्या ही पर्याप्त है।
यह एक बड़ी बात क्यों है?
इस पेपर ने बहुत कठिन कार्यों पर इसका परीक्षण किया:
- गणित प्रतियोगिताएं: ओलंपियाड स्तर की गणित समस्याओं को हल करना।
- रचनात्मक लेखन: ऐसी कहानियाँ लिखना जो समझ में आएँ।
- विज्ञान प्रयोग: एक वर्चुअल लैब में पानी की अवस्था बदलने का तरीका खोजना।
परिणाम:
इस "स्कोरबोर्ड" पद्धति (ICRL) का उपयोग करने वाला AI उन तरीकों की तुलना में इन कार्यों में काफी बेहतर रहा जहाँ AI खुद से बात करता है या यादृच्छिक (random) बदलावों की कोशिश करता है।
- "गेम ऑफ 24" (एक गणित पहेली) में, AI अपने पिछले स्कोर को देखकर केवल 47% से बढ़कर 90% तक सही होने लगा।
- यह तब भी काम आया जब स्कोर देने वाला "आलोचक" स्वयं AI था!
"डक टेस्ट" (The Duck Test)
लेखक एक प्रसिद्ध कहावत का उपयोग करते हैं: "यदि यह एक बत्तख की तरह दिखता है, बत्तख की तरह तैरता है, और बत्तख की तरह क्वैक करता है, तो यह संभवतः एक बत्तख ही है।"
उनका तर्क है कि भले ही हमने AI को "रीइन्फोर्समेंट लर्निंग करने" के लिए प्रोग्राम नहीं किया है, लेकिन यह बिल्कुल एक रीइन्फोर्समेंट लर्निंग एजेंट की तरह कार्य करता है। यह खोज करता है (explores), अच्छे विचारों का लाभ उठाता है (exploits), विफलता से सीखता है, और केवल अपने स्कोर को देखकर समय के साथ बेहतर होता जाता है।
निचोड़ (The Bottom Line)
यह शोध पत्र सुझाव देता है कि हमें AI को स्मार्ट बनाने के लिए जटिल नई प्रणालियाँ बनाने या विशाल मॉडलों को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। हमें बस उन्हें खेल खेलने, स्कोर देखने और फिर से प्रयास करने देने की आवश्यकता है। एक साधारण संख्या से सीखने की क्षमता इन मॉडल्स के भीतर पहले से ही मौजूद है; हमें बस उन्हें इसे देखने का सही तरीका देना था।
यह "AI को सिखाने" से बदलकर "AI को उसके अपने स्कोरबोर्ड को देखकर खुद को सिखाने देने" की ओर एक बदलाव है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।