Reinforcing Multi-Turn Reasoning in LLM Agents via Fine-Grained Reward Structure and Credit Assignment
यह शोध पत्र मल्टी-टर्न परिदृश्यों में लार्ज लैंग्वेज मॉडल एजेंटों को उन्नत करने के लिए एक ढांचे का प्रस्ताव और सत्यापन करता है जो बेहतर क्रेडिट असाइनमेंट, प्रशिक्षण स्थिरता और प्रदर्शन प्राप्त करने के लिए सघन (dense) प्रति-टर्न रिवॉर्ड संरचनाओं का लाभ उठाने वाले अनुकूलित GRPO और PPO एल्गोरिदम को व्युत्पन्न करता है, जो स्पार्स टर्मिनल या विलंबित रिवॉर्ड दृष्टिकोणों की तुलना में श्रेष्ठ है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स आज की सबसे उन्नत आर्टिफिशियल इंटेलिजेंस प्रणालियों के इंजन हैं, जो मानव के समान टेक्स्ट जनरेट करने, जटिल समस्याओं को हल करने और यहाँ तक कि कोड लिखने में सक्षम हैं। हालाँकि, जब इन मॉडल्स को ऐसे कार्यों को करने के लिए कहा जाता है जिनमें तर्क की एक लंबी श्रृंखला (chain of reasoning) की आवश्यकता होती है—जैसे कि जानकारी के लिए वेब खोजना, कैलकुलेटर का उपयोग करना, या एक बहु-चरणीय खेल खेलना—तो वे अक्सर संघर्ष करते हैं। मुख्य कठिनाई इस बात में निहित है कि वे अपनी गलतियों से कैसे सीखते हैं। मशीन लर्निंग के क्षेत्र में, इन प्रणालियों को अक्सर 'रिनफोर्समेंट लर्निंग' नामक एक विधि का उपयोग करके प्रशिक्षित किया जाता है, जहाँ मॉडल विभिन्न क्रियाएं करने का प्रयास करता है और फीडबैक के रूप में एक पुरस्कार (reward) प्राप्त करता है। यदि अंतिम उत्तर सही है, तो मॉडल को पुरस्कार मिलता है; यदि यह गलत है, तो उसे कुछ नहीं मिलता। यह दृष्टिकोण सरल कार्यों के लिए अच्छा काम करता है, लेकिन जटिल, बहु-चरणीय इंटरैक्शन के लिए, पूरी प्रक्रिया के अंत तक फीडबैक देने का इंतज़ार करना वैसा ही है जैसे किसी को पूरी बातचीत खत्म होने के बाद केवल यह बताने की कोशिश करना कि वह सही था या गलत। सीखने वाले को यह पता ही नहीं चलता कि किस विशिष्ट शब्द या वाक्य के कारण सफलता या विफलता हुई, जिससे सुधार करना अविश्वसनीय रूप से कठिन हो जाता है।
शोधकर्ताओं की एक टीम ने इन AI एजेंटों के इंटरैक्शन के दौरान फीडबैक प्राप्त करने के तरीके को बदलकर इस समस्या को हल करने का लक्ष्य रखा। अंतिम परिणाम का इंतज़ार करने के बजाय, उन्होंने एक ऐसी प्रणाली डिज़ाइन की जो एजेंट द्वारा उठाए गए प्रत्येक एकल कदम के बाद एक छोटा, विशिष्ट पुरस्कार प्रदान करती है। कल्पना कीजिए कि एक एजेंट जानकारी खोजने के लिए वेब सर्च करने का प्रयास कर रहा है। पुराने तरीके में, एजेंट एक खराब सर्च क्वेरी बना सकता है, अप्रासंगिक परिणाम पढ़ सकता है, और फिर गलत उत्तर का अनुमान लगा सकता है, और अंत में केवल एक "विफलता" का संकेत प्राप्त करता है। नया दृष्टिकोण एजेंट को प्रत्येक सर्च क्वेरी के बाद तत्काल फीडबैक देता है: प्रासंगिक जानकारी खोजने के लिए एक छोटा पुरस्कार या एक खराब क्वेरी के लिए दंड। यह एजेंट को यह सीखने में मदद करता है कि कौन से चरण सहायक थे और कौन से नहीं, जिससे वह बहुत अधिक सटीकता के साथ अपने व्यवहार को परिष्कृत कर सकता है।
शोधकर्ताओं ने इन विचारों का परीक्षण दो लोकप्रिय प्रशिक्षण एल्गोरिदम का उपयोग करके किया, एक जो विभिन्न प्रयासों की तुलना करने के लिए उन्हें समूहों में रखता है और दूसरा जो क्रियाओं की एक निरंतर धारा से सीखता है। उन्होंने इन विधियों को दो बहुत ही अलग प्रकार के कार्यों पर लागू किया: एक सर्च एजेंट जिसे विकिपीडिया डेटाबेस का उपयोग करके प्रश्नों के उत्तर खोजने थे, और एक गेम एजेंट जिसे सोकोबन (Sokoban) नामक पहेली हल करनी थी, जहाँ बक्सों को ग्रिड पर विशिष्ट लक्ष्यों तक धकेलना होता है। सोकोबन गेम में, एक गलत चाल खिलाड़ी को डेड एंड (बंद गली) में फँसा सकती है, जिससे स्तर को पूरा करना असंभव हो जाता है। यह खेल यह परीक्षण करने के लिए एक आदर्श स्थिति बनाता है कि क्या एक एजेंट कई चरणों आगे की योजना बनाने में सक्षम है। शोधकर्ताओं ने अपने नए "चरण-दर-चरण" पुरस्कार प्रणाली की तुलना पारंपरिक विधि (जो अंतिम परिणाम का इंतज़ार करती है) और एक मध्यवर्ती दृष्टिकोण (जहाँ पुरस्कारों को विलंबित और संयोजित किया जाता है) से की।
परिणाम दोनों खोज और गेम कार्यों में स्पष्ट और सुसंगत थे। स्टेप-बाय-स्टेप रिवॉर्ड्स के साथ प्रशिक्षित एजेंटों ने पुराने तरीकों की तुलना में तेज़ी से सीखा और वे बहुत अधिक स्थिर भी हुए। सर्च कार्यों में, नई विधि ने एजेंटों को न केवल सही उत्तर खोजने में मदद की, बल्कि सर्च इंजन के साथ इंटरैक्ट करने के लिए आवश्यक सख्त फॉर्मेटिंग नियमों का पालन करने में भी मदद की। सोकोबन गेम में, स्टेप-बाय-स्टेप फीडबैक के साथ प्रशिक्षित एजेंटों ने डेड एंड से बचना और पहेलियों को काफी उच्च दर पर हल करना सीखा। शोधकर्ताओं ने पाया कि अंतिम उत्तर का इंतज़ार करने वाली पारंपरिक विधि अक्सर अस्थिर प्रशिक्षण की ओर ले जाती है, जहाँ एजेंट का प्रदर्शन अत्यधिक उतार-चढ़ाव वाला होता है या उसमें सुधार नहीं हो पाता। इसके विपरीत, स्टेप-बाय-स्टेप दृष्टिकोण ने एक स्थिर मार्ग प्रदान किया, जिससे एजेंट बिना भटके जटिल तर्क कौशल विकसित कर सके।
यह कार्य प्रदर्शित करता है कि आर्टिफिशियल इंटेलिजेंस के लिए जटिल, मल्टी-टर्न इंटरैक्शन में महारत हासिल करने के लिए, उसे केवल उसके प्रदर्शन पर अंतिम ग्रेड की ही नहीं आवश्यकता है। इसे इस बात के बारे में एक निरंतर संवाद की आवश्यकता है कि वह क्या सही कर रहा है और क्या गलत। यह अध्ययन दिखाता है कि सीखने की प्रक्रिया को छोटे, प्रबंधनीय टुकड़ों में तोड़कर और प्रत्येक क्रिया के लिए तत्काल, विशिष्ट फीडबैक प्रदान करके, AI एजेंट कहीं अधिक सक्षम और विश्वसनीय बन सकते हैं। यह निष्कर्ष स्मार्ट सहायकों के निर्माण के लिए एक मार्ग सुझाता है जो वास्तविक दुनिया में नेविगेट कर सकें, जटिल समस्याओं को हल कर सकें, और उपकरणों के साथ इस तरह से इंटरैक्ट कर सकें जो स्वाभाविक और प्रभावी लगे, जो साधारण टेक्स्ट जनरेशन से आगे बढ़कर वास्तविक, बहु-चरणीय तर्क (multi-step reasoning) की ओर ले जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।