PlanPO: Group Planning-Aware Policy Optimization for Multi-Turn Agentic LLMs
PlanPO एक नवीन ग्रुप-रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन विधि है जो सफल प्रक्षेप पथों (trajectories) के बीच अंतर करने के लिए कोर्स-टू-फाइन एडवांटेज सिग्नल्स पेश करती है, जिससे मल्टी-टर्न एजेंटिक LLMs को सामान्यीकरण योग्य योजना व्यवहार (generalizable planning behaviors) सीखने में सक्षम बनाया जा सके और चुनौतीपूर्ण बेंचमार्क पर मौजूदा बेसलाइन्स से काफी बेहतर प्रदर्शन किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के रूप में जाने जाने वाले कंप्यूटर प्रोग्रामों का एक विशिष्ट वर्ग अब केवल निष्क्रिय पाठक या लेखक के रूप में ही नहीं, बल्कि सक्रिय एजेंटों के रूप में कार्य करने लगा है। ये डिजिटल संस्थाएं बहु-चरणीय (मल्टी-टर्न) बातचीत में शामिल होकर आभासी वेब स्टोर्स से लेकर सिम्युलेटेड वैज्ञानिक प्रयोगशालाओं जैसे जटिल वातावरणों में नेविगेट कर सकती हैं, जहाँ वे एक स्थिति का अवलोकन करती हैं, एक प्रतिक्रिया के बारे में सोचती हैं, और एक कार्य करती हैं। इन एजेंटों को ऐसे कार्यों को प्रभावी ढंग से करने के लिए सिखाने हेतु, शोधकर्ता अक्सर 'रीइन्फोर्समेंट लर्निंग' नामक विधि का उपयोग करते हैं। इस प्रक्रिया में, एजेंट किसी समस्या को हल करने के कई अलग-अलग तरीके आजमाता है, और जब वह सफल होता है, तो उसे एक पुरस्कार (रिवॉर्ड) मिलता है। समय के साथ, एजेंट उन व्यवहारों को दोहराना सीख जाता है जो सफलता की ओर ले जाते हैं। हालाँकि, एक महत्वपूर्ण चुनौती तब उत्पन्न होती है जब एजेंट सफलता पाने का कोई रास्ता खोज लेता है: सभी सफल पथ समान नहीं होते। कुछ समाधान सीधे और कुशल होते हैं, जबकि अन्य घुमावदार, अनावश्यक लूपों, पुनरावृत्ति वाले चरणों या अत्यधिक विस्तृत स्पष्टीकरणों से भरे होते हैं, फिर भी उन सभी को एक ही "सफलता" का पुरस्कार मिलता है। यह अंतर का अभाव सीखने की प्रक्रिया को भ्रमित कर सकता है, जिससे एजेंट अकुशल आदतों पर समय बर्बाद करने लगता है या आगे की योजना बनाने की क्षमता विकसित करने में विफल रहता है।
शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए एक नया दृष्टिकोण प्रस्तावित किया है, जिसे 'ग्रुप प्लानिंग-अवेयर पॉलिसी ऑप्टिमाइजेशन' या 'प्लानपीओ' (PlanPO) कहा जाता है। केवल किसी भी सफल परिणाम को पुरस्कृत करने के बजाय, यह विधि एजेंट को यह सिखाती है कि एक अच्छे समाधान और एक बेहतरीन समाधान के बीच अंतर कैसे किया जाए, और इसके लिए यह देखती है कि समाधान तक कैसे पहुँचा गया। शोधकर्ताओं ने देखा कि भले ही एक एजेंट किसी कार्य को सही ढंग से पूरा कर ले, लेकिन वहाँ तक पहुँचने की यात्रा बहुत भिन्न हो सकती है। कुछ एजेंट एक आभासी घर में घूम सकते हैं, किसी वस्तु को खोजने से पहले बार-बार एक ही दराजों की जाँच कर सकते हैं, जबकि अन्य सीधे सही स्थान पर जा सकते हैं। इसी तरह, जब कोई एजेंट अपने विचारों को बोलता या लिखता है, तो कुछ प्रतिक्रियाएँ संक्षिप्त और तार्किक होती हैं, जबकि अन्य लंबी-चौड़ी या भ्रमित तर्क वाली होती हैं, भले ही अंतिम कार्य सही हो। प्लानपीओ के पीछे का मूल विचार लंबाई और दक्षता में इन अंतरों का उपयोग सीखने के संकेत के रूप में करना है। एजेंट के सफल प्रयासों की आपस में तुलना करके, सिस्टम यह पहचान सकता है कि कौन से पथ अधिक सीधे थे और कौन सी प्रतिक्रियाएं अधिक कुशल थीं, और उन विशिष्ट व्यवहारों को उन त्रुटिपूर्ण व्यवहारों की तुलना में अधिक उच्च पुरस्कार देता है।
शोधकर्ताओं ने इन तीन विशिष्ट और चुनौतीपूर्ण वातावरणों पर भाषा मॉडलों को प्रशिक्षित करके इस विचार का परीक्षण किया। पहला एक सिम्युलेटेड घरेलू वातावरण था जहाँ एजेंट को वस्तु उठाने, सफाई करने या वस्तुओं को गर्म करने जैसे कार्य करने थे। दूसरा एक जटिल वेब-शॉपिंग वातावरण था जहाँ एजेंट को उपयोगकर्ता के निर्देशों के आधार पर हजारों विकल्पों में से विशिष्ट उत्पादों को खोजना था। तीसरा एक वैज्ञानिक सिमुलेशन था जहाँ एजेंट को प्रयोग करने के लिए आभासी उपकरणों का संचालन करना था। इन परीक्षणों में, शोधकर्ताओं ने अपनी नई विधि की तुलना कई मौजूदा तकनीकों से की, जिसमें मानक रीइन्फोर्समेंट लर्निंग दृष्टिकोण शामिल हैं जो सफलता के विभिन्न प्रकारों के बीच अंतर नहीं करते हैं। परिणामों ने दिखाया कि प्लानपीओ के साथ प्रशिक्षित एजेंट लगातार दूसरों से बेहतर प्रदर्शन करते हैं। औसतन, नई विधि ने इन कठिन बेंचमार्क पर प्रदर्शन में 27.2 प्रतिशत का सुधार किया। घरेलू वातावरण में, प्लानपीओ के साथ प्रशिक्षित एजेंटों ने 91 प्रतिशत से अधिक की सफलता दर हासिल की, जो पिछले तरीकों की तुलना में एक बड़ी छलांग है।
यह निष्कर्ष विशेष रूप से उल्लेखनीय है कि एजेंटों के व्यवहार में क्या बदलाव आया। शोधकर्ताओं ने पाया कि प्लानपीओ के साथ प्रशिक्षित एजेंटों ने न केवल कार्यों को हल करना सीखा; उन्होंने उन्हें अधिक कुशलता से हल करना भी सीखा। उन्होंने अपने लक्ष्यों तक पहुँचने के लिए कम कदम उठाए और अधिक केंद्रित, संक्षिप्त प्रतिक्रियाएँ उत्पन्न कीं। उदाहरण के लिए, घरेलू कार्यों में, एक काम को पूरा करने के लिए आवश्यक औसत इंटरैक्शन (संवाद) 26 से अधिक चरणों से घटकर केवल 14 से कम रह गया। एजेंटों ने अत्यधिक विस्तृत या दोहराव वाले टेक्स्ट बनाना भी बंद कर दिया, जिससे उनकी औसत प्रतिक्रिया की लंबाई काफी कम हो गई। यह सुधार केवल एजेंटों को छोटा या तेज़ होने के लिए मजबूर करने से नहीं आया, क्योंकि शोधकर्ताओं ने दिखाया कि इससे वास्तव में प्रदर्शन को नुकसान पहुँचता। इसके बजाय, एजेंटों ने केवल तभी कुशल होना सीखा जब इससे उन्हें सफल होने में मदद मिली। उन्होंने एक प्रकार की 'प् प्लानिंग जागरूकता' (प्लानिंग अवेयरनेस) विकसित की, यह समझते हुए कि एक सीधा पथ और स्पष्ट स्पष्टीकरण, एक लंबे और घुमावदार पथ की तुलना में बेहतर है, भले ही दोनों अंततः एक ही परिणाम की ओर ले जाते हों।
अध्ययन ने यह भी परीक्षण किया कि क्या ये एजेंट उन नई स्थितियों में जो उन्होंने पहले नहीं देखी हैं, जो सीखा है उसे लागू कर सकते हैं। प्रशिक्षण के लिए उपयोग किए गए कार्यों से भिन्न कार्यों पर परीक्षण किए जाने पर, प्लानपीओ एजेंटों ने उच्च स्तर की सफलता बनाए रखी, और अन्य तरीकों की तुलना में बड़े अंतर से बेहतर प्रदर्शन किया। यह सुझाव देता है कि एजेंट केवल विशिष्ट समस्याओं के लिए विशिष्ट समाधानों को याद नहीं कर रहे थे, बल्कि वे योजना बनाने और निर्णय लेने के एक सामान्य कौशल को सीख रहे थे। शोधकर्ताओं ने उल्लेख किया कि यह सुधार बिना किसी अतिरिक्त कंप्यूटिंग शक्ति या जटिल नए हार्डवेयर की आवश्यकता के प्राप्त किया गया था; इस पद्धति ने केवल मौजूदा प्रशिक्षण डेटा के मूल्यांकन के तरीके को पुनर्गठित किया। सफल प्रयासों के बीच के अंतर को शोर (नॉइज़) के बजाय मूल्यवान जानकारी के रूप में मानकर, शोधकर्ताओं ने एजेंटों को अधिक प्रभावी ढंग से सीखने में सक्षम बनाया। यह कार्य प्रदर्शित करता है कि आर्टिफिशियल इंटेलिजेंस की जटिल दुनिया में, सफलता की गुणवत्ता उतनी ही महत्वपूर्ण है जितनी कि स्वयं सफलता, और मशीनों को उस अंतर को पहचानना सिखाना उन्हें स्मार्टर और अधिक सक्षम डिजिटल सहायक बना सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।