CAPO: Constraint-Aware Prompt Optimization for LLM Agents
यह शोध पत्र CAPO को प्रस्तुत करता है, जो एक बाधा-जागरूक प्रॉम्प्ट अनुकूलन विधि है जो सुरक्षा और फॉर्मेटिंग जैसे परिचालन संबंधी बाधाओं का पालन करते हुए कार्य प्रदर्शन के लिए LLM एजेंट सिस्टम प्रॉम्प्ट को प्रभावी ढंग से अनुकूलित करने हेतु अनुकूली बाधा भारण (adaptive constraint weighting) के साथ एक प्रिमल-डुअल दृष्टिकोण का उपयोग करता है, और इसके साथ ही एक गतिशील संस्करण (DCAPO) भी है जो अंतर्निहित कार्य एजेंट को संशोधित किए बिना विविध डोमेन में व्यवहार्य और उच्च-प्रदर्शन वाले प्रॉम्प्ट प्राप्त करने के लिए एक विशिष्ट रीराइटर को प्रशिक्षित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स का उपयोग अब केवल चैट करने के लिए ही नहीं, बल्कि कार्य करने के लिए भी किया जा रहा है। इन डिजिटल एजेंटों को निर्देशों का एक समूह दिया जाता है, जिसे 'सिस्टम प्रॉम्प्ट' कहा जाता है, जो उन्हें यह बताता है कि टूल्स (उपकरणों) का उपयोग कैसे करना है, समस्याओं को कैसे हल करना है और उपयोगकर्ताओं के साथ कैसे बातचीत करनी है। एक ऐसे ट्रैवल एजेंट की कल्पना करें जो उड़ानें बुक कर सकता है, बीमा की जांच कर सकता है और आरक्षण रद्द कर सकता है, लेकिन केवल तभी जब वह कंपनी के सख्त नियमों का पालन करे। डेवलपर्स के लिए चुनौती यह है कि एक मॉडल किसी कार्य को हल करने में अविश्वसनीय रूप से कुशल हो सकता है, फिर भी वास्तविक दुनिया की नौकरी की विशिष्ट परिचालन आवश्यकताओं को पूरा करने में विफल हो सकता है। यह बहुत अधिक टूल्स का उपयोग कर सकता है, जब उसे मदद की आवश्यकता नहीं होती तब भी मानवीय सहायता मांग सकता है, बहुत लंबे उत्तर लिख सकता है, या अनजाने में सुरक्षा नीतियों का उल्लंघन कर सकता है। किसी कंपनी के लिए ऐसे एजेंट को तैनात करने के लिए, वह केवल एक ऐसे मॉडल को स्वीकार नहीं कर सकती जो "काफी हद तक" अच्छा है; उसे यह सुनिश्चित करना होगा कि एजेंट हर एक आवश्यकता के लिए सख्त सीमाओं के भीतर रहे और साथ ही अपना काम भी पूरा करे।
मुख्य कठिनाई इस तथ्य में निहित है कि ये आवश्यकताएं अक्सर अलग-अलग दिशाओं में खींचती हैं। एक प्रॉम्प्ट जो एजेंट को बहुत सटीक बनाता है, वह उसे बहुत विस्तृत (verbose) या बहुत अधिक टूल्स का उपयोग करने के प्रति प्रवृत्त भी बना सकता है। पारंपरिक रूप से, डेवलपर्स ने प्रत्येक नियम के महत्व को मैन्युअल रूप से समायोजित करके इसे हल करने का प्रयास किया है, जो मूल रूप से यह अनुमान लगाना है कि कौन से प्रतिबंध सबसे अधिक महत्वपूर्ण हैं। हालांकि, यह दृष्टिकोण नाजुक है। एक सेटिंग जो एक प्रकार के कार्य या एक विशिष्ट मॉडल के लिए काम करती है, वह स्थिति बदलने पर अक्सर विफल हो जाती है। यदि नियम पहले से ही तय हैं, तो सिस्टम एक आवश्यकता को पूरा करने के चक्कर में दूसरी को तोड़ सकता है, जिससे एजेंट उपयोग के अयोग्य हो जाता है। शोधकर्ताओं के सामने प्रश्न यह था कि क्या वे एक ऐसा सिस्टम बना सकते हैं जो स्वचालित रूप से सही संतुलन खोज सके, और जो यह सीखते हुए कि क्या काम करता है और क्या नहीं, वास्तविक समय में प्रत्येक नियम के भार (weight) को समायोजित कर सके।
शोधकर्ताओं की एक टीम ने इस समस्या से निपटने के लिए CAPO नामक एक नई विधि पेश की, जिसका अर्थ है 'कन्स्ट्रेंट-अवेयर प्रॉम्प्ट ऑप्टिमाइज़ेशन' (Constraint-Aware Prompt Optimization)। नियमों के सही संतुलन का अनुमान लगाने के बजाय, CAPO अनुकूलन प्रक्रिया को एक ऐसी बातचीत (negotiation) की तरह मानता है जहाँ नियम स्वयं बोल उठते हैं। सिस्टम प्रॉम्प्ट्स के एक संग्रह के साथ शुरू होता है और उन्हें कार्यों के एक सेट के विरुद्ध परीक्षण करता है। जैसे-जैसे एजेंट चलते हैं, वे डेटा उत्पन्न करते हैं कि उन्होंने कैसा प्रदर्शन किया और महत्वपूर्ण रूप से, उन्होंने विशिष्ट बाधाओं का कितना उल्लंघन किया, जैसे कि टूल कॉल की संख्या या प्रतिक्रिया की लंबाई। यदि कोई प्रॉम्प्ट किसी नियम का उल्लंघन करता है, तो सिस्टम अगले परीक्षण दौर में उस विशिष्ट नियम के लिए "पेनल्टी" (दंड) को स्वचालित रूप से बढ़ा देता है। यदि किसी प्रॉम्प्ट के पास किसी नियम के तहत अतिरिक्त स्थान है, तो उस नियम के लिए पेनल्टी कम हो जाती है। यह गतिशील समायोजन सिस्टम को अपने खोज को उन विशिष्ट समस्याओं पर केंद्रित करने की अनुमति देता है जो वर्तमान में एजेंट को तैनात होने से रोक रही हैं, बजाय इसके कि सभी नियमों को शुरुआत से समान रूप से महत्वपूर्ण माना जाए।
शोधकर्ताओं ने एयरलाइन कस्टमर सर्विस, रिटेल सपोर्ट और टेलीकम्युनिकेशंस सहित कई विभिन्न डोमेन में इस दृष्टिकोण का परीक्षण किया। इन परीक्षणों में, एजेंटों को मानवीय एजेंट को कितनी बार बुलाना है, वे कितने टूल्स का उपयोग कर सकते हैं, और उनके सिस्टम निर्देश कितने लंबे हो सकते हैं, इसकी सख्त सीमाओं का पालन करते हुए कार्य पूरे करने थे। परिणाम स्पष्ट थे: CAPO ने लगातार ऐसे प्रॉम्प्ट्स खोजे जो उच्च कार्य प्रदर्शन बनाए रखते हुए प्रत्येक बाधा को संतुष्ट करते हैं। इसके विपरीत, अन्य विधियों ने जो निश्चित भार या स्थिर नियमों का उपयोग करती थीं, वे सभी आवश्यकताओं को एक साथ पूरा करने वाला समाधान खोजने में विफल रहीं। उदाहरण के लिए, एयरलाइन डोमेन में, जबकि अन्य विधियों ने छह में से केवल एक परीक्षण परिदृश्य में नियमों को संतुष्ट किया, CAPO ने हर एक परिदृश्य में एक व्यवहार्य समाधान खोजा। यह पद्धति विभिन्न आकार के लैंग्वेज मॉडल्स के साथ काम करने के लिए पर्याप्त मजबूत साबित हुई और टूल-उपयोग करने वाले एजेंटों से आगे बढ़कर चैटबॉट परिदृश्यों में सुरक्षा और फॉर्मेटिंग बाधाओं को संभालने तक विस्तृत हुई।
प्रक्रिया को और भी अधिक कुशल बनाने के लिए, शोधकर्ताओं ने एक दूसरा संस्करण विकसित किया जिसे DCAPO कहा जाता है। जबकि पहला संस्करण प्रॉम्प्ट्स को फिर से लिखने के लिए एक अलग, फ्रीज किए गए लैंग्वेज मॉडल का उपयोग करता है, DCAPO एक विशेष 'रीराइटर' (rewriter) को प्रशिक्षित करता है जो स्वयं इस प्रक्रिया से सीखता है। यह रीराइटर एजेंट के व्यवहार और बाधाओं से प्राप्त फीडबैक को देखता है, और बेहतर प्रॉम्प्ट्स बनाने के लिए समय के साथ सीखता है, बिना मूल कार्य एजेंट को बदले। अपने प्रयोगों में, यह सीखा हुआ रीराइटर सभी परीक्षण किए गए डोमेन में व्यवहार्य प्रॉम्प्ट्स बनाने में सक्षम था, जो सर्वोत्तम बेसलाइन विधियों के बराबर या उनसे बेहतर था। अध्ययन में एक गणितीय विश्लेषण भी शामिल था जो यह दर्शाता है कि सिस्टम कैसे इस तथ्य को संभालता है कि वह उदाहरणों की एक सीमित संख्या और डिस्क्रीट टेक्स्ट परिवर्तनों के साथ काम कर रहा है, यह पुष्टि करते हुए कि इन सीमाओं से उत्पन्न त्रुटियां सिस्टम को एक अच्छे समाधान पर अभिसरण (converge) करने से नहीं रोकती हैं।
इस कार्य का महत्व इस क्षमता में निहित है कि यह तैनाती की आवश्यकताओं को खोज प्रक्रिया के लिए एक मार्गदर्शक शक्ति में बदल देता है। नियमों के उल्लंघन के मापन को यह निर्धारित करने देकर कि किन विफलताओं पर ध्यान दिया जाना चाहिए, सिस्टम एक समस्या को ठीक करने के चक्कर में दूसरी समस्या पैदा करने के जाल से बच जाता है। शोधकर्ताओं ने पाया कि यह अनुकूलन दृष्टिकोण आवश्यक है क्योंकि सबसे महत्वपूर्ण बाधा विशिष्ट कार्य और उपयोग किए जा रहे मॉडल के आधार पर बदलती रहती है। एयरलाइन परिदृश्य में जो सबसे अधिक महत्वपूर्ण है, वह रिटेल सेटिंग में अप्रासंगिक हो सकता है, और एक मॉडल जो किसी समस्या को हल करने में सक्षम है, उसे बजट के भीतर रहने के लिए अलग मार्गदर्शन की आवश्यकता हो सकती है। अध्ययन यह प्रदर्शित करता है कि वास्तविक समय की प्रतिक्रिया के आधार पर अनुकूलन के फोकस को लगातार समायोजित करके, ऐसे ऑपरेटिंग पॉइंट्स प्राप्त करना संभव है जो प्रभावी और अनुपालन योग्य दोनों हों। यह प्रॉम्प्ट इंजीनियरिंग के बारे में हमारी सोच में बदलाव का सुझाव देता है: एक स्थिर सेटअप के बजाय, यह एक गतिशील प्रक्रिया हो सकती है जहाँ आवश्यकताएं स्वयं सिस्टम को वास्तविक दुनिया के लिए तैयार समाधान की ओर ले जाने में मदद करती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।