Bandit-Based Prompt Design Strategy Selection Improves Prompt Optimizers
यह शोध पत्र OPTS को प्रस्तुत करता है, जो एक प्रॉम्प्ट ऑप्टिमाइज़ेशन फ्रेमवर्क है जो स्पष्ट, बैंडिट-आधारित तंत्र (विशेष रूप से थॉम्पसन सैंपलिंग) को लागू करके EvoPrompt जैसे मौजूदा ऑप्टिमाइज़र के प्रदर्शन को बढ़ाता है ताकि प्रॉम्प्ट डिज़ाइन रणनीतियों को प्रभावी ढंग से चुना और लागू किया जा सके, जिससे यह उन तरीकों से बेहतर प्रदर्शन करता है जो निहित रणनीति चयन पर निर्भर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन कभी-कभी जिद्दी रोबोट (एक लार्ज लैंग्वेज मॉडल) को एक कठिन पहेली हल करना सिखाने की कोशिश कर रहे हैं। आप रोबोट को निर्देश देते हैं, जिन्हें "प्रॉम्ट" कहा जाता है। यदि निर्देश अस्पष्ट हैं, तो रोबोट भ्रमित हो जाता है। यदि वे एकदम सटीक हैं, तो रोबोट पहेली को तुरंत हल कर देता है।
लंबे समय से, इंसान इन सटीक निर्देशों को हाथ से लिखने की कोशिश करते रहे हैं, या उन्होंने इन निर्देशों को बेहतर बनाने के लिए स्वचालित कंप्यूटर प्रोग्रामों का उपयोग किया है। इसे प्रॉम्ट ऑप्टिमाइज़ेशन (Prompt Optimization) कहा जाता है।
हालाँकि, एक समस्या है: ये स्वचालित प्रोग्राम अक्सर ऐसे निर्देश बना देते हैं जो काम तो करते हैं लेकिन उनमें उस "सीक्रेट सॉस" (विशेष गुण) की कमी होती है जो मानव विशेषज्ञों के पास होता है। वे "कदम-दर-कदम सोचें" (think step-by-step) या "एक विशेषज्ञ की तरह व्यवहार करें" (act like an expert) जैसे सिद्ध तरीकों को छोड़ देते हैं।
समस्या: रोबोट का गलत अनुमान लगाने वाला खेल
हाल ही में, APET नामक एक टूल ने इसे ठीक करने की कोशिश की। इसने रोबोट को "डिज़ाइन रणनीतियों" का एक मेनू दिया (जैसे खाना पकाने की तकनीकों का एक मेनू: नमक डालें, बारीक काटें, धीमी आंच पर पकाएं)। रोबोट को इस मेनू को देखना था और यह तय करना था कि विशिष्ट पहेली के लिए कौन सी तकनीकें इस्तेमाल करनी हैं।
लेकिन शोध पत्र का तर्क है कि रोबोट को यह चुनाव करने के लिए कहना वैसा ही है जैसे किसी थके हुए शेफ से यह अनुमान लगाने के लिए कहना कि कौन सा मसाला जले हुए सूप को बचा लेगा। यह एक इम्प्लिसिट (implicit) यानी अंतर्निहित चुनाव है (रोबोट बस "महसूस" करता है कि उसे कोई ट्रिक इस्तेमाल करनी चाहिए), और यह इसमें बहुत अच्छा नहीं है। रोबोट अक्सर गलत अनुमान लगाता है, और ऐसी रणनीतियाँ चुन लेता है जो वास्तव में निर्देशों को और खराब कर देती हैं।
समाधान: OPTS (स्मार्ट सोमेलियर)
लेखकों ने एक नया तरीका पेश किया है जिसे OPTS (Optimizing Prompts with sTrategy Selection) कहा जाता है।
रोबोट को अनुमान लगाने देने के बजाय, OPTS एक स्मार्ट सोमेलियर (वाइन विशेषज्ञ) या एक कैसिनो मैनेजर की तरह काम करता है जो संयोग के खेल को चला रहा है। यह कैसे काम करता है, इसके लिए एक सरल उपमा देखें:
कल्पना कीजिए कि आपके पास स्लॉट मशीनों (शोधकर्ता इन्हें "आर्म्स" कहते हैं) की एक पंक्ति है।
- मशीन 1: निर्देशों में "कदम-दर-कदम सोचें" जोड़ती है।
- मशीन 2: रोबोट को "प्रश्न को फिर से पढ़ें" कहती है।
- मशीन 3: रोबोट को "गणित विशेषज्ञ की तरह व्यवहार करें" कहती है।
- मशीन K+1: कुछ नहीं करती (निर्देशों को बिल्कुल वैसा ही रखती है जैसा वे हैं)।
पुराने तरीके (APET) में, रोबोट बस अंदाजे से या किसी पूर्वाभास के आधार पर लीवर खींच देता।
नए OPTS तरीके में, सिस्टम थॉम्पसन सैंपलिंग (Thompson Sampling) नामक एक गणितीय रणनीति का उपयोग करता है। इसे एक स्मार्ट जुआरी के रूप में सोचें जो एक स्कोरकार्ड रखता है:
- यह एक मशीन (एक रणनीति) को आजमाता है।
- यदि रोबोट पहेली को बेहतर तरीके से हल करता है, तो सिस्टम उस मशीन को "थम्स अप" (सफलता का संकेत) देता है और अगली बार उसे चुनने की संभावना बढ़ा देता है।
- यदि रोबोट विफल रहता है, तो सिस्टम उस मशीन को "थम्स डाउन" (असफलता का संकेत) देता है और उसे चुनना बंद कर देता है।
- महत्वपूर्ण रूप से, यह एक "कुछ न करें" वाली मशीन भी रखता है। यदि सभी ट्रिक्स चीजों को बदतर बना रही हैं, तो सिस्टम सीख जाता है कि निर्देशों को वैसे ही छोड़ देना चाहिए।
उन्होंने क्या पाया
शोधकर्ताओं ने दो अलग-अलग रोबोटों (LLMs) पर कठिन तर्क और रीजनिंग पहेलियों (जिसे BIG-Bench Hard कहा जाता है) के सेट का उपयोग करके इसका परीक्षण किया।
- परिणाम: इस "स्मार्ट जुआरी" दृष्टिकोण का उपयोग करके सही रणनीति चुनने से, सिस्टम ने रोबोट द्वारा स्वयं किए गए कार्यों की तुलना में बहुत बेहतर निर्देश बनाए।
- विजेता: थॉम्पसन सैंपलिंग (स्मार्ट जुआरी) स्पष्ट विजेता था। इसने कुछ कार्यों पर प्रॉम्ट ऑप्टिमाइज़र के प्रदर्शन में 50% तक सुधार किया।
- तुलना: पुराना तरीका (APET), जहाँ रोबोट अनुमान लगाता था, वास्तव में केवल रैंडम रणनीतियाँ चुनने से भी खराब प्रदर्शन करता था। यह साबित करता है कि रोबोट यह अनुमान लगाने में बुरा है कि कौन सी ट्रिक्स का उपयोग करना है, लेकिन यदि हम उसे बताते हैं कि किस ट्रिक का उपयोग करना है, तो वह निर्देशों का पालन करने में बहुत अच्छा है।
मुख्य बात (Takeaway)
यह शोध पत्र यह दावा नहीं करता है कि इसने सभी AI समस्याओं को हल कर लिया है या यह चिकित्सा निदान के लिए तैयार है। यह केवल यह दिखाता है कि जब हम AI को बेहतर तरीके से बात करना सिखाने की कोशिश कर रहे होते हैं, तो हमें AI को यह अनुमान लगाने नहीं देना चाहिए कि कौन सा शिक्षण तरीका उपयोग करना है। इसके बजाय, हमें एक स्मार्ट, डेटा-संचालित प्रणाली (जैसे थॉम्पसन सैंपलिंग) का उपयोग करना चाहिए जो स्पष्ट रूप से सर्वोत्तम शिक्षण ट्रिक्स को चुन सके, ठीक वैसे ही जैसे एक कोच एक विशिष्ट खेल की स्थिति के लिए सही चाल चुनता है।
इस "स्मार्ट कोच" का कोड दूसरों के उपयोग के लिए उपलब्ध है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।