Embedding by Elicitation: Dynamic Representations for Bayesian Optimization of System Prompts
यह शोधपत्र ReElicit को प्रस्तुत करता है, जो एक बेयसियन ऑप्टिमाइज़ेशन फ्रेमवर्क है जो एग्रीगेट फीडबैक से अनुकूलन योग्य, व्याख्यात्मक फीचर एम्बेडिंग्स को गतिशील रूप से प्राप्त करने के लिए लार्ज लैंग्वेज मॉडल्स का लाभ उठाता है, जिससे प्रति-उदाहरण लेबल के बिना परिवर्तनीय लंबाई वाले सिस्टम प्रॉम्प्ट्स का कुशल अनुकूलन सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली लेकिन थोड़े ज़िद्दी रोबोट को सवाल पूछने का तरीका सिखाने की कोशिश कर रहे हैं। आप रोबोट से सीधे बात करके यह नहीं कह सकते कि, "तुमने यह विशिष्ट गणित का सवाल गलत किया क्योंकि तुम एक अंक (carry the one) जोड़ना भूल गए।" इसके बजाय, आपको दिन के अंत में केवल एक संख्या मिलती है: "आज, रोबोट ने 85% सवाल सही किए।"
यही वह समस्या है जिसे यह शोध पत्र हल करता है: आप रोबोट के निर्देशों (जिसे "सिस्टम प्रॉम्प्ट" कहा जाता है) को कैसे बेहतर बना सकते हैं जब आपको केवल एक अस्पष्ट, समग्र स्कोर मिलता है, न कि कोई विस्तृत रिपोर्ट कार्ड?
मेटा (Meta) के लेखकों ने एक नई विधि प्रस्तावित की है जिसे ReElicit कहा जाता है। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:
1. समस्या: "ब्लैक बॉक्स" की दुविधा
आमतौर पर, जब आप किसी मशीन लर्निंग मॉडल को ट्यून करते हैं, तो आपके पास बहुत सारा डेटा होता है। आप जानते हैं कि कौन से उत्तर सही थे और कौन से गलत। लेकिन वास्तविक दुनिया में (जैसे कि कस्टमर सर्विस बॉट), आपको केवल यह पता चल सकता है कि "इस सप्ताह उपयोगकर्ता संतुष्टि 2% बढ़ गई है।"
केवल शब्दों को बेतरतीब ढंग से बदलकर और उम्मीद करके कि सब ठीक हो जाएगा, सही निर्देश खोजने की कोशिश करना, घास के ढेर में सुई खोजने के समान है जहाँ आप बस यादृच्छिक रूप से सुइयां फेंक रहे हैं। यह बहुत धीमा और अक्षम है।
2. समाधान: "अनुवादक" रोबोट
लेखकों ने महसूस किया कि लाखों वाक्यों में से खोजने के बजाय, वे एक "स्मार्ट" लार्ज लैंग्वेज मॉडल (LLM) से एक अनुवादक (translator) के रूप में कार्य करने के लिए कह सकते हैं।
यहाँ उपमा दी गई है:
- लक्ष्य: आप केक के लिए एकदम सही रेसिपी खोजना चाहते हैं, लेकिन केक बनाने के बाद आपको केवल एक स्वाद स्कोर (जैसे, "8/10") मिलता है। आप व्यक्तिगत रूप से सामग्री का स्वाद नहीं ले सकते।
- पुराना तरीका: आप बस नए व्यंजनों का अंदाज़ा लगाते रहते हैं।
- ReElicit का तरीका: आप एक मास्टर शेफ (LLM) से पूछते हैं कि आपके पिछले व्यंजनों और उनके स्कोर को देखे। शेफ कहता है, "मुझे लगता है कि रहस्य मैदा या चीनी में नहीं है; यह वैनिला और बेकिंग सोडा के संतुलन के बारे में है।"
शेफ फिर एक सरल मानचित्र (एक "फीचर स्पेस") बनाता है जिसमें केवल दो या तीन अक्ष (axes) होते हैं:
- कितना वैनिला? (0 से 1)
- कितनी बेकिंग सोडा? (0 से 1)
अब, अनंत व्यंजनों के माध्यम से खोजने के बजाय, आप बस इस छोटे, सरल मानचित्र पर एक आदर्श स्थान की तलाश कर रहे हैं।
3. प्रक्रिया: तीन-चरणीय नृत्य
यह शोध पत्र एक लूप का वर्णन करता है जहाँ कंप्यूटर तीन चीजें बार-बार करता है:
- Elicit (शेफ से पूछना): सिस्टम उन प्रॉम्प्ट्स को देखता है जिन्हें इसने आज़माया है और उनके स्कोर को देखता है। यह LLM से पूछता है: "इस विशिष्ट कार्य के लिए एक प्रॉम्प्ट को अच्छा बनाने वाले 2 या 3 सबसे महत्वपूर्ण 'सामग्री' (सिमेंटिक फीचर्स) क्या हैं?" LLM चलते-फिरते इन विशेषताओं का आविष्कार करता है (जैसे, "तर्क की स्पष्टता" या "उदाहरणों का उपयोग")।
- Optimize (नेविगेटर): सिस्टम बेयसियन ऑप्टिमाइज़ेशन (Bayesian Optimization) नामक एक गणितीय उपकरण का उपयोग करता है। इसे एक स्मार्ट नेविगेटर के रूप में समझें जो मानचित्र को देखता है और कहता है, "हमने अभी तक उस स्थान को नहीं आज़मायाया जहाँ 'स्पष्टता' अधिक है और 'उदाहरण' मध्यम हैं। चलिए वहां चलते हैं।" यह मानचित्र पर एक लक्ष्य बिंदु चुनता है।
- Realize (बेकर): सिस्टम फिर से LLM से पूछता है: "ठीक है, एक ऐसा प्रॉम्प्ट लिखें जो हमारे मानचित्र पर उस सटीक लक्ष्य को प्राप्त करे।" LLM नए निर्देश लिखता है। सिस्टम उन्हें टेस्ट करता है, एक नया स्कोर प्राप्त करता है, और लूप फिर से शुरू होता है।
4. यह क्यों विशेष है: "Re-eliciting"
चतुर हिस्सा यह है कि "मानचित्र" स्थिर नहीं है। जैसे-जैसे सिस्टम अधिक प्रॉम्प्ट आज़माता है और उनके स्कोर प्राप्त करता है, यह LLM से मानचित्र को फिर से बनाने के लिए कहता है।
- शायद शुरुआत में, LLM को लगा कि "लंबाई" महत्वपूर्ण थी।
- लेकिन 10 प्रयासों के बाद, LLM को एहसास होता है, "वास्तव में, लंबाई मायने नहीं रखती; यह इस बारे में है कि निर्देशों को कैसे संरचित किया गया है।"
- इसलिए, LLM नए ज्ञान को दर्शाने के लिए मानचित्र को अपडेट करता है। यह सिस्टम को सीखने के साथ अनुकूलित होने की अनुमति देता है।
5. परिणाम
लेखकों ने 10 कठिन कार्यों (जैसे गणित के सवाल हल करना या व्यंग्य की पहचान करना) पर ReElicit का परीक्षण किया। उन्होंने ReElicit को एक बहुत ही सख्त बजट दिया: यह कुल केवल 30 अलग-अलग प्रॉम्प्ट ही टेस्ट कर सकता था।
- प्रतियोगिता: उन्होंने इसकी तुलना अन्य विधियों से की जो या तो रैंडमली प्रॉम्प्ट खोजते हैं, बैक्टीरिया की तरह विकसित होते हैं, या एक-एक करके आलोचना करते हैं।
- विजेता: ReElicit ने लगातार सर्वश्रेष्ठ प्रॉम्प्ट खोजे। यह "घास के ढेर में सुई" खोजने में बेहतर था क्योंकि इसने बेतरतीब ढंग से अनुमान लगाना बंद कर दिया और एक स्मार्ट, विकसित होते मानचित्र पर नेविगेट करना शुरू कर दिया।
सारांश
संक्षेप में, ReElicit एक ऐसी विधि है जो एक AI का उपयोग करती है जो यह बताने के लिए अपनी खुद की भाषा का आविष्कार करती है कि एक प्रॉम्प्ट को अच्छा बनाने के लिए क्या चाहिए। टेक्स्ट की अव्यवस्थित, अनंत दुनिया में खोजने के बजाय, यह समस्या को एक सरल, साफ मानचित्र में अनुवादित करता है, उस मानचित्र पर सबसे अच्छी जगह पाता है, और फिर उस जगह को वापस एक पूर्ण सेट निर्देशों में अनुवादित करता है। यह नए परिणामों से सीखते हुए अपने स्वयं के मानचित्र को लगातार अपडेट करके ऐसा करता है।
शोध का दावा है कि जब आपके पास मार्गदर्शन के लिए केवल एक एकल, समग्र स्कोर होता है, न कि त्रुटियों की विस्तृत सूची, तो AI निर्देशों को ट्यून करने का यह सबसे प्रभावी तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।