How to Train Your Advisor: Steering Black-Box LLMs with Advisor Models
यह शोध पत्र एडवाइजर मॉडल्स (Advisor Models) को प्रस्तुत करता है, जो एक ऐसी विधि है जो छोटे ओपन-वेट मॉडल्स को गतिशील, प्रति-इन्स्टेंस प्राकृतिक भाषा संबंधी सलाह उत्पन्न करने के लिए प्रशिक्षित करती है, जो उनके भार (weights) को संशोधित किए बिना पैरामीट्रिक अनुकूलन के माध्यम से अप्राप्य ब्लैक-बॉक्स फ्रंटियर LLMs के प्रदर्शन को प्रभावी रूप से निर्देशित और उन्नत करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, विश्व स्तरीय शेफ है (जो एक ब्लैक-बॉक्स मॉडल है, जैसे GPT-5 या Gemini) जो एक सीलबंद, उच्च-सुरक्षा वाली रसोई में काम करता है। आप न तो उनकी सामग्री को छू सकते हैं, न ही उनकी रेसिपी बदल सकते हैं, और आप यहाँ तक कि उन्हें सब्जियाँ काटते हुए भी नहीं देख सकते। आप केवल उन्हें अपने ऑर्डर का एक नोट भेज सकते हैं (एक प्रॉम्ट)।
आमतौर पर, यदि आप कोई विशिष्ट व्यंजन चाहते हैं, तो आपको एक बहुत लंबा, सटीक नोट लिखना पड़ता है। लेकिन यदि आप नोट लिखने में कोई गलती करते हैं, तो शेफ अभी भी एक बेहतरीन व्यंजन बना सकता है, या वह भ्रमित हो सकता है। और यदि आप चाहते हैं कि शेफ हर बार आपके विशिष्ट स्वाद के अनुसार खुद को ढाल ले, तो हर ऑर्डर के लिए एक नया सटीक नोट लिखना थकाऊ है और अक्सर विफल हो जाता है।
ADVISOR MODELS एक छोटे, समझदार सू-शेफ (एक एडवाइजर/सलाहकार) को काम पर रखने जैसा है जो उस सीलबंद रसोई के दरवाजे के ठीक बाहर खड़ा है।
यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:
1. सेटअप: सू-शेफ का काम
मुख्य शेफ के लिए एक आदर्श नोट लिखने की कोशिश करने के बजाय, आप सू-शेफ से कहते हैं कि वह आपके ऑर्डर को देखे और मुख्य शेफ के लिए एक कस्टम टिप (विशेष सुझाव) लिखे।
- मास्टर शेफ (ब्लैक-बॉक्स): वह बिल्कुल वैसा ही काम करता है। आप उनके दिमाग या उनकी ट्रेनिंग को नहीं बदल सकते। वे बस प्राप्त नोट का पालन करते हैं।
- सू-शेफ (एडवाइजर): यह एक छोटा, सस्ता, ओपन-सोर्स मॉडल है। इसका एकमात्र काम विशिष्ट ऑर्डर को देखना और यह कहना है, "हे, इस विशिष्ट अनुरोध के लिए, मास्टर शेफ को X, Y और Z करना चाहिए।"
2. ट्रेनिंग: करके सीखना
सू-शेफ अच्छा सुझाव देना कैसे सीखता है?
- लूप (चक्र): आप सू-शेफ को एक कार्य देते हैं। सू-शेफ एक टिप लिखता है। मास्टर शेफ टिप पढ़ता है और भोजन बनाता है।
- स्कोर: यदि भोजन स्वादिष्ट निकला (कार्य सही ढंग से हल हो गया), तो सिस्टम सू-शेफ को "थम्स अप" (सफलता का संकेत) देता है। यदि भोजन जल गया, तो उसे "थम्स डाउन" (विफलता का संकेत) मिलता है।
- सबक: सू-शेफ इन स्कोर से सीखता है। समय के साथ, वह अस्पष्ट सलाह देना बंद कर देता है जैसे "इसे अच्छी तरह पकाएं" और विशिष्ट, कार्रवाई योग्य सलाह देना शुरू करता है जैसे "स्टोव का तापमान जांचें" या "इस समीक्षा के लिए ठीक 10 शब्दों का उपयोग करें।"
3. जादुई ट्रिक: "सस्ता" सू-शेफ "महंगे" शेफ की मदद करता है
यह पेपर का सबसे बड़ा दावा है। आपको सू-शेफ को प्रशिक्षित करने के लिए महंगे, विश्व-स्तरीय मास्टर शेफ की आवश्यकता नहीं है।
- आप सू-शेफ को एक सस्ते, छोटे शेफ (जैसे GPT-4o mini) का उपयोग करके प्रशिक्षित कर सकते हैं।
- एक बार जब सू-शेफ सस्ते शेफ को अच्छे टिप्स देना सीख जाता है, तो आप उसी प्रशिक्षित सू-शेफ को महंगे, विश्व-स्तरीय शेफ (जैसे GPT-5) के सामने रख सकते हैं।
- परिणाम: महंगा शेफ अचानक विशिष्ट कार्यों में बेहतर हो जाता है, भले ही उसे कभी प्रशिक्षित न किया गया हो! सुझाव इतने स्पष्ट और सहायक होते हैं कि बड़ा शेफ उन्हें पूरी तरह समझ जाता है।
पेपर से वास्तविक दुनिया के उदाहरण
लेखकों ने इस "सू-शेफ" सिस्टम का परीक्षण तीन अलग-अलग रसोईघरों में किया:
टैक्स किचन (RuleArena Taxes):
- समस्या: मास्टर शेफ सामान्य खाना बनाने में बहुत अच्छा है लेकिन जटिल टैक्स नियमों से भ्रमित हो जाता है।
- समाधान: प्रशिक्षित सू-शेफ ने टैक्स की गणना करने के लिए विशिष्ट निर्देश देने के लिए सीखा।
- परिणाम: मास्टर शेफ की सटीकता 67% से बढ़कर 85% हो गई।
सॉफ्टवेयर रिपेयर किचन (SWE Agent):
- समस्या: शेफ टूटे हुए कोड को ठीक करने के लिए (जैसे रसोई के हर एक दराज की जाँच करना) बहुत अधिक कदम उठा रहा था।
- समाधान: सू-शेफ ने यह कहना सीख लिया कि, "दराजों की जाँच न करें; बस टूटे हुए हिस्से को खोजने के लिए सर्च कमांड का उपयोग करें।"
- परिणाम: शेफ ने बिना कोई गलती किए 24% तेजी से कोड को ठीक किया।
पर्सनल टेस्ट किचन (पर्सनलाइजेशन):
- समस्या: आपके पास 5 अलग-अलग दोस्त हैं। एक को छोटी समीक्षाएं पसंद हैं, एक को लंबी, और एक को गणित की समस्याएं पसंद नहीं हैं। मास्टर शेफ यह नहीं जानता।
- समाधान: सू-शेफ ने प्रत्येक मित्र की "छिपी हुई" पसंद को पढ़ना और शेफ को ठीक से बताना सीख लिया।
- परिणाम: सिस्टम ने इन छिपी हुई पसंद को लगभग पूरी तरह से (94-99% सटीकता के साथ) सीख लिया, जबकि मानक तरीके पूरी तरह विफल रहे।
यह क्यों महत्वपूर्ण है (पेपर के अनुसार)
- सर्जरी की आवश्यकता नहीं: आपको मास्टर शेफ के दिमाग को बदलने (उनके वेट्स को मॉडिफाई करने) की आवश्यकता नहीं है। आप बस उन्हें बेहतर निर्देश देते हैं।
- भूलने का डर नहीं: क्योंकि मास्टर शेफ के दिमाग को नहीं बदला गया है, इसलिए वे अन्य चीजें करने की क्षमता नहीं भूलते। वे उन सभी चीजों में अच्छे बने रहते हैं जिनके लिए वे मूल रूप से अच्छे थे।
- लागत प्रभावी: महंगे मॉडल को सीधे प्रशिक्षित करने के बजाय, एक सस्ते मॉडल पर छोटे सू-शेफ को प्रशिक्षित करना और फिर उन कौशलों को "ट्रांसफर" करना बहुत सस्ता है।
संक्षेप में: ADVISOR MODELS एक छोटे, समझदार सहायक को एक विशाल, लॉक-अप AI के लिए बेहतर निर्देश लिखने के लिए प्रशिक्षित करने का एक तरीका है, जिससे वह विशाल AI बिना अपने आंतरिक कोड को छुए अधिक स्मार्ट, तेज़ और व्यक्तिगत बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।