SPRIG: Improving Large Language Model Performance by System Prompt Optimization
यह शोध पत्र SPRIG को प्रस्तुत करता है, जो एक एडिट-आधारित जेनेटिक एल्गोरिदम है जो विविध कार्यों, मॉडल परिवारों और भाषाओं में लार्ज लैंग्वेज मॉडल (LLM) के प्रदर्शन को महत्वपूर्ण रूप से सुधारने के लिए सामान्य सिस्टम प्रॉम्प्ट्स को अनुकूलित करता है, यह प्रदर्शित करते हुए कि एक एकल अनुकूलित सिस्टम प्रॉम्प्ट कार्य-विशिष्ट प्रॉम्प्ट्स के साथ मिलकर पूरक लाभ प्रदान करने के साथ-साथ उनकी प्रभावशीलता का मुकाबला कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ SPRIG पेपर का स्पष्टीकरण दिया गया है, जिसे सरल भाषा और कुछ रचनात्मक उपमाओं (analogies) के साथ अनुवादित किया गया है।
मुख्य विचार: "यूनिवर्सल बॉस" बनाम "स्पेशलिस्ट"
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन थोड़ा भ्रमित कर्मचारी है (Large Language Model या LLM)। आप चाहते हैं कि वह कई अलग-अलग काम करे: कविता लिखे, गणित की समस्या हल करे, कटाक्ष (sarcasm) को पहचाने और कोड लिखे।
अतीत में, शोधकर्ताओं ने इस कर्मचारी की मदद करने के लिए हर एक काम के लिए एक विशिष्ट निर्देश पत्र (specific instruction sheet) लिखने की कोशिश की।
- गणित के लिए: "एक कैलकुलेटर की तरह सोचें।"
- कविता के लिए: "शेक्सपियर के कवि की तरह सोचें।"
- कोड के लिए: "एक सीनियर इंजीनियर की तरह सोचें।"
यह काम तो करता है, लेकिन यह थका देने वाला है। आपको हर नए कार्य के लिए एक नया मैनुअल लिखना पड़ता है।
SPRIG एक अलग सवाल पूछता है: क्या होगा अगर हम एक ही "जनरल मैनेजर हैंडबुक" (System Prompt) लिख सकें जो कर्मचारी को एक साथ हर चीज़ में बेहतर बना दे?
यह पेपर तर्क देता है कि विशिष्ट कार्य निर्देशों को बदलने के बजाय, हमें उन सामान्य नियमों को अनुकूलित (optimize) करना चाहिए जिनका पालन मॉडल कार्य देखने से पहले ही करता है।
SPRIG कैसे काम करता है: "इवोल्यूशनरी शेफ"
शोधकर्ताओं ने केवल अनुमान नहीं लगाया कि आदर्श हैंडबुक कैसी दिखनी चाहिए। उन्होंने एक जेनेटिक एल्गोरिदम (Genetic Algorithm) का उपयोग किया, जो मूल रूप से डिजिटल विकास (digital evolution) है।
इसे एक कुकिंग प्रतियोगिता की तरह समझें जहाँ आप एक आदर्श "यूनिवर्सल सॉस" बनाने की कोशिश कर रहे हैं जो किसी भी व्यंजन के साथ अच्छा लगे।
सामग्री का पुस्तकालय (The Corpus):
सबसे पहले, उन्होंने 9,000 अलग-अलग "फ्लेवर नोट्स" या निर्देश एकत्र किए। कुछ प्रसिद्ध थे जैसे "कदम-दर-कदम सोचें" (Chain of Thought)। अन्य अजीब थे जैसे "आप एक समय यात्री हैं" या "दुनिया का भाग्य इस पर निर्भर है।"पहला बैच (Generation 1):
उन्होंने इन सामग्रियों को हजारों अलग-अलग "यूनिवर्सल सॉस" (System Prompts) बनाने के लिए बेतरतीब ढंग से मिलाया।स्वाद परीक्षण (Evaluation):
उन्होंने इन सॉस को 47 विभिन्न प्रकार के कार्यों (गणित, तर्क, सामाजिक कौशल आदि) पर AI को परोसा। उन्होंने केवल एक का स्वाद नहीं चखा; उन्होंने पूरा मेनू चखा।योग्यतम की उत्तरजीविता (The Genetic Part):
- उन्मूलन (Elimination): उन्होंने उन निचले 50% सॉस को फेंक दिया जिनका स्वाद खराब था (जिनका प्रदर्शन खराब रहा)।
- प्रजनन (Breeding): उन्होंने शीर्ष 10% सॉस को लिया और उन्हें "मैच" किया। उन्होंने एक सॉस के हिस्सों को दूसरे के साथ बदला (Crossover) या एक वाक्य को थोड़ा बदलकर उसमें बदलाव किया (Mutation)।
- नए फ्लेवर: उन्होंने मिश्रण में जोड़ने के लिए नए फ्लेवर नोट्स का आविष्कार करने के लिए भी एक AI का उपयोग किया।
- दोहराना (Repeat):
उन्होंने इसे 25 बार किया। हर दौर के साथ, "यूनिवर्सल सॉस" पूरे मेनू को संभालने में बेहतर और बेहतर होता गया, न कि केवल एक व्यंजन को।
परिणाम: यह गेम चेंजर क्यों है
पेपर ने तीन आश्चर्यजनक बातें पाईं:
1. एक आकार सबके लिए उपयुक्त (One Size Fits Most)
SPRIG द्वारा बनाया गया एकल "यूनिवर्सल सॉस" (System Prompt) उतना ही अच्छा प्रदर्शन करता है जितना कि हर कार्य के लिए एक कस्टम मैनुअल लिखना।
- उपमा: यह एक जोड़ी "सुपर जूतों" को खोजने जैसा है जो आपको मैराथन दौड़ने, टेनिस खेलने और पहाड़ चढ़ने में उतना ही सक्षम बनाता है जितना कि विशेष रूप से प्रत्येक खेल के लिए डिज़ाइन किए गए जूते।
2. टीम वर्क की शक्ति
जब उन्होंने SPRIG "यूनिवर्सल सॉस" के साथ एक विशिष्ट कार्य निर्देश का उपयोग किया, तो AI और भी बेहतर हो गया।
- उपमा: यूनिवर्सल सॉस कर्मचारी को सही मानसिकता (जैसे "सावधान और तार्किक बनें") में लाता है, और विशिष्ट निर्देश उसे बताता है कि वास्तव में क्या करना है। वे एक कोच (System Prompt) और एक प्लेबुक (Task Prompt) की तरह मिलकर काम करते हैं।
3. यह अच्छी तरह यात्रा करता है (It Travels Well)
सबसे अच्छी बात? यह अनुकूलित सॉस विभिन्न AI मॉडलों और विभिन्न भाषाओं (जैसे स्पेनिश, फ्रेंच, चीनी) पर बिना फिर से ट्यून किए काम करता है।
- उपमा: यदि आप एक छात्र को एक अच्छी अध्ययन आदत (System Prompt) सिखाते हैं, तो वह उस आदत का उपयोग गणित, इतिहास या विज्ञान सीखने के लिए कर सकता है, और वह इसका उपयोग किसी अन्य स्कूल या अलग भाषा में भी कर सकता है। "आदत" सार्वभौमिक है।
"सीक्रेट सॉस" क्या मिला?
AI ने वास्तव में इस आदर्श हैंडबुक में क्या डालने के लिए सीखा?
- इसने केवल यह नहीं कहा "एक रोबोट बनो।"
- इसने कहना सीखा: "समस्या को छोटे चरणों में तोड़ें," "अपना काम जांचें," और "उत्तर देने से पहले सावधानी से सोचें।"
- दिलचस्प बात यह है कि इसने अधिकांश "रोल-प्लेइंग" निर्देशों (जैसे "आप एक समुद्री डाकू हैं") को अनदेखा कर दिया, जिन्हें लोग अक्सर कूल समझते हैं लेकिन वे वास्तव में ज्यादा मदद नहीं करते हैं।
निचोड़ (The Bottom Line)
इस पेपर से पहले, हमें लगता था कि हमें AI से कराए जाने वाले हर काम के लिए "प्रॉम्ट इंजीनियर" बनना होगा। SPRIG हमें दिखाता है कि इसके बजाय हम एक मजबूत नींव (एक System Prompt) बना सकते हैं जो AI को पूरे क्षेत्र में स्मार्ट, अधिक सावधान और अधिक अनुकूलन योग्य बनाती है।
यह हर परीक्षा के लिए छात्र को एक चीट शीट देने बनाम उन्हें पढ़ने का तरीका सिखाने के बीच का अंतर है ताकि वे सामने आने वाली किसी भी परीक्षा को पास कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।