LLM Program Optimization via Retrieval Augmented Search
यह शोध पत्र रिट्रीवल ऑगमेंटेड सर्च (RAS) और AEGIS को पेश करता है, जो कि नवीन ब्लैकबॉक्स अनुकूलन विधियाँ हैं जो LLM-जनित प्राकृतिक भाषा विवरणों और परमाणु संपादन (atomic edits) का लाभ उठाकर C++ और Python प्रोग्रामों को अनुकूलित करने में अत्याधुनिक रणनीतियों से काफी बेहतर प्रदर्शन करते हुए व्याख्यात्मकता को बढ़ाते हैं और कोड परिवर्तनों को न्यूनतम करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली लेकिन अनुभवहीन शेफ (लार्ज लैंग्वेज मॉडल, या LLM) है जो एक व्यंजन बनाने की कोशिश कर रहा है। लक्ष्य केवल भोजन को स्वादिष्ट बनाना नहीं है; बल्कि इसका लक्ष्य यह है कि भोजन को बिना स्वाद बदले तेजी से पकाया जा सके।
यह पेपर इस शेफ को और अधिक स्मार्ट तरीके से काम करने में मदद करने के दो नए तरीके प्रस्तुत करता है, जो उन्हें "पिछले व्यंजनों के पुस्तकालय" (धीमे बनाम तेज़ कोड का एक डेटासेट) का उपयोग करके मार्गदर्शन देता है।
समस्या: शेफ फंस गया है
आमतौर पर, यदि आप इस शेफ को किसी रेसिपी को तेज़ करने के लिए कहते हैं, तो वे या तो बेतरतीब ढंग से अनुमान लगा सकते हैं या पूरी चीज़ को एक ही बार में फिर से लिखने की कोशिश कर सकते हैं। वे अक्सर विफल हो जाते हैं क्योंकि उन्होंने पर्याप्त उदाहरण नहीं देखे हैं कि चीजों को कैसे तेज़ किया जाए। उन्हें एक कोच की आवश्यकता है जो उन्हें विशिष्ट तरकीबें दिखा सके।
विधि 1: RAS (रिट्रीवल ऑगमेंटेड सर्च)
उपमा: "स्मार्ट लाइब्रेरियन" बनाम "कीवर्ड सर्च"
कल्पना कीजिए कि शेफ को प्रेरणा लेने के लिए एक विशाल पुस्तकालय में एक समान रेसिपी खोजने की आवश्यकता है।
- पुराना तरीका (कोड रिट्रीवल): शेफ वर्तमान डिश की सामग्री की सूची (वास्तविक कोड) को देखता है और पुस्तकालय में उन व्यंजनों की खोज करता है जिनमें समान सामग्रियां हैं। यह "मैदा और अंडे" जैसी चीज़ों के लिए खोजने जैसा है और बदले में केक की रेसिपी मिल जाना, जबकि वास्तव में आपको सूप की रेसिपी चाहिए थी जिसमें केवल मैदा और अंडे इस्तेमाल हुए हों। यह बहुत शाब्दिक (literal) है।
- नया तरीका (कॉन्टेक्स्टुअल रिट्रीवल): शेफ पहले डिश का एक सारांश (जैसे, "यह एक सूप है जो स्वाद निकालने के लिए सब्जियों को धीमी आंच पर पकाता है") लिखने के लिए लाइब्रेरियन से कहता है। लाइब्रेरियन फिर पुस्तकालय में उन अन्य व्यंजनों की खोज करता है जो वही काम करते हैं, चाहे उनकी सामग्रियां कुछ भी हों।
- यह क्यों काम करता है: यह उन रेसिपीज़ को ढूंढता है जो एक ही समस्या को हल करती हैं, न कि केवल उन्हें जो कागज़ पर एक जैसी दिखती हैं।
खोज प्रक्रिया (बीम सर्च):
शेफ को रेसिपी को एक ही बड़े कदम में ठीक करने के लिए कहने के बजाय, RAS इसे छोटे हिस्सों में तोड़ देता है।
- शेफ एक छोटा सुधार करता है।
- लाइब्रेरियन इस नए संस्करण के आधार पर एक नया, प्रासंगिक उदाहरण ढूंढता है।
- शेफ इस नए उदाहरण का उपयोग करके फिर से प्रयास करता है।
- वे इस लूप को दोहराते हैं, जैसे कि एक पहाड़ पर कदम-दर-कदम चढ़ना, हमेशा उस रास्ते को चुनते हुए जो सबसे तेज़ ऊपर जाता है।
परिणाम: इस विधि ने C++ प्रोग्रामों को पिछले सर्वोत्तम तरीकों की तुलना में 2 गुना तक तेज़ बनाया और पायथन प्रोग्राम की गति में महत्वपूर्ण सुधार किया।
विधि 2: AEGIS (एटॉमिक एडिट गाइडेड सर्च)
उपमा: "लेगो मास्टर" बनाम "डेमोलिशन क्रू"
स्मार्ट लाइब्रेरियन होने के बावजूद, शेफ अभी भी रेसिपी में बहुत बड़े, भ्रमित करने वाले बदलाव कर सकता है (जैसे कि पूरी खाना पकाने की विधि को बदल देना)। यह समझना कठिन और जोखिम भरा है।
AEGIS स्वयं पुस्तकालय को बदल देता है। "धीमे बनाम तेज़" रेसिपी जोड़ों को पूरे के रूप में स्टोर करने के बजाय, यह उन्हें एटॉमिक एडिट्स (परमाणु संपादन) में तोड़ देता है।
- प्रक्रिया: सिस्टम एक धीमी रेसिपी और एक तेज़ रेसिपी लेता है और एक विशेषज्ञ से इसे बहुत छोटे, एकल चरणों में समझाने के लिए कहता है।
- चरण 1: "लकड़ी के चम्मच के बजाय धातु के चम्मच का उपयोग करें (तेज़ ऊष्मा हस्तांतरण के लिए)।"
- चरण 2: "प्याज को बारीक काटें (इससे जल्दी पकता है)।"
- चरण 3: "भाप को रोकने के लिए ढक्कन का उपयोग करें।"
- सामान्यीकरण (Generalization): इसके बाद यह इन चरणों को सामान्य नियमों में फिर से लिखता है (जैसे, "उच्च ताप के लिए धातु के बर्तनों का उपयोग करें") ताकि उन्हें केवल उस विशिष्ट डिश के लिए नहीं, बल्कि किसी भी रेसिपी पर लागू किया जा सके।
यह कैसे मदद करता है: जब शेफ को एक नया व्यंजन अनुकूलित करने की आवश्यकता होती है, तो सिस्टम यह नहीं कहता कि "यहाँ एक नई पूरी रेसिपी है।" इसके बजाय, यह कहता है, "यहाँ एक विशिष्ट, छोटी सी तरकीब है: 'धातु के चम्मच का उपयोग करें।' इसे आजमाएं।" शेफ एक छोटी सी तरकीब लागू करता है, परिणाम की जांच करता है, और फिर अगला कदम उठाता है।
परिणाम:
- यह बदलावों को छोटा और समझने में आसान बनाता है (जैसे महल को फिर से बनाने के बजाय एक लेगो ब्रिक को बदलना)।
- इसने पहले तरीके की तुलना में बदलावों के आकार को 17% से 30% तक कम कर दिया।
- इसने प्रोग्रामों को तेज़ भी बनाया, हालांकि पहले तरीके की तुलना में थोड़ा कम, लेकिन बहुत अधिक नियंत्रण और स्पष्टता के साथ।
परिणामों का सारांश
- RAS एक स्मार्ट कोच की तरह है जो आपको सूचित, छोटे चरणों की एक श्रृंखला के माध्यम से मार्गदर्शन करता है, जिससे एक तेज़ प्रोग्राम के लिए सबसे अच्छा रास्ता मिलता है। इसने C++ के लिए पिछले सर्वश्रेष्ठ तरीके को 2x से हराया और पायथन की गति में औसतन 10% का सुधार किया।
- AEGIS एक ऐसे कोच की तरह है जो समस्या को छोटे, प्रबंधनीय लेगो ब्लॉक्स में तोड़ देता है। यह दक्षता के मामले में बदलावों को 1.37x बेहतर बनाता है और संपादन को बहुत छोटा और सुरक्षित बनाता है, यह सुनिश्चित करता है कि प्रोग्राम तेज़ होने के प्रयास में टूट न जाए।
संक्षेप में, यह पेपर हमें सिखाता है कि AI कोड को तेज़ बनाने के लिए, हमें केवल उसे "अनुमान लगाने" के लिए नहीं कहना चाहिए। हमें उसे एक ऐसा लाइब्रेरियन देना चाहिए जो कोड की कहानी को समझता हो (कॉन्टेक्स्टुअल रिट्रीवल) और एक सेट विशिष्ट, छोटे उपकरणों (एटॉमिक एडिट्स) के साथ जो एक-एक करके छोटे, सुरक्षित सुधार करने में मदद करे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।