A Language-Guided Bayesian Optimization for Efficient LoRA Hyperparameter Search
यह शोध पत्र एक भाषा-निर्देशित बेयसियन ऑप्टिमाइज़ेशन (Bayesian Optimization) ढांचे का प्रस्ताव करता है जो प्राकृतिक भाषा प्रॉम्प्ट्स के माध्यम से LoRA हाइपरपैरामीटर्स को एक निरंतर वेक्टर स्पेस में मैप करने के लिए प्री-ट्रेंड LLMs का लाभ उठाता है और डेटा उपसमुच्चयों (subsets) पर प्रॉक्सी ट्रेनिंग का उपयोग करता है ताकि व्यापक खोज (exhaustive search) की तुलना में काफी कम पुनरावृत्तियों (iterations) के साथ उच्च प्रदर्शन करने वाले हाइपरपैरामीटर्स को कुशलतापूर्वक खोजा जा सके।