Layer-wise LoRA fine-tuning: a similarity metric approach
यह शोध पत्र एक लेयर-वार लो-रैंक अडैप्टेशन (LoRA) फाइन-ट्यूनिंग दृष्टिकोण प्रस्तावित करता है जो आंतरिक प्रतिनिधित्व समानता के आधार पर सबसे प्रासंगिक परतों को व्यवस्थित रूप से चुनता है, जिससे विभिन्न मॉडल आर्किटेक्चर और कार्यों में भविष्य कहनेवाला प्रदर्शन को बनाए रखते हुए या यहाँ तक कि सुधारते हुए, प्रशिक्षित पैरामीटर्स को 50% तक कम किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को कोई विशिष्ट काम सिखाने की कोशिश कर रहे हैं, जैसे गणित की समस्याओं को हल करना या कोड लिखना। यह रोबोट, जिसे लार्ज लैंग्वेज मॉडल (LLM) कहा जाता है, इंटरनेट पर लगभग सब कुछ पढ़कर पहले से ही एक विशाल मात्रा में सामान्य ज्ञान सीख चुका है। यह एक ऐसे जीनियस की तरह है जो हर चीज़ के बारे में थोड़ा-थोड़ा जानता है लेकिन उसे विशेषज्ञ बनने की आवश्यकता है। इसे एक नया हुनर सिखाने के लिए, आपको आमतौर पर इसे "फाइन-ट्यून" करना पड़ता है, जिसका अर्थ है इसके आंतरिक सेटिंग्स को समायोजित करना। लेकिन यहाँ एक पेंच है: ये रोबट इतने विशाल हैं कि इनके हर एक सेटिंग को बदलने के लिए एक ऐसे शक्तिशाली और महंगे कंप्यूटर की आवश्यकता होती है जिसे केवल बड़ी टेक कंपनियाँ ही वहन कर सकती हैं। यह एक गगनचुंबी इमारत के एक अकेले ढीले पेंच को ठीक करने के लिए पूरी इमारत को फिर से बनाने जैसा है।
इस समस्या को हल करने के लिए, वैज्ञानिकों ने एक चतुर शॉर्टकट का आविष्कार किया जिसे LoRA (लो-रैंक अडैप्टेशन) कहा जाता है। गगनचुंबी इमारत के हर एक पेंच को छूने के बजाय, LoRA सुझाव देता है कि आप रोबोट को नया कार्य सीखने में मदद करने के लिए नए पेंचों का एक छोटा, हल्का पैच (patch) जोड़ें। यह बहुत सारा पैसा और ऊर्जा बचाता है। हालाँकि, इस शॉर्टकट के साथ भी, रोबोट अभी भी इतना बड़ा है कि वह "पैच" कभी-कभी छोटे कंप्यूटरों के लिए बहुत भारी हो सकता है। बड़ा सवाल यह है: क्या हमें वास्तव में नए काम में स्मार्ट बनाने के लिए रोबोट के हर हिस्से को पैच करने की आवश्यकता है? या क्या केवल कुछ विशिष्ट स्थान हैं जहाँ जादू होता है? यह शोध पत्र इसी प्रश्न की गहराई में जाता है, यह पूछते हुए कि क्या हम उन "स्वर्ण स्थानों" (golden spots) को ढूंढ सकते हैं जिन्हें ठीक करना है और बाकी विशाल मशीन को अकेला छोड़ देना है।
"लेयर-दर-लेयर" जासूसी कार्य
इस शोध पत्र के लेखक, कीथ एंडो ओगावा और उनकी टीम ने रोबोट के मस्तिष्क को एक बहु-मंजिला इमारत की तरह मानने का निर्णय लिया। एक लार्ज लैंग्वेज मॉडल के भीतर, जानकारी "परतों" (layers) की एक श्रृंखला के माध्यम से प्रवाहित होती है, जो गगनचुंबी इमारत की मंजिलों की तरह है। जैसे-जैसे एक वाक्य निचले तल से ऊपरी तल तक यात्रा करता है, उसे प्रोसेस और रूपांतरित किया जाता है। टीम को संदेह था कि हर मंजिल हर नए कार्य के लिए समान रूप से महत्वपूर्ण नहीं होती है। कुछ मंजिलें गणित की समस्याओं के लिए भारी काम कर रही हो सकती हैं, जबकि अन्य कविता लिखने के लिए अधिक उपयोगी हो सकती हैं।
उनका विचार सरल लेकिन शक्तिशाली था: हर एक मंजिल पर LoRA पैच लगाने के बजाय, क्यों न यह पता लगाया जाए कि जब रोबोट कुछ नया सीखता है तो कौन सी मंजिलें वास्तव में सबसे अधिक बदलती हैं? उन्होंने एक गणितीय उपकरण का उपयोग करके इस "परिवर्तन" को मापने का एक तरीका निकाला जिसे "सिमिलरिटी मेट्रिक" (similarity metric) कहा जाता है। इसे एक "परिवर्तन डिटेक्टर" (change detector) की तरह समझें। उन्होंने देखा कि किसी विशिष्ट मंजिल तक जानकारी भेजने से पहले रोबोट ने क्या "सोचा" और उस मंजिल द्वारा जानकारी को प्रोसेस करने के बाद उसने क्या "सोचा"। यदि इनपुट और आउटपुट लगभग समान थे, तो उस मंजिल ने बहुत कम काम किया। लेकिन यदि इनपुट और आउटपुट बहुत अलग थे, तो उस मंजिल ने बहुत अधिक काम किया!
उन्होंने इस पद्धति को "लेयर-वाइज LoRA फाइन-ट्यूनिंग" कहा। यह एक जासूस को गगनचुंबी इमारत में घूमकर यह जांचने के लिए काम पर रखने जैसा है कि सबसे अधिक गतिविधि कहाँ हो रही है। एक बार जब वे सबसे व्यस्त मंजिलों की पहचान कर लेते हैं, तो वे केवल उन्हीं विशिष्ट मंजिलों पर LoRA पैच लगाते हैं और शांत, निष्क्रिय मंजिलों को यथावत छोड़ देते हैं।
उन्होंने क्या पाया: कम ही अधिक है
जब टीम ने विभिन्न प्रकार के रोबोट मस्तिष्क पर इस विचार का परीक्षण किया, तो परिणाम आश्चर्यजनक रूप से अच्छे रहे। उन्होंने पाया कि केवल सबसे सक्रिय परतों को चुनकर—विशेष रूप से, कुल परतों के लगभग आधे हिस्से को—वे प्रशिक्षण योग्य मापदंडों (वे "पेंच" जिन्हें वे समायोजित कर रहे थे) की संख्या को 50% तक कम कर सकते थे।
सबसे अच्छी बात यह है: भले ही वे आधे सेटिंग्स को समायोजित कर रहे थे, रोबට मूर्ख नहीं हुए। वास्तव में, LLaMA 2-7B और Mistral-7B जैसे कुछ मॉडलों के लिए, रोबोटों ने वास्तव में गणित की समस्याओं को हल करने और कोड लिखने में बेहतर प्रदर्शन किया जब उन्होंने केवल सबसे महत्वपूर्ण परतों पर ध्यान केंद्रित किया। अन्य मॉडलों, जैसे Gemma-7B के लिए, प्रदर्शन में बहुत मामूली, लगभग न दिखने वाली गिरावट आई।
शोधकर्ताओं ने अपने "परिवर्तन डिटेक्टर" पद्धति की तुलना लोगों द्वारा परतों को चुनने के अन्य तरीकों से भी की, जैसे कि केवल बीच की मंजिलों को चुनना या ऊपर और नीचे की मंजिलों को चुनना। उनकी पद्धति लगातार इन सरल अनुमानों से बेहतर रही। उदाहरण के लिए, GLUE नामक एक मानक परीक्षण पर, उनकी पद्धति ने रोबोट के प्रदर्शन को उच्च बनाए रखा जबकि काम को आधा कर दिया, जबकि एक पद्धति जिसने केवल बीच की मंजिलों को चुना, उसने कभी-कभी रोबोट को लड़खड़ाने पर मजबूर कर दिया।
उन्होंने यह भी जांचा कि इससे कंप्यूटर की मेमोरी और गति पर क्या प्रभाव पड़ता है। क्योंकि वे कम परतों को समायोजित कर रहे थे, प्रशिक्षण प्रक्रिया तेज हो गई। कुछ मॉडलों पर, उन्होंने लगभग 1.25 गुना की गति देखी, और कंप्यूटर को काम करने के लिए कम मेमोरी की आवश्यकता थी। यह उन लोगों के लिए एक बड़ी बात है जो इन मॉडलों को छोटे, सस्ते कंप्यूटरों पर चलाने की कोशिश कर रहे हैं।
यह क्यों मायने रखता है
यह शोध पत्र सुझाव देता है कि हमें एक विशाल AI मॉडल के हर हिस्से को समान रूप से महत्वपूर्ण मानने की आवश्यकता नहीं है। एक साधारण माप का उपयोग करके कि एक परत सूचना के प्रवाह को कितना बदलती है, हम सीखने के लिए "स्वीट स्पॉट्स" (sweet spots) पा सकते हैं। इसका अर्थ है कि हम अपनी बुद्धिमत्ता खोए बिना इन शक्तिशाली AI उपकरणों को बहुत अधिक कुशल बना सकते हैं।
लेखकों ने विभिन्न प्रकार के रोबोटों पर इसका परीक्षण किया, जिनमें वे जो केवल टेक्स्ट पढ़ते हैं, वे जो केवल टेक्स्ट लिखते हैं, और यहाँ तक कि एक मल्टीमॉडल रोबोट (LLaVA-1.5-7B) भी जो चित्र देख सकता है और टेक्स्ट पढ़ सकता है। सभी मामलों में, केवल सही परतों को चुनना अच्छा रहा। उन्होंने यह भी आज़माया कि क्या चुनी गई परतों पर "रैंक" (पैच को अधिक जटिल बनाना) को दोगुना करने से मदद मिलेगी, लेकिन पाया कि इससे कोई खास फर्क नहीं पड़ा। ऐसा लगता है कि केवल सही परतों को चुनना ही कुंजी है, न कि पैच को स्वयं अधिक जटिल बनाना।
हालाँकि यह शोध पत्र यह दावा नहीं करता है कि इसने AI की हर समस्या को हल कर दिया है, लेकिन यह AI को सस्ता और तेज़ बनाने का एक बहुत ही व्यावहारिक और प्रभावी तरीका प्रदान करता है। यह सुझाव देता है कि कई कार्यों के लिए, एक छोटा, लक्षित प्रयास एक बड़े, व्यापक बदलाव जितना ही अच्छा है। जैसा कि लेखक कहते हैं, यह दृष्टिकोण मौजूदा उपकरणों के साथ अच्छी तरह से काम करता है और यह अधिक शोधकर्ताओं और छोटी कंपनियों को घर के आकार के सुपरकंप्यूटर की आवश्यकता के बिना, स्मार्ट AI बनाने के काम में शामिल होने में मदद कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।