Not How Many, But Which: Parameter Placement in Low-Rank Adaptation
यह शोध पत्र प्रदर्शित करता है कि GRPO प्रशिक्षण के तहत, LoRA के B मैट्रिक्स में प्रशिक्षित मापदंडों (trainable parameters) का विशिष्ट स्थान प्रदर्शन के लिए महत्वपूर्ण है, जबकि SFT के लिए यादृच्छिक (random) प्लेसमेंट पर्याप्त है, और उन आवश्यक मापदंडों की पहचान करने के लिए एक तेज़, कम लागत वाली स्कोरिंग विधि प्रस्तावित करता है जो निरंतर रेसिडुअल-स्ट्रीम-राइटिंग प्रोजेक्शन्स (residual-stream-writing projections) पर केंद्रित होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: यह टीम के आकार के बारे में नहीं है, बल्कि इस बारे में है कि आप किसे काम पर रखते हैं
कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) है जो लगभग सब कुछ जानता है। आप इसे एक नया कौशल सिखाना चाहते हैं, जैसे गणित के सवाल हल करना या कोड लिखना।
आमतौर पर, इस पुस्तकालय को सिखाने के लिए, आप इसके साथ काम करने के लिए ट्यूटर्स की एक पूरी नई टीम को काम पर रखने की कोशिश कर सकते हैं। लेकिन पूरी टीम को काम पर रखना महंगा और धीमा है। इसलिए, शोधकर्ताओं ने एक विधि विकसित की जिसे LoRA (लो-रैंक एडेप्टेशन) कहा जाता है। एक पूरी टीम को काम पर रखने के बजाय, आप एक छोटी, विशिष्ट "एडेप्टर" टीम को काम पर रखते हैं।
प्रश्न:
लंबे समय तक, लोगों को लगता था कि केवल यह मायने रखता है कि आपने कितने लोगों को काम पर रखा। यदि आपके पास 100 ट्यूटर्स का बजट था, तो आप बस टोपी से 100 रैंडम लोग चुन लेते थे और उम्मीद करते थे कि वे अच्छे होंगे।
यह पेपर एक अलग सवाल पूछता है: क्या इससे फर्क पड़ता है कि आप कौन से 100 लोगों को चुनते हैं? यदि आपके पास एक निश्चित बजट है, तो क्या बेहतर है कि आप 100 रैंडम लोग चुनें, या 100 विशिष्ट लोग जो वास्तव में उस काम में माहिर हैं?
इसका उत्तर है: यह इस पर निर्भर करता है कि आप उन्हें कैसे सिखा रहे हैं।
परिदृश्य 1: क्लासरूम (सुपरवाइज्ड फाइन-ट्यूनिंग / SFT)
उपमा: कल्पना कीजिए कि एक शिक्षक कक्षा को एक स्पष्ट, चरण-दर-चरण व्याख्यान दे रहा है। हर कोई सुन रहा है, और निर्देश सुसंगत हैं।
- क्या होता है: इस सेटिंग में, "ग्रेडिएंट्स" (वे संकेत जो मॉडल को क्या सीखना है यह बताते हैं) बहुत स्थिर और स्पष्ट होते हैं। वे लगभग एक ही दिशा में इशारा करते हैं।
- परिणाम: इससे ज्यादा फर्क नहीं पड़ता कि आप किन 100 लोगों को चुनते हैं। क्योंकि निर्देश इतने स्पष्ट हैं, इसलिए लगभग कोई भी रैंडम समूह के 100 लोग पाठ को समझ लेंगे और प्रभावी ढंग से सीख लेंगे।
- पेपर का दावा: यहाँ रैंडम चयन बिल्कुल ठीक काम करता है।
परिदृश्य 2: एस्केप रूम (रीइन्फोर्समेंट लर्निंग / GRPO)
उपमा: अब, कल्पना कीजिए कि आपने मॉडल को एक अराजक एस्केप रूम में डाल दिया है। वहाँ कोई शिक्षक नहीं है। मॉडल को अलग-अलग चीजें आज़मानी पड़ती हैं, और कभी-कभी उसे "डिंग!" (रिवॉर्ड) मिलता है यदि वह किसी पहेली को हल कर लेता है, और कभी-कभी उसे कुछ नहीं मिलता। फीडबैक शोर भरा, भ्रमित करने वाला और हर बार बदलने वाला होता है।
- क्या होता है: "ग्रेडिएंट्स" (संकेत) अस्त-व्यस्त हैं। वे सभी अलग-अलग दिशाओं में इशारा करते हैं, और उनमें से कई एक-दूसरे को रद्द कर देते हैं। यह कोहरे में अपना रास्ता खोजने जैसा है जहाँ दिशा-सूचक यंत्र (कंपास) पागलों की तरह घूम रहा हो।
- परिणाम: यदि आप रैंडम रूप से 100 लोगों को चुनते हैं, तो अधिकांश लोग भ्रमित हो जाएंगे। वे आगे, फिर पीछे, और फिर बगल की ओर कदम उठाएंगे और अंततः वहीं पहुँच जाएंगे जहाँ से शुरू किया था। वे कुछ नहीं सीख पाएंगे।
- पेपर की खोज: हालाँकि, एक छोटा, विशिष्ट समूह है जो संकेत को समझता है। वे वे लोग हैं जो शोर के बावजूद लगातार सही दिशा में आगे बढ़ते हैं।
- समाधान: लेखकों ने एक "स्कोरिंग सिस्टम" बनाया। वास्तविक प्रशिक्षण शुरू होने से पहले, वे एक त्वरित परीक्षण (10 सेकंड से भी कम समय का) चलाते हैं ताकि यह देख सकें कि एडेप्टर टीम के कौन से विशिष्ट लोग संकेत के प्रति लगातार प्रतिक्रिया दे रहे हैं।
- परिणाम: जब उन्होंने केवल उन विशिष्ट "स्टार खिलाड़ियों" (द सर्किट) को चुना, तो मॉडल पूरी तरह से सीख गया, भले ही बजट बहुत कम था। जब उन्होंने रैंडम लोगों को चुना, तो मॉडल पूरी तरह विफल रहा।
"सर्किट" की खोज: स्टार खिलाड़ियों को ढूंढना
लेखकों ने केवल अनुमान नहीं लगाया कि स्टार खिलाड़ी कौन थे। उन्होंने एक चतुर तकनीक का उपयोग किया:
- त्वरित परीक्षण: वास्तविक प्रशिक्षण शुरू होने से पहले, वे मॉडल को कुछ उदाहरण देखने देते हैं और देखते हैं कि उसका "दिमाग" कैसे प्रतिक्रिया देता है।
- स्कोर: उन्होंने एडेप्टर के हर एक छोटे हिस्से को एक स्कोर दिया। यदि कोई हिस्सा कार्य के प्रति लगातार मजबूती से प्रतिक्रिया दे रहा था, तो उसे उच्च स्कोर मिला। यदि वह भ्रमित था या रैंडम प्रतिक्रिया दे रहा था, तो उसे कम स्कोर मिला।
- चयन: उन्होंने शीर्ष स्कोर वाले हिस्सों को चुना जिन्हें ही सीखने की अनुमति दी गई।
उपमा: कल्पना कीजिए कि आप एक विशाल, जटिल मशीन को ठीक करने की कोशिश कर रहे हैं। हर एक पेंच (स्क्रू) को कसने (जो धीमा और महंगा है) के बजाय, आप एक विशेष सेंसर का उपयोग करते हैं जो उस एक पेंच को ढूंढ लेता है, जिसे घुमाने पर पूरी मशीन ठीक हो जाती है। पेपर ने पाया कि रीइन्फोर्समेंट लर्निंग के लिए, आपको केवल एक बहुत ही विशिष्ट, छोटे सेट के पेंचों को घुमाने की आवश्यकता है ताकि मशीन काम कर सके।
ये "स्टार खिलाड़ी" कहाँ रहते हैं?
पेपर ने यह भी देखा कि मॉडल के दिमाग के अंदर इन महत्वपूर्ण हिस्सों के स्थान कहाँ हैं। उन्हें एक पैटर्न मिला:
- पाठक और लेखक (The Readers and Writers): सबसे महत्वपूर्ण हिस्से वे हैं जो मॉडल के अटेंशन मैकेनिज्म में आने वाली जानकारी को "पढ़ते" हैं और वे जो मुख्य विचार प्रवाह में वापस जानकारी "लिखते" हैं।
- उपमा: मॉडल को एक फैक्ट्री के रूप में सोचें। रैंडम हिस्से गोदाम के बीच में काम करने वाले मजदूर हैं जो केवल बक्सों को इधर-उधर ले जा रहे हैं। "सर्किट" वाले हिस्से डॉक वर्कर्स (dock workers) हैं जो ट्रकों को लोड करते हैं (पढ़ना) और शिपिंग क्लर्क (shipping clerks) हैं जो पैकेज बाहर भेजते हैं (लिखना)। यदि आप फैक्ट्री के उत्पादन को बदलना चाहते हैं, तो आपको गोदाम के बीच के लोगों के बजाय डॉक वर्कर्स और शिपिंग क्लर्क्स को प्रशिक्षित करने की आवश्यकता है।
परिणामों का सारांश
- मानक प्रशिक्षण (SFT) के लिए: रैंडम चयन ठीक काम करता है। सिग्नल स्पष्ट है, इसलिए कोई भी सीख सकता है।
- रीइन्फोर्समेंट लर्निंग (GRPO) के लिए: रैंडम चयन विफल हो जाता है। सिग्नल शोर भरा है। आपको विशिष्ट और सुसंगत हिस्सों को खोजने के लिए "स्कोरिंग सिस्टम" का उपयोग करना ही होगा।
- दक्षता (Efficiency): यह स्कोरिंग सिस्टम अविश्वसनीय रूप से तेज़ (10 सेकंड से कम) और सस्ता (प्रशिक्षण की लागत के 0.5% से भी कम) है।
- प्रदर्शन: सही "सर्किट" के मापदंडों को चुनकर, मॉडल पूरे एडेप्टर को प्रशिक्षित करने के समान उच्च प्रदर्शन प्राप्त कर सकता है, लेकिन संसाधनों के एक बहुत छोटे अंश का उपयोग करके।
संक्षेप में: जब प्रशिक्षण सिग्नल शोर भरा हो (जैसे कि रीइन्फोर्समेंट लर्निंग में), तो यह आपके द्वारा प्रशिक्षित किए जा रहे मापदंडों की संख्या के बारे में नहीं है; यह इस बारे में है कि आप किन मापदंडों को प्रशिक्षित करते हैं। सही लोगों को ढूंढना घास के ढेर में उस सुई को खोजने जैसा है जिसमें वास्तव में सोना छिपा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।