Manifold-Constrained Hyper-Connections for Parameter-Efficient Finetuning
यह शोध पत्र मैनिफोल्ड-कंस्ट्रेंड हाइपर-कनेक्शन्स (mHC) को प्रस्तुत करता है, जो एक नवीन पैरामीटर-कुशल फाइन-ट्यूनिंग दृष्टिकोण है जो फ्रोजन ट्रांसफॉर्मर्स में रेसिडुअल कनेक्शन्स को अनुकूलित करता है, और यह प्रदर्शित करता है कि जबकि mHC अकेले लगातार LoRA से बेहतर प्रदर्शन नहीं करता है, mHC को LoRA के साथ संयोजित करने से समान पैरामीटर बजट पर बेहतर लैंग्वेज मॉडलिंग प्रदर्शन और बेंचमार्क लाभ प्राप्त होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान रोबोट है जिसने लगभग सब कुछ जो कभी लिखा गया था, उसके पुस्तकालय का अध्ययन करके पढ़ना, लिखना और दुनिया को समझना सीख लिया है। यह रोबोट एक "फाउंडेशन मॉडल" है। यह बहुत बुद्धिमान है, लेकिन यह एक विशाल, भारी मशीन है। यदि आप इसे कोई नया कौशल सिखाना चाहते हैं—जैसे कि मजेदार चुटकुले लिखना या गणित की समस्याओं को हल करना—तो आपको आमतौर पर इसके आंतरिक गियर को ट्यून करने की आवश्यकता होती है। लेकिन एक साथ उन सभी गियरों को घुमाना महंगा, धीमा है, और कभी-कभी इसकी पुरानी क्षमताओं को भुला देने का कारण बनता है। इसलिए वैज्ञानिकों ने "पैरामीटर-एफिशिएंट फाइनट्यूनिंग" (PEFT) का आविष्कार किया। PEFT को इस तरह सोचें कि आप पूरे रोबोट को फिर से बनाने के बजाय उस पर एक छोटा, कस्टम-मेड एड-ऑन मॉड्यूल लगा रहे हैं। आप रोबोट के मस्तिष्क को फ्रीज कर देते हैं और केवल इस छोटे से नए हिस्से को प्रशिक्षित करते हैं।
लंबे समय तक, ये एड-ऑन रोबोट के आंतरिक भार (weights) को बदलकर (जैसे कि स्प्रिंग के तनाव को समायोजित करना) या सूचना को संसाधित करने के लिए नए छोटे बक्सों को जोड़कर काम करते थे। लेकिन रोबोट के मस्तिष्क का एक बड़ा हिस्सा ऐसा था जिसे सभी ने अछूता छोड़ दिया था: "रेसिड्यूअल कनेक्शन" (residual connection)। कल्पना कीजिए कि एक कन्वेयर बेल्ट है जो एक लेयर से दूसरी लेयर तक सूचना ले जाती है, जिसमें एक साइड-पाथ है जहाँ रोबोट परिणाम को वापस जोड़ने से पहले कुछ फैंसी प्रोसेसिंग करता है। यह बेल्ट महत्वपूर्ण है; यह रोबोट को तब भ्रमित होने से बचाती है जब वह गहरा होता जाता है। मुख्य सवाल जो यह शोध पत्र पूछता है: क्या होगा अगर हमने उस बेल्ट को अकेला ही नहीं छोड़ा? क्या होगा अगर हमने उस बेल्ट के लिए एक स्मार्ट, ट्रेन करने योग्य ट्रैफिक कंट्रोलर बनाया, जिससे हम यह तय कर सकें कि सूचना की विभिन्न धाराएं कैसे मिलती और विलीन होती हैं?
यह शोध पत्र मैनिफोल्ड-कंस्ट्रेंड हाइपर-कनेक्शन्स (mHC) नामक एक नई विधि पेश करता है। शोधकर्ताओं ने एक फ्रीज किए गए रोबट (विशेष रूप से एक OLMo-2 मॉडल) को इन स्मार्ट ट्रैफिक कंट्रोलर्स के साथ लपेटकर देखा कि क्या वे इसे नए कार्यों को अधिक कुशलता से सिखा सकते हैं। उन्होंने पाया कि हालांकि ये कंट्रोलर्स काम कर सकते हैं, लेकिन वे "फाइनट्यूनिंग" सेटिंग में बहुत अलग व्यवहार करते हैं तुलना में जब एक रोबोट को शुरुआत से बनाया जा रहा हो। सबसे आश्चर्यजनक खोज क्या थी? सबसे अच्छा ट्रैफिक कंट्रोलर अक्सर वह था जिसने धाराओं के मिश्रण में कुछ भी नहीं किया।
यहाँ मोड़ है: शोधकर्ताओं ने पाया कि जब उन्होंने रोबोट को कन्वेयर बेल्ट पर सूचना की विभिन्न धाराओं को मिलाने का तरीका सीखने दिया, तो इसने वास्तव में चीजों को बदतर बना दिया या ज्यादा मदद नहीं की। हालांकि, जब उन्होंने मिश्रण वाले हिस्से को मूल रोबोट के बिल्कुल समान रहने के लिए मजबूर किया (एक "आइडेंटिटी" सेटिंग, जिसका अर्थ है "प्रवाह को न बदलें"), तो रोबोट बेहतर प्रदर्शन किया और कम संसाधनों का उपयोग किया। यह वास्तव में हुआ कि एक रोबोट के लिए जो पहले से ही बहुत कुछ जानता है, सबसे अच्छी रणनीति अपने विचारों को इधर-उधर करने का तरीका फिर से सीखना नहीं है, बल्कि केवल यह सीखना है कि कहाँ देखना है और कहाँ नए विचार लिखने हैं, जबकि उसके विचारों के मुख्य राजमार्ग को वैसा ही छोड़ देना है जैसा वह था।
हालांकि यह नई विधि (mHC) अकेले काम करते समय मौजूदा चैंपियनों (जैसे LoRA) को नहीं हरा सकी, लेकिन इसने दिखाया कि जब इसे उनके साथ जोड़ा जाता है, तो यह क्या करती है। इन "स्मार्ट ट्रैफिक कंट्रोलर्स" को जोड़ने से यह पता चलता है कि हम इन रोबोटों को ट्यून करने का एक नया तरीका खोज सकते हैं—उनके गियर्स को बदलकर नहीं, बल्कि उनके विचारों के प्रवाह को पुन: रूट करके, जो एआई के भविष्य के लिए एक शक्तिशाली उपकरण हो सकता है।
स्मार्ट ट्रैफिक कंट्रोलर की कहानी
शोधकर्ताओं ने एक सरल विचार से शुरुआत की: एआई मॉडल में रेसिड्यूअल कनेक्शन (residual connection) आमतौर पर एक सीधी रेखा होता है। सूचना अंदर जाती है, संसाधित होती है, और बाहर आती है, मूल इनपुट में जुड़ जाती है। इस शोध पत्र के लेखकों ने सोचा, "क्या होगा अगर हम उस रेखा को स्मार्ट बना दें?" उन्होंने हाइपर-कनेक्शन्स पेश किए, जो रोबोट को सूचना की कई समानांतर धाराएं रखने की अनुमति देते हैं (जैसे एक के बजाय चार कन्वेयर बेल्ट होना) और उन्हें आपस में मिलाने का तरीका सीखने की अनुमति देते हैं।
हालांकि, चीजों को बेतरतीब ढंग से मिलाना खतरनाक हो सकता है। यदि आप बिना किसी योजना के चार जलधाराओं को मिलाते हैं, तो आप बाढ़ या सूखे का सामना कर सकते हैं। इसे ठीक करने के लिए, उन्होंने मैनिफोल्ड-कंस्ट्रेंड हाइपर-कनेक्शन्स (mHC) का उपयोग किया। इसे ट्रैफिक कंट्रोलर के लिए एक सख्त नियम पुस्तिका के रूप में समझें। यह सुनिश्चित करता है कि चाहे धाराओं को कैसे भी मिलाया जाए, "सिग्नल" की कुल मात्रा समान रहे। यह रोबोट को गलती से शोर को बढ़ाने या डेटा के सैकड़ों परतों के माध्यम से यात्रा करते समय महत्वपूर्ण जानकारी खोने से रोकता है।
टीम ने इसका परीक्षण 1-बिलियन पैरामीटर वाले मॉडल (एक मध्यम आकार का रोबोट) और 7-बिलियन पैरामीटर वाले मॉडल (एक विशाल रोबोट) पर किया। उन्होंने mHC पद्धति की तुलना उद्योग मानक, LoRA (जो रोबोट के आंतरिक भार को समायोजित करता है) और अन्य लोकप्रिय विधियों से की।
बड़ी हैरानी: कम मिश्रण मतलब अधिक लाभ
जब उन्होंने पहली बार mHC को प्रशिक्षित किया, तो उन्हें उम्मीद थी कि रोबोट समस्याओं को हल करने के लिए अपनी चार धाराओं को मिलाने का एक जटिल, अनूठा तरीका सीखेगा। लेकिन जब उन्होंने परिणामों को देखा, तो उन्होंने कुछ अजीब देखा। रोबोट के गहरे स्तरों में, "मिक्सिंग मैट्रिक्स" (वह हिस्सा जो धाराओं को मिलाने का निर्णय लेता है) स्वाभाविक रूप से एक आइडेंटिटी मैट्रिक्स की ओर चला गया।
साधारण भाषा में, रोबोट यह सीख रहा था कि धाराओं को संभालने का सबसे अच्छा तरीका उन्हें बिना बदले बस गुजरने देना है। यह एक ट्रैफिक कंट्रोलर की तरह था जिसने, सड़क का कुछ समय अध्ययन करने के बाद, निर्णय लिया, "आप जानते हैं क्या? कारों को गंतव्य तक पहुँचाने का सबसे अच्छा तरीका यह है कि उन्हें बिना लेन बदले सीधे जाने दिया जाए।"
शोधकर्ताओं ने इस सिद्धांत का परीक्षण करने के लिए मैन्युअल रूप से मिश्रण वाले हिस्से को शुरू से ही आइडेंटिटी मैट्रिक्स के रूप में बनाए रखा (कोई मिश्रण नहीं)। परिणाम क्या रहा? रोबोट ने बेहतर या समान प्रदर्शन किया, लेकिन काफी कम ट्रेन करने योग्य पैरामीटर्स के साथ।
- 1-बिलियन पैरामीटर वाले मॉडल के प्रयोगों में, मिश्रण को आइडेंटिटी के रूप में फिक्स करने से टेस्ट लॉस (त्रुटि का एक माप) 1.32 से घटकर 1.27 हो गया और 8 मिलियन से अधिक पैरामीटर्स की बचत हुई।
- यह सुझाव देता है कि पहले से प्री-ट्रेंड किए गए रोबोट के लिए, रेसिड्यूअल कनेक्शन का "मिक्सिंग" भाग पहले से ही पूर्ण है। इसे फिर से सीखना अनावश्यक है और यह हानिकारक भी हो सकता है। असली शक्ति "रीड" (पढ़ने) और "राइट" (लिखने) गेट्स में है—वे हिस्से जो तय करते हैं कि किस धारा को देखना है और कहाँ नई जानकारी रखनी है।
टीम वर्क की शक्ति
शोध पत्र ने यह भी पूछा: "क्या यह नई विधि पुरानी विधियों के साथ काम कर सकती है?"
उन्होंने पाया कि mHC और LoRA दो अलग-अलग उपकरण हैं जो अलग-अलग समस्याओं को ठीक करते हैं। LoRA गियर्स (भार) को बदलता है, जबकि mHC ट्रैफिक फ्लो (रूटिंग) को बदलता है।
- जब उन्होंने mHC (आइडेंटिटी मिक्सिंग नियम के साथ) और LoRA को मिलाया, तो रोबोट और भी बेहतर हो गया।
- उदाहरण के लिए, 7-बिलियन पैरामीटर वाले मॉडल पर, mHC और LoRA को मिलाने से गणित और तर्क संबंधी कार्यों (जैसे GSM8K और HellaSwag) पर अकेले LoRA का उपयोग करने की तुलना में रोबोट के प्रदर्शन में सुधार हुआ।
- शोध पत्र बताता है कि यह संयोजन इसलिए काम करता है क्योंकि वे अलग-अलग कोणों से समस्या पर प्रहार करते हैं। एक यह बदलता है कि रोबोट क्या जानता है (भार), और दूसरा यह बदलता है कि वह उस ज्ञान तक कैसे पहुँचता है (रूटिंग)।
इसका क्या अर्थ है
शोध पत्र निष्कर्ष निकालता है कि mHC एक आशाजनक नया उपकरण है, लेकिन यह सब कुछ बदलने वाला कोई जादुई हथियार नहीं है।
- एक एकल कलाकार के रूप में: यह लगातार LoRA जैसे मौजूदा सर्वश्रेष्ठ तरीकों को नहीं हरा पाता है।
- एक साथी के रूप में: यह उनके साथ मिलकर चमकता है, विशिष्ट कार्यों में सुधार प्रदान करता है।
- मुख्य सबक: सबसे महत्वपूर्ण खोज यह है कि फाइनट्यूनिंग के लिए, हमें रेसिड्यूअल स्ट्रीम्स को मिलाने का तरीका फिर से सीखने की कोशिश करना बंद कर देना चाहिए। "आइडेंटिटी" सेटिंग (प्रवाह को बिल्कुल वैसा ही रखना जैसा वह था) ही सफलता का रहस्य है।
लेखक स्वीकार करते हैं कि उनके निष्कर्ष विशिष्ट मॉडलों (OLMo-2) और डेटासेट पर आधारित हैं, और वे अभी तक नहीं जानते कि क्या यह "आइडेंटिटी नियम" हर प्रकार के एआई रोबोट पर लागू होता है। लेकिन यह विचार कि "कभी-कभी सबसे अच्छा बदलाव यह होता है कि मुख्य राजमार्ग को अकेला छोड़ दिया जाए और बस बेहतर निकास द्वार बनाए जाएं," एआई को अधिक स्मार्ट और कुशल बनाने के लिए एक नया, रोमांचक दिशा खोलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।