Low-Rank Ternary Adaptation for Fine-Tuning Transformers
यह शोध पत्र "टर्नरी मल्टीप्लिकेटिव अडैप्टेशन" (ternary multiplicative adaptation) का प्रस्ताव करता है, जो एक नवीन लो-रैंक विधि है जो छोटे टर्नरी मैट्रिसेस के माध्यम से विविक्त (discrete) वेट अपडेट को निरूपित करके टर्नरी ट्रांसफॉर्मर्स की कुशल फाइन-ट्यूनिंग को सक्षम बनाती है, जिससे टर्नरी डोमेन सुरक्षित रहता है और डीक्वांटाइजेशन के बिना सीधे मर्जिंग की अनुमति मिलती है, जबकि यह भाषा और विजन मॉडलों में प्रदर्शन को महत्वपूर्ण रूप से पुनः प्राप्त करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस 'ट्रांसफॉर्मर' नामक विशाल कंप्यूटर प्रोग्रामों पर निर्भर करता है, जो लेखन सहायकों से लेकर इमेज जनरेटर तक, हर चीज़ के पीछे का इंजन बन गए हैं। ये प्रोग्राम अविश्वसनीय रूप से शक्तिशाली हैं, लेकिन वे बहुत भारी भी हैं, जिन्हें चलाने के लिए कंप्यूटर मेमोरी और ऊर्जा की विशाल मात्रा की आवश्यकता होती है। उन्हें फोन या लैपटॉप जैसे छोटे उपकरणों पर उपयोग करने योग्य बनाने के लिए, शोधकर्ताओं ने उन्हें छोटा करने के लिए वर्षों बिताए हैं। एक लोकप्रिय रणनीति प्रोग्राम के भीतर के नंबरों को कंप्रेस (संकुचित) करना है, जिससे वे जटिल, उच्च-परिशुद्धता वाले मानों से सरल, लो-बिट संस्करणों में बदल जाते हैं। कल्पना कीजिए कि आप एक हाई-रिज़ॉल्यूशन वाली तस्वीर को कुछ रंगों तक कम कर रहे हैं; छवि छोटी हो जाती है और उसे प्रोसेस करना तेज़ हो जाता है, हालांकि कुछ विवरण अनिवार्य रूप से खो जाते हैं। इस संपीड़न का सबसे आक्रामक रूप प्रोग्राम के आंतरिक नंबरों को केवल तीन संभावित मानों तक सीमित करना है: नकारात्मक एक, शून्य और सकारात्मक एक। यह दृष्टिकोण, जिसे 'टर्नरी क्वांटाइजेशन' (ternary quantization) कहा जाता है, मेमोरी की आवश्यकता को दस गुना कम कर देता है, जिससे एक ऐसा मॉडल जो कभी बड़े सर्वर की मांग करता था, एक मानक लैपटॉप पर चलने के योग्य बन सकता है।
हालाँकि, एक बड़ी समस्या ने इन अति-संक्षिप्त मॉडलों की प्रगति को रोक दिया है। जबकि ये मॉडल छोटे और कुशल हैं, इन्हें नए कार्य सिखाना कठिन है। इन प्रोग्रामों को सिखाने के प्रचलित तरीकों में उनके नंबरों में सूक्ष्म, निरंतर बदलाव करना शामिल होता है। लेकिन जब एक मॉडल को केवल तीन मानों तक सीमित कर दिया जाता है, तो वह छोटे बदलाव नहीं कर सकता; वह केवल एक नंबर को नकारात्मक से सकारात्मक में बदल सकता है, या उसे पूरी तरह से बंद कर सकता है। इन संकुचित मॉडलों को सिखाने की मौजूदा तकनीकों में अक्सर नंबरों को वापस उनके पूर्ण, भारी आकार में अस्थायी रूप रूप से विस्तारित करना पड़ता है ताकि बदलाव किए जा सकें, और फिर उन्हें वापस दबाया जाता है। विस्तार और पुन: संपीड़न की यह प्रक्रिया त्रुटियों को जन्म देती है जो मॉडल के प्रदर्शन को कम कर देती है, जिससे अक्सर अंतिम परिणाम उस स्थिति से भी खराब हो जाता है जब कोई शिक्षण हुआ ही न हो।
डेल्फ़्ट यूनिवर्सिटी ऑफ़ टेक्नोलॉजी और अमेज़न के शोधकर्ताओं की एक टीम ने इन अति-संक्षिप्त मॉडलों को सिखाने का एक नया तरीका विकसित किया है जो विस्तार और त्रुटि के इस चक्र से बचता है। मॉडल में छोटे, निरंतर नंबर जोड़ने के बजाय, उनकी विधि सीधे सख्त तीन-मान प्रणाली के भीतर काम करती है। उन्होंने एक ऐसी प्रणाली डिज़ाइन की है जो स्विचों के एक सेट की तरह काम करती है, जिससे मॉडल अपने आंतरिक नंबरों के चिह्न (sign) को बदल सकता है या उन्हें पूरी तरह से बंद कर सकता है, बिना संकुचित अवस्था को छोड़े। इसे कुशल बनाने के लिए, उन्होंने हर एक नंबर को व्यक्तिगत रूप से समायोजित करने की कोशिश नहीं की। इसके बजाय, उन्होंने एक गणितीय संरचना का उपयोग किया जो कुछ छोटे, सरल पैटर्न को एक साथ मॉडल के विशाल हिस्सों को नियंत्रित करने की अनुमति देता है। यह दृष्टिकोण, जिसे वे 'लो-रैंक टर्नरी अडैप्टेशन' (low-rank ternary adaptation) कहते हैं, मॉडल को नई कुशलताएँ सीखने की अनुमति देता है जबकि वह पूरी तरह से संकुचित रहता है।
शोधकर्ताओं ने तर्क करने में सक्षम भाषा मॉडलों और छवियों को पहचानने वाले विजन मॉडलों सहित विभिन्न प्रकार के आर्टिफिशियल इंटेलिजेंस पर इस पद्धति का परीक्षण किया। उन्होंने उन मॉडलों से शुरुआत की जिन्हें पहले ही तीन-मान की सीमा तक संकुचित किया जा चुका था और फिर अपनी नई शिक्षण तकनीक लागू की। परिणामों ने दिखाया कि मॉडलों ने उस सटीकता को काफी हद तक वापस पा लिया जो प्रारंभिक संपीड़न के दौरान खो गई थी। भाषा कार्यों से जुड़े परीक्षणों में, अनुकूलित मॉडलों ने पिछले प्रयासों की तुलना में काफी बेहतर प्रदर्शन किया जिन्होंने विस्तार और पुन: संपीड़न के माध्यम से मॉडल को सिखाने की कोशिश की थी। उदाहरण के लिए, तीन बिलियन पैरामीटर्स वाले एक भाषा मॉडल पर, इस नई विधि ने नौ अलग-अलग कार्यों में औसत सटीकता को लगभग 32 प्रतिशत से बढ़ाकर 38 प्रतिशत कर दिया, और साथ ही मॉडल की भविष्यवाणियों को बहुत अधिक आत्मविश्वासी बना दिया।
शायद सबसे महत्वपूर्ण बात यह है कि इस प्रक्रिया का अंतिम परिणाम एक एकल, एकीकृत मॉडल है जो अपने अति-संक्षिप्त रूप में ही रहता है। अन्य तरीकों के विपरीत, जो छोटे मॉडल के साथ लोड किए जाने वाले निर्देशों का एक अलग, भारी सेट पीछे छोड़ देते हैं, यह नया दृष्टिकोण सीखने को सीधे छोटे भार (weights) में मिला देता है। शोधकर्ताओं ने पाया कि विजन कार्यों के लिए, जैसे कि छवियों में वस्तुओं की पहचान करना, उनकी विधि ने उन मॉडलों की तुलना में कहीं अधिक सटीक मॉडल बनाया जो सीखने के बाद पुन: संपीड़न से बनाए गए थे। उन्होंने यह भी खोजा कि सीखने की प्रक्रिया मौजूदा नंबरों के चिह्नों को पुनर्वितरित करके काम करती है, न कि शून्य किए गए नंबरों को पुनर्जीवित करने की कोशिश करके। इसका मतलब है कि मॉडल जो उसके पास पहले से मौजूद है उसे पुनर्गठित करके सीखता है, न कि वहां नए कनेक्शन बनाने की कोशिश करके जहां कोई अस्तित्व नहीं था।
यह कार्य प्रदर्शित करता है कि दक्षता या सटीकता से समझौता किए बिना अत्यधिक संकुचित आर्टिफिशियल इंटेलिजेंस मॉडल को सिखाना संभव है। सख्त तीन-मान प्रणाली की सीमाओं का सम्मान करके और उन सीमाओं के भीतर सीखने का तरीका खोजकर, शोधकर्ताओं ने दिखाया है कि ये छोटे मॉडल कई कार्यों के लिए अपने बड़े समकक्षों जितने सक्षम हो सकते हैं। उपयोग के दौरान इस पद्धति में किसी अतिरिक्त मेमोरी या कंप्यूटिंग पावर की आवश्यकता नहीं होती है, क्योंकि लर्निंग मॉडल की संरचना में पूरी तरह से एकीकृत है। यह बहुत सीमित संसाधनों वाले उपकरणों पर परिष्कृत आर्टिफिशियल इंटेलिजेंस चलाने का मार्ग प्रशस्त करता है, जिससे शक्तिशाली क्षमताएं उन स्थानों तक पहुँच सकती हैं जहाँ उन्हें तैनात करना पहले असंभव था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।