Circuit Fine-Tuning for Compute-Efficient Transformer Adaptation
यह शोध पत्र सर्किट फाइन-ट्यूनिंग (CFT) को प्रस्तुत करता है, जो एक कंप्यूट-कुशल फ्रेमवर्क है जो एक नियर-ज़ीरो-इनिशियलाइज़्ड प्रोब हेड के साथ सर्किट डिस्कवरी का लाभ उठाता है ताकि विजन ट्रांसफार्मर के केवल सबसे प्रासंगिक सबग्राफ की पहचान और फाइन-ट्यूनिंग की जा सके, जिससे बिना किसी पैरामीटर या इन्फरेंस ओवरहेड को जोड़े, पैरामीटर-कुशल बेसलाइनों की तुलना में काफी तेज़ी से पीक एक्यूरेसी प्राप्त की जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट रोबोटिक दिमाग है जिसने लाइब्रेरी की लगभग हर किताब पढ़ ली है। वह बिल्लियों, कारों और बादलों को पूरी तरह से पहचानना जानता है। लेकिन अब, आप उसे एक नया करतब सिखाना चाहते हैं: एक विशिष्ट प्रकार के दुर्लभ मशरूम को पहचानना। पुराना तरीका यह था कि पूरे दिमाग को खोल दिया जाए और मशरूम के बारे में सीखने के लिए हर एक न्यूरॉन को फिर से प्रशिक्षित किया जाए। यह बहुत अच्छा काम करता था, लेकिन यह ऐसा था जैसे किसी एक खिड़की का रंग बदलने के लिए पूरी गगनचुंबी इमारत को फिर से पेंट करना—इसमें बहुत समय लगता था, बिजली का भारी खर्च होता था, और यह प्रयास की एक बड़ी बर्बादी थी।
वैज्ञानिकों ने हाल ही में "पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग" (PEFT) नामक एक शॉर्टकट आज़माया। विचार यह था: "पूरी इमारत को फिर से पेंट क्यों करें? आइए बस कुछ नए स्टिकर लगा दें या पेंट के एक बहुत छोटे हिस्से को थोड़ा बदल दें।" इससे बदलावों की संख्या के मामले में तो पैसे बच गए, लेकिन एक पेंच था। भले ही आपने दिमाग के केवल 3% हिस्से को बदला हो, कंप्यूटर को अभी भी उस चीज़ को सही ढंग से सीखने के लिए सैकड़ों राउंड तक पूरे दिमाग को चलाना पड़ता था। यह एक रेस कार चलाने जैसा था जिसमें केवल एक पहिया मुड़ा हुआ हो; आप अभी भी पूरी गति से गैस जला रहे हैं, बस स्टीयरिंग कम घुमा रहे हैं। बड़ा सवाल यह बन गया: क्या हम यह पता लगाकर समय और बिजली की बर्बादी को रोक सकते हैं कि वास्तव में दिमाग के कौन से हिस्से को नया करतब सीखने की आवश्यकता है, और बाकी को अकेला छोड़ सकते हैं?
यहीं पर नया पेपर, "सर्किट फाइन-ट्यूनिंग" (CFT), आता है। लेखक, उरी ज़ेड. कियाली और गिल बेन-आर्टज़ी, इन विशाल एआई मॉडल्स को अनुकूलित करने का एक चतुर तरीका प्रस्तावित करते हैं। एआई के उन हिस्सों को ट्वीक (बदलने) का अनुमान लगाने या बस कुछ नए स्टिकर जोड़ने के बजाय, वे एक "सर्किट डिस्कवरी" तकनीक का उपयोग करते हैं ताकि एआई के भीतर उन विशिष्ट, छिपे हुए रास्तों (pathways) को खोजा जा सके जो पहले से ही उस नए कार्य को संभालने में अच्छे हैं।
यहाँ जादू का नुस्खा है: एआई के नए कार्य को सीखना शुरू करने से पहले ही, शोधकर्ता उसे एक "नियर-जीरो" (near-zero) टेस्ट देते हैं। कल्पना कीजिए कि आप एआई को एक खाली कैनवास दे रहे हैं और पूछ रहे हैं, "अगर मैं अभी तुम्हें एक मशरूम दिखाऊं, तो तुम्हारे दिमाग के कौन से हिस्से चमक उठेंगे?" क्योंकि टेस्ट इस तरह से सेट किया गया है कि एआई की अभी कोई मजबूत राय नहीं है, यह उस विशिष्ट प्रकार की छवि को प्रोसेस करने के लिए मस्तिष्क द्वारा उपयोग किए जाने वाले कच्चे, प्राकृतिक रास्तों को प्रकट करता है। शोधकर्ता इस "सर्किट" को मैप करते हैं—जो एआई के नेटवर्क का एक विशिष्ट सबग्राफ है—और बाकी सब कुछ को फ्रीज (स्थिर) कर देते हैं। वे केवल उन विशिष्ट, पूर्व-पहचाने गए हिस्सों को ही सीखने देते हैं।
इसके परिणाम आश्चर्यजनक रूप से तेज़ हैं। जबकि अन्य तरीकों को चरम प्रदर्शन तक पहुँचने के लिए 44 से 96 राउंड (epochs) तक एआई को चलाना पड़ सकता है, यह नया तरीका लगभग 20 राउंड में अपनी गति पकड़ लेता है। यह एक बहुत बड़ा अंतर है। कच्चे कंप्यूटिंग पावर के संदर्भ में, CFT 2.3 से 6.6 गुना कम ऊर्जा (प्रशिक्षण FLOPs में मापा गया) का उपयोग करता है और वास्तविक दुनिया के क्लॉक टाइम में 16 गुना तक कम समय लेता है। और सबसे अच्छी बात? यह एआई में कोई नए हिस्से नहीं जोड़ता है और न ही बाद में इसके उपयोग के दौरान इसे धीमा बनाता है। यह यह समझने जैसा है कि रेस जीतने के लिए आपको इंजन को फिर से बनाने की ज़रूरत नहीं है; आपको बस यह जानने की ज़रूरत थी कि किन गियर्स को बदलना है।
शोधकर्ताओं ने मानक इमेज डेटासेट से लेकर जटिल मेडिकल एक्स-रे और यहाँ तक कि एक विजन-लैंग्वेज मॉडल (एक एआई जो देखता है और बोलता है) तक, विभिन्न चुनौतियों पर इसका परीक्षण किया। लगभग हर मामले में, CFT ने बहुत कम प्रयास के साथ लीडरबोर्ड के शीर्ष पर स्थान प्राप्त किया। उन्होंने पाया कि अलग-अलग कार्यों के लिए आवश्यक "सर्किट" अद्वितीय होते हैं; एक पक्षी को पहचानने का रास्ता एक ट्यूमर को पहचानने के रास्ते से बिल्कुल अलग होता है। यह साबित करता है कि पुराना विचार कि "बस कुछ यादृच्छिक (random) हिस्सों को ट्वीक करें" सबसे कुशल तरीका नहीं है। प्रशिक्षण शुरू होने से पहले ही डेटा के प्रति एआई की प्राकृतिक प्रतिक्रिया को सुनकर, CFT हमें स्मार्ट तरीके से, तेज़ी से और कम बर्बादी के साथ प्रशिक्षित करना सिखाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।