HiAP: A Multi-Granular Stochastic Auto-Pruning Framework for Vision Transformers
यह शोध पत्र HiAP का प्रस्ताव करता है, जो एक मल्टी-ग्रैनुलर स्टोकेस्टिक ऑटो-प्रूनिंग फ्रेमवर्क है जो पदानुक्रमित (hierarchical) Gumbel-Sigmoid गेट्स का उपयोग करता है ताकि एक ही एंड-टू-एंड प्रशिक्षण चरण में स्वचालित रूप से इष्टतम, अत्यधिक कुशल विजन ट्रांसफार्मर सब-नेटवर्क्स की खोज की जा सके, जो बिना किसी मैनुअल ह्यूरिस्टिक्स या मल्टी-स्टेज पाइपलाइनों के सटीकता और कम्प्यूटेशनल बाधाओं के बीच प्रभावी ढंग से संतुलन बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट रोबोट शेफ (एक Vision Transformer) है जो किसी भी फोटो में किसी भी वस्तु को पहचान सकता है। यह शेफ अविश्वसनीय रूप से प्रतिभाशाली है, लेकिन यह बहुत बड़ा है, इसे चलाना महंगा है, और इसके लिए अंतहीन आपूर्ति वाले एक विशाल किचन की आवश्यकता है। आप इस शेफ को छोटा करना चाहते हैं ताकि यह एक छोटे फूड ट्रक (एक एज डिवाइस जैसे स्मार्टफोन) में काम कर सके बिना अपनी स्वादिष्ट भोजन बनाने की क्षमता (इमेज को सटीक रूप से पहचानने की क्षमता) खोए।
समस्या यह है कि इस शेफ को छोटा करने के अधिकांश तरीके ऐसे हैं जैसे जंग लगी आरी से केक काटना: वे अव्यवस्थित हैं, उनमें बहुत अधिक मैनुअल माप की आवश्यकता होती है, और अक्सर अंत में केक का स्वाद खराब हो जाता है।
यहाँ HiAP (Hierarchical Auto-Pruning) आता है। HiAP को एक स्मार्ट, स्व-व्यवस्थित किचन रेनोवेशन टीम के रूप में सोचें जो केवल बेतरतीब ढंग से चीजें नहीं काटती; बल्कि यह सीखती है कि शेफ के खाना बनाते समय ही ठीक-ठीक क्या रखना है और किसे फेंक देना है।
Hi-AP कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:
1. दो-स्तरीय सफाई (मैक्रो बनाम माइक्रो)
अधिकांश रेनोवेशन टीमें केवल एक प्रकार की सफाई करती हैं। कुछ केवल पूरे कमरे हटा देती हैं (मैक्रो), जबकि अन्य बचे हुए कमरों से केवल कुछ कुर्सियाँ हटा देती हैं (माइक्रो)। HiAP दोनों काम एक साथ करता है।
- मैक्रो-लेवल (द "रूम" लेवल): कल्पना कीजिए कि शेफ के पास सहायक शेफों (Attention Heads) की एक टीम और एक पेंट्री सेक्शन (FFN Blocks) है। कभी-कभी, रेनोवेशन टीम को एहसास होता है, "अरे, हमें पूरे 'सॉस स्टेशन' या 'डेज़र्ट टीम' की ज़रूरत नहीं है।" वे बस उन दरवाजों को बंद कर देते हैं और उन कमरों का उपयोग करना पूरी तरह बंद कर देते हैं। इससे बहुत अधिक जगह और ऊर्जा बचती क्योंकि शेफ को अब उन कमरों में जाने की ज़रूरत ही नहीं पड़ती।
- माइक्रो-लेवल (द "चेयर" लेवल): जिन कमरों को खुला रखा जाता है, उनके अंदर टीम देखती है। मान लीजिए कि "सॉस स्टेशन" में 64 काउंटर हैं, लेकिन उन्हें वास्तव में केवल 32 की आवश्यकता है। वे खाली काउंटरों को हटा देते हैं। या शायद एक विशिष्ट सहायक शेफ अपने औजारों का केवल आधा हिस्सा ही उपयोग कर रहा है, तो वे बाकी औजार हटा लेते हैं।
जादू: HiAP तय करता है कि कौन से कमरे बंद करने हैं और कौन सी कुर्सियाँ हटानी हैं, और यह सब एक साथ होता है। यह समझता है कि पूरा कमरा बंद करने से "मेमोरी ट्रैफिक" (आने-जाने का समय) बचता है, जबकि कुर्सियों को हटाने से "कंप्यूटिंग पावर" (खाना पकाने की गति) बचती है।
2. "सॉफ्ट" से "हार्ड" में परिवर्तन
आमतौर पर, यदि आप काम करते समय रोबोट के हिस्सों को हटाने की कोशिश करते हैं, तो वह ग्लिच कर सकता है या क्रैश हो सकता है। पारंपरिक तरीकों में अक्सर एक "सर्च फेज" (कट लगाने के विभिन्न तरीके आज़माना) और फिर एक "री-ट्रेनिंग फेज" (कट लगाने के बाद रोबोट को ठीक करना) की आवश्यकता होती है।
HiAP एक चतुर तकनीक का उपयोग करता है जिसे Gumbel-Sigmoid गेट्स कहा जाता है। इन्हें ऑन/ऑफ स्विच के बजाय डिमर स्विच (रोशनी कम-ज्यादा करने वाले स्विच) के रूप में समझें।
- प्रशिक्षण के शुरुआती चरण में: स्विच "डिमेड" (कम रोशनी वाले) पर सेट होते हैं। रोबोट अभी भी अपने सभी हिस्सों का उपयोग कर रहा है, लेकिन रेनोवेशन टीम अप्रयुक्त हिस्सों को धीरे-धीरे कम सक्रिय होने के लिए प्रेरित कर रही है। यह ऐसा है जैसे रोबोट को कहना, "आज आपको उस ओवन का उतना उपयोग करने की आवश्यकता नहीं है।"
- प्रशिक्षण के अंतिम चरण में: स्विच धीरे-धीरे "ऑफ" (या पूरी तरह से "ऑन") की ओर बढ़ जाते हैं। रोबोट स्वाभाविक रूप से उन हिस्सों के बिना भी पूरी तरह से कार्य करने के लिए अनुकूलित हो जाता है।
- परिणाम: जब प्रशिक्षण समाप्त होता है, तो रोबोट पहले से ही अपने नए, छोटे आकार के लिए पूरी तरह से तैयार होता है। अब किसी दूसरे "फिक्स-इट" चरण की आवश्यकता नहीं है। यह तुरंत जाने के लिए तैयार है।
3. "बजट" का प्रतिबंध
कल्पना कीजिए कि आपने रेनोवेशन टीम को एक सख्त बजट दिया है: "आपको किचन का आकार 30% कम करना है।"
- पुराने तरीके कह सकते हैं, "ठीक है, हम हर एक कमरे का 30% काट देंगे।" यह बुरा है क्योंकि कुछ कमरे महत्वपूर्ण होते हैं और कुछ बेकार।
- HiAP कहता है, "हम पूरे किचन को देखेंगे। हम पूरा 'बेकरी' (मैक्रो) बंद कर देंगे क्योंकि इसका उपयोग बहुत कम होता है, और हम 'ग्रिल' (माइक्रो) को बजट में फिट होने के लिए पर्याप्त रूप से सिकोड़ देंगे।"
- यह एक विशेष स्कोरकार्ड (Loss Function) का उपयोग करता है जो ठीक से गिनता है कि प्रत्येक निर्णय से कितनी जगह और ऊर्जा बचती है, जिससे यह सुनिश्चित होता है कि अंतिम रोबोट बिना अपनी खाना पकाने की कुशलता खोए, बजट में पूरी तरह फिट बैठता है।
4. यह क्यों महत्वपूर्ण है
- कोई मैनुअल ट्यूनिंग नहीं: आपको रोबोट को यह बताने के लिए किसी विशेषज्ञ की आवश्यकता नहीं है कि कौन से हिस्से काटने हैं। रोबोट खुद यह पता लगा लेता है।
- एक-चरणीय प्रक्रिया: यह एक ही बार में सीखता है और सिकुड़ता है। दूसरे दौर के प्रशिक्षण का इंतज़ार करने की कोई आवश्यकता नहीं है।
- वास्तविक गति: क्योंकि यह भौतिक रूप से अप्रयुक्त हिस्सों को हटा देता है (जैसे बंद किए गए कमरों की दीवारें हटाना), यह वास्तव में वास्तविक हार्डवेयर पर तेज़ चलता है, न कि केवल कागज़ पर।
निचोड़
HiAP एक सेल्फ-ड्राइविंग रेनोवेशन क्रू की तरह है जो एक विशाल, अनाड़ी रोबोट शेफ को एक सुव्यवस्थित, कुशल फूड ट्रक शेफ में बदल देता है। यह जानता है कि कौन से कमरे ढहाने हैं और कौन सा फर्नीचर हटाना है, और यह सब तब भी होता है जब शेफ खाना बनाना सीख रहा होता है। परिणाम एक छोटा, तेज़ और उतना ही स्वादिष्ट खाना बनाने वाला रोबोट है जो आपकी जेब में पूरी तरह से फिट बैठता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।