MergeOver: Post-Training Token Merging for Recursive Vision Transformers
MergeOver एक पोस्ट-ट्रेनिंग विधि है जो रिकर्सिवली वेट-शेयर्ड विजन ट्रांसफॉर्मर में टोकन मर्जिंग को एकीकृत करती है ताकि बिना किसी महंगी रिट्रेनिंग के, उच्च सटीकता बनाए रखते हुए एज डिवाइसेस पर मेमोरी उपयोग और लेटेंसी को महत्वपूर्ण रूप से कम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को केवल तस्वीरों को देखकर बिल्ली, कुत्ते और कारों को पहचानना सिखाने की कोशिश कर रहे हैं। इसे करने के लिए, रोबोट एक विशेष प्रकार के मस्तिष्क का उपयोग करता है जिसे "विज़न ट्रांसफॉर्मर" (Vision Transformer) कहा जाता है। इस 'मस्तिष्क' को जासूसों की एक टीम के रूप में समझें, जहाँ फोटो के हर एक पिक्सेल को अपना खुद का एक जासूस मिलता है। जितने अधिक पिक्सेल होंगे, आपको उतने ही अधिक जासूसों की आवश्यकता होगी, और उन्हें यह समझने के लिए कि वे क्या देख रहे हैं, आपस में बहुत अधिक बातचीत करनी होगी। यह सटीकता के लिए तो बहुत अच्छा है, लेकिन यह छोटे कंप्यूटरों, जैसे कि आपकी स्मार्टवॉच या रास्पबेरी पाई (Raspberry Pi) के लिए एक बहुत बड़ी समस्या है, क्योंकि उनके पास एक साथ हजारों जासूसों की बातचीत को संभालने के लिए पर्याप्त मेमोरी या बैटरी पावर नहीं होती है।
इसे ठीक करने के लिए, वैज्ञानिकों ने दो मुख्य तरकीबें आजमाई हैं। पहली है "रिकर्सिव वेट-शेयरिंग" (recursive weight-sharing), जो एक सुपर-जासूस होने जैसा है जो बार-बार एक ही काम करता है, हर कदम के लिए एक नई टीम रखने के बजाय अपने नोट्स का पुन: उपयोग करता है। यह जगह तो बचाता है लेकिन जासूसी के काम को धीमा और भारी बना देता है। दूसरी तरकीब है "टोकन मर्जिंग" (token merging), जहाँ आप महसूस करते हैं कि कुछ जासूस एक ही चीज़ को देख रहे हैं, इसलिए आप समय बचाने के लिए उन्हें एक बड़े जासूस में मिला देते हैं। बड़ा सवाल यह है कि यह पेपर इस बारे में है कि: यदि आप इन दोनों तरकीबों को एक साथ उपयोग करने की कोशिश करते हैं, तो बिना पूरे रोबोट को फिर से प्रशिक्षित (retrain) किए, तो क्या होगा? यह एक अकेले जासूस को उसके क्लोन के साथ मर्ज होने के लिए सिखाने जैसा है जबकि वह पहले से ही काम कर रहा हो, बिना उस मानचित्र को बिगाड़े जिसका वह पालन कर रहा है।
इस पेपर के लेखक, यूनिवर्सिटी ऑफ ट्वेंटे के जुनसेओ किम (Junseo Kim) और उनकी टीम कहते हैं कि इन दोनों विधियों को मिलाना आमतौर पर एक आपदा होता है क्योंकि खेल के नियम टूट जाते हैं। वे इस पहेली को सुलझाने के लिए एक नई विधि प्रस्तावित करते हैं जिसे MergeOver कहा जाता है। कल्पना करें कि रोबोट का मस्तिष्क एक बहु-मंजिला इमारत है जहाँ जासूस मंजिलों पर ऊपर जाते हैं। हर बार जब वे एक नई मंजिल पर जाते हैं, तो इमारत की वास्तुकला की आवश्यकता होती है कि वे एक पूर्ण वर्गाकार ग्रिड (square grid) में खड़े हों। लेकिन जासूसों को मर्ज करने से आमतौर पर वह वर्गाकार ग्रिड बिगड़ जाता है, जिससे खाली स्थान बन जाते हैं जो लिफ्ट को खराब कर देते हैं। MergeOver एक चतुर "अनमर्ज" (Unmerge) तकनीक पेश करता है: यह अस्थायी रूप से मर्ज किए गए जासूसों को उनके मूल ग्रिड स्थानों में वापस विभाजित करता है ताकि वे लिफ्ट से गुजर सकें, और फिर अगली मंजिल पर सुरक्षित पहुँचने के बाद उन्हें फिर से मर्ज कर देता है। यह विधि को बिना फिर से प्रशिक्षित किए रोबोट को कम मेमोरी उपयोग के साथ काम करने की अनुमति देती है।
टीम ने एक प्रसिद्ध चित्र डेटासेट ImageNet-1K पर परीक्षण किया, जिसमें शक्तिशाली ग्राफिक्स कार्ड से लेकर एक छोटे रास्पबेरी पाई 5 तक के विभिन्न प्रकार के कंप्यूटर शामिल थे। उन्होंने पाया कि MergeOver काम करता है, लेकिन इसके परिणाम इस बात पर बहुत निर्भर करते हैं कि आप एक साथ कितनी तस्वीरों को देखने के लिए रोबोट को कहते हैं (बैच साइज)। जब रोबोट एक बार में केवल एक तस्वीर देखता है, तो मर्ज करने और अनमर्ज करने का अतिरिक्त काम वास्तव में काम को धीमा कर देता है। हालाँकि, जब रोबोट एक साथ 16 तस्वीरें देखता है, तो जादू होता है। एक शक्तिशाली GPU पर, इस सेटअप ने आवश्यक मेमोरी को 38.4% कम कर दिया और वास्तव में रोबोट को 21.7% तेज़ बना दिया। नन्हे रास्पबेरी पाई पर, इसने 16 के बैच के लिए रोबोट को 17.6% तेज़ बनाया। सबसे अच्छी बात यह है कि रोबोट बहुत ज़्यादा मूर्ख नहीं हुआ; इसकी सटीकता केवल 1.47 प्रतिशत अंक गिरी, जिसे लेखक इस बड़े गति लाभ के लिए एक छोटा सा मूल्य मानते हैं।
हालाँकि, पेपर सावधानी से यह नोट करता है कि यह कोई जादुई छड़ी नहीं है जो सब कुछ तुरंत ठीक कर देती है। लेखक स्पष्ट रूप से इस विचार का खंडन करते हैं कि आप बस इसे किसी भी मॉडल पर लगा सकते हैं और उम्मीद कर सकते हैं कि यह हर जगह पूरी तरह से काम करेगा। उन्होंने पाया कि एकल-चित्र कार्यों (बैच साइज 1) के लिए, "अनमर्ज" तकनीक का ओवरहेड शक्तिशाली कंप्यूटरों पर काम को धीमा कर देता है क्योंकि यह एक छवि के लिए सार्थक नहीं है। वे यह भी बताते हैं कि जबकि उनकी विधि मेमोरी बचाती है और बैच प्रोसेसिंग को तेज़ करती है, यह अनिवार्य रूप से उन अन्य प्रकार के कुशल AI मॉडलों को नहीं हराती है जिन्हें शुरू से ही तेज़ होने के लिए डिज़ाइन किया गया था। परिणाम संतुलित और वास्तविक हैं, लेकिन वे सुझाव देते हैं कि यह इन तकनीकों को मिलाने के लिए एक आशाजनक शुरुआत—एक "बेसलाइन"—है, न कि एक अंतिम, पूर्ण समाधान। लेखक सुझाव देते हैं कि भविष्य के काम में MergeOver को अन्य तरकीबों, जैसे बेहतर सॉफ्टवेयर अनुकूलन (optimization) के साथ जोड़ने की आवश्यकता हो सकती है, ताकि इसे और भी तेज़ बनाया जा सके, विशेष रूप से छोटे उपकरणों पर उन एकल-चित्र कार्यों के लिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।