Geometry-Guided Layerwise FFN Width Allocation in Transformers
यह शोध पत्र ग्रोमोव-वासरस्टीन डिस्टॉर्शन (Gromov-Wasserstein distortion) और पर्सिस्टेंट होमोलॉजी (persistent homology) जैसे ज्यामितीय मेट्रिक्स के आधार पर ट्रांसफॉर्मर परतों में फीड-फॉरवर्ड नेटवर्क (FFN) की चौड़ाई को गतिशील रूप से आवंटित करने के लिए एक ज्यामिति-निर्देशित विधि प्रस्तावित करता है, जो यह प्रदर्शित करता है कि ऐसे डेटा-संचालित शेड्यूल्स समान या हस्तनिर्मित चौड़ाई आवंटनों की तुलना में सत्यापन हानि (validation loss) को महत्वपूर्ण रूप से कम करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, बहु-मंजिला पुस्तकालय बना रहे हैं जहाँ हर मंजिल एक विशिष्ट प्रकार की जानकारी को व्यवस्थित करने के लिए समर्पित एक कमरा है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन "पुस्तकालयों" को ट्रांसफॉर्मर कहा जाता है, और ये आधुनिक चैटबॉट्स और भाषा उपकरणों के पीछे के मस्तिष्क हैं। प्रत्येक कमरे के भीतर, श्रमिकों की एक टीम (जिसे फीड-फॉरवर्ड नेटवर्क, या FFN कहा जाता है) होती है जिसका काम आने वाली जानकारी को लेना, उस पर विचार करना और उसे आगे भेजना है। लंबे समय तक, इंजीनियरों ने इन पुस्तकालयों को एक सख्त नियम के साथ बनाया: हर एक कमरे में श्रमिकों की संख्या बिल्कुल समान होनी चाहिए, चाहे वह मंजिल कोई भी हो। यह वैसा ही है जैसे बेसमेंट के स्टोरेज रूम को भी उतना ही बजट देना जितना कि शानदार टॉप-फ्लोर रीडिंग लाउंज को दिया जाता है।
लेकिन क्या होगा अगर यह नियम बर्बादी भरा है? क्या होगा यदि बेसमेंट को कम श्रमिकों की आवश्यकता है क्योंकि वहाँ के बक्से सरल हैं, जबकि ऊपरी मंजिल को जटिल, अमूर्त विचारों को संभालने के लिए एक बड़ी टीम की आवश्यकता है? यह वह सवाल है जिसे शोधकर्ताओं ने पूछना शुरू किया है। वे जानते हैं कि जैसे-जैसे जानकारी पुस्तकालय के माध्यम से यात्रा करती है, उसका आकार और जटिलता बदलती जाती है। बड़ा सवाल यह है: क्या हम सटीक रूप से माप सकते हैं कि प्रत्येक कमरा कितना "काम" कर रहा है और फिर बिना किसी अतिरिक्त लोगों को काम पर रखे, श्रमिकों को वहां स्थानांतरित कर सकते हैं जहाँ उनकी सबसे अधिक आवश्यकता है? यह शोध पत्र इस विचार में गोता लगाता है, जो ज्यामिति (आकारों और दूरियों का अध्ययन) और गणित के मिश्रण का उपयोग करके यह पता लगाता है कि प्रत्येक कमरे के लिए एकदम सही स्टाफिंग योजना क्या है।
इस शोध पत्र के लेखकों, तिमुर मुदरिसोव, मिखाइल बर्टसेव और राडू स्टेट ने अनुमान लगाना बंद करने और मापना शुरू करने का निर्णय लिया। उन्होंने सूचना के प्रवाह को एक "बिंदुओं के बादल" (इसे एक कमरे में घूमते जुगनुओं के झुंड के रूप में सोचें) की तरह माना। जैसे-जैसे जुगनू एक कमरे से दूसरे कमरे में जाते हैं, वे बदलते हैं, खिंचते हैं और मुड़ते हैं। टीम ने एक तरीका विकसित किया जिससे वे सटीक रूप से माप सकें कि प्रत्येक कमरे में कितना "ज्यामितीय कार्य" होता है। उन्होंने इस कार्य को मापने के लिए तीन अलग-अलग तरीकों का उपयोग किया: जुगनुओं की दूरी (शिफ्ट), उनके बीच की दूरियों में परिवर्तन (ग्रोमोव-वासेस्टीन), और उनके गठन में लूप और छिद्रों (टोपोलॉजी) में बदलाव।
यहाँ एक मोड़ है: उन्होंने पाया कि आपका मापन कैसे किया जाता है, यह मायने रखता है। यदि आप केवल कच्ची दूरियों को देखते हैं, तो बाद के कमरे सबसे अधिक काम करते हुए प्रतीत होते हैं, लेकिन यह अक्सर इसलिए होता है क्योंकि जुगनू बड़े होते जा रहे हैं (एक स्केल संबंधी मुद्दा)। हालाँकि, जब उन्होंने डेटा को सामान्यीकृत किया—यानी केवल आकार के बजाय आंदोलन के आकार को देखा—तो उन्होंने एक अलग पैटर्न की खोज की। "कार्य" वास्तव में शुरुआत में सबसे अधिक होता है और जैसे-जैसे आप गहराई में जाते हैं, यह कम होता जाता है। यह सुझाव देता है कि शुरुआती कमरों को सबसे अधिक मस्तिष्क शक्ति की आवश्यकता होती है, जबकि बाद के कमरे कम श्रमिकों के साथ भी काम चला सकते हैं।
इसका परीक्षण करने के लिए, उन्होंने एक नया "स्टाफिंग शेड्यूल" बनाया। हर कमरे को श्रमिकों की समान संख्या देने के बजाय, उन्होंने शुरुआती कमरों को अधिक और बाद के कमरों को कम श्रमिक दिए, जबकि उन्होंने कुल श्रमिकों की संख्या को पुराने, समान मॉडल के समान ही रखा। उन्होंने इसे कई अलग-अलग AI मॉडलों पर परखा, जिनमें छोटे मॉडल (128 मिलियन पैरामीटर) से लेकर एक बड़ा मॉडल (440 मिलियन पैरामीटर) शामिल था।
परिणाम उत्साहजनक थे। उनके प्रयोगों में, जिन मॉडलों ने इस "ज्यामिति-निर्देशित" स्टाफिंग योजना का उपयोग किया, उन्होंने मानक मॉडलों (जहाँ हर कमरा समान था) की तुलना में बेहतर प्रदर्शन किया। वास्तव में, जब उन्होंने इसकी तुलना एक लोकप्रिय, हाथ से डिज़ाइन की गई योजना से की जिसे "कोसाइन टेपर" (जो केवल यह मानती है कि काम एक स्लाइड की तरह सुचारू रूप से घटता है) कहा जाता है, तो उनके डेटा-संचालित दृष्टिकोण ने उनसे भी बेहतर प्रदर्शन किया। 440 मिलियन पैरामीटर के पैमाने पर, उनकी ज्यामिति-आधारित योजना ने कोसाइन योजना की तुलना में मॉडल की त्रुटियों को काफी अधिक कम किया।
हालाँकि, लेखक इस बात का दावा करने में सावधान हैं कि उन्होंने इस समस्या को हमेशा के लिए हल कर लिया है। वे नोट करते हैं कि उनकी विधि एक "संदर्भ" मॉडल को मापने और फिर उन नियमों को एक नए मॉडल पर लागू करने पर निर्भर करती है। हालांकि परिणाम बताते हैं कि क्षमता को शुरुआती परतों की ओर ले जाना एक जीतने वाली रणनीति है, वे स्वीकार करते कि यह निश्चित रूप से जानने के लिए कि कौन सा विशिष्ट मापन उपकरण (टोपोलॉजी बनाम ज्यामिति) सबसे अच्छा है, और अधिक परीक्षण की आवश्यकता है। वे यह भी बताते हैं कि उनका "एंटी-टोपोलॉजिकल" कंट्रोल ग्रुप (एक योजना जो जानबूझकर उनके डेटा के विपरीत करती थी) मानक मॉडल से भी खराब प्रदर्शन करता है, जो इस बात की पुष्टि करता है कि उनकी नई योजना की दिशा वास्तव में सही है।
संक्षेप में, यह शोध पत्र सुझाव देता है कि AI मॉडलों को समान कमरों के साथ बनाने की आवश्यकता नहीं है। ज्यामिति का उपयोग करके कि वास्तविक काम कहाँ होता है, हम श्रमिकों को पुनर्व्यवस्थित कर सकते हैं ताकि पूरी लाइब्रेरी को स्मार्ट बनाया जा सके, और इसके लिए एक भी अतिरिक्त डॉलर खर्च करने की आवश्यकता नहीं है। यह समान कंप्यूटिंग पावर से अधिक प्रदर्शन निचोड़ने का एक चतुर, डेटा-संचालित तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।