Dynamic sparsity in tree-structured feed-forward layers at scale
यह शोध पत्र प्रदर्शित करता है कि हार्ड पदानुक्रमित रूटिंग (hard hierarchical routing) के साथ ट्री-स्ट्रक्चर्ड फीड-फॉरवर्ड लेयर्स, बड़े ट्रांसफॉर्मर्स में डेंस MLPs के स्केलेबल और स्पार्स विकल्पों के रूप में कार्य कर सकते हैं, जो डेंस बेसलाइन्स के समान प्रदर्शन प्राप्त करते हुए प्रति टोकन 5% से कम यूनिट्स को सक्रिय करते हैं और एक उभरते हुए ऑटो-प्रूनिंग प्रभाव को प्रदर्शित करते हैं जो डायनेमिक रूटिंग को स्टैटिक स्ट्रक्चरल स्पर्सिटी में परिवर्तित कर देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, उच्च श्रेणी का रेस्तरां चला रहे हैं (एक AI मॉडल) जो हर दिन लाखों ग्राहकों (डेटा) को परोसता है।
एक पारंपरिक रेस्तरां में (एक स्टैंडर्ड AI मॉडल), रसोई के हर एक शेफ हर एक ऑर्डर पर काम करता है, चाहे वह कुछ भी हो। यदि आप सलाद का ऑर्डर देते हैं, तो पेस्ट्री शेफ, ग्रिल मास्टर और सूप विशेषज्ञ भी काटना, ग्रिल करना और उबालना शुरू कर देते हैं। यह अविश्वसनीय रूप से बर्बादी भरा है। वे सभी काम कर रहे हैं, लेकिन उनमें से अधिकांश उस विशिष्ट व्यंजन के लिए वह सब कर रहे हैं जिसकी आपको आवश्यकता नहीं है। यह रसोई को धीमा और महंगा बना देता है।
इसे ठीक करने के लिए, शोधकर्ता आमतौर पर "मिक्सचर ऑफ एक्सपर्ट्स" (MoE) दृष्टिकोण का उपयोग करने की कोशिश करते हैं। इसमें एक स्मार्ट मैनेजर (एक राउटर) को नियुक्त किया जाता है जो ऑर्डर को देखता है और कहता है, "ठीक है, इस सलाद के लिए, केवल सलाद शेफ और ड्रेसिंग शेफ काम करेंगे। बाकी सब, ब्रेक ले लो।" यह ऊर्जा बचाता है, लेकिन इसके लिए एक जटिल प्रबंधन प्रणाली, शेफ को संतुलित रखने के लिए अतिरिक्त प्रशिक्षण और स्विचिंग को संभालने के लिए विशेष उपकरणों की आवश्यकता होती है।
नया विचार: "ट्री ऑफ चॉइसेस" किचन (विकल्पों का वृक्ष)
यह पेपर रसोई को व्यवस्थित करने का एक चतुर नया तरीका पेश करता है जिसे फास्ट फीडफॉरवर्ड (FFF) लेयर्स कहा जाता है। शेफ चुनने के लिए मैनेजर को काम पर रखने के बजाय, वे रसोई को ही एक विशाल निर्णय वृक्ष (डिसीजन ट्री) में पुनर्गठित करते हैं।
यह कैसे काम करता है, सरल उपमाओं का उपयोग करके यहाँ दिया गया है:
1. निर्णय वृक्ष (मेन्यू पथ)
कल्पना कीजिए कि रसोई शेफों से भरा कमरा नहीं है, बल्कि रास्ते के मोड़ वाले संकेतों की एक श्रृंखला है।
- जब एक ऑर्डर आता है, तो वह रसोई में ऊपर से प्रवेश करता है।
- वह एक संकेत से टकराता है: "क्या यह गर्म व्यंजन है या ठंडा व्यंजन?"
- यदि गर्म है, तो यह बाएं रास्ते पर जाता है।
- यदि ठंडा है, तो यह दाएं रास्ते पर जाता है।
- अगले स्तर पर, दूसरा संकेत पूछता है: "क्या इसमें सॉस की आवश्यकता है?"
- हाँ? बाएं जाओ। नहीं? दाएं जाओ।
जब तक ऑर्डर नीचे पहुँचता है, वह रसोई के केवल एक एकल पथ से गुजर चुका होता है। शायद उसने उपलब्ध 100 स्टेशनों में से केवल 3 या 4 विशिष्ट स्टेशनों को ही छुआ है। अन्य 96 स्टेशनों ने ऑर्डर को देखा तक नहीं। उन्होंने बिजली नहीं जलाई। उन्होंने पानी का उपयोग नहीं किया।
जादू: रसोई को इस तरह डिज़ाइन किया गया है कि किसी भी ऑर्डर के लिए, कर्मचारियों का एक बहुत छोटा हिस्सा (5% से कम) वास्तव में काम करता है। बाकी "स्टाफ" (पैरामीटर्स) केवल संभावित विकल्पों के रूप में वहां मौजूद हैं, लेकिन वे सुप्त अवस्था में रहते हैं।
2. "सेल्फ-प्रूनिंग" प्रभाव (बगीचा)
इस पेपर की सबसे आश्चर्यजनक खोज यह है कि समय के साथ क्या होता है।
कल्पना कीजिए कि आप पेड़ों (रसोई के रास्तों) का एक जंगल लगाते हैं। शुरुआत में, सभी पेड़ बढ़ रहे होते हैं। लेकिन जैसे-जैसे रेस्तरां व्यस्त होता जाता है, रसोई स्वाभाविक रूप से पहचान लेती है कि कौन से रास्ते बेकार हैं।
- यदि कोई विशिष्ट पथ (जैसे, "बाएं-दाएं-बाएं") किसी भी ऑर्डर के लिए कभी सही विकल्प नहीं बनता है, तो उस पथ का "सिग्नल" कमजोर और कमजोर होता जाता है।
- अंततः, वह पथ मर जाता है। वह पूरी तरह से काम करना बंद कर देता है। वह एक स्थायी मृत शाखा बन जाता है।
- रसोई प्रभावी रूप से खुद को "छाँटती" (प्रून करती) है। यह एक गतिशील, बदलते सिस्टम से एक स्थिर, कुशल संरचना में बदल जाती है जहाँ बेकार हिस्सों को स्थायी रूप से बंद कर दिया जाता है।
शोधकर्ताओं ने पाया कि उन्हें मृत शाखाओं को काटने के लिए माली की आवश्यकता नहीं थी; सिस्टम ने इसे स्वचालित रूप से किया क्योंकि "संकेत" (गणित) और "विकास" (लर्निंग) एक दूसरे के साथ कैसे परस्पर क्रिया करते हैं।
3. यह क्यों मायने रखता है (परिणाम)
टीम ने विशाल AI मॉडलों (कुछ में 1 बिलियन से अधिक "मस्तिष्क कोशिकाएं" हैं) पर इसका परीक्षण किया।
- गति: क्योंकि वे प्रत्येक शब्द के लिए मस्तिष्क के एक बहुत छोटे हिस्से को सक्रिय करते हैं, इसलिए यह मॉडल पुराने, घने मॉडलों की तुलना में 8.7 गुना तेज़ चलता है।
- बुद्धिमत्ता: इतनी कम ऊर्जा का उपयोग करने के बावजूद, मॉडल पुराने भारी और धीमे संस्करण जितना ही स्मार्ट है। यह कहानियाँ लिख सकता है, सवालों के जवाब दे सकता है और तर्क पहेलियों को हल कर सकता है।
- सरलता: उन्हें लोड को संतुलित करने के लिए किसी जटिल मैनेजर (राउटर) या अतिरिक्त नियमों की आवश्यकता नहीं पड़ी। वृक्ष संरचना ने उनके लिए काम किया।
पेच (द कैच)
पेपर स्वीकार करता है कि हालांकि यह सैद्धांतिक रूप से अद्भुत है, हमारे वर्तमान कंप्यूटर चिप्स (GPUs) सब कुछ एक साथ करने (पैरेलल प्रोसेसिंग) के लिए बने हैं। यह नया "वृक्ष" तरीका थोड़ा रिले रेस (क्रमिक/सीक्वेंशियल) जैसा है, जहाँ एक चरण को अगला शुरू होने से पहले समाप्त होना चाहिए। वर्तमान में, हमारा हार्डवेयर इस विशिष्ट प्रकार की रिले रेस के लिए पूरी तरह से अनुकूलित नहीं है, इसलिए वास्तविक दुनिया की गति उस गति से थोड़ी कम हो सकती है जैसा कि गणित भविष्यवाणी करता है। हालाँकि, ऊर्जा और पैसे की भारी बचत की क्षमता बहुत बड़ी है।
सारांश
इस पेपर को AI के लिए एक स्मार्ट, स्व-संगठित भूलभुलैया (मेज़) बनाने के रूप में समझें। AI को हर एक विचार के लिए अपने पूरे मस्तिष्क से सोचने के लिए मजबूर करने के बजाय, यह एक ऐसी भूलभुलैया बनाता है जहाँ विचार केवल एक सही पथ पर चलता है। समय के साथ, भूलभुलैया स्वचालित रूप से मृत अंतों को हटा देती है, जिससे यह एक लीन, अत्यंत कुशल और सुपर-फास्ट मशीन बन जाती है जो ऊर्जा का एक अंश उपयोग करती है लेकिन अपनी पूरी बुद्धिमत्ता बनाए रखती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।