Tensor Seeks Layout: Formalizing Layout Selection for ML Compilers
यह शोध पत्र लेआउट चयन को एक कॉम्बिनेटरियल ऑप्टिमाइज़ेशन समस्या के रूप में तैयार करके, इसकी कम्प्यूटेशनल हार्डनेस को सिद्ध करके, और बाउंडेड ट्रीविड्थ ग्राफ के लिए इष्टतम एल्गोरिदम और सामान्य इंस्टेंस के लिए एक वेटेड MaxSAT एनकोडिंग प्रस्तावित करके, मशीन लर्निंग कंपाइलर में लेआउट चयन का पहला औपचारिक अध्ययन प्रस्तुत करता है, जिससे यह प्रदर्शित होता है कि सरल ह्यूरिस्टिक्स इष्टतम समाधानों की तुलना में प्रदर्शन को 5 गुना तक कम कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस विशाल गणितीय मॉडलों पर निर्भर करता है जो भाषण पहचानने, भाषाओं का अनुवाद करने या चित्र बनाने के लिए भारी मात्रा में डेटा को प्रोसेस करते हैं। इन मॉडलों को तेज़ी से चलाने के लिए, इंजीनियर विशेष रूप से इस भारी काम के लिए डिज़ाइन किए गए विशेष कंप्यूटर चिप्स का उपयोग करते हैं। हालाँकि, ये चिप्स केवल निर्देशों का निष्पादन नहीं करते; उन्हें डेटा को कुशलतापूर्वक इधर-उधर भी ले जाना होता है। एक मॉडल कितनी तेज़ी से चलता है, यह अक्सर चिप की कच्ची शक्ति (raw power) पर कम और इस बात पर अधिक निर्भर करता है कि डेटा को उसकी मेमोरी में कैसे व्यवस्थित किया गया है। एक पुस्तकालय की कल्पना करें जहाँ किताबें अलमारियों पर रखी गई हैं। यदि किसी पाठक को पुस्तकों के एक विशिष्ट सेट को खोजने की आवश्यकता है, तो इसमें लगने वाला समय पूरी तरह से इस बात पर निर्भर करेगा कि वे पुस्तकें अलग-अलग गलियारों में बिखरी हुई हैं या एक ही शेल्फ पर करीने से समूहबद्ध हैं। कंप्यूटर चिप्स की दुनिया में, इस व्यवस्था को "लेआउट" कहा जाता है। जब एक कंप्यूटर प्रोग्राम गणना करता है, तो वह डेटा की एक विशिष्ट व्यवस्था की अपेक्षा करता है, लेकिन प्रोग्राम के पिछले चरण ने डेटा को किसी अलग व्यवस्था में छोड़ दिया हो सकता है। यदि दोनों मेल नहीं खाते हैं, तो कंप्यूटर को आगे बढ़ने से पहले डेटा को पुनर्व्यवस्थित करने के लिए रुकना पड़ता है, जो समय और ऊर्जा दोनों को बर्बाद करता है।
वर्षों तक, इन मॉडलों को चिप्स के लिए तैयार करने वाला सॉफ़्टवेयर इस डेटा को व्यवस्थित करने के निर्णय के लिए अनुमानों और सामान्य नियमों (rules of thumb) के संग्रह पर निर्भर रहा है। ये नियम सरल कार्यों के लिए पर्याप्त रूप से काम करते हैं, लेकिन जैसे-जैसे मॉडल अधिक जटिल होते गए, अनुमान विफल होने लगे, जिससे महत्वपूर्ण सुस्ती आने लगी। वियना तकनीकी विश्वविद्यालय और अमेज़न के शोधकर्ताओं की एक टीम ने इस दृष्टिकोण को बदलने का प्रयास किया। सहज ज्ञान (intuition) पर भरोसा करने के बजाय, उन्होंने डेटा को व्यवस्थित करने की समस्या को एक औपचारिक गणितीय पहेली के रूप में माना। उन्होंने एक सटीक मॉडल बनाया जो हर संभावित व्यवस्था की सटीक लागत की गणना करता है, जिसमें विभिन्न स्वरूपों (formats) के बीच डेटा ले जाने में लगने वाला समय भी शामिल है। ऐसा करके, वे किसी भी दिए गए मॉडल के लिए डेटा को व्यवस्थित करने का सबसे अच्छा तरीका निर्धारित कर सके, बजाय इसके कि वे केवल उम्मीद करें कि कुछ नियम पर्याप्त करीब पहुँच जाएँगे।
शोधकर्ताओं ने पाया कि इस आदर्श व्यवस्था को खोजना एक अविश्वसनीय रूप से कठिन कार्य है। कंप्यूटर विज्ञान की भाषा में, समस्या इतनी जटिल है कि कोई भी कंप्यूटर हर संभव स्थिति के लिए इसे तेज़ी से हल नहीं कर सकता, विशेष रूप से जब मॉडल बड़े होते जाते हैं। उन्होंने सिद्ध किया कि केवल बुनियादी मैट्रिक्स गणनाओं वाली समस्या के सरलीकृत संस्करण के लिए भी, संभावनाओं की संख्या इतनी विशाल है कि एक मानक कंप्यूटर उचित समय में उत्तर खोजने के लिए संघर्ष करेगा। इस निष्कर्ष ने इस विचार को खारिज कर दिया कि एक एकल, तेज़, सार्वभौमिक एल्गोरिदम भविष्य के सभी मॉडलों के लिए समस्या को हल कर सकता है। हालाँकि, टीम ने आगे बढ़ने का रास्ता भी खोजा। उन्होंने दिखाया कि हालांकि समस्या सामान्य रूप से कठिन है, लेकिन यह प्रबंधनीय हो जाती है जब मॉडल की संरचना सीमित शाखाओं वाले एक पेड़ (tree) के समान होती है। इन विशिष्ट संरचनाओं के लिए, जो कई वास्तविक दुनिया के अनुप्रयोगों में आम हैं, उन्होंने एक ऐसी विधि विकसित की जो तेज़ी से सटीक समाधान पाती है। अधिक जटिल संरचनाओं के लिए जो इस पैटर्न में फिट नहीं होती हैं, उन्होंने समस्या को एक ऐसे प्रारूप में अनुवादित करने का तरीका विकसित किया जिसे मौजूदा शक्तिशाली सॉल्वर (solvers) संभाल सकें, जिससे वे सर्वोत्तम व्यवस्था पा सकें भले ही कोई पूर्ण गणितीय शॉर्टकट मौजूद न हो।
अपने विचारों का परीक्षण करने के लिए, शोधकर्ताओं ने अपने नए तरीके को अमेज़न के 'ट्रेनियम' (Trainium) चिप्स के लिए उपयोग किए जाने वाले एक वास्तविक दुनिया के कंपाइलर के भीतर लागू किया, जो आर्टिफिशियल इंटेलिजेंस मॉडलों को चलाने के लिए डिज़ाइन किए गए हैं। उन्होंने अपने नए दृष्टिकोण की तुलना उद्योग में वर्तमान में उपयोग किए जाने वाले मानक तरीकों से की, जो पुराने सामान्य नियमों पर निर्भर करते हैं। परिणाम चौंकाने वाले थे। कुछ जटिल मॉडलों पर, विशेष रूप से जो छवि पहचान (image recognition) के लिए उपयोग किए जाते हैं, पुराने नियमों के कारण मॉडल आवश्यक गति से पांच गुना तक धीमे चल रहे थे। ऐसा इसलिए हुआ क्योंकि सरल नियम व्यापक तस्वीर देखने में विफल रहे; वे एक चरण के लिए डेटा को पूरी तरह से व्यवस्थित करते थे लेकिन अगले चरण के लिए अव्यवस्था पैदा कर देते थे, जिससे कंप्यूटर को डेटा को बार-बार पुनर्व्यवस्थित करने में समय बर्बाद करना पड़ता था। नए तरीके ने, चरणों के पूरे क्रम को एक साथ देखकर, इन महंगी पुनर्व्यवस्थाओं से बचने में सफलता प्राप्त की और डेटा के प्रवाह को सुचारू बनाए रखा।
हालाँकि, अध्ययन ने एक महत्वपूर्ण सीमा भी प्रकट की। जबकि नया तरीका अपनी गणनाओं के अनुसार गणितीय रूप से सर्वोत्तम व्यवस्था पा सकता था, यह हमेशा वास्तविक हार्डवेयर पर सबसे तेज़ गति में परिवर्तित नहीं हुआ। कुछ मामलों में, नए तरीके ने एक ऐसा परिणाम दिया जो सैद्धांतिक रूप से तो उत्तम था लेकिन पुराने, सरल नियमों की तुलना में खराब प्रदर्शन करता था। शोधकर्ताओं ने इस विसंगति का पता लागत मॉडल (cost model) से लगाया। वह सॉफ़्टवेयर जो किसी कार्य को पूरा करने में लगने वाले समय की भविष्यवाणी करता था, पूरी तरह से सटीक नहीं था; इसने कुछ प्रकार के डेटा मूवमेंट के लिए आवश्यक समय को कम करके आंका था। क्योंकि नया तरीका अपनी त्रुटिपूर्ण भविष्यवाणियों के अनुसार सबसे कम लागत खोजने में बहुत कुशल था, इसलिए इसने कभी-कभी एक ऐसी व्यवस्था चुनी जो कागज़ पर सस्ती दिखती थी लेकिन वास्तव में महंगी थी। यह निष्कर्ष बताता है कि भविष्य के सुधारों के लिए सबसे बड़ी बाधा बेहतर खोज एल्गोरिदम नहीं, बल्कि यह बेहतर तरीके हैं जिनसे यह भविष्यवाणी की जा सके कि कार्य वास्तव में कितना समय लेंगे।
यह कार्य इस क्षेत्र के लिए एक स्पष्ट मार्ग प्रदान करता है। यह प्रदर्शित करता है कि लेआउट चयन को एक औपचारिक अनुकूलन समस्या (optimization problem) के रूप में मानना एक व्यवहार्य और शक्तिशाली रणनीति है, जो वहां भारी गति वृद्धि (speedups) देने में सक्षम है जहां सरल नियम विफल हो जाते हैं। यह यह भी स्पष्ट करता है कि प्रदर्शन की अंतिम सीमा सर्वोत्तम समाधान खोजने की क्षमता नहीं है, बल्कि उस खोज को निर्देशित करने के लिए उपयोग की जाने वाली भविष्यवाणियों की सटीकता है। उन मॉडलों के लिए जिनमें नियमित और पूर्वानुमेय संरचनाएँ हैं, नया सॉल्वर-आधारित दृष्टिकोण पहले से ही एक बेहतर विकल्प है। अधिक अराजक और जटिल मॉडलों के लिए, ध्यान लागत मॉडलों को परिष्कृत करने पर केंद्रित होना चाहिए ताकि गणितीय इष्टतम (optimum), चिप की भौतिक वास्तविकता के साथ मेल खा सके। सर्वोत्तम समाधान खोजने की समस्या को लागत की भविष्यवाणी करने की समस्या से अलग करके, शोधकर्ताओं ने कंपाइलर डेवलपर्स को उनकी प्रगति को मापने के लिए एक नया उपकरण और यह स्पष्ट लक्ष्य दिया है कि उन्हें आगे कहाँ ध्यान केंद्रित करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।