TESLA: Taylor Expansion of Sinusoidal Learnable Activations
यह शोध पत्र TESLA को प्रस्तुत करता है, जो सीखने योग्य साइनुसोइडल संयोजनों (learnable sinusoidal combinations) पर आधारित एक नवीन सक्रियण फलन (activation function) है जो सामान्यीकरण और मजबूती को बढ़ाने के लिए सैद्धांतिक रूप से बहुपद डिग्री (polynomial degree) को नियंत्रित करता है, और चुनौतीपूर्ण पैरिटी (parity) एवं फोरेलेशन (Forrelation) कार्यों के साथ-साथ ImageNet-100 जैसे मानक विजन बेंचमार्क पर उत्कृष्ट प्रदर्शन प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
पूरी तस्वीर की पहेली
कल्पना कीजिए कि आप एक रोबोट को चेहरा पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे एक तस्वीर दिखाते हैं, और वह नाक को देखता है, फिर आँखों को, और फिर मुँह को। मानक कंप्यूटर मस्तिष्क, जिन्हें न्यूरल नेटवर्क कहा जाता है, इस तरह के "स्थानीय" (local) जासूसी काम में अविश्वसनीय रूप से अच्छे होते हैं। वे छोटे विवरणों को समझने के लिए सरल, चरण-दरूप स्विच (जैसे किसी चीज़ को चालू या बंद करना) का उपयोग करते हैं। यह फोटो में बिल्ली खोजने या वाक्य का अनुवाद करने जैसी चीजों के लिए अद्भुत काम करता है, जहाँ उत्तर आस-पास के संकेतों पर निर्भर करता है।
हालाँकि, कुछ पहेलियाँ अधिक कठिन होती हैं। एक खेल की कल्पना करें जहाँ रोशनी के स्विचों की एक लंबी पंक्ति है, और उत्तर एक साथ पूरी पंक्ति पर निर्भर करता है: "कुल चालू स्विच विषम (odd) हैं या सम (even)?" इस पहेली को सुलझाने के लिए, रोबोट को केवल एक स्विच या छोटे समूह को देखने की आवश्यकता नहीं है; उसे उन सभी को एक साथ गिनना होगा। यह एक "वैश्विक" (global) समस्या है। पारंपरिक रोबोट मस्तिष्क यहाँ संघर्ष करते हैं क्योंकि वे पहले छोटे, स्थानीय टुकड़ों को देखने के लिए बने होते हैं। वे अक्सर बहुत अधिक सूक्ष्म विवरणों पर ध्यान केंद्रित करने के कारण बड़ी तस्वीर को समझने में चूक जाते हैं और फंस जाते हैं। वैज्ञानिक एक ऐसा रोबोट मस्तिष्क बनाने की कोशिश कर रहे हैं जो बिना बहुत विशाल या गहरा हुए, स्वाभाविक रूप से इन बड़ी, पूर्ण-चित्र वाली पैटर्नों को समझ सके। यहीं पर एक नया विचार आता है जिसे TESLA कहा जाता है।
संगीतमय सक्रियता का जादू
कोरिया एयरोस्पेस यूनिवर्सिटी में काम करने वाले इस अध्ययन के पीछे के शोधकर्ताओं ने इन रोबोट मस्तिष्क के "सोचने" के एक नए तरीके का प्रस्ताव दिया है। वे अपने आविष्कार को TESLA (Taylor Expansion of Sinusoidal Learnable Activations) कहते हैं। यह समझने के लिए कि उन्होंने क्या किया है, आइए देखें कि एक मानक रोबोट न्यूरॉन कैसे काम करता है। आमतौर पर, यह एक इनपुट लेता है, उसे एक सरल, कठोर स्विच के माध्यम से गुजारता है, और परिणाम को आगे भेज देता है। यह एक ऐसे दरवाजे की तरह है जो केवल तभी खुलता है जब आप उसे जोर से धक्का देते हैं, लेकिन यह वास्तव में "गाता" नहीं है या अपना सुर नहीं बदलता है।
TESLA इस कठोर स्विच को एक वाद्य यंत्र से बदल देता है। एक साधारण ऑन/ऑफ बटन के बजाय, न्यूरॉन साइन (sine) और कोसाइन (cosine) तरंगों के मिश्रण का उपयोग करता है—इन्हें ध्वनि या समुद्र की लहरों की तरह चिकनी, लुढ़कती लहरों के रूप में सोचें। लेकिन असली जादू यहाँ है: TESLA केवल एक लहर का उपयोग नहीं करता है। यह कई अलग-अलग लहरों को मिलाकर एक कस्टम गाना बनाता है, जिनमें से प्रत्येक का अपना वॉल्यूम नॉब (आवाज़ का नियंत्रण) होता है। रोबोट प्रशिक्षण के दौरान इन नॉब्स को ऊपर या नीचे घुमाना सीखता है।
यह क्यों मायने रखता है? गणित की दुनिया में, इन लहरों को जोड़कर ऐसी आकृतियाँ बनाई जा सकती हैं जो जटिल बहुपदों (polynomials - कई उभारों वाली वक्र रेखाएं) की तरह दिखती हैं। नॉब्स को समायोजित करके, रोबोट यह तय कर सकता है कि उसकी सोच कितनी "लहराती हुई" या जटिल होनी चाहिए। यदि समस्या सरल है, तो वह चिकनी, कम आवृत्ति (low-frequency) वाली लहरों का उपयोग करता है। यदि समस्या एक कठिन वैश्विक पहेली है (जैसे विषम-या-सम स्विच गेम), तो वह उन जटिल, पूर्ण-चित्र वाले पैटर्न को पकड़ने के लिए उच्च-आवृत्ति (high-frequency) वाली लहरों को बढ़ा सकता है जिन्हें मानक रोबट मिस कर देते हैं।
"विषम या सम" रहस्य को सुलझाना
टीम ने एक प्रसिद्ध कठिन पहेली पर इस विचार का परीक्षण किया जिसे पैरिटी समस्या (parity problem) कहा जाता है। कल्पना कीजिए कि 32 स्विचों की एक स्ट्रिंग है। रोबोट को अनुमान लगाना है कि कुल "चालू" स्विच विषम हैं या सम। यह मानक रोबोट्स के लिए एक दुःस्वप्न है क्योंकि उत्तर प्रत्येक स्विच के दूसरे प्रत्येक स्विच के साथ परस्पर क्रिया करने पर निर्भर करता है।
अपने प्रयोगों में, शोधकर्ताओं ने अपने TESLA-संचालित रोबोट को 100,000 उदाहरणों के साथ प्रशिक्षित किया। भले ही 32 स्विचों के 4 अरब से अधिक संभावित संयोजन हैं (जिसका अर्थ है कि रोबोट ने संभावनाओं के एक बहुत ही छोटे हिस्से को देखा), TESLA रोबोट ने नियम को अविश्वसनीय रूप से अच्छी तरह से सीखा। इसने साफ डेटा पर लगभग पूर्ण सटीकता प्राप्त की। और भी अधिक प्रभावशाली बात यह है कि जब शोधकर्ताओं ने डेटा के साथ छेड़छाड़ करना शुरू किया—जानबूझकर 30% उत्तरों को बदलकर रोबोट को झूठ बोलकर—तो TESLA रोबोट मजबूत बना रहा और सही अनुमान लगाता रहा।
इसके विपरीत, पुराने जमाने के स्विचों (जैसे ReLU) या अन्य तरंग-आधारित रोबोटों (जैसे SIREN) का उपयोग करने वाले "मानक" रोबोट पूरी तरह से हार मान गए। जैसे-जैसे स्विचों की संख्या बढ़ी, उनकी सटीकता गिरकर लगभग 50% हो गई, जो कि केवल "चित या पट" (heads or tails) का अनुमान लगाने से बेहतर नहीं है। हालाँकि, TESLA रोबोट शोर वाले और अस्त-व्यस्त डेटा के बावजूद वैश्विक पैटर्न को देख सका।
गणितीय पहेलियों से वास्तविक दुनिया की तस्वीरों तक
शोधकर्ता केवल गणितीय पहेलियों तक ही सीमित नहीं रहे। वे यह देखना चाहते थे कि क्या यह "संगीतमय" सोच वास्तविक दुनिया के कार्यों, जैसे छवियों को पहचानने में मदद कर सकती है। उन्होंने ResNet और विजन ट्रांसफॉर्मर जैसे लोकप्रिय रोबोट मस्तिष्क आर्किटेक्चर का उपयोग करके ImageNet-100 के 100 विभिन्न प्रकार के चित्रों के डेटासेट पर TESLA का परीक्षण किया।
परिणाम उत्साहजनक थे। TESLA रोबोट छवियों की पहचान करने में मानक रोबोट के समान ही प्रदर्शन करते थे, लेकिन एक महत्वपूर्ण अंतर के साथ: स्थिरता। जब उन्होंने बड़े इमेज कार्यों के लिए अन्य तरंग-आधारित तरीकों (जैसे SIREN) का उपयोग करने की कोशिश की, तो रोबोट अस्थिर हो गए और सीखने में विफल रहे। TESLA, अपने "वॉल्यूम नॉब्स" (जिसे लेखक 'coefficient budget' कहते हैं) के सावधानीपूर्ण डिजाइन के कारण, शांत रहा और प्रभावी ढंग से सीखता रहा। इसने यह सब रोबोट को धीमा किए बिना या उसे बहुत बड़ा बनाए बिना किया; इसके लिए आवश्यक अतिरिक्त कार्य मामूली था, सामान्य से लगभग 1% अधिक।
भविष्य के लिए इसका क्या अर्थ है
यह शोध पत्र सुझाव देता है कि रोबोट न्यूरॉन्स को अपनी "आवृत्ति" (frequency) और जटिलता को ट्यून करने की क्षमता देकर, हम उन्हें उन समस्याओं को हल करने में मदद कर सकते हैं जिनमें केवल हिस्सों के बजाय पूरी तस्वीर को देखने की आवश्यकता होती है। लेखक दिखाते हैं कि यह दृष्टिकोण न केवल एक सैद्धांतिक ट्रिक है, बल्कि एक व्यावहारिक उपकरण भी है जो भौतिकी के समीकरणों को हल करने से लेकर चेहरों को पहचानने तक सब कुछ पर काम करता है।
हालाँकि यह पेपर साबित करता है कि TESLA इन विशिष्ट परीक्षणों पर असाधारण रूप से अच्छा काम करता है और यह सुझाव देता है कि यह मानक स्विचों के लिए एक शक्तिशाली विकल्प हो सकता है, शोधकर्ता यह नोट करने में भी सावधान हैं कि अभी भी बहुत कुछ तलाशना बाकी है। वे यह जांचने की योजना बना रहे हैं कि इन संगीतमय न्यूरॉन्स को कंप्यूटर चिप्स पर और तेज़ कैसे बनाया जाए और वे बड़े भाषा मॉडल (large language models) को लंबी, जटिल कहानियों को समझने में कैसे मदद कर सकते हैं। फिलहाल, TESLA डेटा में संगीत को सुनने के लिए मशीनों को सिखाने का एक चतुर नया तरीका है, न कि केवल नोट्स को गिनने का।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।