The Quantum Shortcut: Complex Phase-State Dynamics Reduce the Optimization Steps of Sequence Models
यह शोध पत्र प्रदर्शित करता है कि मानक वास्तविक-मान वाले हिडन स्टेट सबस्ट्रेट को एक जटिल-मान वाले, क्वांटम-प्रेरित विकल्प से बदलने से स्टेट-स्पेस और अटेंशन-आधारित सीक्वेंस मॉडल्स दोनों के प्रशिक्षण अभिसरण (ट्रेनिंग कन्वर्जेंस) में महत्वपूर्ण तेजी आती है, हालांकि दीर्घकालिक प्रदर्शन लाभ केवल स्टेट-स्पेस आर्किटेक्चर में ही बना रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस), विशेष रूप से वे प्रणालियाँ जो टेक्स्ट लिखती हैं, भाषाओं का अनुवाद करती हैं और वाक्य में अगले शब्द की भविष्यवाणी करती हैं, एक विशिष्ट प्रकार के गणितीय इंजन पर निर्भर करती हैं। ये इंजन सूचना को कई परतों (layers) के माध्यम से प्रवाहित करके जानकारी को संसाधित करते हैं, ठीक वैसे ही जैसे एक संकेत एक लंबे तार के माध्यम से यात्रा करता है। दशकों से, इन इंजनों को बनाने का मानक तरीका वास्तविक संख्याओं (real numbers) का उपयोग करना रहा है, जो कि वे परिचित गिनती वाली संख्याएँ और दशमलव हैं जिनका हम दैनिक जीवन में उपयोग करते हैं। इस मानक सेटअप में, इंजन पिछली जानकारी को याद रखने के लिए अपने आंतरिक संकेतों के आकार को मजबूत रखता है। हालाँकि, जैसे-जैसे सूचना समय में और पीछे जाती है, उसके संकेत स्वाभाविक रूप से कमजोर होते जाते हैं, जैसे एक लंबे गलियारे में गूँजती हुई फुसफुसाहट धीरे-धीरे कम हो जाती है। जब संकेत बहुत छोटा हो जाता है, तो मशीन प्रभावी रूप से यह भूल जाती है कि वाक्य की शुरुआत में क्या हुआ था, जिससे लंबी डेटा अनुक्रमों (sequences) से सीखना कठिन हो जाता है। यह क्षय (fading) वर्तमान डिज़ाइन की एक मौलिक सीमा है, जो शोधकर्ताओं को मशीन को याद रखने के लिए भारी मात्रा में डेटा और समय का उपयोग करने के लिए मजबूर करती है।
शोधकर्ताओं की एक टीम ने इस क्षय की समस्या को दूर करने का एक तरीका खोजा है, और वह है उस संख्या प्रणाली को बदलना जिसका उपयोग मशीन सोचने के लिए करती है। केवल वास्तविक संख्याओं पर निर्भर रहने के बजाय, उन्होंने इन भाषा मॉडलों का एक संस्करण बनाया जो जटिल संख्याओं (complex numbers) का उपयोग करता है। जहाँ वास्तविक संख्याओं में केवल एक मान होता है, वहीं जटिल संख्याओं में दो अलग-अलग जानकारी होती है: एक आकार (size) और एक दिशा या कोण (angle)। शोधकर्ताओं ने पाया कि महत्वपूर्ण जानकारी को आकार के बजाय कोण में संग्रहीत करके, मशीन बिना अपनी स्मृति खोए बहुत आगे तक यात्रा कर सकती है। भले ही नेटवर्क के माध्यम से चलते समय संकेत का आकार सिकुड़ जाए, कोण पूरी तरह से स्पष्ट और अपरिवर्तित रहता है। यह मशीन को वाक्य की शुरुआत के संदर्भ को अंत तक बनाए रखने की अनुमति देता है, बिना संकेत के कभी भी मौन में बदले।
शोधकर्ताओं ने इस नए दृष्टिकोण का परीक्षण करने के लिए दो अलग-अलग प्रकार के भाषा मॉडल बनाए, एक मानक डिज़ाइन पर आधारित और दूसरा एक नए, अधिक कुशल डिज़ाइन पर आधारित। उन्होंने प्रत्येक का एक "कॉम्प्लेक्स" (complex) संस्करण बनाया, जिसमें वास्तविक संख्याओं को जटिल संख्याओं से बदल दिया गया, और फिर उन्हें तीन अलग-अलग टेक्स्ट सेट पर प्रशिक्षित किया, जो 100 मेगाबाइट के छोटे संग्रह से लेकर 15 गीगाबाइट के विशाल डेटा तक विस्तृत थे। परिणाम चौंकाने वाले थे। छोटे, नए डिज़ाइन पर, कॉम्प्लेक्स मॉडल ने मानक मॉडल के समान सटीकता स्तर केवल लगभग एक-तिहाई प्रशिक्षण चरणों (training steps) में प्राप्त कर लिया। बड़े, अधिक पारंपरिक डिज़ाइन पर, इसने लगभग आधे चरणों में वही स्तर प्राप्त किया। इसका अर्थ यह है कि नए मॉडलों ने बहुत कम डेटा और समय का उपभोग करते हुए उतनी ही जानकारी सीखी।
इस खोज को जो बात विशेष रूप से सुदृढ़ बनाती है, वह यह है कि यह लाभ तुरंत दिखाई दिया, लेकिन दोनों डिज़ाइनों का व्यवहार प्रशिक्षण के दौरान अलग-अलग होता गया। शोधकर्ताओं ने देखा कि कॉम्प्लेक्स मॉडल प्रशिक्षण के पहले ही सौ चरणों में आगे निकल गए। महत्वपूर्ण रूप से, उन्होंने पाया कि इस गति वृद्धि (speedup) की प्रकृति दोनों आर्किटेक्चर के बीच भिन्न थी। नए डिज़ाइन (स्टेट-स्पेस मॉडल) के मामले में, कॉम्प्लेक्स मॉडल और मानक मॉडल के बीच का अंतर प्रशिक्षण के दौरान वास्तव में बढ़ता गया, जो यह सुझाव देता है कि यह लाभ नए डिज़ाइन की एक स्थायी विशेषता है न कि केवल शुरुआत की एक क्षणिक घटना। पुराने डिज़ाइन (अटेंशन-आधारित मॉडल) के लिए, लाभ शुरुआत में सबसे मजबूत था और फिर धीरे-धीरे कम होता गया, जो प्रशिक्षण की प्रगति के साथ शून्य की ओर झुक गया। इस गिरावट के बावजूद, शुरुआती बढ़त इतनी पर्याप्त थी कि उस विशिष्ट आर्किटेक्चर के लिए प्रशिक्षण समय को आधा किया जा सका।
शोधकर्ताओं ने यह सुनिश्चित करने के लिए सावधानी बरती कि यह गति वृद्धि केवल अधिक कंप्यूटिंग शक्ति जोड़ने या मॉडलों के आकार को बदलने के कारण नहीं थी। उन्होंने दोनों संस्करणों को इतनी सटीकता से मिलाया कि उनके पास समायोज्य भागों (adjustable parts) की संख्या बिल्कुल समान थी, जो एक प्रतिशत के सौवें हिस्से से भी कम का अंतर रखती थी। उन्होंने दोनों के लिए बिल्कुल एक ही प्रशिक्षण कार्यक्रम और कंप्यूटर हार्डवेयर का उपयोग किया। इस सख्त नियंत्रण ने पुष्टि की कि गति में अंतर पूरी तरह से जटिल संख्याओं के उपयोग और उनके द्वारा सूचना को संसाधित करने के तरीके से आया। अध्ययन ने इस विचार को भी खारिज कर दिया कि कॉम्प्लेक्स मॉडल केवल अपनी शुरुआती स्थितियों के कारण भाग्यशाली थे; विभिन्न आकार के टेक्स्ट और विभिन्न मॉडल आर्किटेक्चर में निरंतर लाभ ने यह संकेत दिया कि यह मशीन के सीखने के तरीके में एक मौलिक सुधार है।
इस कार्य का सबसे दिलचस्प पहलू यह है कि यह मशीन विरोधाभासी जानकारी को कैसे संभालती है। एक मानक मॉडल में, यदि मशीन अनिश्चित है कि एक अनुक्रम संख्याओं का वर्ष है या कीमत, तो उसे एक संभावना को दूसरी संभावना को दबाने के लिए अपने आंतरिक संकेत को छोटा करना पड़ता है जब तक कि वह गायब न हो जाए। कॉम्प्लेक्स मॉडल में, मशीन इसके बजाय संकेत के कोण को घुमा सकती है। यदि दो संभावनाओं में संघर्ष है, तो मशीन उन्हें इस तरह घुमा सकती है कि वे 'इंटरफेरेंस' (interference) नामक प्रक्रिया के माध्यम से एक-दूसरे को रद्द कर दें, ठीक वैसे ही जैसे शोर रद्द करने वाले (noise-canceling) हेडफ़ोन शोर के विपरीत ध्वनि तरंग बनाकर काम करते हैं। यह मशीन को सही विचार की शक्ति खोए बिना गलत विचार को त्यागने की अनुमति देता है, जो एक ऐसी क्षमता है जिसे मानक मॉडल नहीं कर सकते।
शोधकर्ताओं ने नोट किया कि जबकि कॉम्प्लेक्स मॉडल तेजी से सीखे, कुछ व्यावहारिक समझौते (trade-offs) भी थे। इन कार्यों के लिए उपयोग किए जाने वाले कंप्यूटर चिप्स वर्तमान में वास्तविक संख्याओं के लिए अनुकूलित (optimized) हैं, इसलिए कॉम्प्लेक्स मॉडलों को चलाने के लिए प्रति चरण थोड़ी अधिक प्रोसेसिंग शक्ति की आवश्यकता थी। नए मॉडल डिज़ाइन के लिए, इस अतिरिक्त लागत का अर्थ था कि प्रशिक्षण का कुल समय मानक संस्करण के लगभग बराबर ही रहा, भले ही इसमें चरणों की संख्या कम थी। हालाँकि, कॉम्प्लेक्स मॉडल ने समान गुणवत्ता तक पहुँचने के लिए बहुत कम डेटा का उपभोग किया, जो उन विशिष्ट कार्यों के लिए एक बड़ा लाभ है जहाँ डेटा की कमी होती है। पुराने मॉडल डिज़ाइन के लिए, शोधकर्ताओं के पास तुलना करने के लिए मानक मॉडल का अनुकूलित संस्करण नहीं था, इसलिए वे अभी यह नहीं कह सकते थे कि क्या कॉम्प्लेक्स संस्करण वास्तविक दुनिया के समय (clock time) में तेज़ होगा, लेकिन डेटा दक्षता में लाभ स्पष्ट था।
यह कार्य सुझाव देता है कि मॉडल का चयन उसके आर्किटेक्चर जितना ही महत्वपूर्ण है। वर्षों से, शोधकर्ता इस बात पर ध्यान केंद्रित कर रहे हैं कि मशीन सूचना को कैसे रूट करती है, लेकिन यह अध्ययन दिखाता है कि मशीन जिस भाषा में सोचती है उसे बदलकर भी बड़े लाभ प्राप्त किए जा सकते हैं। कॉम्प्लेक्स मॉडलों ने न केवल थोड़ा तेज़ सीखा; उन्होंने सीखने की प्रक्रिया की दक्षता को मौलिक रूप से बदल दिया, डेटा के एक अंश के साथ उच्च प्रदर्शन स्तर प्राप्त किया। शोधकर्ताओं ने निष्कर्ष निकाला कि हालांकि उनका वर्तमान संस्करण सिद्धांत के सख्त गणितीय नियमों को शिथिल करने वाला एक व्यावहारिक अनुकूलन है, फिर भी यह सिद्ध करने के लिए पर्याप्त है कि कॉम्प्लेक्स दृष्टिकोण बड़े पैमाने पर काम करता है। उन्होंने अपना सारा कोड और प्रशिक्षण लॉग जारी कर दिया है, ताकि अन्य लोग परिणामों को सत्यापित कर सकें और इस बात की खोज कर सकें कि सोचने का यह नया तरीका अगली पीढ़ी की कृत्रिम बुद्धिमत्ता को कैसे बेहतर बना सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।