Entangling power of neural networks

कल्पना कीजिए कि आप अपने एक दोस्त को एक विशाल, जटिल पहेली का वर्णन करने की कोशिश कर रहे हैं, लेकिन आप उन्हें केवल दो अलग-अलग, छोटे लिफाफे ही भेज सकते हैं। एक लिफाफे में पहेली के बाएं हिस्से के टुकड़े हैं, और दूसरे में दाएं हिस्से के। सबसे बड़ा सवाल विज्ञान में यह है: आपको उन दो छोटे लिफाफों में कितनी जानकारी भरनी होगी ताकि, जब आपका दोस्त उन्हें एक साथ जोड़े, तो वे पूरी तस्वीर को पूरी तरह से फिर से बना सकें? क्वांटम भौतिकी की दुनिया में, यह समझने जैसा है कि दो दूर स्थित कण कैसे "एंटैंगल्ड" (entangled) होते हैं—एक रहस्यमयी जुड़ाव जहाँ एक की स्थिति तुरंत दूसरे को प्रभावित करती है, चाहे वे कितनी भी दूर क्यों न हों। वैज्ञानिक लंबे समय से जानते हैं कि इनमें से कुछ क्वांटम पहेलियों के लिए, उन सभी आवश्यक विवरणों को रखने के लिए "लिफाफे" असंभव रूप से विशाल होने चाहिए। लेकिन क्या होगा अगर पहेली को फिर से जोड़ने का तरीका सिर्फ एक साधारण स्टैकिंग का काम नहीं है? क्या होगा अगर पहेली को फिर से जोड़ने वाले व्यक्ति के पास एक सुपर-स्मार्ट, नॉन-लीनियर (गैर-रैखिक) मस्तिष्क हो जो दो छोटे लिफाफों को देख सके और जादुई रूप से पूरी तस्वीर का पता लगा सके? यह वह रहस्य है जिसे MIT, हार्वर्ड और कैलटेक के भौतिकविदों की एक टीम ने हल करने का निर्णय लिया। वे जानना चाहते थे कि क्या एक विशिष्ट प्रकार के गणितीय "मस्तिष्क"—एक न्यूरल नेटवर्क—का उपयोग करके, वे उन विशाल लिफाफों को कुछ प्रबंधनीय आकार में सिकोड़ सकते हैं, यहाँ तक कि सबसे जटिल क्वांटम कनेक्शनों के लिए भी।

"Entangling power of neural networks" शीर्षक वाला यह शोध पत्र इस बात को मापने का एक नया तरीका पेश करता है कि एक न्यूरल नेटवर्क इस "पुनर्गठन" (reassembly) के करतब में कितना कुशल है। लेखक, ताइगे वांग, निसार्गा पॉल और लियांग फू, एक अवधारणा प्रस्तावित करते हैं जिसे वे "एंटैंगलिंग पावर" (entangling power) कहते हैं। एक न्यूरल नेटवर्क को दो चरणों वाली प्रक्रिया के रूप में सोचें: पहले, दो "एनकोडर्स" बाएं और दाएं पक्षों से डेटा लेते हैं और उन्हें एक छोटे, साझा "लेटेंट स्पेस" (latent space) में संकुचित करते हैं (जैसे एक बड़े सूटकेस को एक छोटे बैकपैक में दबाना)। फिर, एक "डिकोडर" उन दो बैकपैक को लेता है और मूल फंक्शन या वेवफंक्शन को फिर से बनाने की कोशिश करता है। पुराने दिनों में, वैज्ञानिक ज्यादातर यह अनुमान लगाने के लिए देखते थे कि बैकपैक में कितने आइटम थे (शमिट रैंक/Schmidt rank) ताकि कनेक्शन की जटिलता का अंदाजा लगाया जा सके। लेकिन यह शोध पत्र तर्क देता है कि डिकोडर का प्रकार भी उतना ही महत्वपूर्ण है। यदि डिकोडर केवल एक सरल, लीनियर टूल (जैसे एक बुनियादी कैलकुलेटर) है, तो वह बहुत कुछ नहीं कर सकता। हालाँकि, यदि डिकोडर एक "नॉन-लीनियर" पॉलीनोमियल (polynomial) है—एक फैंसी गणितीय फलन जो डेटा को मोड़ और घुमा सकता है—तो वह एक आश्चर्यजनक रूप से छोटे बैकपैक से भी भारी मात्रा में एंटैंगलमेंट उत्पन्न कर सकता है।

शोधकर्ताओं ने गणना की कि ये पॉलीनोमियल डिकोडर वास्तव में कितने शक्तिशाली हैं। उन्होंने पाया कि एंटैंगलमेंट उत्पन्न करने की क्षमता दो चीजों पर निर्भर करती है: लेटेंट स्पेस का आकार (मान लीजिए $K$, यानी बैकपैक की चौड़ाई) और डिकोडर की जटिलता (मान लीजिए $p$, यानी पॉलीनोमियल की डिग्री)। उनका मुख्य निष्कर्ष एक सूत्र है जो दिखाता है कि एंटैंगलिंग पावर, $E_p(K)$, $\binom{K+p}{p}$ के बराबर है। यह देखना भले ही डरावना लगे, लेकिन परिणाम अद्भुत है: भले ही आपके पास एक बहुत ही मामूली आकार का बैकपैक (छोटा $K$) हो, यदि आप एक अच्छे स्तर की जटिलता वाला डिकोडर (उच्च $p$) उपयोग करते हैं, तो नेटवर्क अनगिनत कनेक्शनों को संभाल सकता है।

इसे सिद्ध करने के लिए, लेखकों ने एक "मैक्सिमली एंटैंगल्ड" (maximally entangled) अवस्था को देखा, जो सबसे जटिल पहेली की तरह है (विशेष रूप से, $n$ बेल पेयर्स, जहाँ कॉन्फ़िगरेशन की संख्या $D = 2^n$ है)। आमतौर पर, इस अवस्था को दर्शाने के लिए एक ऐसा बैकपैक चाहिए होता है जिसका आकार कणों की संख्या के साथ तेजी से (exponentially) बढ़ता है। लेकिन यह शोध पत्र दिखाता है कि यदि आप एक पॉलीनोमियल डिकोडर का उपयोग करते हैं, तो आप उस बैकपैक के आकार को नाटकीय रूप से कम कर सकते हैं। उदाहरण के लिए, यदि आप $p = n$ डिग्री का डिकोडर उपयोग करते हैं (जहाँ $n$ कणों की संख्या है), तो आपको केवल लगभग $0.29n$ की लेटेंट स्पेस चौड़ाई की आवश्यकता होगी। इससे भी अधिक आश्चर्यजनक रूप से, यदि आप डिकोडर को वास्तव में जटिल होने देते हैं (डिग्री $p \ge 2n - 1$), तो आप संपूर्ण मैक्सिमली एंटैंगल्ड स्टेट को एक एकल वेरिएबल ($K=1$) में समाहित कर सकते हैं। यह शोध पत्र इसके लिए एक कठोर गणितीय प्रमाण प्रदान करता है, जो दिखाता है कि किसी भी फंक्शन को सटीक रूप से तब दर्शाया जा सकता है जब पॉलीनोमियल संयोजनों की संख्या उन कॉन्फ़िगरेशन से अधिक हो जिनका वर्णन करना आवश्यक है।

लेखक यह भी स्पष्ट करते हैं कि इसका अर्थ क्या नहीं है। वे बताते हैं कि हालांकि आप सैद्धांतिक रूप से किसी भी फंक्शन को एक बहुत छोटे स्थान में संकुचित कर सकते हैं यदि डिकोडर पर्याप्त जटिल है, लेकिन वह डिकोडर स्वयं बनाने के लिए असंभव रूप से जटिल हो सकता है। अपने "मैक्सिमली एंटैंगल्ड" उदाहरण में, वे दिखाते हैं कि अवस्था को $K=1$ में संकुचित करने के लिए $D-1$ (जो कि बहुत बड़ा है) की डिग्री वाले डिकोडर की आवश्यकता होती है। इसलिए, एक ट्रेड-ऑफ (समझौता) है: आप बैकपैक को बहुत छोटा बना सकते हैं, लेकिन "पुनर्गठन निर्देश" (डिकोडर) बहुत लंबे और जटिल हो जाएंगे। यह शोध पत्र स्थापित करता है कि न्यूरल नेटवर्क, अपने नॉन-लीनियर डिकोडर्स के साथ, मध्यम संसाधनों के साथ "एक्सपोनेंशियल एंटैंगलिंग पावर" रखते हैं, जिसका अर्थ है कि वे पहले की तुलना में बहुत अधिक कुशलता से जटिल क्वांटम सहसंबंधों को पकड़ सकते हैं, बशर्ते आप पर्याप्त जटिल डिकोडर का उपयोग करने के लिए तैयार हों। यह कार्य केवल क्वांटम भौतिकी पर लागू नहीं होता है; यह मशीन लर्निंग मॉडल द्वारा सामान्य सहसंबंधों को संभालने के तरीके को समझने के लिए एक नया ढांचा प्रदान करता है, यह सुझाव देते हुए कि हमारे AI मॉडलों में "नॉन-लिनियैरिटी" सूचना को संकुचित करने के लिए एक सुपरपावर है जिसे लीनियर तरीके कभी नहीं छू सकते।