Neural Network Field Theory at Finite Width

तकनीकी सारांश: परिमित चौड़ाई पर न्यूरल नेटवर्क फील्ड थ्योरी

समस्या विवरण
यह शोध पत्र न्यूरल नेटवर्क (NN) के उपयोग से क्वांटम मैकेनिक्स (QM) और क्वांटम फील्ड थ्योरीज (QFT) के प्रतिनिधित्व की सीमाओं की जांच करता है, जिनमें पैरामीटर्स की संख्या सीमित ($N < \infty$) होती है। जबकि पिछले कार्यों ने यह स्थापित किया था कि किसी भी गैर-ऋणात्मक माप (non-negative measure) वाले QM या QFT को यादृच्छिक पैरामीटर्स के एक गणनीय अनंत (countably infinite) सेट वाले न्यूरल नेटवर्क के माध्यम से सटीक रूप से दर्शाया जा सकता है, परिमित चौड़ाई (finite width) तक सीमित होने पर इन निरूपणों के गुण स्पष्ट नहीं हैं। मुख्य प्रश्न यह है कि: पारंपरिक यूक्लिडियन QFT के कौन से मौलिक गुण (जैसे कि रिफ्लेक्शन पॉजिटिविटी, क्लस्टर डिकंपोजिशन, और फील्ड कॉन्फ़िगरेशन की विशिष्ट प्रकृति) परिमित $N$ पर सटीक रूप से संरक्षित रह सकते हैं, और कौन से गुणों का उल्लंघन होना अनिवार्य है?

एक महत्वपूर्ण सूक्ष्मता जिसे संबोधित किया गया है, वह यह है कि बोरेल आइसोमोर्फिज्म प्रमेय (Borel isomorphism theorem) के माध्यम से, एक एकल यादृच्छिक पैरामीटर औपचारिक रूप से अनंत मात्रा में जानकारी को एनकोड कर सकता है। इसलिए, लेखक "पैरामीटर-गिनती" के अर्थ में "परिमित" और "कंप्यूटेशनल या आर्किटेक्चरल" अर्थ में "परिमित" के बीच अंतर करते हैं। यह विश्लेषण प्राकृतिक परिमित-चौड़ाई वाले आर्किटेक्चर पर केंद्रित है, जैसे कि निश्चित फीचर्स या यादृच्छिक इनपुट वेट्स वाले सिंगल-लेयर नेटवर्क, जो एक सीमित पैरामीटर सेट के भीतर अनंत गणनाओं को छिपा नहीं सकते हैं।

कार्यप्रणाली
लेखक परिमित-चौड़ाई वाले न्यूरल नेटवर्क एन्सेम्बल का विश्लेषण करने के लिए कार्यात्मक विश्लेषण (functional analysis), स्पेक्ट्रल थ्योरी और कंस्ट्रक्टिव QFT तकनीकों के संयोजन का उपयोग करते हैं। कार्यप्रणाली दो मुख्य चरणों में आगे बढ़ती है:

1. क्वांटम मैकेनिक्स (1D): लेखक क्वांटम प्रक्षेपवक्रों (trajectories) का प्रतिनिधित्व करने वाली स्टोकेस्टिक प्रक्रियाओं $x(t)$ का विश्लेषण करते हैं। वे कोसाम्बी-कारहुनेन-लोएव्ल (KKL) विस्तार का उपयोग करते हैं, जो अपने कोवेरिएंस ऑपरेटर के आइगेनफंक्शंस के आधार पर एक स्टोकेस्टिक प्रक्रिया का इष्टतम ऑर्थोगोनल अपघटन प्रदान करता है। वे मानक QM (ओस्टरवाल्डर-श्रेडर अभिलेखों से प्राप्त) के अनंत-रैंक वाले कोवेरिएंस कर्नेल और किसी भी परिमित-चौड़ाई वाले न्यूरल नेटवर्क के परिमित-रैंक वाले कर्नेल के बीच तुलना करते हैं।
2. क्वांटम फील्ड थ्योरी (d $\ge$ 2): विश्लेषण सामान्यीकृत रैंडम फील्ड्स (श्वार्ट्ज डिस्ट्रीब्यूशन) की ओर स्थानांतरित हो जाता है। लेखक तीन विशिष्ट बाधाओं की जांच करते हैं:
   • कोइन्सिडेंट-पॉइंट लिमिट्स (Coincident-Point Limits): वे दो-बिंदु फलनों (two-point functions) के व्यवहार का विश्लेषण करते हैं जब बिंदु मिलते हैं ($x \to y$), जो QFT में बिंदुओं के मिलने पर (UV सिंगुलैरिटी के कारण) आमतौर पर विचलन (diverge) प्रदर्शित करते हैं।
   • मोमेंटम-स्पेस विश्लेषण: वे फील्ड कॉन्फ़िगरेशन के फूरियर ट्रांसफॉर्म के सपोर्ट की जांच करते हैं, जिसका उपयोग क्लस्टर डिकंपोजिशन (mixing) गुण के माध्यम से विशिष्ट फील्ड ड्रॉ के मोमेंटम कंटेंट को निर्धारित करने के लिए किया जाता है।
   • डिस्ट्रीब्यूशनल न्यूरॉन्स: वे यह परीक्षण करते हैं कि क्या न्यूरॉन्स को स्वयं श्वार्ट्ज डिस्ट्रीब्यूशन (साधारण फलनों के बजाय) के रूप में अनुमति देने से परिमित नेटवर्क और QFT फील्ड कॉन्फ़िगरेशन के बीच के अंतर को हल किया जा सकता है।

मुख्य योगदान और परिणाम

1. क्वांटम मैकेनिक्स में बाधा (परिमित N)
यह शोध पत्र सिद्ध करता है कि एक परिमित-चौड़ाई वाला न्यूरल नेटवर्क एक पारंपरिक क्वांटम मैकेनिकल सिस्टम के सहसंबंध फलनों (correlation functions) को सटीक रूप से पुनरुत्पादित नहीं कर सकता है जो ओस्टरवाल्डर-श्रेडर (OS) अभिलेखों का पालन करते हैं।

• डायमेंशन-काउंटिंग तर्क: मानक QM पाथ इंटीग्रल्स निरंतर, कहीं भी अवकलनीय नहीं (nowhere-differentiable) पथों (जैसे ब्राउनियन मोशन) पर आधारित होते हैं। पीसवाइज डिफरेंशिएबल फलनों का एक परिमित योग (मानक न्यूरॉन्स) ऐसे पथ उत्पन्न करता है जो लगभग हर जगह अवकलनीय (differentiable almost everywhere) होते हैं, जिससे वे वास्तविक मेज़र की 'नोवेयर-डिफरेंशिएबल' प्रकृति को पकड़ने में विफल रहते हैं।
• KKL इष्टतमता तर्क: एक गैर-तुच्छ QM सिस्टम का कोवेरिएंस कर्नेल अनंत संख्या में स्ट्रिक्टली पॉजिटिव आइगेनवैल्यू (अनंत रैंक) रखता है। एक परिमित-चौड़ाई वाला नेटवर्क एक परिमित-आयामी उप-स्थान (subspace) पर प्रोजेक्शन के अनुरूप होता है। KKL विस्तार की इष्टतमता के आधार पर, कोई भी परिमित ट्रंकेशन एक गैर-शून्य मीन-स्क्वायर एरर (mean-square error) उत्पन्न करता है। विशेष रूप से, लेखक दिखाते हैं कि किसी भी परिमित फीचर स्पेस के लिए, फंक्शन स्पेस में एक ऐसा दिशा मौजूद है जहाँ नेटवर्क का वेरिएंस शून्य है, जबकि वास्तविक QM प्रक्रिया प्रत्येक गैर-शून्य दिशा में स्ट्रिक्टली पॉजिटिव वेरिएंस रखती है (लेम्मा 2)।

2. क्वांटम फील्ड थ्योरी में बाधाएं (परिमित N)
$d \ge 2$ के लिए, लेखक पहचानते हैं कि परिमित-चौड़ाई वाले नेटवर्क जेनेरिक रूप से कम से कम एक OS अभिलेख का उल्लंघन करते हैं।

• कोइन्सिडेंट-पॉइंट डायवर्जेंस: पारंपरिक QFTs, जिनमें गैर-तुच्छ कैलें-लेहमैन (Källén-Lehmann) निरूपण होते हैं, कोइन्सिडेंट पॉइंट्स पर डायवर्जेंट दो-बिंदु फलनों को प्रदर्शित करते हैं (जो $d=2$ में लॉगरिदमिक और $d>2$ में पावर-लॉ प्रकार का होता है)।
  • परिणाम: कोई भी परिमित-चौड़ाई वाला आर्किटेक्चर जहाँ न्यूरॉन आउटपुट का पॉइंटवाइज वेरिएंस सीमित है (एक ऐसी स्थिति जो मानक सक्रियण जैसे ReLU या सीमित मोमेंट वाले पैरामीटर्स द्वारा संतुष्ट होती है), एक सीमित स्मियर्ड वेरिएंस (smeared variance) देता है। फलस्वरूप, ऐसे नेटवर्क एक गैर-तुच्छ QFT के आवश्यक UV डायवर्जेंस को पुनरुत्पादित नहीं कर सकते।
  • अपवाद: लेखक दिखाते हैं कि यदि एक सीमित-वेरिएंस की स्थिति को शिथिल किया जाता है (उदाहरण के लिए, हेवी-टेल्ड पैरामीटर डिस्ट्रीब्यूशन या सिंगुलर एम्प्लीट्यूड का उपयोग करके), तो एक परिमित-चौड़ाई वाला (यहाँ तक कि चौड़ाई-1 वाला) नेटवर्क सही दो-बिंदु फलन और रिफ्लेक्शन पॉजिटिविटी को पुनरुत्पादित कर सकता है। हालांकि, इसके लिए व्यावहारिक मोंटे कार्लो सैंपलिंग के लिए "अभौतिक" (unphysical) पैरामीटर सांख्यिकी की आवश्यकता होगी।
• मोमेंटम-स्पेस बाधा (क्लस्टर डिकंपोजिशन):
  • परिणाम: क्लस्टर डिकंपोजिशन (मिक्सिंग) की धारणा के तहत, एक विशिष्ट फील्ड ड्रॉ का फूरियर सपोर्ट पूरे मोमेंटम स्पेस $\mathbb{R}^d$ पर होना चाहिए।
  • बाधा: एक परिमित-चौड़ाई वाला सिंगल-लेयर नेटवर्क $\phi_\theta(x) = \sum_{i=1}^N w_i \sigma_i(a_i \cdot x + b_i)$ का फूरियर ट्रांसफॉर्म केवल $N$ रेखाओं के यूनियन पर समर्थित (supported) होता है (इनपुट वेट्स $a_i$ के समानुपाती)। चूंकि $d \ge 2$ के लिए रेखाओं का एक परिमित यूनियन $\mathbb{R}^d$ का एक मेज़र-जीरो सबसेट है, इसलिए नेटवर्क क्लस्टर वाले QFT द्वारा आवश्यक पूर्ण मोमेंटम सपोर्ट को पुनरुत्पादित नहीं कर सकता है। यह क्लस्टर डिकंपोजिशन या उच्च-बिंदु फलनों (higher-point functions) में रिफ्लेक्शन पॉजिटिविटी के उल्लंघन की ओर ले जाता है।
• डिस्ट्रीब्यूशनल न्यूरॉन्स: भले ही न्यूरॉन्स को सामान्यीकृत करके श्वार्ट्ज डिस्ट्रीब्यूशन (जिससे नेटवर्क आउटपुट एक डिस्ट्रीब्यूशन के बजाय एक फंक्शन बन जाता है) बनाया जाए, फिर भी परिमित-रैंक बाधा बनी रहती है। डिस्ट्रीब्यूशन का एक परिमित योग अभी भी एक अनंत-आयामी कर्नेल छोड़ देता है जहाँ फील्ड नियत (deterministic) होती है, जो गैर-तुच्छ कैलें-लेहमैन कोवेरिएंस का खंडन करती है, जिसके लिए सभी दिशाओं में उतार-चढ़ाव (fluctuations) की आवश्यकता होती है।

महत्व और दावे
शोध पत्र निष्कर्ष निकालता है कि परिमित-चौड़ाई वाले न्यूरल नेटवर्क, QM और QFT के पूर्ण ओस्टरवाल्डर-श्रेडर अभिलेखों के साथ मौलिक रूप से असंगत हैं।

• सटीक वास्तविकता: एक पारंपरिक QFT को न्यूरल नेटवर्क के माध्यम से सटीक रूप से साकार करने के लिए, या तो अनंत-चौड़ाई सीमा ($N \to \infty$) लेनी होगी, या ऐसे आर्किटेक्चर/पैरामीटर घनत्वों का उपयोग करना होगा जो स्पष्ट रूप से मानक भौतिक धारणाओं (जैसे कि अनंत-वेरिएंस पैरामीटर्स का उपयोग करना या क्लस्टर डिकंपोजिशन का त्याग करना) का उल्लंघन करते हैं।
• परिमित-N सिद्धांतों की प्रकृति: परिमित-$N$ न्यूरल नेटवर्क द्वारा परिभाषित सिद्धांत केवल मानक QFT के "अनुमान" (approximations) नहीं हैं; वे अलग, "विचित्र" (exotic) सिद्धांत हैं जो अनिवार्य रूप से यूक्लिडियन कोवेरियेंस, रिफ्लेक्शन पॉजिटिविटी, या क्लस्टर डिकंपोजिशन जैसे गुणों का अभाव रखते हैं।
• व्यावहारिक निहितार्थ: हालांकि परिमित-चौड़ाई वाले नेटवर्क मानक QFT को सटीक रूप से पुनरुत्पादित नहीं कर सकते, फिर भी लेखक नोट करते हैं कि संख्यात्मक अध्ययनों (जैसे लिउविल थ्योरी, मैक्सवेल थ्योरी) में उनके संक्षिप्त अनुमानों का उपयोग किया जाता है। हालांकि, इन अनुमानों के सांख्यिकीय गुण लक्षित सिद्धांत से मेल खाने की गारंटी नहीं देते हैं, और त्रुटियां केवल संख्यात्मक नहीं बल्कि संरचनात्मक हैं।

यह कार्य नए प्रयोगात्मक अनुप्रयोगों का प्रस्ताव नहीं करता है, बल्कि निरंतर क्वांटम सिस्टम के प्रतिनिधित्व के रूप में परिमित-चौड़ाई वाले न्यूरल नेटवर्क की सीमाओं का एक कठोर सैद्धांतिक लक्षण वर्णन करता है। यह सुझाव देता है कि भविष्य के शोध को $N$ के फलन के रूप में OS अभिलेखों के उल्लंघन की डिग्री को मापने और यह वर्गीकृत करने पर ध्यान केंद्रित करना चाहिए कि परिमित चौड़ाई पर किन संयोजनों को संरक्षित किया जा सकता है।