Minimal Filling Architectures of Polynomial Neural Networks: Counterexamples, Frontier Search, and Defects

तकनीकी सारांश: बहुपद तंत्रिका नेटवर्क (Polynomial Neural Networks) के न्यूनतम फिलिंग आर्किटेक्चर

समस्या विवरण
यह शोध पत्र न्यूरो-अलजेब्रिक ज्योमेट्री (neuroalgebraic geometry) में एक मौलिक प्रश्न को संबोधित करता है: बहुपद तंत्रिका नेटवर्क (PNNs) के संरचनात्मक गुणों की जांच। विशेष रूप से, यह "न्यूनतम यूनिमोडल अनुमान" (Minimal Unimodal Conjecture - [8] में कंजेक्चर 12) की जांच करता है। यह अनुमान प्रस्तावित करता है कि पावर एक्टिवेशन फंक्शन ($\sigma(z) = z^r$) वाले PNNs के लिए, कोई भी मिनिमल फिलिंग आर्किटेक्चर (MFA)—जिसे निश्चित इनपुट/आउटपुट आयामों के लिए संपूर्ण कार्यात्मक स्थान (neurovariety) को स्पैन करने में सक्षम सबसे छोटा नेटवर्क कॉन्फ़िगरेशन माना जाता है—में यूनिमोडल (unimodal) हिडन लेयर चौड़ाई होनी चाहिए। अर्थात, लेयर की चौड़ाई का क्रम एक शिखर तक बढ़ना चाहिए और फिर घटना चाहिए ($d_0 \le \dots \le d_i \ge \dots \le d_L$)। यह परिकल्पना मशीन लर्निंग में प्रचलित "पारंपरिक धारणा" के अनुरूप है कि नेटवर्क पैटर्न को पकड़ने के लिए क्षमता का विस्तार करते हैं और फिर उन्हें परिष्कृत करने के लिए संकुचित होते हैं।

कार्यप्रणाली
लेखक इस अनुमान का परीक्षण करने के लिए बीजगणितीय ज्यामिति (algebraic geometry), प्रतीकात्मक गणना (symbolic computation), और एल्गोरिद्मिक खोज के संयोजन का उपयोग करते हैं:

1. बीजगणितीय ढांचा (Algebraic Framework): अध्ययन पैरामीटर मैप $\Psi_{d,r}$ का उपयोग करता है, जो नेटवर्क वेट्स को समरूप बहुपदों (homogeneous polynomials) के स्थान (neurovariety $V_{d,r}$) में मैप करता है। एक आर्किटेक्चर "फिलिंग" (filling) तब होता है जब उसके न्यूरोवेरिटी का आयाम, एम्बिएंट स्पेस (full symmetric tensor space) के आयाम के बराबर होता है।
2. आयाम सत्यापन (Dimension Verification): यह निर्धारित करने के लिए कि क्या कोई आर्किटेक्चर फिलिंग है, लेखक पैरामीटर मैप के जैकोबियन (Jacobian) के जेनेरिक रैंक (generic rank) की गणना करते हैं। चूंकि बड़े नेटवर्क के लिए सटीक प्रतीकात्मक रैंक गणना कठिन है, इसलिए वे जेनेरिक रैंक निर्धारित करने के लिए फिनिट फील्ड कंप्यूटेशन (finite field computations - $\mathbb{F}_p$ पर) का उपयोग करते हैं। यदि फिनिट फील्ड पर रैंक एम्बिएंट आयाम से मेल खाती है, तो आर्किटेक्चर फिलिंग है।
3. रिकर्सिव बाउंड्स (Recursive Bounds): यह सिद्ध करने के लिए कि आर्किटेक्चर न्यूनतम (minimal) है (अर्थात कोई भी उप-आर्किटेक्चर फिलिंग नहीं है), लेखक [8] में लेम्मा 2.4 से प्राप्त रिकर्सिव डायमेंशन बाउंड्स लागू करते हैं। यह उन्हें अपने घटक भागों के आयामों के योग में से इंटरफेस चौड़ाई को घटाकर एक उप-आर्किटेक्चर के आयाम को सीमित करने की अनुमति देता है।
4. फ्रंटियर सर्च एल्गोरिदम (Frontier Search Algorithm): MFAs की खोज के लिए, लेखकों ने एक "फ्रंटियर सर्च" एल्गोरिदम (एल्गोरिदम 1) विकसित किया है। यह एल्गोरिदम निम्नलिखित के आधार पर उम्मीदवार हिडन लेयर चौड़ाई का प्रस्ताव करता है और खोज स्थान को कम (pruning) करता है:
   • नैव डायमेंशन बाउंड्स (Naive dimension bounds)।
   • पिछले खोजों से ज्ञात परिणाम (न्यूनतम फिलिंग और अधिकतम गैर-फिलिंग आर्किटेक्चर के सेट बनाए रखना)।
   • न्यूनतमता की परिभाषा: यदि कोई उम्मीदवार 'फिलिंग' है, तो सभी बड़े आर्किटेक्चर को हटा दिया जाता है; यदि वह 'फिलिंग' नहीं है, तो सभी छोटे आर्किटेक्चर को हटा दिया जाता है।

प्रमुख योगदान और परिणाम

• न्यूनतम यूनिमोडल अनुमान का प्रति-उदाहरण (Counterexample): प्राथमिक योगदान यूनिमोडल अनुमान के लिए एक प्रति-उदाहरण की खोज और प्रमाण है। लेखकों ने आर्किटेक्चर $d = (2, 3, 4, 5, 4, 6, 4, 1)$ (पावर $r=2$, इनपुट 2, आउटपुट 1, गहराई 7 के साथ) की पहचान की, जो एक मिनिमल फिलिंग आर्किटेक्चर है लेकिन यूनिमोडल नहीं है।

  • फिलिंग का प्रमाण: उन्होंने सत्यापित किया कि न्यूरोवेरिटी का आयाम 65 है, जो एम्बिएंट स्पेस $\dim(\text{Sym}^{2^6}(\mathbb{R}^2) \oplus \mathbb{R}^1)$ से मेल खाता है।
  • न्यूनतमता का प्रमाण: उन्होंने प्रदर्शित किया कि किसी भी एकल हिडन लेयर की चौड़ाई को एक से कम करने पर प्राप्त होने वाला प्रत्येक उप-आर्किटेक्चर फिलिंग नहीं रहता है। यह दिखाया गया कि इन उप-आर्किटेक्चरों के आयाम 65 से कम हैं, जिसे फिनिट फील्ड गणना और रिकर्सिव बाउंड्स दोनों का उपयोग करके सिद्ध किया गया।

• बड़े डिफेक्ट्स (Large Defects) की खोज: अपने प्रति-उदाहरण और उसके उप-आर्किटेक्चरों का विश्लेषण करते समय, लेखकों ने "लार्ज डिफेक्टिविटी" (large defectivity) देखी। 'डिफेक्ट' को अपेक्षित आयाम (पैरामीटर गणना के आधार पर) और न्यूरोवेरिटी के वास्तविक आयाम के बीच के अंतर के रूप में परिभाषित किया गया है। पिछले उदाहरणों के विपरीत जहाँ डिफेक्ट कम थे, प्रति-उदाहरण के कई उप-आर्किटेक्चरों में महत्वपूर्ण डिफेक्ट देखे गए, जो इस धारणा को चुनौती देते हैं कि विशिष्ट कॉन्फ़िगरेशन में डिफेक्ट नगण्य होते हैं।

• व्यवस्थित खोज परिणाम: अपने फ्रंटियर सर्च एल्गोरिदम का उपयोग करते हुए, लेखकों ने $d_0=2, d_L=1, r=2$ के लिए $L=7$ गहराई तक MFAs को सूचीबद्ध किया।

  • $L=7$ के लिए, उन्होंने 13 MFAs पाए, जिनमें से केवल एक (उपरोक्त प्रति-उदाहरण) ही गैर-यूनिमोडल था।
  • $L=8$ के लिए, उन्होंने 82 MFAs पाए, जिनमें से 20 गैर-यूनिमोडल थे।
  • उन्होंने $L \le 7$ के लिए सत्यापित MFAs की एक तालिका प्रदान की, यह नोट करते हुए कि हालांकि उन्होंने $L \le 7$ के लिए पूर्णता (completeness) को सत्यापित किया है, लेकिन बड़े $L$ के लिए पूर्णता को सिद्ध करने की एक सामान्य विधि अभी भी एक खुला प्रश्न है।

• अतिरिक्त प्रति-उदाहरण: लेखकों ने $d_0=d_L=2$ और $L=9$ के साथ एक दूसरा, गहरा प्रति-उदाहरण भी पहचाना ($d=(2, 3, 4, 4, 10, 17, 11, 12, 4, 2)$), जो यह दर्शाता है कि विभिन्न कॉन्फ़िगरेशन में गैर-यूनिमोडल MFA मौजूद हैं।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह बहुपद तंत्रिका नेटवर्क के लिए न्यूनतम यूनिमोडल अनुमान का पहला प्रति-उदाहरण प्रदान करता है, जिससे इस विचार को गलत सिद्ध किया गया है कि न्यूनतम अभिव्यक्तता (expressivity) के लिए हमेशा एक यूनिमोडल चौड़ाई अनुक्रम की आवश्यकता होती है।

लेखक अपने कार्य के महत्व को निम्नलिखित रूप में विनम्रतापूर्वक प्रस्तुत करते हैं:

• सैद्धांतिक सुधार: ये परिणाम बीजगणितीय ज्यामिति के संदर्भ में नेटवर्क आर्किटेक्चर दक्षता के संबंध में "पारंपरिक धारणा" को सुधारते हैं।
• डिफेक्टिविटी अंतर्दृष्टि: बड़े डिफेक्ट्स की खोज यह सुझाव देती है कि कौन से आर्किटेक्चर डिफेक्टिव हैं, इसके बारे में व्यवस्थित समझ की कमी है, जो कार्यात्मक स्थानों (function spaces) की ज्यामिति के अनुसंधान के लिए एक नया मार्ग खोलती है।
• व्यावहारिक निहितार्थ: लेखक सुझाव देते हैं कि MFA को समझना पावर एक्टिवेशन के लिए आर्किटेक्चर चयन को सूचित कर सकता है, विशेष रूप से कम-डिग्री वाले बहुपद सक्रियणों (जो गणनात्मक रूप से कुशल हैं लेकिन अभिव्यक्ति को सीमित कर सकते हैं) को उन आर्किटेक्चर के साथ जोड़ने में जो पूर्व-निर्धारित रूप से अत्यधिक अभिव्यंजक हैं।
• भविष्य की दिशाएं: शोध पत्र में कई अगले चरणों की पहचान की गई है, जिसमें व्यापक बहुपद सक्रियण परिवारों (जैसे चेबिशेव बेसिस) तक विस्तार करना, $\Pi$-नेट्स पर न्यूरो-अलजेब्रिक ज्योमेट्री को लागू करना, और MFAs बनाम अधिकतम गैर-फिलिंग आर्किटेक्चर के प्रशिक्षण गतिकी (training dynamics) की तुलना करना शामिल है।

लेखक यह दावा नहीं करते हैं कि उन्होंने मनमाने गहराई के लिए सभी MFAs को चरित्रित करने की सामान्य समस्या को हल कर लिया है या बड़े डिफेक्ट्स के ज्यामितीय कारणों को पूरी तरह से समझा है, बल्कि उन्होंने गैर-यूनिमोडल मिनिमल फिलिंग्स के अस्तित्व को स्थापित किया है और इस घटना को और अधिक खोजने के लिए कम्प्यूटेशनल उपकरण और डेटा प्रदान किया है।