तकनीकी सारांश: सुचारू और व्याख्यात्मक नॉर्मलाइजिंग फ्लो के लिए विश्लेषणात्मक बाइजेक्शन (Analytic Bijections)

1. समस्या विवरण

नॉर्मलाइजिंग फ्लो (Normalizing flows) एक सरल आधार घनत्व (आमतौर पर गाऊसी/Gaussian) को एक जटिल लक्ष्य वितरण में रूपांतरित करके प्रायिकता वितरणों को सीखते हैं। इन फ्लो की अभिव्यक्ति (expressivity) और प्रशिक्षण स्थिरता मौलिक रूप से उन स्केलर बाइजेक्शन (scalar bijections) के चयन से बाधित होती है जिनका उपयोग कपलिंग या ऑटोरेग्रेसिव परतों में किया जाता है। मौजूदा दृष्टिकोण एक महत्वपूर्ण समझौते (trade-off) का सामना करते हैं:

• एफाइन रूपांतरण (जैसे Real NVP) सुचारू ($C^\infty$) हैं, $\mathbb{R}$ पर परिभाषित हैं, और विश्लेषणात्मक रूप से प्रतिवर्ती (invertible) हैं, लेकिन उनमें स्थानीय अभिव्यक्ति की कमी है, जिसके कारण बहु-मोडल (multimodal) या भारी-पूंछ (heavy-tailed) संरचनाओं को पकड़ने के लिए कई परतों की आवश्यकता होती है।
• मोनोटोनिक स्प्लाइन्स (जैसे Neural Spline Flows) सूक्ष्म स्थानीय नियंत्रण प्रदान करते हैं लेकिन केवल खंडित रूप से सुचारू ($C^k$ सीमित $k$ के लिए) हैं और सीमित डोमेन पर कार्य करते हैं।
• रेसिडुअल फ्लो और संबंधित सुचारू निर्माण वैश्विक सुचारूता प्राप्त करते हैं, लेकिन व्युत्क्रम (inversion) के लिए संख्यात्मक रूट-फाइंडिंग (numerical root-finding) की आवश्यकता होती है, जो गणनात्मक रूप से महंगी और अस्थिर हो सकती है।

यह शोध पत्र ऐसे स्केलर बाइजेक्शन के लिए एक अंतराल की पहचान करता जो एक साथ वैश्विक रूप से सुचारू ($C^\infty$), संपूर्ण $\mathbb{R}$ पर परिभाषित, बंद रूप (closed form) में विश्लेषणात्मक रूप से प्रतिवर्ती, और स्थानीय विरूपण (local deformations) करने में सक्षम हों।

2. कार्यप्रणाली

2.1 विश्लेषणात्मक बाइजेक्शन (Analytic Bijections)

लेखक दो निर्माण सिद्धांतों—बीजगणितीय परिमेय फलनों (algebraic rational functions) और मोनोटोनिक मानचित्रों के साथ संयुग्मन (conjugation)—से व्युत्पन्न तीन पैरामेट्रिक बाइजेक्शन परिवारों को पेश करते हैं। ये तीनों परिवार पाँचों वांछित गुणों को पूरा करते हैं: वैश्विक सुचारूता, वैश्विक डोमेन, बंद रूप में प्रतिवर्तीता, सुलभ जैकोबियन (tractable Jacobian), और अभिव्यंजक पैरामीट्रिकरण।

1. क्यूबिक रेशनल बाइजेक्शन (Cubic Rational Bijection):
   बीजगणितीय परिमेय फलनों पर आधारित जहाँ व्युत्क्रम एक समाधान योग्य क्यूबिक समीकरण में बदल जाता है।
   $$h(x) = x + \frac{\lambda(x - \gamma)}{1 + (x - \gamma)^2/\sigma^2}$$
   यह रूप एक स्थानीय विरूपण के रूप में कार्य करता है (जब $|x| \to \infty$ तो विक्षोभ शून्य हो जाता है) जबकि टेल व्यवहार (tail behavior) को सुरक्षित रखता है। व्युत्क्रम की गणना कार्डानो के सूत्र (Cardano's formula) के माध्यम से की जाती है। बाइजेक्टिविटी को $-1 < \lambda < 8$ और $\sigma > 0$ द्वारा प्रतिबंधित किया गया है।

2. साइन हाइपरबोलिक संयुग्मन (Sinh Conjugation):
   एक सख्त मोनोटोनिक फलन $g$ (विशेष रूप से $\sinh$) के साथ शिफ्ट के संयुग्मन पर आधारित।
   $$h(x) = \sigma \cdot \text{arcsinh}\left(e^\mu \left(e^\nu \sinh\left(\frac{x-\gamma}{\sigma}\right) + \delta\right)\right) + \gamma$$
   यह स्थानीय विरूपण ( $\delta$ के माध्यम से) और वैश्विक शिफ्ट ($\mu, \nu$ के माध्यम से) दोनों का समर्थन करता है, जिससे दूर स्थित बिंदुओं को एक स्थिर ऑफसेट द्वारा विस्थापित किया जा सकता है।

3. क्यूबिक संयुग्मन (Cubic Conjugation):
   एक क्यूबिक बहुपद $g(x) = ax + bx^3$ के संयुग्मन पर आधारित।
   $$h(x) = g^{-1}(g(x - \gamma) + \delta) + \gamma$$
   क्यूबिक रेशनल की तरह, यह पूरी तरह से बीजगणितीय है और व्युत्क्रम के लिए कार्डानो के सूत्र की आवश्यकता होती है, लेकिन यह एक संयुग्मन संरचना का पालन करता है।

इन बाइजेक्शनों को स्टैक (संयोजित) किया जा सकता है ताकि अभिव्यक्ति बढ़ सके, जो कपलिंग और ऑटोरेग्रेसिव आर्किटेक्चर में एफाइन मैप्स या स्प्लाइन्स के स्थान पर सीधे उपयोग किए जा सकते हैं।

2.2 रेडियल फ्लो (Radial Flows)

लेखक एक नया आर्किटेक्चर, रेडियल फ्लो, प्रस्तावित करते हैं, जो कोणीय दिशा $\hat{x}$ को संरक्षित करते हुए रेडियल समन्वय $r = \|x\|$ को रूपांतरित करने के लिए विश्लेषणात्मक बाइजेक्शन का लाभ उठाता है।

• रूपांतरण: $g(x) = c + \frac{f(\|s \odot (x-c)\|)}{\|s \odot (x-c)\|}(x-c)$, जहाँ $c$ एक सीखने योग्य केंद्र है और $s$ प्रति-विमा स्केलिंग है।
• जैकोबियन: लॉग-डिटरमिनेंट का एक सरल बंद रूप है: $\log |f'(r)| + (n-1)\log |f(r)/r|$।
• कोणीय निर्भरता: रेडियल बाइजेक्शन $f$ के पैरामीटर (2D में कोण $\phi$ के माध्यम से) एक ट्रंकेटेड फूरियर श्रृंखला (truncated Fourier series) के माध्यम से निर्भर कर सकते हैं, जिससे प्रायिकता द्रव्यमान का नियंत्रित और व्याख्यात्मक कोणीय पुनर्वितरण संभव होता है।
• लाभ: रेडियल फ्लो प्रत्यक्ष पैरामीट्रिकरण (रेडियल रूपांतरण के लिए कंडीशनर नेटवर्क की आवश्यकता नहीं) की अनुमति देते हैं, जिससे असाधारण प्रशिक्षण स्थिरता (कपलिंग फ्लो के $10^{-4}$ की तुलना में $\sim 10^{-2}$ लर्निंग रेट) और ज्यामितीय व्याख्यात्मकता मिलती है।

3. मुख्य योगदान

1. तीन पैरामेट्रिक परिवार: क्यूबिक रेशनल, साइन हाइपरबोलिक संयुग्मन, और क्यूबिक संयुग्मन बाइजेक्शनों का परिचय जो एक साथ वैश्विक सुचारूता, अनबाउंड डोमेन, बंद रूप में प्रतिवर्तीता और स्थानीय अभिव्यक्ति को संतुष्ट करते हैं।
2. रेडियल फ्लो आर्किटेक्चर: रेडियल निर्देशांकों को रूपांतरित करने के लिए प्रत्यक्ष पैरामीट्रिकरण का उपयोग करने वाला एक नया आर्किटेक्चर। यह दृष्टिकोण ज्यामितीय व्याख्यात्मकता और उच्च प्रशिक्षण स्थिरता प्रदान करता है।
3. व्यापक मूल्यांकन: 1D और 2D बेंचमार्क, घनत्व अनुमान कार्यों (CIFAR-10, UCI टैबुलर), और एक भौतिकी अनुप्रयोग ($\phi^4$ लैटिस फील्ड थ्योरी) पर विस्तृत संख्यात्मक मूल्यांकन।

4. परिणाम

4.1 1D और 2D बेंचमार्क

• 1D स्टैक्स: तीनों बाइजेक्शन प्रकार स्टैक गहराई के साथ क्रमिक सुधार दिखाते हैं। $N=27$ पर, क्यूबिक संयुग्मन लगभग $99\%$ प्रभावी नमूना आकार (Effective Sample Size - ESS) और अग्रगामी KL डाइवर्जेंस $\approx 3.5 \times 10^{-3}$ प्राप्त करता है।
• 2D कपलिंग फ्लो: स्पाइरल वितरण पर, क्यूबिक संयुग्मन ($N=9$) एफाइन ($DKL \approx 0.8$) और स्प्लाइन ($DKL \approx 0.45$) बेसलाइन दोनों को पछाड़ते हुए $DKL \approx 0.35$ प्राप्त करता है।
• रेडियल फ्लो: 2D स्पाइरल पर, केवल 319 पैरामीटर्स के साथ एक सिंगल-लेयर फूरियर रेडियल फ्लो उच्च निष्ठा ($NLL \approx -0.74$) प्राप्त करता है, जो आदेशों के क्रम अधिक पैरामीटर्स वाले कपलिंग फ्लो के तुलनीय है। रेडियल फ्लो अक्ष-संरेखित (axis-aligned) कपलिंग फ्लो में सामान्य "फोल्डिंग" आर्टिफैक्ट्स के बिना स्मूथ डेंसिटी उत्पन्न करते हैं।

4.2 घनत्व अनुमान बेंचमार्क (Density Estimation Benchmarks)

• CIFAR-10: Real NVP में एफाइन बाइजेक्शन को 8 विश्लेषणात्मक बाइजेक्शन के स्टैक ("RealNVP+") से बदलने पर बेसलाइन की तुलना में सभी तीन वेरिएंट्स में टेस्ट बिट्स प्रति डायमेंशन (BPD) में $\approx 0.12$ का सुधार होता है।
• UCI टैबुलर: "स्प्लाइन+" हाइब्रिड (साइन हाइपरबोलिक संयुग्मन का स्टैक जिसके बाद रेशनल-क्वाड्रेटिक स्प्लाइन है) POWER और BSDS300 पर प्रकाशित RQ-NSF(C) के आंकड़ों से मेल खाता है या उनसे बेहतर प्रदर्शन करता है। शुद्ध साइन वेरिएंट सभी डेटासेट्स पर प्रतिस्पर्धी है और MINIBOON पर सबसे मजबूत है।

4.3 भौतिकी अनुप्रयोग: $\phi^4$ लैटिस फील्ड थ्योरी

• स्केलिंग: $20 \times 20$ लैटिस (400 डायमेंशन) पर लागू किया गया। विश्लेषणात्मक बाइजेक्शन (क्यूबिक रेशनल, क्यूबिक, साइन हाइपर}$, एफाइन और स्प्लाइन बेसलाइन की तुलना में ESS में लगातार बेहतर प्रदर्शन करते हैं, जिसमें क्यूबिक रेशनल उच्चतम ($39.66\%$ बनाम एफाइन के लिए $31.85\%$) प्राप्त करता है।
• मोड कोलैप्स (Mode Collapse): द्वि-मोडल (bimodal) शासन ($Z_2$ समरूपता) में, मानक प्रशिक्षण मोड कोलैप्स से ग्रस्त होता है। लेखक एक जीरो-मोड बाइजेक्शन (शून्य-आवृत्ति फूरियर मोड के परिमाण को रूपांतरित करने वाला) पेश करते हैं जिसे अलग से प्रशिक्षित किया जाता है। यह प्री-ट्रेनिंग रणनीति दोनों मोड्स के संतुलित नमूनाकरण को सुनिश्चित करती है, जिससे उच्च ESS बनाए रखते हुए मोड कोलैप्स को रोका जा सकता है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि ये विश्लेषणात्मक बाइजेक्शन नॉर्मलाइजिंग फ्लो में सुचारूता, प्रतिवर्तीता और अभिव्यक्ति के बीच लंबे समय से चले आ रहे समझौते को हल करते हैं।

• सुचारूता: स्प्लाइन्स के विपरीत, सीखे गए घनत्व वैश्विक रूप से $C^\infty$ हैं, जो वैज्ञानिक अनुप्रयोगों के लिए अत्यंत महत्वपूर्ण है जिन्हें उच्च-क्रम के डेरिवेटिव (जैसे लॉग-संभाव्यता के दूसरे डेरिवेटिव) की आवश्यकता होती है।
• स्थिरता: रेडियल फ्लो दर्शाते हैं कि प्रत्यक्ष पैरामीट्रिकरण कपलिंग फ्लो की तुलना में एक आदेश अधिक प्रशिक्षण स्थिरता प्रदान कर सकता है।
• व्याख्यात्मकता: रेडियल आर्किटेक्चर और फूरियर पैरामीट्रिकरण ज्यामितीय रूप से सहज रूपांतरणों की अनुमति देते हैं जिन्हें देखा और समझा जा सकता है, जिससे जटिल कपलिंग कंडीशनर की "ब्लैक बॉक्स" प्रकृति से बचा जा सके।
• दक्षता: रेडियल संरचना वाले लक्ष्यों के लिए, रेडियल फ्लो $1000\times$ कम पैरामीटर्स के साथ कपलिंग फ्लो के समान गुणवत्ता प्राप्त करते हैं।

लेखक निष्कर्ष निकालते हैं कि ये उपकरण ऐसे तरीके प्रदान करते हैं जिससे सुचारू, स्थिर और व्याख्यात्मक स्केलर बाइजेक्शन का निर्माण किया जा सके, जो न केवल कपलिंग फ्लो बल्कि ऑटोरेग्रेसिव फ्लो और मैनिफोल्ड-आधारित आर्किटेक्चर के लिए भी लागू होते हैं। वे इस बात पर जोर देते हैं कि हालांकि रेडियल फ्लो वर्तमान में कम आयामों तक सीमित हैं, विश्लेषणात्मक बाइजेक्शन स्वयं उच्च-आयामी समस्याओं के लिए मजबूत बिल्डिंग ब्लॉक्स के रूप में कार्य करते हैं।