तकनीकी सारांश: उच्च-आयामी इष्टतम परिवहन (Optimal Transport) के लिए उत्तल विश्राम दृष्टिकोण (Convex Relaxation Approaches)

1. समस्या विवरण

यह शोध पत्र उच्च-आयामी वितरणों को हल करने में निहित कम्प्यूटेशनल और सांख्यिकीय चुनौतियों को संबोधित करता है। यद्यपि इष्टतम परिवहन (OT) ज्यामितीय निष्ठा के साथ प्रायिकता वितरणों की तुलना करने के लिए एक शक्तिशाली ढांचा है, लेकिन इसका अनुप्रयोग "आयामीता के अभिशाप" (curse of dimensionality) से बाधित है। विशेष रूप से, मानक OT सॉल्वर की कम्प्यूटेशनल लागत नमूना आकार (sample size) के साथ तेजी से बढ़ती है, और वासेरस्टीन दूरी (Wasserstein distance) का अनुमान लगाने के लिए आवश्यक नमूना जटिलता (sample complexity) आयाम $d$ के साथ घातांकीय रूप से बढ़ती है। मौजूदा आयास-न्यूनीकरण रणनीतियाँ, जैसे कि न्यूरल नेटवर्क पैरामीट्रिज़ेशन (जिनमें गैर-उत्तल अनुकूलन के कारण मजबूत सैद्धांतिक गारंटी का अभाव है) या स्लाइसड वासेरस्टीन दूरियाँ (जो अनुमान तो लगाती हैं लेकिन वास्तविक दूरी को पुनः प्राप्त नहीं करती हैं), अक्सर निरंतर उच्च-आयामी वितरणों के लिए एक स्केलेबल और सैद्धांतिक रूप से सुदृढ़ समाधान प्रदान करने में विफल रहती हैं।

2. कार्यप्रणाली

लेखक उत्तल विश्राम दृष्टिकोणों (convex relaxation approaches) के एक परिवार का प्रस्ताव करते हैं जो उच्च-आयामी वितरणों के भीतर स्थानीयता (locality) और विरलता (sparsity) का लाभ उठाते हैं। पूर्ण संयुक्त परिवहन योजना $\pi \in \mathcal{P}(X \times Y)$ पर अनुकूलन करने के बजाय, ये विधियाँ निम्न-क्रम के मार्जिनल्स (marginals) और विरल मोमेंट सांख्यिकी (sparse moment statistics) का उपयोग करके समस्या का अनुमान लगाती हैं।

2.1 संरचनात्मक धारणाएँ

यह दृष्टिकोण $d$-आयामी निर्देशांकों को $K$ क्लस्टरों में विभाजित करने और एक संदर्भ ग्राफ $G$ को परिभाषित करने पर आधारित है जो सहसंबंध संरचना को दर्शाता है।

• क्लस्टर विभाजन: निर्देशांकों को क्लस्टरों $z_k = (x_k, y_k)$ में समूहीकृत किया जाता है।
• संदर्भ ग्राफ: एक ग्राफ $G$, जिसके शीर्ष (vertices) क्लस्टरों का प्रतिनिधित्व करते हैं और किनारे (edges) युग्व (pairwise) अंतःक्रियाओं का प्रतिनिधित्व करते हैं। विधि यह मानती है कि निर्भरता ग्राफ दूरी के साथ घटती है, जिससे विरल सन्निकटन (sparse approximations) संभव हो पाते हैं।

2.2 विश्राम ढांचे (Relaxation Frameworks)

शोध पत्र दो प्राथमिक स्तर के विश्राम प्रस्तुत करता है:

1. मार्जिनल विश्राम (Marginal Relaxation):

   • मूल OT समस्या को केवल एकल क्लस्टरों ($\pi_k$) और ग्राफ $G$ में जुड़े क्लस्टरों के युग्मों ($\pi_{ij}$) से संबंधित मार्जिनल्स पर बाधाएं लागू करके विश्राम दिया जाता है।
   • धनात्मकता (Positivity): वैश्विक माप की गैर-ऋणात्मकता को इन मार्जिनल्स के ब्लॉक मैट्रिक्स पर पॉजिटिव सेमीडेफिनिट (PSD) बाधाओं के रूप में विश्राम दिया जाता है।
   • प्रारूप (Formulations): लेखक तीन संस्करण परिभाषित करते हैं:
     • $(OT_{mar})$: इसमें PSD बाधाएं और गैर-ऋणात्मकता शामिल है (डबली नॉन-नेगेटिव प्रोग्रामिंग)।
     • $(OT^1_{mar})$: वैश्विक PSD बाधा को हटा देता है, जिससे एक लीनियर प्रोग्रामिंग (LP) समस्या प्राप्त होती है।
     • $(OT^2_{mar})$: गैर-ऋणात्मकता बाधा को हटा देता है, जिससे एक सेमीडेफिनिट प्रोग्राम (SDP) प्राप्त होता है जिसे कॉर्डल रूपांतरण (chordal conversion) के माध्यम से आगे कम किया जा सकता है।

2. क्लस्टर मोमेंट विश्राम (Cluster Moment Relaxation):

   • निरंतर वितरणों को स्थानिक विविक्तीकरण (spatial discretization) के बिना संभालने के लिए, मार्जिनल विश्रामों का आगे सम-ऑफ-स्क्वायर्स (SOS) मोमेंट विश्राम का उपयोग करके अनुमान लगाया जाता है।
   • वितरणों पर अनुकूलन करने के बजाय, चर एक बहुपद आधार (polynomial basis) के क्रम $n$ से प्राप्त परिमित-आयामी मोमेंट मैट्रिसेस ($M_k, M_{ij}$) होते हैं।
   • मुख्य नवाचार: मानक SOS पदानुक्रमों (जैसे, मुला और नौई [44]) के विपरीत, जिन्हें क्रम $n$ तक के सभी मोनॉमियल्स के मोमेंट्स की आवश्यकता होती है (जिससे $O(d^{2n})$ जटिलता होती है), यह विधि संदर्भ ग्राफ के स्थानीय क्लस्टरों और किनारों तक आधार को सीमित करती है।
   • जटिलता: परिणामी SDP केवल मोमेंट्स के विरल संग्रहों (sparse collections) को शामिल करता है। यदि क्लस्टर का आकार और विश्राम की डिग्री स्थिर है, तो समस्या का आकार $d$ के साथ रैखिक रूप से स्केल करता है (विशेष रूप से $O(d)$), जिसे कॉर्डल अपघटन (chordal decomposition) के माध्यम से हल किया जा सकता है यदि ग्राफ $G$ का ट्री-विड्थ (tree-width) सीमित हो।

2.3 परिवहन मानचित्र निष्कर्षण (Transport Map Extraction)

विश्रमित SDP के द्वैत चर (dual variables) अनुमानित कांतोरोविच पोटेंशियल (Kantorovich potentials) प्रदान करते हैं। चुने गए बहुपद आधार के विस्तार (span) तक इन पोटेंशियल्स को प्रतिबंधित करके, लेखक एक स्पष्ट परिवहन मानचित्र $\hat{T}(x) = x - \frac{1}{2}\nabla \hat{f}(x)$ का निर्माण करते हैं, जो न्यूरल नेटवर्क-आधारित जनरेटिव मॉडलों का एक व्याख्या योग्य विकल्प है।

3. मुख्य योगदान और सैद्धांतिक परिणाम

3.1 विरल परिशुद्धता वाले गाऊसी मॉडल (Gaussian Models with Sparse Precision)

गाऊसी मापों $\mu = \mathcal{N}(m_1, \Sigma_1)$ और $\nu = \mathcal{N}(m_2, \Sigma_2)$ के लिए जहाँ परिशुद्धता मैट्रिक्स (precision matrices) ग्राफ $G$ के सापेक्ष विरल हैं:

• घातांकीय अभिसरण (Exponential Convergence): लेखक सिद्ध करते हैं कि क्लस्टर मोमेंट विश्राम (विशेष रूप से डिग्री-1) संदर्भ ग्राफ $G_h$ की कनेक्टिविटी त्रिज्या $h$ बढ़ने के साथ अनुमान त्रुटि में घातांकीय अभिसरण दर प्राप्त करता है। त्रुटि सीमा $C d \rho^{-h}$ के रूप में है।
• सुधारित नमूना जटिलता: विरल विश्राम के लिए सांख्यिकीय त्रुटि सीमा $O(\sqrt{d/N} + |E(G)|/N)$ है। विरल ग्राफों के लिए जहाँ $|E(G)| = O(d)$ है, यह सघन (dense) विश्राम सीमा $O(\sqrt{d/N} + d^2/N)$ में सुधार करता है, जो दर्शाता है कि विरलता का लाभ उठाने से आवश्यक नमूनों की संख्या काफी कम हो जाती है।

3.2 मीन-फील्ड मापों के स्थानीय व्यवधान (Local Perturbations of Mean-Field Measures)

मीन-फील्ड उत्पाद मापों के स्थानीय व्यवधानों वाले वितरणों के लिए:

• अनुमान सीमाएँ: दिखाया गया है कि मार्जिनल विश्राम वासेरस्टीन दूरी की अग्रणी-क्रम ज्यामिति (leading-order geometry) को कैप्चर करता है, जो भारित ऋणात्मक समरूप सोबोलेव नॉर्म (weighted negative homogeneous Sobolev norm) के अनुरूप है।
• सांख्यिकीय त्रुटि: निश्चित विश्रम डिग्री और सीमित क्लस्टर आकार के तहत, सांख्यिकीय त्रुटि $O(d N^{-1/2})$ के रूप में स्केल करती है, जिसका अर्थ है $O(d^2 \epsilon^{-2})$ की नमूना जटिलता। यह मानक OT अनुमान में पाए जाने वाले $d$ पर घातांकीय निर्भरता की तुलना में एक महत्वपूर्ण सुधार है।

3.3 सामान्य सांख्यिकीय सीमाएँ

सामान्य वितरणों के लिए जो समान गाऊसी टेल (tail) स्थितियों को पूरा करते हैं, शोध पत्र स्थापित करता है कि क्लस्टर मोमेंट SDP की सांख्यिकीय त्रुटि आयाम $d$ के बजाय स्थानीय ब्लॉकों और ग्राफ किनारों ($K + |E(G)|$) की संख्या द्वारा नियंत्रित होती है। विरल निश्चित-डिग्री शासन (fixed-degree regime) में, त्रुटि $d$ के साथ रैखिक रूप से स्केल करती है।

4. संख्यात्मक परिणाम

व्यापक प्रयोग विभिन्न सेटिंग्स में सैद्धांतिक दावों को मान्य करते हैं:

• गाऊसी वितरण: क्लस्टर मोमेंट विश्राम कनेक्टिविटी त्रिज्या $h$ के संबंध में घातांकीय अभिसरण प्रदर्शित करता है। यह सटीकता और कम्प्यूटेशनल दक्षता दोनों में वैनिला OT सॉल्वर (Sinkhorn) और ICNN बेसलाइन को पछाड़ता है, और जैसे-जैसे आयाम $d$ बढ़कर 1000 होता है, भी कम सापेक्ष त्रुटि और रनिंग टाइम बनाए रखता है।
• गैर-गाऊसी उत्पाद माप (Beta): यह विधि गैर-गाऊसी उत्पाद मापों के लिए उच्च सटीकता (सापेक्ष त्रुटि $\approx 10^{-3}$) बनाए रखती है, जबकि वैनिला OT सॉल्वर आयाम बढ़ने के साथ तेजी से खराब हो जाते हैं।
• आइसिंग मॉडल (Ising Models): डिस्क्रीट आइसिंग मॉडल के लिए, मार्जिनल विश्राम OT लागत पर सटीक LP समाधानों की तुलना में कई गुना तेज़ रनिंग टाइम के साथ टाइट लोअर बाउंड प्रदान करता है।
• जनरेटिव मॉडलिंग (Ginzburg-Landau और MNIST): निकाले गए परिवहन मानचित्र ऐसे नमूने उत्पन्न करते हैं जो लक्षित मार्जिनल्स से मेल खाते हैं। गिंजबर्ग-लौडौ मॉडल में, यह स्लाइसड वासेरस्टीन दूरी में नॉर्मलाइजिंग फ्लो, ICNNs और Sinkhorn-आधारित मानचित्रों को पछाड़ता है। MNIST (एक 6D PCA स्पेस में) पर, यह विधि पहचानने योग्य अंक नमूने उत्पन्न करती है।

5. महत्व और दावे

शोध पत्र दावा करता है कि मार्जिनल और क्लस्टर मोमेंट्स पर आधारित उत्तल विश्राम, उच्च-आयामी इष्टतम परिवहन के लिए आयाम न्यूनीकरण का एक आशाजनक मार्ग प्रदान करते हैं।

• स्केलेबिलिटी: स्थानीय संरचनाओं और विरलता का लाभ उठाकर, यह विधि मानक OT और पूर्ण मोमेंट पदानुक्रमों की घातांकीय जटिलता से बचती है, और विशिष्ट संरचनात्मक धारणाओं के तहत आयाम में रैखिक स्केलिंग प्राप्त करती है।
• सैद्धांतिक गारंटी: न्यूरल नेटवर्क दृष्टिकोणों के विपरीत, प्रस्तावित विधि कठोर सन्निकटन और सांख्यिकीय त्रुटि सीमाएँ प्रदान करती है, विशेष रूप से विरल गाऊसी और मीन-फील्ड व्यवधान मॉडलों के लिए।
• व्याख्यात्मकता (Interpretability): यह दृष्टिकोण बहुपद क्षमता (polynomial potentials) से प्राप्त स्पष्ट परिवहन मानचित्र प्रदान करता है, जो गहरे जनरेटिव मॉडलों का एक सरल, व्याख्या योग्य विकल्प है।
• मजबूती (Robustness): प्रायोगिक परिणाम बताते हैं कि यह विधि गैर-गाऊसी सेटिंग्स में भी मजबूत है जहाँ सैद्धांतिक गारंटी कम स्पष्ट है, और उन मामलों में भी प्रदर्शन बनाए रखती है जहाँ पारंपरिक विविक्तीकरण-आधारित विधियाँ विफल हो जाती हैं।

लेखक निष्कर्ष निकालते हैं कि ये विश्राम 'डायमेंशनलिटी के अभिशाप' को प्रभावी ढंग से कम करते हैं, जिससे उच्च-आयामी OT, विस्तृत श्रेणी के संरचित वितरणों के लिए कम्प्यूटेशनल और सांख्यिकीय रूप से व्यवहार्य बन जाता है।