Maximum entropy based testing in network models: ERGMs and constrained optimization

यहाँ घोष, कर्मकार और लाहिरी द्वारा लिखित शोध पत्र "Maximum entropy based testing in network models: ERGMs and constrained optimization" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र रैंडम नेटवर्क मॉडल में सांख्यिकीय अनुमान (Statistical Inference) की मौलिक समस्या को संबोधित करता है, जो विशेष रूप से गुडनेस-ऑफ-फिट (GoF) और टू-सैंपल टेस्टिंग (Two-Sample testing) पर केंद्रित है।

• गुडनेस-ऑफ-फिट (GoF): यह निर्धारित करना कि क्या एक देखा गया नेटवर्क (या नेटवर्कों का एक संग्रह) पूर्व-निर्धारित मापदंडों (जैसे कि एक विशिष्ट ERGM या $p_0$ के साथ Erdős-Rényi मॉडल) वाले एक विशिष्ट रैंडम ग्राफ मॉडल से उत्पन्न हुआ है।
• टू- सैंपल टेस्टिंग (Two-Sample Testing): यह निर्धारित करना कि क्या नेटवर्कों के दो स्वतंत्र नमूने (samples) एक ही अंतर्निहित वितरण (underlying distribution) से उत्पन्न हुए हैं।

मौजूदा विधियाँ अक्सर कच्चे सबग्राफ काउंट (raw subgraph counts), एडजेसेंसी मैट्रिसेस (adjacency matrices), या स्पेक्ट्रल गुणों पर निर्भर करती हैं। यह शोध पत्र मैक्सिमम एंट्रॉपी (MaxEnt) सिद्धांत पर आधारित एक नवीन दृष्टिकोण प्रस्तावित करता है, जहाँ टेस्ट स्टैटिस्टिक्स को एक बाधित एंट्रॉपी मैक्सिमाइजेशन (constrained entropy maximization) समस्या से जुड़े लैग्रेंज मल्टीप्लायर्स (Lagrange multipliers) से प्राप्त किया जाता है।

2. कार्यप्रणाली (Methodology)

मुख्य कार्यप्रणाली ग्राफों के संभाव्यता वितरण (probability distributions over graphs) के स्थान पर बाधित अनुकूलन समस्या (constrained optimization problem) को एक 'गुडनेस-ऑफ-फिट' ढांचे के रूप में प्रस्तुत करने में निहित है।

A. अनुकूलन ढांचा (The Optimization Framework)

$n$ i.i.d. ग्राफ के नमूनों $G_1, \dots, G_n$ को देखते हुए, लेखक एक सेंटर्ड मोटिफ काउंट स्टैटिस्टिक $h(G) = T(H, G) - h_0$ को परिभाषित करते हैं, जहाँ $T(H, G)$ ग्राफ $G$ में सबग्राफ (मोटिफ) $H$ की प्रतियों की संख्या है, और $h_0$ एक लक्ष्य मान (आमतौर पर शून्य के तहत अपेक्षित गणना) है।

लेखक उन भारों (weights) $w = (w_1, \dots, w_n)$ की खोज करते हैं जो सांख्यिकी के शून्य होने की बाधा के अधीन अनुभवजन्य एंट्रॉपी (empirical entropy) को अधिकतम करते हैं:
$$\max_{w} -\sum_{i=1}^n w_i \log w_i \quad \text{subject to} \quad \sum_{i=1}^n w_i h(G_i) = 0, \quad \sum w_i = 1, \quad w_i \ge 0.$$

लैग्रेंज मल्टीप्लायर्स का उपयोग करते हुए, इष्टतम भार इस प्रकार पाए जाते हैं:
$$\hat{w}_i = \frac{e^{-\hat{\lambda}_n h(G_i)}}{\sum_{j=1}^n e^{-\hat{\lambda}_n h(G_j)}}$$
जहाँ $\hat{\lambda}_n$ एक इष्टतम लैग्रेंज मल्टीप्लायर (optimal Lagrange multiplier) है, जो निम्नलिखित एस्टीमेटिंग इक्वेशन के मूल (root) के रूप में निर्धारित होता है:
$$\sum_{i=1}^n h(G_i) e^{-\hat{\lambda}_n h(G_i)} = 0.$$

B. टेस्ट स्टैटिस्टिक (The Test Statistic)

इस शोध पत्र का केंद्रीय विचार यह है कि इष्टतम लैग्रेंज मल्टीप्लायर $\hat{\lambda}_n$ स्वयं एक टेस्ट स्टैटिस्टिक के रूप में कार्य करता है।

• शून्य परिकल्पना ($H_0$) के तहत, सांख्यिकी का वास्तविक अपेक्षित मान शून्य होता है, जिसका अर्थ है कि वास्तविक लैग्रेंज मल्टीप्लायर $\lambda^\circ = 0$ है।
• वैकल्पिक परिकल्पना ($H_1$) के तहत, $\lambda^\circ \neq 0$ होता है।
• लेखक $\hat{\lambda}_n$ के अनंत वितरण (asymptotic distribution) (विशेष रूप से इसकी निरंतरता और अनंत सामान्यता/asymptotic normality) को स्थापित करते हैं ताकि वैध सांख्यिकीय परीक्षणों का निर्माण किया जा सके।

C. विश्लेषणात्मक उपकरण (Analytical Tools)

इसका विश्लेषण सांख्यिकीय भौतिकी (statistical physics) और संभाव्यता सिद्धांत (probability theory) के उन्नत उपकरणों पर अत्यधिक निर्भर है:

1. ग्राफ लिमिट थ्योरी (Graphon): सघन शासन (dense regime) में विश्लेषण करने के लिए उपयोग किया जाता है जहाँ वर्टिसों की संख्या $N \to \infty$ होती है।
2. नॉनलीन लार्ज डेविएशन थ्योरी (Nonlinear Large Deviation Theory): विशेष रूप से सघन नेटवर्कों में मेजर के संकेंद्रण (concentration of measure) को संभालने के लिए लॉग-सम-एक्सप (log-sum-exp) सन्निकटन ढांचे (Chatterjee & Dembo, 2016) का उपयोग किया जाता है।
3. पॉइसन सन्निकटन (Poisson Approximation): उस विरल शासन (sparse regime) के लिए उपयोग किया जाता है जहाँ सबग्राफ काउंट पॉइसन वितरणों में अभिसरित होते हैं।
4. Z-एस्टीमेटर थ्योरी (Z-Estimator Theory): $\hat{\lambda}_n$ की अनंत सामान्यता (asymptotic normality) को प्राप्त करने के लिए उपयोग किया जाता है।

3. मुख्य योगदान (Key Contributions)

1. नवीन टेस्ट स्टैटिस्टिक: यह शोध पत्र नेटवर्क डेटा के लिए बाधित एंट्रॉपी मैक्सिमाइजेशन से लैग्रेंज मल्टीप्लायर के उपयोग को पेश करता है। यह नेटवर्क अनुमान को शास्त्रीय अर्थमितीय (econometric) लैग्रेंज मल्टीप्लायर (Score) परीक्षणों से जोड़ता है, लेकिन इसे रैंडम ग्राफ के गैर-यूक्लिडियन, उच्च-आयामी परिवेश में विस्तारित करता है।
2. एकीकृत ढांचा (Unified Framework): यह एक एकीकृत एंट्रॉपी-आधारित ढांचा प्रदान करता है जो विभिन्न नेटवर्क विकास शासन (growth regimes) में लागू होता है:
   • निश्चित आकार (Fixed Size): वर्टिसों की निश्चित संख्या वाले ग्राफ।
   • विरल शासन (Sparse Regime): जहाँ किनारा (edge) प्रायिकता $p \to 0$ होती है (जैसे कि विरल Erdős-Rényi)।
   • सघन शासन (Dense Regime): जहाँ $p = \Theta(1)$ होता है (जैसे कि सघन Erdős-Rényi और उप-क्रांतिक फेरोमैग्नेटिक ERGMs)।
3. तकनीकी सफलताएं:
   • सभी शासनों में लैग्रेंज मल्टीप्लायर रूट की अस्तित्व और विशिष्टता (existence and uniqueness) को सिद्ध करता है।
   • विरल और निश्चित-आकार वाले शासन में $\hat{\lambda}_n$ की निरंतरता (consistency) और अनंत सामान्यता (asymptotic normality) स्थापित करता है।
   • सघन शासन के लिए तीव्र अभिसरण दर (sharp convergence rates) ($O(m^{-2})$) प्राप्त करता है, जहाँ सबग्राफ काउंट के लिए मानक सेंट्रल लिमिट थ्योरम (CLT) ERGMs में फेज ट्रांजिशन जटिलताओं के कारण सीधे लागू नहीं होते हैं।

4. मुख्य परिणाम (Main Results)

A. वर्टिसों की निश्चित संख्या (Fixed Number of Vertices)

• परिणाम: $\hat{\lambda}_n$ निरंतर (consistent) और अनंत रूप से सामान्य (asymptotically normal) है।
• परीक्षण: एक GoF परीक्षण बनाया जाता है जहाँ रिजेक्शन रीजन (rejection region) $\sqrt{n}\hat{\lambda}_n$ पर आधारित होता है। इसे स्तर $\alpha$ का और निरंतर (consistent) दिखाया गया है।

B. विरल शासन ($N \to \infty, p \to 0$)

• संदर्भ: Erdős-Rényi ग्राफ $G(N, p)$ पर लागू किया गया है जहाँ सबग्राफ काउंट पॉइसन वितरण का पालन करते हैं।
• परिणाम: सेंटर्ड और स्केल्ड लैग्रेंज मल्टीप्लायर एक सेंट्रल लिमिट थ्योरम का पालन करता है।
  $$\sqrt{n}(\hat{\lambda}_n - \lambda^\circ) \xrightarrow{d} N(0, \sigma^2)$$
• उपयोग: यह किनारे की प्रायिकता $p$ के लिए एक निरंतर GoF परीक्षण और दो विरल नेटवर्कों की तुलना करने के लिए एक टू-सैंपल परीक्षण प्रदान करता है।

C. सघन शासन ($N \to \infty, p = \Theta(1)$)

• संदर्भ: उप-क्रांतिक (ferromagnetic) शासन में ERGMs और सघन Erdős-Rényi ग्राफों पर लागू।
• चुनौती: मानक CLT विफल हो जाता है; व्यवहार ग्राफोन (graphons/free energy) पर वेरिएशनल समस्याओं द्वारा नियंत्रित होता है।
• परिणाम: लेखक सिद्ध करते हैं कि $m^2 (\hat{\lambda}_n - \lambda^\circ)$ एक नियत मान (deterministic constant) या शून्य की ओर अभिसरित होता है, जो परिकल्पना पर निर्भर करता है।
  • यदि $H_0$ सत्य है ($\lambda^\circ = 0$), तो अभिसरण दर $o(m^{-2})$ है।
  • यदि $H_1$ सत्य है ($\lambda^\circ < 0$), तो अंतर $m^{-2}$ के रूप में स्केल होता है।
• परीक्षण: दो नमूनों से लैग्रेंज मल्टीप्लायर्स की तुलना करके एक टू-सैंपल परीक्षण बनाया जाता है। यदि पैरामीटर भिन्न होते हैं, तो टेस्ट स्टैटिस्टिक $m^2 |\hat{\lambda}_n - \tilde{\lambda}_n|$ अनंत की ओर जाता है, जो निरंतर परीक्षण की अनुमति देता है।

5. महत्व और निहितार्थ (Significance and Implications)

• सैद्धांतिक एकीकरण: यह शोध पत्र सांख्यिकीय यांत्रिकी (statistical mechanics) (MaxEnt, ERGMs, free energy) और सांख्यिकीय अनुमान (statistical inference) (hypothesis testing) के बीच के अंतर को पाटता है। यह प्रदर्शित करता है कि एंट्रॉपी मैक्सिमाइजेशन में "ड्यूल" चर (dual variable)—अर्थात लैग्रेज मल्टीप्लायर—परीक्षण के लिए आवश्यक सांख्यिकीय जानकारी वहन करता है।
• अर्थशास्त्र (Econometrics) से संबंध: यह नेटवर्क डेटा के लिए शास्त्रीय लैग्रेंज मल्टीप्लायर (Score) परीक्षण को पुनर्जीवित करता है, यह दिखाते हुए कि ग्राफ लिमिट्स की जटिलता के बावजूद, मल्टीप्लायर का अनंत व्यवहार (asymptotic behavior) एक शक्तिशाली अनुमान उपकरण बना रहता है।
• मजबूती (Robustness): कार्यप्रणाली विभिन्न नेटवर्क एसिम्प्टोटिक्स (asymptotics) के लिए एक एकल वैचारिक रणनीति (बाधित अनुकूलन) प्रदान करते हुए विभिन्न विरलता स्तरों में मजबूत है।
• भावी दिशाएँ: लेखक सुझाव देते हैं कि इस ढांचे को सामान्य ERGMs में कई मापदंडों के परीक्षण के लिए वेक्टर-वैल्यूड लैग्रेंज मल्टीप्लायर्स में विस्तारित किया जा सकता है और संभावित रूप से ERGMs के सुपरक्रिटिकल शासन में भी, जो एक चुनौतीपूर्ण खुला प्रश्न बना हुआ है।

संक्षेप में, यह शोध पत्र रैंडम नेटवर्कों में परिकल्पना परीक्षण के लिए प्राथमिक उपकरण के रूप में बाधित एंट्रॉपी मैक्सिमाइजेशन के उपयोग के लिए एक कठोर सैद्धांतिक आधार स्थापित करता है, जो विरल और सघन दोनों ग्राफ शासनों के लिए निरंतर परीक्षण प्राप्त करने के लिए संबंधित लैग्रेंज मल्टीप्लायर्स के अनंत गुणों का लाभ उठाता है।