Positive-definiteness in separable priors: effects on prior interpretability and inference

तकनीकी सारांश: सेपरेबल प्रायर्स (Separable Priors) में धनात्मक-निश्चितता (Positive-definiteness)

समस्या विवरण

बायेसियन सांख्यिकी में, सममित धनात्मक-निश्चित (PD) मैट्रिसेस (जैसे कोवेरियेंस, प्रिसिजन, या सहसंबंध मैट्रिसेस) के लिए प्रायर्स का निर्माण अक्सर स्वतंत्र प्रविष्टियों (entries) को मानकर और तत्पश्चात संयुक्त वितरण को PD मैट्रिसेस के स्थान तक सीमित (truncate) करके किया जाता है। इस प्रकार के प्रायर्स, जिन्हें PD-सेपरेबल ($p^+$) कहा जाता है, को $p^+(\Theta) = p(\Theta)I(\Theta \succ 0) / c$ के रूप में परिभाषित किया गया है, जहाँ $p(\Theta)$ एक सेपरेबल प्रायर है जिसके प्रविष्टियाँ स्वतंत्र हैं, $I(\cdot)$ धनात्मक-निश्चितता का संकेतक फलन है, और $c = P_p(\Theta \succ 0)$ सामान्यीकरण स्थिरांक (normalizing constant) है।

यद्यपि यह अवधारणात्मक रूप से सरल और गणनात्मक रूप से सुविधाजनक है (जो दंडित लाइकलीहुड (penalized likelihood) विधियों के माध्यम से पोस्टीरियर सैंपलिंग और मोड अनुमान को सुगम बनाती है), लेखक तर्क देते हैं कि इस निर्माण से व्याख्यात्मकता (interpretability) संबंधी महत्वपूर्ण समस्याएँ उत्पन्न होती हैं। विशेष रूप से, ट्रंकेशन (truncation) अनचाहे परिणाम उत्पन्न कर सकता है:

1. सीमांत विरूपण (Marginal Distortion): $p^+$ के अंतर्गत प्रविष्टियों के सीमांत वितरण ($\pi^+_{ij}$), अनट्रंकेटेड सीमांतों ($\pi_{ij}$) से काफी भिन्न हो सकते हैं, जिससे विचरण (variance) और स्पैरसिटी (sparsity) के बारे में पूर्व धारणाओं में परिवर्तन आता है।
2. सिकुड़न गुण (Shrinkage Properties): ट्रंकेशन सिकुड़न व्यवहार को नाटकीय रूप से बदल सकता है: यह इच्छित स्तर से अधिक विकर्ण प्रविष्टियों (diagonal entries) को बढ़ा सकता है या ऑफ-डायगोनल प्रविष्टियों को शून्य की ओर अधिक आक्रामक रूप से सिकोड़ सकता है।
3. स्पार्स इन्फरेंस बायस (Sparse Inference Bias): स्पार्स सेटिंग्स (जैसे ग्राफिकल मॉडल) में, ट्रंकेशन की प्रायिकता $c_z$ स्पैरसिटी पैटर्न पर निर्भर करती है। इसके कारण प्रेरित प्रायर $p^+(z) \propto c_z p(z)$, इच्छित प्रायर $p(z)$ की तुलना में व्यवस्थित रूप से स्पार्स मॉडल्स का पक्ष लेता है, जो पोस्टीरियर इन्फरेंस को बायस (biased) कर सकता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र $p^+$ और उसके सीमांतों के व्यवहार को समझने के लिए प्रोबेबिलिस्टिक बाउंड्स, रैंडम मैट्रिक्स थ्योरी (विशेष रूप से विगनर मैट्रिक्स थ्योरी), और ट्रंकेटेड वितरणों के विश्लेषण के संयोजन का उपयोग करता है।

1. ट्रंकेशन प्रभावों का अभिलक्षण (Characterization of Truncation Effects):

   • लेखक ट्रंकेटेड ($p^+$) और अनट्रंकेटेड ($p$) वितरणों के बीच टोटल वेरिएशन (TV) दूरी और कुलबैक-लेइब्लर (KL) डाइवर्जेंस को सीधे सामान्यीकरण स्थिरांक $c$ से जोड़ते हैं।
   • वे सीमांत घनत्व $\pi^+_{ij}$ को अनट्रंकेटेड घनत्व $\pi_{ij}$ और कंडीशनल प्रायिकता $c_{ij}(\theta_{ij}) = P_p(\Theta \succ 0 | \theta_{ij})$ के पदों में व्यक्त करते हैं।
   • वे स्थापित करते हैं कि जबकि $c \to 1$ होने पर $p^+ \to p$ होता है, सीमांत (marginals) तब भी निकट रह सकते हैं जब $c$ छोटा हो, बशर्ते कि कंडीशनल प्रायिकताएं $c_{ij}$ अपेक्षाकृत स्थिर हों।

2. सामान्यीकरण स्थिरांक ($c$) को नियंत्रित करना:

   • लेखक विकर्ण प्रविष्टियों ($\theta_{ii}$) और ऑफ-डायगोनल प्रविष्टियों ($\theta_{ij}$) के बीच संबंध के आधार पर $c$ के लिए बाउंड्स (bounds) व्युत्पन्न करते हैं। $\Theta \succ 0$ के लिए एक पर्याप्त स्थिति $\theta_{ii} > \sum_{j \neq i} |\theta_{ij}|$ है।
   • विगनर मैट्रिक्स थ्योरी का उपयोग करते हुए, लेखक आयाम $k \to \infty$ होने पर न्यूनतम आइगेनवैल्यू $\lambda_{\min}(\Theta)$ के एसिम्प्टोटिक व्यवहार का विश्लेषण करते हैं। वे विकर्ण माध्य ($\mu$) और ऑफ-डायगोनल मानक विचलन ($\sigma$) के अनुपात और आयाम $k$ पर आधारित स्थितियाँ स्थापित करते हैं जो $c \to 1$ सुनिश्चित करती हैं।
   • विशेष रूप से, स्थिर विक럴्स के लिए, $c \to 1$ होता है यदि $\mu / (\sigma \sqrt{k}) > 2$ हो। स्टोकेस्टिक विक्रल्स (जैसे Exponential) के लिए, $c \to 1$ बनाए रखने के लिए $k$ के सापेक्ष $\sigma$ पर अधिक सख्त शर्तें आवश्यक हैं।

3. स्पार्स सेटिंग्स (Sparse Settings):

   • लेखक स्पार्स मैट्रिसेस के विश्लेषण को विस्तारित करते हैं जहाँ $\theta_{ij} = 0$ होने की सकारात्मक प्रायिकता होती है। वे $c_z = P_p(\Theta \succ 0 | Z=z)$, एक विशिष्ट स्पैरसिटी पैटर्न $z$ दिए जाने पर धनात्मक-निश्चितता की प्रायिकता को परिभाषित करते हैं।
   • वे सिद्ध करते हैं कि $c_z$, $z$ के घनत्व (गैर-शून्य प्रविष्टियों की संख्या) और ऑफ-डायगोनल विचरण $\sigma^2$ का एक घटता हुआ फलन है।
   • कंसेंट्रेशन इनइक्वालिटीज (concentration inequalities) और रैंडम मैट्रिक्स थ्योरी का उपयोग करते हुए, वे $d_z$ (स्पैरसिटी पैटर्न के अधिकतम रो डिग्री) पर निर्भर $c_z$ के लिए लोअर बाउंड्स (lower bounds) व्युत्पन्न करते हैं।

मुख्य योगदान और परिणाम

1. $p$ और $p^+$ के बीच की दूरी का परिमाणीकरण

शोध पत्र स्पष्ट बाउंड्स प्रदान करता है जो दिखाते हैं कि $p^+$ और $p$ के बीच TV और KL दूरियां $c$ के फलन हैं।

• प्रपोजिशन 1: $TV(p^+, p) = 1 - c$ और $KL(p^+ || p) = -\log c$।
• प्रपोजिशन 4: भले ही $c \to 0$ हो (जिसका अर्थ है कि संयुक्त वितरण दूर हैं), मीन मार्जिनल दूरी अभी भी शून्य हो सकती है यदि $-\log c = o(k^2)$ (ऑफ-डायगोगनल्स के लिए) या $o(k)$ (विक्रल्स के लिए) हो। इसका तात्पर्य है कि सावधानीपूर्वक पैरामीटर चयन के माध्यम से $c$ छोटा होने पर भी सीमांतों की व्याख्यात्मकता को सुरक्षित रखा जा सकता है।

2. $c \approx 1$ के लिए स्थितियाँ

लेखक $c$ को 1 के करीब सुनिश्चित करने के लिए सटीक एसिम्प्टोटिक स्थितियाँ प्रदान करते हैं:

• स्थिर विक्रल (Fixed Diagonal): यदि $\theta_{ii} = \mu$, तो $c \to 1$ होता है यदि $\liminf_{k \to \infty} \frac{\mu}{\sigma \sqrt{k}} > 2$ हो। यदि अनुपात $< 2$ है, तो $c \to 0$ होगा।
• स्टोकेस्टिक विक्रल (Stochastic Diagonal): यदि $\theta_{ii} \sim \text{Exp}(\lambda)$, तो शर्त अधिक सख्त है: $c \to 1$ के लिए $\sigma$ को $k^{-3/2}$ के सापेक्ष $o(k^{-3/2})$ होना चाहिए, जबकि स्थिर विक्रल्स के लिए यह $o(k^{-1/2})$ था।
• सामान्य स्केल फैमिलीज़: $c$, ऑफ-डायगोनल स्केल पैरामीटर $\sigma$ के प्रति स्ट्रिक्टली डिक्रीजिंग (strictly decreasing) है।

3. स्पार्स इन्फरेंस पर प्रभाव

शोध पत्र प्रदर्शित करता है कि स्पार्स ग्राफिकल मॉडल्स में, ट्रंकेशन स्पार्स स्ट्रक्चर्स की ओर एक बायस (bias) पैदा करता है:

• प्रपोजिशन 7: अपेक्षित न्यूनतम आइगेनवैल्यू $\lambda_{\min}(\Theta)$, जैसे-जैसे स्पैरसिटी पैटर्न $z$ घना होता जाता है, कम होता जाता है। फलस्वरूप, $c_z$ भी $z$ के घनत्व के साथ घटता है।
• कोरोलरी 3 और थ्योरम 3: लेखक $d_z$ (अधिकतम डिग्री) को शामिल करते हुए $c_z$ के लिए लोअर बाउंड्स व्युत्पन्न करते हैं। स्थिर विक्रल्स के लिए, $c_z \ge 1 - 2k e^{-\mu^2 / (2\sigma^2 d_z)}$।
• निहितार्थ: यदि प्रायर विचरण $\sigma^2$ को सावधानीपूर्वक सेट नहीं किया जाता है (विशेष रूप से, यदि $\sigma$, $\mu$ और $d_z$ के सापेक्ष बहुत बड़ा है), तो $c_z$ घने स्ट्रक्चर्स के लिए छोटा हो जाता है। इससे प्रेरित प्रायर $p^+(z) \propto c_z p(z)$, मूल प्रायर $p(z)$ की तुलना में स्पार्स मॉडल्स को काफी अधिक मास (mass) देता है, जिससे पोस्टीरियर इन्फरेंस में स्पार्स ग्राफ्स का ओवर-सिलेक्शन (over-selection) हो सकता है।

4. पैरामीटर चयन के दिशा-निर्देश

लेखक इन प्रभावों को कम करने के लिए प्रायर हाइपर-पैरामीटर्स सेट करने के व्यावहारिक दिशा-निर्देश प्रदान करते हैं:

• विचरण नियंत्रण (Variance Control): ऑफ-डायगोनल विचरण $\sigma^2$, विक्रल माध्य $\mu$ और मैट्रिक्स आयाम (या स्पैरसिटी डिग्री) के सापेक्ष पर्याप्त रूप से छोटा होना चाहिए।
• विक्रल वितरण (Diagonal Distribution): शून्य के पास हल्के टेल (lighter tails) वाले विक्रल वितरणों (जैसे Gamma या Inverse-Gamma) का उपयोग करना, Exponential की तुलना में $c \approx 1$ बनाए रखने के लिए $\sigma$ पर लगने वाली बाधाओं को कम कर सकता है।
• पुनः पैरामीटरीकरण (Re-parameterization): लेखक $\Theta = D^{1/2} \tilde{\Theta} D^{1/2}$ को पैरामीटराइज करने और $\tilde{\Theta}$ (जिसमें पार्शियल कोरिलेशन शामिल हैं) पर PD-सेपरेबल प्रायर लगाने का सुझाव देते हैं, जो बेहतर व्याख्यात्मकता और स्केल इनवेरियंस (scale invariance) प्रदान कर सकता है।

महत्व और दावे

शोध पत्र का दावा है कि यद्यपि PD-सेपरेबल प्रायर्स अपनी गणनात्मक सुगमता के लिए लोकप्रिय हैं, लेकिन उनकी व्याख्यात्मकता अक्सर समझौतापूर्ण (compromised) हो जाती है जब तक कि आयाम और स्पैरसिटी स्ट्रक्चर के प्रति कठोर ध्यान न दिया जाए।

• व्याख्यात्मकता (Interpretability): लेखक तर्क देते हैं कि बिना यह सुनिश्चित किए कि $c \approx 1$ (या सीमांत निकट रहें), प्रायर के हाइपर-पैरामीटर्स डेटा-जनरेटिंग प्रक्रिया (जैसे विचरण या स्पैरसिटी अनुपात) के बारे में इच्छित विश्वासों को प्रतिबिंबित नहीं करते हैं।
• स्पार्स लर्निंग (Sparse Learning): एक महत्वपूर्ण योगदान यह दिखाना है कि ट्रंकेशन व्यवस्थित रूप से स्पार्स इन्फरेंस को बायस करता है। शोध पत्र दिखाता है कि यदि $\sigma$ को $k$ और स्पैरसिटी लेवल के साथ उचित रूप से स्केल नहीं किया जाता है, तो पोस्टीरियर डेटा या इच्छित प्रायर $p(z)$ के बजाय ट्रंकेशन आर्टिफैक्ट (artifact) द्वारा संचालित होगा।
• व्यावहारिक मार्गदर्शन: शोध पत्र हाइ-डायमेंशनल स्पार्स सेटिंग्स में ऑफ-डायगोनल विचरण सेट करने के लिए पहले कठोर एसिम्प्टोटिक कंडीशंस (विगनर मैट्रिक्स लिमिट्स सहित) प्रदान करता है। यह सुझाव देता है कि मानक विकल्प (जैसे फिक्स्ड $\sigma$ या Exponential विक्रल्स) हाई-डायमेंशन में पैथोलॉजिकल व्यवहार की ओर ले जा सकते हैं और उनसे बचने के लिए विशिष्ट स्केलिंग लॉ (जैसे फिक्स्ड विक्रल्स के लिए $\sigma = o(k^{-1/2})$) प्रस्तावित करता है।

लेखक निष्कर्ष निकालते हैं कि यह सुनिश्चित करने के लिए कि "सेपरेबल" धारणा धनात्मक-निश्चितता प्रतिबंध लागू होने के बाद भी प्रायर विश्वासों का एक वैध सन्निकटन (approximation) बनी रहे, पैरामीटराइजेशन को सावधानीपूर्वक करना आवश्यक है।