Improving Cramér-Rao Bound And Its Variants: An Extrinsic Geometry Perspective

यहाँ सुंदर राम कृष्णिशन के शोध पत्र "Improving Cramér–Rao Bound And Its Variants: An Extrinsic Geometry Perspective" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

क्रैमर-राओ बाउंड (CRB) किसी भी स्थानीय रूप से निष्पक्ष अनुमानक (locally unbiased estimator) के प्रसरण (variance) पर एक मौलिक निचला बाउंड है। हालाँकि, शास्त्रीय CRB (और इसके उच्च-क्रम के वेरिएंट जैसे भट्टाचर्या बाउंड) व्यावहारिक परिदृश्यों में अक्सर एक ढीला (loose) निचला बाउंड प्रदान करते हैं, जैसे कि:

• गैर-रेखीय मॉडल (Nonlinear models)।
• कम सिग्नल-टू-नॉइज़ (Low signal-to-noise) वाले क्षेत्र।
• सीमित नमूना आकार (गैर-अनंतता सेटिंग्स)।

मौजूदा सुधार सामान्यतः दो श्रेणियों में आते हैं:

1. बीजगणितीय/प्रोजेक्शन-आधारित (Algebraic/Projection-based): भट्टाचर्या बाउंड जैसी विधियाँ लॉग-लाइक्लीहुड (scores) के उच्च-क्रम डेरिवेटिव का उपयोग करके अनुमानक त्रुटि को एक बड़े उप-स्थान (subspace) पर प्रोजेक्ट करती हैं। हालांकि ये प्रभावी हैं, लेकिन सांख्यिकीय मैनिफोल्ड की वक्रता (curvature) के संबंध में इनमें स्पष्ट ज्यामितीय व्याख्या का अभाव है।
2. आंतरिक ज्यामिति (Intrinsic Geometry): सूचना ज्यामिति (Information geometry) दृष्टिकोण (जैसे एफ्रॉन की सांख्यिकीय वक्रता) अक्सर अनंत व्यवहार (asymptotic behavior) या आंतरिक रीमानियन गुणों पर ध्यान केंद्रित करते हैं, जो एक एम्बिएंट स्पेस (ambient space) में एम्बेड किए गए मैनिफोल्ड से प्राप्त गैर-अनंतता (non-asymptotic) प्रसरण सुधारों को पकड़ने में विफल रहते हैं।

अंतराल (The Gap): एक ऐसा एकीकृत ढांचा (unified framework) उपलब्ध नहीं है जो बाह्य ज्यामिति (extrinsic geometry) (विशेष रूप से एक हिल्बर्ट स्पेस में एम्बेडेड सांख्यिकीय मैनिफोल्ड की वक्रता) का उपयोग करके CRB और भट्टाचर्या-प्रकार के बाउंड के लिए गैर-अनंतता (non-asymptotic), कठोर सुधार प्रदान कर सके।

2. कार्यप्रणाली (Methodology)

लेखक स्क्वायर रूट एम्बेडिंग (square root embedding) का उपयोग करके सांख्यिकीय मॉडल मैनिफोल्ड को एक निश्चित एम्बिएंट हिल्बर्ट स्पेस, $L^2(\mu)$ में एम्बेड करके एक ज्यामितीय सुधार प्रस्तावित करते हैं।

A. स्क्वायर रूट एम्बेडिंग (The Square-Root Embedding)

संभाव्यता घनत्व $f(x; \theta)$ पर सीधे काम करने के बजाय, मॉडल को $L^2(\mu)$ के स्क्वायर-इंटीग्रेबल फलनों के स्थान में मैप किया जाता है:
$$s_\theta = \sqrt{f(\cdot; \theta)}$$
यह पैरामीटर स्पेस $\Theta$ को $L^2(\mu)$ की यूनिट स्फीयर में मैप करता है। इस स्थान में आंतरिक गुणन (inner product) $\langle u, v \rangle = \int u(x)v(x) d\mu(x)$ है।

B. जेट्स और उप-स्थान (Jets and Subspaces)

लेखक एम्बेडिंग के डेरिवेटिव को जेट्स (jets) के रूप में परिभाषित करते हैं:
$$\eta_k(\theta) = \partial_\theta^k s_\theta$$
ये जेट्स एक परिमित-आयामी उप-स्थान $T_m(\theta) = \text{span}\{\eta_1, \dots, \eta_m\}$ को स्पैन करते हैं।

• शास्त्रीय CRB $T_1 = \text{span}\{\eta_1\}$ के स्पर्शरेखीय स्थान (tangent space) पर प्रोजेक्शन के अनुरूप है।
• भट्टाचर्या बाउंड स्कोर डेरिवेटिव द्वारा स्पैन किए गए स्थान पर प्रोजेक्शन के अनुरूप है।

C. बाह्य ज्यामिति और सेकंड फंडेमेंटल फॉर्म (Extrinsic Geometry and the Second Fundamental Form)

मुख्य नवाचार अनुमान लगाने वाली त्रुटि (estimation error) के अवशेष (residual) का विश्लेषण करना है, जो प्रोजेक्शन के बाद बचता है।

1. विघटन (Decomposition): केंद्रित अनुमान त्रुटि वेक्टर $\tilde{Z}_0 = (T(X) - \theta)s_\theta$ को एक स्पर्शरेखीय घटक (tangential component - $T_m$ में) और एक अभिलंब घटक (normal component - $T_m^\perp$ में) में विभाजित किया जाता है।
2. सेकंड फंडेमेंटल फॉर्म: मैनिफोल्ड का "त्वरण" ($\eta_{m+1}$) को एक स्पर्शरेखीय भाग (प्रेरित कनेक्शन) और एक अभिलंब भाग (normal part) में विभाजित किया जाता है, जिसे द्वितीय फंडेमेंटल वेक्टर $\Pi_m$ (या $\text{II}_m$) के रूप में जाना जाता है।
   $$\Pi_m = \eta_{m+1} - \text{Proj}_{T_m}(\eta_{m+1})$$
   यह वेक्टर एम्बिएंट हिल्बर्ट स्पेस में मैनिफोल्ड की बाह्य वक्रता (extrinsic curvature) का प्रतिनिधित्व करता है।
3. फा ए ब्रुली फॉर्मूला (Faà di Bruno Formula): जेट्स $\eta_k$ को रॉ-स्कोर्स $Y_k = \partial_\theta^k \log f$ से जोड़ने के लिए, लेखक फा ए ब्रुली फॉर्मूला और एक्सपोनेंशियल बेल पॉलीनोमियल्स का उपयोग करते हैं। यह जेट्स को स्कोर्स के पॉलीनोमियल्स के रूप में व्यक्त करने की अनुमति देता है, जिससे यह पता चलता है कि जेट स्पेस $T_m$ और स्कोर-इमेज स्पेस $\tilde{T}_m$ (जो शास्त्रीय भट्टाचर्या बाउंड में उपयोग किया जाता है) $m > 1$ के लिए भिन्न हैं।

3. मुख्य योगदान (Key Contributions)

1. वक्रता-सुधारित CRB (Theorem 2)

$m=1$ के लिए, लेखक प्रसरण के लिए एक परिष्कृत निचला बाउंड निकालते हैं:
$$\text{Var}_\theta[T] \geq \frac{1}{I(\theta)} + \frac{\langle \tilde{Z}_0, \text{II}(\eta_1, \eta_1) \rangle^2}{\|\text{II}(\eta_1, \eta_1)\|^2}$$

• पहला पद शास्त्रीय CRB है।
• दूसरा पद एक वक्रता सुधार (curvature correction) है जो द्वितीय फंडेमेंटल फॉर्म पर त्रुटि के प्रोजेक्शन के समानुपाती है। यह पद तब धनात्मक होता है जब अनुमान त्रुटि का एक घटक स्पर्शरेखीय स्थान के लंबवत (orthogonal) होता है (अर्थात, अनुमानक अक्षम/inefficient है)।

2. उच्च-क्रम ज्यामितीय परिशोधन (Theorem 5)

इस ढांचे को क्रम $m$ तक सामान्यीकृत किया गया है। प्रसरण को जेट स्पेस पर प्रोजेक्शन और वक्रता स्पैन (normal bundle) पर प्रोजेक्शन के योग द्वारा बाउंड किया जाता है:
$$\text{Var}_\theta[T] \geq \|\text{Proj}_{T_m} \tilde{Z}_0\|^2 + \|\text{Proj}_{N_m} \tilde{Z}_0\|^2$$
यह स्थापित करता है कि जेट्स पर आधारित बाउंड्स का क्रम $m$ और $m+1$ के बीच का अंतर ठीक वही वक्रता सुधार है, और यह अनुक्रम वास्तविक प्रसरण की ओर अभिसरित (converge) होता है।

3. शास्त्रीय भट्टाचर्या बाउंड में सुधार (Proposition 8)

शोध पत्र यह सिद्ध करता है कि जेट्स ($T_m$) का उपयोग करने वाले ज्यामितीय बाउंड, $m > 1$ होने पर, लॉग-लाइक्लीहुड डेरिवेटिव ($\tilde{T}_m$) का उपयोग करने वाले शास्त्रीय भट्टाचर्या बाउंड की तुलना में स्पष्ट रूप से अधिक कड़े (tighter) होते हैं।

• कारण: जेट स्पेस $T_m$ में "बेल रिमाइंडर" (Bell remainder) पद शामिल हैं (जो निचले-क्रम के स्कोर्स के उत्पाद हैं) जो स्कोर स्पेस के लंबवत हैं।
• संवर्धित अभिलंब स्पैन (Augmented Normal Span): इन लंबवत घटकों को शामिल करते हुए एक संवर्धित अभिलंब स्पैन $N_m^{\text{aug}}$ को परिभाषित करके, लेखक दिखाते हैं कि:
  $$C(m)_{\text{aug}} = \|\text{Proj}_{T_m \oplus N_m^{\text{aug}}} \tilde{Z}_0\|^2 > B(m)_{\text{score}}$$
  यह दर्शाता है कि बाह्य ज्यामितीय दिशाओं को शामिल करने से केवल बीजगणितीय स्कोर-आधारित प्रोजेक्शन की तुलना में बेहतर निचला बाउंड प्राप्त होता है।

4. परिणाम और उदाहरण (Results and Examples)

सिद्धांत को तीन विश्लेषणात्मक और संख्यात्मक उदाहरणों के माध्यम से सत्यापित किया गया है:

1. कर्वेड नॉर्मल फैमिली (Curved Normal Family): एक सामान्य वितरण जहाँ माध्य (mean) और विचरण (variance) दोनों $\theta$ पर निर्भर करते हैं। वक्रता सुधार पद को विश्लेषणात्मक रूप से निकाला गया और दिखाया गया कि $\theta \neq 0$ के लिए यह धनात्मक है, जो मानक CRB की तुलना में बाउंड को काफी कड़ा करता है।
2. हर्मिट-गौसियन मॉडल (Hermite-Gaussian Model): हर्मिट पॉलीनोमियल्स का उपयोग करके बनाया गया एक मॉडल।
   • $m=1$ पर, शास्त्रीय भट्टाचर्या बाउंड 0 था (लंबवतता के कारण), जबकि ज्यामितीय बाउंड ने एक धनात्मक निचला बाउंड प्रदान किया।
   • $m=2$ पर, ज्यामितीय बाउंड धनात्मक बना रहा, जबकि स्कोर-आधारित बाउंड 0 रहा, जो जेट-आधारित दृष्टिकोण की श्रेष्ठता को दर्शाता है।
3. एसिमेट्रिक क्वार्टिक लोकेशन मॉडल (Asymmetric Quartic Location Model): एक गैर-सममित, गैर-एक्सपोनेंशियल फैमिली मॉडल। संख्यात्मक एकीकरण ने पुष्टि की कि संवर्धित ज्यामितीय बाउंड ($C(2)_{\text{aug}}$) स्कोर-आधारित भट्टाचर्या बाउंड ($B(2)_{\text{score}}$) से स्पष्ट रूप से अधिक था, जो प्रस्ताव 8 को मान्य करता है।

5. महत्व और निहितार्थ (Significance and Implications)

• गैर-अनंतता कठोरता (Non-Asymptotic Rigor): एफ्रॉन के सांख्यिकीय वक्रता के कार्य (जो कि एक अनंत प्रक्रिया है) के विपरीत, यह कार्य सटीक, गैर-अनंतता प्रसरण निचला बाउंड प्रदान करता है।
• अक्षमता की ज्यामितीय व्याख्या (Geometric Interpretation of Inefficiency): यह अनुमानक अक्षमता (estimator inefficiency) के लिए एक स्पष्ट ज्यामितीय व्याख्या प्रदान करता है: अक्षमता तब उत्पन्न होती है जब सांख्यिकीय मैनिफोल्ड का अनुमान त्रुटि वेक्टर (estimation error vector) का अभिलंब बंडल (normal bundle) (बाह्य वक्रता) में एक गैर-शून्य घटक होता है।
• एकीकरण (Unification): यह बीजगणितीय प्रोजेक्शन विधियों (भट्टाचर्या) और विभेदक ज्यामिति (सूचना ज्यामिति) के बीच के अंतर को पाटता है, यह दिखाते हुए कि बाद वाला (ज्यामिति) पूर्व (बीजगणित) के लिए आवश्यक सुधार प्रदान करता है।
• व्यावहारिक अंतर्दृष्टि (Practical Insight): हालांकि इन बाउंड्स की गणना करना मानक CRB की तुलना में अधिक जटिल हो सकता है (जिसके लिए बेल पॉलीनोमियल्स के मोमेंट्स की आवश्यकता होती है), यह शोध पत्र प्रदर्शित करता है कि इन्हें संख्यात्मक रूप से गणना किया जा सकता है और वे घुमावदार, गैर-रेखीय मॉडलों में अनुमानक प्रदर्शन के लिए सार्थक, कड़े प्रतिबंध प्रदान करते हैं।

संक्षेप में, यह शोध पत्र स्थापित करता है कि बाह्य वक्रता (extrinsic curvature) सांख्यिकीय अनुमान सीमाओं का एक मौलिक, मापने योग्य कारक है, और स्क्वायर रूट एम्बेडिंग के माध्यम से इसे शामिल करने से मौजूदा बीजगणितीय विधियों की तुलना में प्रमाणित रूप से कड़े निचला बाउंड प्राप्त होता है।