📊 statistics

Group invariance of $f$ -divergences and the Fisher--Rao distance

यह शोध पत्र प्रदर्शित करता है कि रूपांतरण मॉडलों (transformation models) में $f$ -डाइवर्जेंस और फिशर-राओ दूरी (Fisher–Rao distance), समूह क्रियाओं (group actions) के अंतर्गत अपरिवर्तनीय होते हैं, जिससे पैरामीटर युग्मों पर उनकी निर्भरता अधिकतम अपरिवर्तों (maximal invariants) जैसे कि डबल कोसेट्स (double cosets) पर कम हो जाती है, विशेष रूप से बहुआयामी स्थान-पैमाने वाले परिवारों (multidimensional location-scale families) के भीतर।

मूल लेखक: Frank Nielsen, Kazuki Okamura

प्रकाशित 2026-06-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Frank Nielsen, Kazuki Okamura

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो दो अलग-अलग सूपों की तुलना करने की कोशिश कर रहे हैं। एक छोटा कटोरा तीखा टमाटर का सूप है, और दूसरा एक विशाल बर्तन में मध्यम (mild) टमाटर का सूप है।

यदि आप केवल कटोरों को देखते हैं, तो वे बिल्कुल अलग दिखते हैं। लेकिन यदि आप "रेसिपी" (सांख्यिकीय मॉडल) जानते हैं, तो आप महसूस करेंगे कि वास्तविक अंतर केवल यह है कि आपने बर्तन को कितना फैलाया (scale) और उसे काउंटर पर कहाँ रखा (location)। यदि आप बर्तन के आकार और काउंटर की स्थिति को अनदेखा कर दें, तो सूप मूल रूप से एक ही "फ्लेवर प्रोफाइल" के होते हैं।

यह शोध पत्र इन अप्रासंगिक अंतरों (जैसे बर्तन का आकार और काउंटर की स्थिति) को अनदेखा करने का एक गणितीय तरीका खोजने के बारे में है ताकि हम दो वितरणों (distributions) के बीच के वास्तविक अंतर को निष्पक्ष रूप से माप सकें।

यहाँ सरल उपमाओं का उपयोग करके शोध पत्र के मुख्य विचारों का विवरण दिया गया है:

1. समस्या: एक ही चीज़ को वर्णित करने के बहुत सारे तरीके

सांख्यिकी में, हम अक्सर डेटा को मापदंडों (जैसे माध्य और प्रसरण/variance) का उपयोग करके वर्णित करते हैं। लेकिन प्रकृति में "समरूपताएँ" (symmetries) होती हैं।

स्थानांतरण (स्थान/Translation): यदि आप पूरे डेटासेट को 5 कदम दाईं ओर ले जाते हैं, तो उस डेटा के दो बिंदुओं के बीच का संबंध नहीं बदलना चाहिए।
फैलाव (स्केल/Stretching): यदि आप किसी डेटासेट को ज़ूम इन या ज़ूम आउट करते हैं, तो संबंध का आकार नहीं बदलना चाहिए।

लेखक पूछते हैं: यदि हमारे पास दो वितरणों के बीच "दूरी" या "अंतर" को मापने का एक गणितीय उपकरण है, तो क्या वह इन समरूपताओं का सम्मान करता है? दूसरे शब्दों में, यदि हम दोनों वितरणों को बिल्कुल समान मात्रा में खींचते या हिलाते हैं, तो क्या उनके बीच की दूरी समान रहनी चाहिए?

2. बड़ी खोज: "ग्रुप" का जादू

यह शोध पत्र सिद्ध करता है कि इन दूरी-मापने वाले उपकरणों का एक विशाल परिवार, जिसे f-divergences कहा जाता है (जिसमें प्रसिद्ध Kullback-Leibler divergence शामिल है), स्वचालित रूप से इन समरूपताओं का सम्मान करता है।

उपमा: कल्पना कीजिए कि आपके पास एक रबर की शीट है जिस पर दो बिंदु बने हुए हैं।

यदि आप पूरी शीट को खींचते हैं (scale) या उसे मेज पर खिसकाते हैं (location), तो शीट पर उन दो बिंदुओं के बीच की दूरी नहीं बदलती है।
शोध पत्र दिखाता है कि इन विशिष्ट सांख्यिकीय उपकरणों के लिए, "दूरी" रबर की शीट पर किए गए माप की तरह है, न कि मेज पर किए गए माप की। यह अपरिवर्तनीय (invariant) है।

3. समाधान: "मैक्सिमल इनवेरिएंट" (अंतिम पहचान पत्र)

यह जानना कि चीजें खींचने या हिलाने पर दूरी नहीं बदलती, अच्छा है, लेकिन यह पर्याप्त नहीं है। हम यह जानना चाहते हैं: वास्तव में क्या दूरी निर्धारित करता है?

लेखक एक अवधारणा पेश करते हैं जिसे मैक्सिमल इनवेरिएंट (Maximal Invariant) कहा जाता है। इसे दो वितरणों के लिए एक "अंतिम पहचान पत्र" (Ultimate ID Card) के रूप में सोचें।

यदि आपके पास वितरणों के दो जोड़े हैं, और उनके पास एक ही "अंतिम पहचान पत्र" है, तो उनके बीच की दूरी समान होगी।
यदि उनके पास अलग-अलग पहचान पत्र हैं, तो दूरी अलग हो सकती है।

यह पहचान पत्र सभी "शोर" (खींचने और हिलाने) को हटा देता है और केवल सापेक्ष (relative) जानकारी छोड़ देता है।

सापेक्ष स्थान (Relative Location): केंद्र एक-दूसरे से कितनी दूर हैं?
सापेक्ष पैमाना (Relative Scale): एक दूसरे से कितना बड़ा है?

4. "डबल कोसेट": एक ज्यामितीय शॉर्टकट

जब लेखक जटिल, बहु-आयामी डेटा (जैसे 1D लाइनों के बजाय 3D आकृतियों) को देखते हैं, तो वे पाते हैं कि इस "अंतिम पहचान पत्र" का एक विशिष्ट ज्यामितीय आकार होता है जिसे डबल कोसेट (Double Coset) कहा जाता है।

उपमा: कल्पना कीजिए कि आप एक कमरे में दो लोगों की स्थिति को एक-दूसरे के सापेक्ष वर्णित करने की कोशिश कर रहे हैं, लेकिन कमरा घूम रहा है और लोग इधर-उधर घूम रहे हैं।

उनके पूर्ण निर्देशांकों (absolute coordinates) को ट्रैक करने के बजाय, जो लगातार बदलते रहते हैं, आप उनके सापेक्ष पोज़ (relative pose) को ट्रैक करते हैं।
"डबल कोसेट" उस सापेक्ष पोज़ के लिए गणितीय नाम है। यह आपको वह सब कुछ बताता है जिसकी आपको दो वितरणों के बीच के संबंध को समझने के लिए आवश्यकता है, इस तथ्य को अनदेखा करते हुए कि पूरा ब्रह्मांड घूम रहा है।

5. वास्तविक मॉडलों पर अनुप्रयोग (लोकेशन-स्केल फैमिलीज़)

यह शोध पत्र लोकेशन-स्केल फैमिलीज़ (वे वितरण जो एक केंद्र और एक फैलाव द्वारा परिभाषित होते हैं) पर इसे लागू करता है।

वे दिखाते हैं कि इन मॉडलों के लिए, "अंतिम पहचान पत्र" दो चीजों से बना है:
1. सिंगुलर वैल्यूज़ (Singular Values): ये विभिन्न दिशाओं में "फैलाव के कारकों" की तरह हैं।
2. ब्लॉक नॉर्म्स (Block Norms): ये केंद्रों के "सापेक्ष बदलाव" को मापते हैं, लेकिन केवल उन दिशाओं में जहाँ फैलाव हुआ है।

इसका अर्थ यह है कि आपको हर संभावित रोटेशन या शिफ्ट के लिए एक जटिल सूत्र की गणना करने की आवश्यकता नहीं है। आपको बस इन विशिष्ट संख्याओं (सिंगुलर वैल्यूज़ और ब्लॉक नॉर्म्स) की गणना करने की आवश्यकता है, और यही वह सारी जानकारी है जो आपको पता होनी चाहिए।

6. फिशर-राओ दूरी (द "वक्र" दूरी)

अंत में, यह शोध पत्र फिशर-राओ दूरी (Fisher-Rao distance) को देखता है, जो सूचना ज्यामिति (information geometry) में उपयोग किया जाने वाला एक विशेष प्रकार का दूरी माप है। यह एक सपाट मानचित्र के बजाय एक घुमावदार सतह (geodesic) पर दो बिंदुओं के बीच की दूरी मापने जैसा है।

लेखक सिद्ध करते हैं कि यह वक्र दूरी भी उन्हीं नियमों का पालन करती है। भले ही गणित कठिन है, परिणाम वही है: दो वितरणों के बीच की दूरी उनके सापेक्ष स्थान और पैमाने (अर्थात "अंतिम पहचान पत्र") पर निर्भर करती है, न कि इस पर कि वे ब्रह्मांड में कहाँ स्थित हैं।

सारांश

यह शोध पत्र जटिल तुलनाओं को सरल बनाने का एक मार्गदर्शक है।

समरूपता मौजूद है: डेटा को हिलाने या खींचने से दो वितरणों के बीच का आंतरिक अंतर नहीं बदलता है।
उपकरण समरूपता का सम्मान करते हैं: सामान्य सांख्यिकीय दूरी उपकरण (f-divergences) स्वाभाविक रूप से इन गतिविधियों को अनदेखा करते हैं।
"पहचान पत्र": हम जटिल मापदंडों को सरल संख्याओं के सेट (सिंगुलर वैल्यूज़ और सापेक्ष शिफ्ट) से बदल सकते हैं जो केवल उस चीज़ को पकड़ते हैं जो वास्तव में मायने रखती है: दो वितरणों के बीच का सापेक्ष संबंध।
सार्वभौमिक अनुप्रयोग: यह मानक दूरी मापों और अधिक जटिल, वक्र फिशर-राओ दूरी दोनों के लिए काम करता है।

संक्षेप में: दो चीजों की निष्पक्ष तुलना करने के लिए, उन्हें अनदेखा करें कि वे कहाँ हैं और कितने बड़े हैं; केवल यह देखें कि वे एक-दूसरे से कैसे संबंधित हैं। यह शोध पत्र ठीक ऐसा ही करने के लिए एक गणितीय रेसिपी प्रदान करता है।

तकनीकी सारांश: f-डाइवर्जेंस की समूह अपरिवर्तनीयता (Group Invariance) और फिशर-राओ दूरी (Fisher–Rao Distance)

समस्या विवरण
कई सांख्यिकीय मॉडल स्वाभाविक समरूपताओं (symmetries) को प्रदर्शित करते हैं जिन्हें समूह क्रियाओं (group actions) द्वारा वर्णित किया जा सकता है, जहाँ नमूना स्थान (sample space) और पैरामीटर स्थान के रूपांतरणों को दो वितरणों के बीच आंतरिक तुलना को नहीं बदलना चाहिए। यद्यपि यह सहज है कि सांख्यिकीय डाइवर्जेंस और दूरियाँ इन समरूपताओं का सम्मान करें, फिर भी इस बात का कठोर लक्षण वर्णन आवश्यक है कि ऐसी अपरिवर्तनीयता (invariance) इन कार्यात्मक रूपों (functional forms) को कैसे बाधित करती है। विशेष रूप से, यह शोध पत्र उन रूपांतरण मॉडलों के तहत f-डाइवर्जेंस और फिशर-राओ दूरी के व्यवहार को संबोधित करता है जहाँ एक समूह एक विशिष्ट मल्टीप्लायर (multiplier) के साथ नमूना और पैरामीटर दोनों स्थानों पर कार्य करता है। मुख्य समस्या इन मापों की निर्भरता को पूर्ण पैरामीटर स्थान से न्यूनतम अपरिवर्तनीय चरों (maximal invariants) के एक सेट पर कम करने की है जो दो वितरणों की सापेक्ष स्थिति को पकड़ते हैं।

कार्यप्रणाली (Methodology)
लेखक रूपांतरण मॉडल (transformation models) और अपरिवर्तनीय सांख्यिकी (invariant statistics) के ढांचे का उपयोग करते हैं, जो ईटन (Eaton) और विज्समैन (Wijsman) के शास्त्रीय परिणामों पर आधारित है। कार्यप्रणाली तीन चरणों में आगे बढ़ती है:

सामान्य अपरिवर्तनीयता प्रमाण: शोध पत्र एक सामान्य रूपांतरण मॉडल स्थापित करता है जहाँ एक टोपोलॉजिकल समूह $G$ एक माप स्थान $(X, \mathcal{B}, \lambda)$ और एक पैरामीटर स्थान $\Theta$ पर कार्य करता है। घनत्व (densities) एक मल्टीप्लायर $\chi(g)$ के साथ रूपांतरित होते हैं ताकि $\chi(g)p(gx|g\theta) = p(x|\theta)$ हो सके। इन शर्तों के तहत, लेखक सिद्ध करते हैं कि कोई भी $f$ -डाइवर्जेंस पैरामीटर्स के जोड़े पर समूह की विकर्ण क्रिया (diagonal action) के तहत अपरिवर्तनीय है।
मैक्सिमल इनवेरिएंट रिडक्शन (Maximal Invariant Reduction): लेखक प्रदर्शित करते हैं कि चूंकि डाइवर्जेंस अपरिवर्तनीय है, इसलिए इसे पैरामीटर्स के एक मैक्सिमल इनवेरिएंट का फलन (function) होना चाहिए। ट्रांजिटिव पैरामीटर स्पेस (होमोजीनियस स्पेस $\Theta \cong G/H$ ) के लिए, वे डबल कोसेट स्पेस (double coset space) $H \backslash G / H$ का उपयोग करके इस मैक्सिमल इनवेरिएंट को लक्षणित करते हैं। यह एक ज्यामितीय व्याख्या प्रदान करता है जहाँ डाइवर्जेंस पूरी तरह से होमोजीनियस स्पेस में दो बिंदुओं की सापेक्ष स्थिति पर निर्भर करता है।
लोकेशन-स्केल परिवारों के लिए स्पष्ट निर्माण: सिद्धांत को बहुआयामी लोकेशन-स्केल परिवारों पर लागू किया जाता है। लेखक पहचान क्षमता (identifiability) सुनिश्चित करने के लिए पैरामीटर स्थान को संशोधित करके (ऑर्थोगोनल रोटेशन को हटाकर) स्पष्ट मैक्सिमल इनवेरिएंट्स का निर्माण करते हैं। वे सिंगुलर वैल्यू डीकंपोजिशन (SVD) का उपयोग करके डबल कोसेट को पैरामीटराइज करने के लिए करते हैं, जिससे डाइवर्जेंस को सिंगुलर वैल्यूज और रूपांतरित सापेक्ष स्थान के ब्लॉक नॉर्म्स (block norms) के फलन में बदल दिया जाता है।
फिशर-राओ दूरी का विस्तार: फिशर-राओ दूरी (फिशर मेट्रिक की जियोडेसिक दूरी) के लिए भी इन्हीं अपरिवर्तनीयता सिद्धांतों को लागू किया जाता है। लेखक दिखाते हैं कि फिशर मेट्रिक की एफाइन अपरिवर्तनीयता (affine invariance) एक समान रिडक्शन की अनुमति देती है, जिससे मनमाने वितरणों के बीच की दूरी को एक कैनोनिकल बेस वितरण से दूरी में मैप किया जाता है।

प्रमुख योगदान और परिणाम

सामान्य अपरिवर्तनीयता प्रमेय (Theorem 2.1): शोध पत्र सिद्ध करता है कि मल्टीप्लायर स्थिति वाले रूपांतरण मॉडल में, प्रत्येक $f$ -डाइवर्जेंस $D_f(\theta_1 : \theta_2)$ समूह क्रिया के तहत अपरिवर्तनीय है: $D_f(g\theta_1 : g\theta_2) = D_f(\theta_1 : \theta_2)$ ।
मैक्सिमल इनवेरिएंट लक्षण वर्णन (Theorem 2.2 & 2.3): यह दिखाया गया है कि कोई भी अपरिवर्तनीय डाइवर्जेंस एक मैक्सिमल इनवेरिएंट $m(\theta_1, \theta_2)$ का फलन होता है। ट्रांजिटिव क्रियाओं के लिए जहाँ $\Theta = G/H$ , मैक्सिमल इनवेरिएंट डबल कोसेट $H g_1^{-1} g_2 H$ है, जो पैरामीटर्स की सापेक्ष स्थिति को पूरी तरह से वर्णित करता है।
लोकेशन-स्केल मॉडलों के लिए कैनोनिकल रूप (Section 3.1): रेडियल बेस डेंसिटीज वाले बहुआयामी लोकेशन-स्केल मॉडलों के लिए, लेखक एक विशिष्ट मैक्सिमल इनवेरिएंट प्राप्त करते हैं। पैरामीटर स्पेस को $R^d \times (GL(d, R)/O(d))$ $R^{d} \times (G L (d, R) / O (d))$ के रूप में पहचानने के बाद, डाइवर्जेंस केवल निम्नलिखित पर निर्भर करता है:
- सापेक्ष स्केल मैट्रिक्स $S = V_2^{-1}V_1$ के सिंगुलर वैल्यूज $\tau_1, \dots, \tau_k$ और उनकी बहुलता (multiplicities)।
- रूपांतरित सापेक्ष स्थान वेक्टर $\nu = V_2^{-1}(\mu_1 - \mu_2)$ के ब्लॉक नॉर्म्स $r_j$ , जहाँ ब्लॉक्स सिंगुलर वैल्यूज की बहुलता के अनुरूप होते हैं।
द्वैत समूह क्रियाएं और ब्रेगमन डाइवर्जेंस (Section 3.2): शोध पत्र ड्यूली फ्लैट ज्योमेट्री (dually flat geometry) का उपयोग करके सेंटर्ड स्केल परिवारों का विश्लेषण करता है। यह दिखाता है कि जबकि $f$ -डाइवर्जेंस अपरिवर्तनीयता रूपांतरण मॉडल से उत्पन्न होती है, ड्यूली फ्लैट ब्रेगमन/फेंचेल-यंग (Bregman/Fenchel-Young) डाइवर्जेंस की अपरिवर्तनीयता द्वैत समूह क्रियाओं के निरस्तीकरण (cancellation) से उत्पन्न होती है। यह इन डाइवर्जेंसेस की स्पेक्ट्रल प्रकृति (इन्हें $\Sigma_2^{-1}\Sigma_1$ के आइजनवैल्यूज पर निर्भरता) को एकीकृत करता है।
फिशर-राओ रिडक्शन (Proposition 4.2): यह दिखाया गया है कि लोकेशन-स्केल परिवार के लिए फिशर-राओ दूरी एफाइन समूह के तहत अपरिवर्तनीय है। फलस्वरूप, दो वितरणों के बीच की दूरी उन्हीं मैक्सिमल इनवेरिएंट्स (सिंगुलर वैल्यूज और ब्लॉक नॉर्म्स) का एक फलन है जो $f$ -डाइवर्जेंस के लिए प्राप्त किए गए थे। समस्या को एक कैनोनिकल बेस पॉइंट $(0, [Id])$ से दूरी की गणना करने में बदल दिया जाता है।

महत्व और दावे
शोध पत्र का दावा है कि वह 'डबल कोसेट संरचना' का उपयोग करके 'अपरिवर्तनीय डाइवर्जेंस को व्यक्त करने का एक सामान्य और ज्यामितीय तरीका' प्रदान करता है। इसकी प्राथमिक महत्ता रिडक्शन प्रिंसिपल (reduction principle) में निहित है: डाइवर्जेंस को सभी पैरामीटर्स के फलन के रूप में मानने के बजाय, समूह समरूपता को पहले हटाकर उन्हें अपरिवर्तनीय चरों के एक छोटे सेट के माध्यम से व्यक्त किया जा सकता है।

लेखक स्पष्ट रूप से कहते हैं कि यह दृष्टिकोण:

गणना को सरल बनाता है: समस्या की आयामीता (dimensionality) को कम करके।
प्रासंगिक मात्राओं की पहचान करता है: यह निर्धारित करके कि कौन से अपरिवर्तनीय चर (जैसे, सिंगुलर वैल्यूज, ब्लॉक नॉर्म्स) किसी भी अपरिवर्तनीय सूत्र में प्रकट हो सकते हैं।
विभिन्न डाइवर्जेंस को एकीकृत करता है: यह दिखाता है कि समान रिडक्शन $f$ -डाइवर्जेंस और फिशर-राओ दूरी दोनों पर लागू होता है।

शोध पत्र क्लोज्ड-फॉर्म समाधानों के संबंध में विनम्र है। यह नोट करता है कि हालांकि रिडक्शन प्रिंसिपल सही चरों की पहचान करता है, लेकिन यह आयाम $d > 1$ के लिए फिशर-राओ दूरी के लिए कोई "सामान्य क्लोज्ड-फॉर्म सूत्र" नहीं देता है, क्योंकि जियोडेसिक बाउंड्री-वैल्यू समस्या विश्लेषणात्मक रूप से कठिन बनी हुई है। हालाँकि, यह सफलतापूर्वक उन संरचनात्मक निर्भरताओं को स्थापित करता है जो किसी भी ऐसे सूत्र के लिए आवश्यक हैं। यह कार्य एफाइन-इनवेरिएंट फिशर-राओ ज्योमेट्री और Lovrić et al. द्वारा प्रस्तावित सिमेट्रिक-स्पेस ज्योमेट्री के बीच के संबंध को भी स्पष्ट करता है, जिसमें पूर्व को गैसियन लोकेशन-स्केल परिवार की विशिष्ट ज्योमेट्री और उत्तर को एक सिमेट्रिक-स्पेस एनालॉग के रूप में अलग किया गया है।