📊 statistics

Robust functional PCA for relative data

यह शोध पत्र रोबस्ट डेंसिटी प्रिंसिपल कंपोनेंट एनालिसिस (RDPCA) का प्रस्ताव करता है, जो एक नवीन विधि है जो घनत्व फलनों (डेन्सिटी फंक्शन्स) जैसे सापेक्ष डेटा के कार्यात्मक विश्लेषण में आउटलेयर्स और शोर को प्रभावी ढंग से संभालने के लिए बेयस स्पेस (Bayes spaces) में नियमितीकृत महलानोबिस दूरी (regularized Mahalanobis distance) का विस्तार करती है।

मूल लेखक: Jeremy Oguamalam, Peter Filzmoser, Karel Hron, Alessandra Menafoglio, Una Radojičić

प्रकाशित 2026-01-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jeremy Oguamalam, Peter Filzmoser, Karel Hron, Alessandra Menafoglio, Una Radojičić

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक संगीत समीक्षक हैं जो एक हज़ार अलग-अलग गीतों के "वाइब" (vibe) को समझने की कोशिश कर रहे हैं। आमतौर पर, आप यह देख सकते हैं कि संगीत कितना तेज़ या धीमा है (वॉल्यूम)। लेकिन इस शोध पत्र में, लेखक किसी और चीज़ में रुचि रखते हैं: गाने का आकार (shape)। क्या यह एक धीमा बैलेड है? क्या यह एक तेज़ गति वाला रॉक ट्रैक है? क्या धुन जल्दी चरम पर पहुँचती है या देर से?

सांख्यिकी (statistics) में, इस प्रकार के "केवल आकार वाले" डेटा को सापेक्ष डेटा (relative data) कहा जाता है। यह एक रेसिपी को देखने जैसा है जहाँ सामग्री की कुल मात्रा मायने नहीं रखती, केवल आटे और चीनी का अनुपात मायने रखता है। यह शोध पत्र उन डेटा पर केंद्रित है जो घनत्व वक्रों (density curves) (चिकनी पहाड़ियों और घाटियों) की तरह दिखते हैं, जैसे कि आयु-विशिष्ट प्रजनन दर या रासायनिक स्पेक्ट्रा।

यहाँ उनके कार्य का सरल उपमाओं के साथ विवरण दिया गया है:

1. समस्या: "शोर मचाने वाला पड़ोसी"

मानक सांख्यिकीय उपकरण (जैसे प्रिंसिपल कंपोनेंट एनालिसिस, या PCA) डेटा में मुख्य पैटर्न खोजने में बहुत अच्छे होते हैं। हालाँकि, वे आउटलेर्स (outliers)—अजीब, शोर वाले या विसंगत अवलोकनों—से बहुत आसानी से विचलित हो जाते हैं।

उपमा: कल्पना कीजिए कि आप हाथ पकड़े हुए लोगों की भीड़ के औसत आकार को खोजने की कोशिश कर रहे हैं। यदि एक व्यक्ति एक विशाल, चमकता हुआ नियॉन साइन पकड़े हुए है (एक आउटलेयर), तो मानक उपकरण भ्रमित हो सकते हैं और सोच सकते हैं कि "औसत" व्यक्ति भी एक नियॉन साइन पकड़े हुए है। वे शोर से विचलित हो जाते हैं।
विशिष्ट मुद्दा: इस प्रकार के डेटा (घनत्व) में, "शोर" केवल तेज़ वॉल्यूम नहीं है; यह एक अजीब आकार है। एक मानक उपकरण एक चौकोर टुकड़े को गोल छेद में फिट करने की कोशिश कर सकता है, जिससे वास्तविक पैटर्न की गलत समझ पैदा हो सकती है।

2. परिवेश: "केवल आकार वाला कमरा" (बायेस स्पेस)

इसे संभालने के लिए, लेखक एक विशेष गणितीय कमरे का उपयोग करते हैं जिसे बायेस स्पेस (Bayes Space) कहा जाता है।

उपमा: एक ऐसे कमरे की कल्पना करें जहाँ सभी को एक घेरे में खड़ा होने के लिए मजबूर किया जाता है, और केवल यह मायने रखता है कि वे एक-दूसरे के सापेक्ष कैसे स्थित हैं, न कि वे कितने लंबे हैं। यदि आप पूरे घेरे को खींचते या फैलाते हैं, तो कुछ नहीं बदलता। यह "सापेक्ष डेटा" के रूप में काम करता है: पैमाना अप्रासंगिक है; केवल आंतरिक वितरण मायने रखता है।
चुनौती: मानक गणितीय उपकरण इस कमरे में चलना नहीं जानते। वे ऊंचाई (पूर्ण परिमाण) मापने की कोशिश करते हैं, जो इस कमरे के नियमों को तोड़ देता है।

3. समाधान: एक "स्मार्ट फ़िल्टर" (RDPCA)

लेखकों ने एक नया तरीका बनाया जिसे रोबस्ट डेंसिटी PCA (RDPCA) कहा जाता है। इसे एक स्मार्ट फ़िल्टर के रूप में समझें जो विश्लेषण करने से पहले डेटा को साफ करता है।

"व्हाइटनिंग" (Whitening) प्रक्रिया: डेटा में पैटर्न खोजने से पहले, यह विधि डेटा को "व्हाइटन" करती है। कल्पना कीजिए कि आपके पास एक गंदा/कीचड़ वाला नदी है। आप मछलियों (पैटर्न) को देखना चाहते हैं, लेकिन कीचड़ (शोर) आपको अंधा कर रहा है। यह विधि एक फ़िल्टर की तरह काम करती है जो मछलियों को सुरक्षित रखते हुए कीचड़ को हटा देती है।
"दूरी" की चाल: यह तय करने के लिए कि क्या "कीचड़" है (एक आउटलेयर) और क्या एक "मछली" है (एक सामान्य पैटर्न), उन्होंने रेगुलराइज्ड महलानोबिस डिस्टेंस (Regularized Mahalanobis Distance - RDMD) नामक एक नया तरीका बनाया।
- उपमा: एक सामान्य भीड़ में, आप दूरी को एक सीधी रेखा में लोगों के बीच की दूरी से मापते हैं। इस "केवल आकार वाले" कमरे में, लेखकों ने एक विशेष रूलर (पैमाना) बनाया जो इस तथ्य को ध्यान में रखता है कि कमरा घुमावदार है और नियम अलग हैं। यह रूलर "रेगुलराइज्ड" भी है, जिसका अर्थ है कि इसमें एक 'शॉक एब्जॉर्बर' (झटका सहने वाला यंत्र) लगा है। यदि डेटा बहुत अधिक ऊबड़-खाबड़ या शोर वाला है, तो शॉक एब्जॉर्बर इसे इतना सुचारू बना देता है कि आप एक अजीब स्पाइक पर अटकने के बजाय वास्तविक आकार देख सकें।

4. यह कैसे काम करता है (एल्गोरिदम)

यह विधि सबसे विश्वसनीय समूह को खोजने के लिए "म्यूजिकल चेयर्स" के खेल की तरह काम करती है:

अनुमान (Guess): यह अनुमान लगाकर शुरू होता है कि कौन से डेटा बिंदु "अच्छे" (केंद्रीय समूह) हैं।
मापन (Measure): यह अपने विशेष "शॉक-एब्जॉर्बिंग रूलर" का उपयोग करके यह मापता है कि लोग केंद्र से कितनी दूर हैं।
छंटाई (Trim): यह उन लोगों को बाहर निकाल देता है जो बहुत दूर खड़े हैं (आउटलेर्स)।
दोहराना (Repeat): यह शेष समूह के साथ केंद्र की पुनर्गणना करता है और प्रक्रिया को तब तक दोहराता है जब है जब तक कि समूह स्थिर न हो जाए।
**परिणाम (Result): la once the noisy outliers are removed, it finds the main patterns (Principal Components) using only the clean, reliable data.

5. उन्होंने क्या पाया (प्रमाण)

लेखकों ने दो तरीकों से इस विधि का परीक्षण किया:

सिमुलेशन (Simulations): उन्होंने ज्ञात पैटर्न वाले नकली डेटा बनाए और फिर जानबूझकर उसमें "शोर" (आउटलेयर्स) मिला दिया। उन्होंने पाया कि उनका नया तरीका (RDPCA) अभी भी वास्तविक पैटर्न को खोज सकता है, जबकि पुराने तरीके पूरी तरह से भ्रमित हो गए और गलत आकार प्रस्तुत किए।
वास्तविक डेटा (Real Data):
- ग्लास स्पेक्ट्रा (Glass Spectra): उन्होंने कांच के विभिन्न प्रकारों के प्रकाश स्पेक्ट्रा का विश्लेषण किया। नए तरीके ने सफलतापूर्वक उन अजीब, दूषित नमूनों को पहचान लिया जिन्हें पुराने तरीकों ने मिस कर दिया था।
- प्रजनन दर (Fertility Rates): उन्होंने विभिन्न देशों और वर्षों में जन्म दर को देखा। विधि ने खुलासा किया कि प्रजनन में सबसे बड़े बदलाव केवल इस बारे में नहीं थे कि कितने बच्चे पैदा हुए, बल्कि इस बारे में थे कि महिला के जीवन में कब वे पैदा हुए (शुरुआती 20 के दशक से देर से 20 के दशक/30 के दशक की शुरुआत की ओर बदलाव)। इसने उन देशों को भी सही ढंग से पहचाना जिनके प्रजनन पैटर्न असामान्य थे (आउटलेयर्स) जो सामान्य यूरोपीय रुझान में फिट नहीं बैठते थे।

सारांश

संक्षेप में, यह शोध पत्र "आकार" वाले डेटा का विश्लेषण करने का एक नया, अधिक मजबूत तरीका पेश करता है। यह एक गणितीय फ़िल्टर बनाता है जो "नियॉन संकेतों" (आउटलेयर्स) और "गंदे पानी" (शोर) को अनदेखा करता है ताकि चीजों के वितरण के वास्तविक, अंतर्निहित पैटर्न को प्रकट किया जा सके। यह सुनिश्चित करता है कि जब हम जन्म दर या रासायनिक संरचना जैसी चीजों का अध्ययन करते हैं, तो हमारे निष्कर्ष वास्तविक कहानी पर आधारित होते हैं, न कि कुछ अजीब डेटा बिंदुओं पर।

तकनीकी सारांश: सापेक्ष डेटा के लिए सुदृढ़ कार्यात्मक पीसीए (Robust Functional PCA)

समस्या विवरण
फंक्शनल डेटा एनालिसिस (FDA) पारंपरिक रूप से पूर्ण परिमाण (absolute magnitude) पर केंद्रित रहा है, फिर भी कई व्यावहारिक सेटिंग्स में "सापेक्ष" (relative) कार्यात्मक डेटा शामिल होता है, जैसे कि संभाव्यता घनत्व फलन (PDFs), आयु-विशिष्ट प्रजनन दरें, या स्पेक्ट्रल वक्र। इन संदर्भों में, रुचि की जानकारी वितरण संबंधी पैटर्न या आकार में होती है, न कि पूर्ण पैमाने (absolute scale) में। मानक FDA तकनीकें इस क्षेत्र में विफल हो जाती हैं क्योंकि वे डेटा की संरचनात्मक प्रकृति (गैर-ऋणात्मकता और इकाई अभिन्नता बाधाओं) का सम्मान नहीं करती हैं।

जबकि हाल के कार्यों ने ऐसे डेटा को अनंत-आयामी संरचनाओं के रूप में मॉडल करने के लिए बेज़ स्पेस (Bayes space) ढांचे को स्थापित किया है, इस स्थान के भीतर मौजूदा आयामी कमी उपकरण, विशेष रूप से सिम्पलीशियल फंक्शनल पीसीए (SFPCA), नमूना सहप्रसरण ऑपरेटरों (sample covariance operators) पर निर्भर करते हैं। ये मानक अनुमानक आउटलेर्स (outliers) और असामान्य अवलोकनों के प्रति अत्यधिक संवेदनशील होते हैं। सापेक्ष डेटा में, आउटलेर्स अक्सर साधारण परिमाण विचलन के बजाय संरचनात्मक आकार संबंधी विसंगतियों (जैसे, द्रव्यमान का अप्रत्याशित पुनर्वितरण) के रूप में प्रकट होते हैं, जिससे पारंपरिक सुदृढ़ विधियाँ (जो यूक्लिडियन स्थानों के लिए डिज़ाइन की गई हैं) या मानक SFPCA अप्रभावी हो जाते हैं। बेज़ स्पेस की ज्यामितीय संरचना को संरक्षित करते हुए इन विसंगतियों को संभालने में सक्षम सुदृढ़ कार्यप्रणाली का अभाव है।

कार्यप्रणाली
यह शोध पत्र रोबस्ट डेंसिटी प्रिंसिपल कंपोनेंट एनालिसिस (RDPCA) का प्रस्ताव करता है, जो आउटलेर्स की उपस्थिति में घनत्व डेटा के लिए कार्यात्मक मुख्य घटक (FPCs) का अनुमान लगाने के लिए डिज़ाइन किया गया है। कार्यप्रणाली निम्नलिखित सैद्धांतिक और एल्गोरिदम चरणों के माध्यम से आगे बढ़ती है:

बेज़ स्पेस ढांचा: डेटा $X$ को $B^2(I)$ के एक तत्व के रूप में मॉडल किया गया है जो इकाई अभिन्नता वाले धनात्मक घनत्वों का एक हिल्बर्ट स्पेस है। विश्लेषण सेंटर्ड लॉग-रेशियो (clr) रूपांतरण का उपयोग करता है, जो बेज़ स्पेस को $L^2(I)$ के एक उपस्थान (शून्य के रूप में एकीकृत होने वाले फलनों) में समतुल्य रूप से मैप करता है, जिससे डेटा की सापेक्ष प्रकृति का सम्मान करते हुए मानक हिल्बर्ट स्पेस उपकरणों का उपयोग करना संभव हो जाता है।
रेगुलराइज्ड महालानोबिस डिस्टेंस (RDMD):
- मुख्य नवाचार महालानोबिस दूरी का बेज़ स्पेस में विस्तार है। अनंत-आयामी सेटिंग्स में, सहप्रसरण ऑपरेटर व्युत्क्रमणीय (invertible) नहीं होता है। इसे संबोधित करने के लिए, लेखक एक घनत्व $X$ के रेगुलराइज्ड मानकीकरण (regularized standardization) को टिक्होनोव-प्रकार (Tikhonov-type) की अनुकूलन समस्या को हल करके परिभाषित करते हैं:
  $X^{\alpha, L}_{st} = \arg \min_{Y \in B^2(I)} \left\{ \|C^{1/2}_{B^2,X} Y \ominus X\|^2_{B} + \alpha \|LY\|^2_{B} \right\}$
  जहाँ $C_{B^2,X}$ एक सहप्रसरण ऑपरेटर है, $\alpha > 0$ एक रेगुलराइजेशन पैरामीटर है, और $L$ एक रेगुलराइजेशन ऑपरेटर है (उदाहरण के लिए, पहले $k$ आइजनफंक्शन्स के पूरक पर एक ऑर्थोगोनल प्रोजेक्टर)।
- रेगुलराइज्ड डेंसिटी महालानोबिस डिस्टेंस (RDMD) को मानकीकृत घनत्वों के अंतर के वर्ग के रूप में परिभाषित किया गया है: $M^2_{\alpha,k,B^2}(X, Y) = \|X^{\alpha,k}_{st} \ominus Y^{\alpha,k}_{st}\|^2_{B^2}$ ।
- यह दूरी पिछले कार्यात्मक महालानोबिस अवधारणाओं (ट्रंकेटेड और $\alpha$ -महालानोबिस दूरियों) का सामान्यीकरण करती है और घनत्व डेटा के विशिष्ट बाधाओं को ध्यान में रखती है।
सुदृढ़ सहप्रसरण अनुमान (Robust Covariance Estimation):
- केंद्रीयता के माप के रूप में RDMD का उपयोग करते हुए, विधि एक ट्रिम्ड कोवेरिएंस एस्टिमेटर का उपयोग करती है। एक इष्टतम उपसमुच्चय $H_0$ की पहचान उन अवलोकनों के औसत वर्ग RDMD को न्यूनतम करके की जाती है जो इस उपसमुच्चय में हैं।
- सुदृढ़ माध्य (mean) और सहप्रसरण (covariance) की गणना केवल इस केंद्रीय उपसमुच्चय का उपयोग करके की जाती है। गैसियन धारणाओं के तहत निरंतरता सुनिश्चित करने के लिए एक स्केलिंग फैक्टर लागू किया जाता है, हालांकि विधि स्वयं के अनुमान के लिए कड़ाई से गैसियन होने की आवश्यकता नहीं रखती है।
एल्गोरिदम (RDPCA):
- यह प्रक्रिया पुनरावृत्ति (iterative) आधारित है। यह वर्तमान उपसमुच्चय पर सुदृढ़ माध्य/सहप्रसरण के अनुमान और अपडेट किए गए RDMD के आधार पर उपसमुच्चय के पुनर्मूल्यांकन के बीच बारी-बारी से कार्य करती है जब तक कि अभिसरण (convergence) न हो जाए।
- विधि समर्थित है कि यह या तो विविक्त (discretized) डेटा (इंटीग्रल समों के माध्यम से अनुमानित) या कार्यात्मक निरूपण (आधार, जैसे कि कंपोजिशनल स्प्लाइन्स पर प्रोजेक्ट किया गया) के साथ काम कर सकती है। प्रपोजिशन 4.1 प्रदर्शित करता है कि जब डेटा को एक निश्चित ऑर्थोनॉर्मल बेसिस में व्यक्त किया जाता है, तो RDMD को बेसिस गुणांकों पर मैट्रिक्स ऑपरेशंस का उपयोग करके सटीक रूप से संगणना किया जा सकता है।

प्रमुख परिणाम
RDPCA के प्रदर्शन का मूल्यांकन सिमुलेशन अध्ययनों और वास्तविक-विश्व अनुप्रयोगों के माध्यम से किया गया:

सिमुलेशन:
- आउटलेर्स की उपस्थिति में (हुबर के $\epsilon$ -कंटैमिनेशन मॉडल के माध्यम से पेश किए गए), RDPCA ने सहप्रसरण ऑपरेटर और मुख्य घटकों दोनों के अनुमान के लिए मानक SFPCA की तुलना में काफी बेहतर प्रदर्शन किया।
- मेट्रिक्स में सहप्रसरण अनुमान के लिए इंटीग्रेटेड स्क्वायर एरर (ISE) और आइजनफंक्शन्स के लिए मीन कोसाइन समानता शामिल थी। RDPCA ने 20% तक कंटैमिनेशन रेट के साथ भी उच्च सटीकता बनाए रखी।
- दिलचस्प बात यह है कि RDPCA ने गैर-संदूषण (non-contaminated) सेटिंग्स में भी SFPCA की तुलना में बेहतर प्रदर्शन दिखाया, विशेष रूप से जब अंतर्निहित स्कोर वितरण हेवी-टेल्ड (जैसे, मल्टीवेरिएट $t$ -डिस्ट्रीब्यूशन) था।
- विधि ने RDMD के सीमित वितरण के आधार पर आउटलेर्स की सफलतापूर्वक पहचान की, जबकि गैर-सुदृढ़ विधियाँ असामान्य वक्रों के बीच अंतर करने में विफल रहीं।
वास्तविक-डेटा अनुप्रयोग:
- EPXMA स्पेक्ट्रा: ग्लास वेसल स्पेक्ट्रा पर लागू किए जाने पर, RDPCA ने विभिन्न प्रकार के ग्लास के बीच प्रभावी ढंग से अंतर किया और उन आउटलिंग स्पेक्ट्रा की पहचान की जिन्हें मानक विधियों ने छोड़ दिया था। सुदृढ़ सहसंबंध फलन ने उन संरचनात्मक अंतरों को प्रकट किया जो गैर-सुदृढ़ विधियों के पूर्वाग्रह द्वारा ओझल हो गए थे।
- प्रजनन डेटा: विभिन्न देशों और वर्षों के लिए आयु-विशिष्ट प्रजनन दरों (ASFR) का विश्लेषण किया गया। विधि ने असामान्य प्रजनन पैटर्न वाले देशों (जैसे, 1956 में जापान) की पहचान की और मानक दृष्टिकोणों की तुलना में प्रजनन गतिशीलता (जैसे, 20 के दशक की शुरुआत से 30 के आसपास तक शिखर का खिसकना) को अधिक सुदृढ़ रूप से कैप्चर किया।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह बेज़ स्पेस के भीतर सापेक्ष कार्यात्मक डेटा के लिए विशेष रूप से तैयार किया गया पहला सुदृढ़ PCA ढांचा प्रदान करता है। इसके प्राथमिक योगदान हैं:

सैद्धांतिक विस्तार: यह बेज़ स्पेस में रेगुलराइज्ड महालानोबिस डिस्टेंस का विस्तार करता है, जो घनत्व डेटा की कंपोजिशनल ज्यामिति का सम्मान करते हुए अनंत आयामों में सहप्रसरण ऑपरेटर की गैर-व्युत्क्रमणीयता को संबोधित करता है।
संरचनात्मक विसंगतियों के प्रति सुदृढ़ता: पारंपरिक FDA विधियों के विपरीत, जो आउटलेर्स को परिमाण विचलन के रूप में मानती हैं, RDPCA को सापेक्ष डेटा में निहित संरचनात्मक आकार संबंधी विसंगतियों का पता लगाने और उन्हें कम करने के लिए डिज़ाइन किया गया है।
व्यावहारिक उपयोगिता: यह एक कम्प्यूटेशनल रूप से व्यवहार्य एल्गोरिदम (एल्गोरिदम 1) प्रदान करता है जो विविक्त और बेसिस-एक्सपैंडेड दोनों डेटा के साथ काम करता है, जो शोर और आउटलेर्स की उपस्थिति में घनत्व फलनों के विश्लेषण के लिए एक व्यवहार्य उपकरण प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि लक्ष्य केवल आउटलेयर डिटेक्शन नहीं है, बल्कि सुदृढ़ PCA विधियों का निर्माण करना है जो सटीक सहप्रसरण और मुख्य घटक अनुमान प्रदान करती हैं। वे उल्लेख करते हैं कि हालांकि वर्तमान कार्य यूनिवेरिएट घनत्वों पर केंद्रित है, यह ढांचा मल्टीवेरिएट घनत्व और रैंडम सर्फेस के लिए भविष्य के विस्तार के मार्ग खोलता है, हालांकि ये वर्तमान दायरे से बाहर हैं।